與圖像裁剪疊加的動態(tài)參考的制作方法
【專利摘要】本發(fā)明涉及與圖像裁剪疊加的動態(tài)參考。一種用于在從攝像裝置獲得的裁剪后的圖像上動態(tài)配準圖形的方法包括捕獲從攝像裝置獲得的原始圖像。監(jiān)測攝像裝置的內(nèi)在校準信息、攝像裝置的外部信息和車輛信息?；诓眉魠?shù)生成裁剪后的圖像以便從原始圖像排除不需要的內(nèi)容?；谂c裁剪參數(shù)的關(guān)系調(diào)整內(nèi)在校準信息?；谡{(diào)整后的攝像裝置的內(nèi)在校準信息、監(jiān)測的攝像裝置的外部信息和監(jiān)測的車輛信息將圖形動態(tài)地配準在裁剪后的圖像上。
【專利說明】與圖像裁剪疊加的動態(tài)參考
【技術(shù)領(lǐng)域】
[0001]本公開涉及車輛視覺系統(tǒng)。
【背景技術(shù)】
[0002]此部分中的陳述僅提供與本公開有關(guān)的背景信息。因此，這樣的陳述并非意圖構(gòu)成對現(xiàn)有技術(shù)的承認。
[0003]現(xiàn)代化車輛可包括一個或多個攝像裝置，該攝像裝置提供例如倒車輔助、在車輛行駛時表示道路狀況和操縱的道路的圖像、以及沿道路或靠近道路的顯示標牌的圖像。對于將圖形疊加到攝像圖像上的應(yīng)用來說，重要的是為攝像裝置準確地校準焦距參數(shù)和光學(xué)中心參數(shù)。如果諸如焦距參數(shù)和光學(xué)中心參數(shù)的內(nèi)在校準信息未準確地校準或調(diào)整，則裁剪攝像圖像可導(dǎo)致疊加的攝像圖像不準確。
[0004]例如，已經(jīng)知道將校準圖案或網(wǎng)格應(yīng)用到多個需要校準的圖像上。校準點在每個圖像上相對于校準圖案或網(wǎng)格被手動加標簽，尤其是對于寬視場攝像機來說。對校準點手動加標簽作為單獨的后道攝像機校準或售后攝像調(diào)整而進行，這導(dǎo)致耗時的攝像機校準過程。
[0005]希望提供一種快速而可靠的方法，以便能夠相對于校準攝像裝置的內(nèi)在校準信息來說以對現(xiàn)有生產(chǎn)系統(tǒng)的最小改變在攝像裝置上實現(xiàn)具有圖像裁剪功能的動態(tài)參考疊加特征(dynamic guideline overlay feature)0

【發(fā)明內(nèi)容】

[0006]一種用于在從攝像裝置獲得的裁剪后的圖像上動態(tài)配準圖形的方法包括捕獲從攝像裝置獲得的原始圖像。監(jiān)測攝像裝置的內(nèi)在校準信息、攝像裝置的外部信息和車輛信息?；诓眉魠?shù)生成裁剪后的圖像以便從原始圖像排除不需要的內(nèi)容?；谂c裁剪參數(shù)的關(guān)系調(diào)整內(nèi)在校準信息?；谡{(diào)整后的攝像裝置的內(nèi)在校準信息、監(jiān)測的攝像裝置的外部信息和監(jiān)測的車輛信息將圖形動態(tài)地配準在裁剪后的圖像上。
[0007]本發(fā)明提供下列技術(shù)方案。
[0008]技術(shù)方案1.一種用于在從攝像裝置獲得的裁剪后的圖像上動態(tài)地配準圖形的方法，包括:
捕獲從所述攝像裝置獲得的原始圖像；
監(jiān)測所述攝像裝置的內(nèi)在校準信息、所述攝像裝置的外部信息和車輛信息；
基于裁剪參數(shù)生成所述裁剪后的圖像以便從所述原始圖像排除不需要的內(nèi)容；
基于與所述裁剪參數(shù)的關(guān)系調(diào)整所述內(nèi)在校準信息；以及
基于所述調(diào)整后的所述攝像裝置的內(nèi)在校準信息、所述監(jiān)測的所述攝像裝置的外部信息和所述監(jiān)測的車輛信息將所述圖形動態(tài)地配準在所述裁剪后的圖像上。
[0009]技術(shù)方案2.根據(jù)技術(shù)方案I所述的方法，其中所述攝像裝置包括后部攝像裝置、前部攝像裝置和側(cè)視攝像裝置中的至少一個。[0010]技術(shù)方案3.根據(jù)技術(shù)方案2所述的方法，其中所述動態(tài)配準的圖形包括表示在所述車輛后方的期望路徑和位置信息的動態(tài)參考疊加特征。
[0011]技術(shù)方案4.根據(jù)技術(shù)方案I所述的方法，其中所述裁剪參數(shù)被構(gòu)造成縮小沿第一軸線的所述原始圖像的一部分和沿垂直于所述第一軸線的第二軸線的所述原始圖像的一部分中的至少一個。
[0012]技術(shù)方案5.根據(jù)技術(shù)方案4所述的方法，其中所述第一軸線與圖像寬度相關(guān)聯(lián)，并且所述第二軸線與圖像高度相關(guān)聯(lián)。
[0013]技術(shù)方案6.根據(jù)技術(shù)方案4所述的方法，其中所述裁剪參數(shù)基于設(shè)置所述攝像裝置的車輛的尺寸和設(shè)計來預(yù)定。
[0014]技術(shù)方案7.根據(jù)技術(shù)方案4所述的方法，其中所述裁剪參數(shù)包括在所述原始圖像內(nèi)的用戶定義的感興趣區(qū)域并且排除在所述感興趣區(qū)域以外的用戶定義的區(qū)域。
[0015]技術(shù)方案8.根據(jù)技術(shù)方案4所述的方法，其中所述攝像裝置的所述內(nèi)在校準信息包括所述攝像裝置的焦距參數(shù)，并且其中基于與所述裁剪參數(shù)的所述關(guān)系調(diào)整所述內(nèi)在校準信息包括:
基于在第一焦距參數(shù)、構(gòu)造成縮小沿所述第一軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新垂直于所述第一軸線的第一焦距參數(shù)；以及
基于在第二焦距參數(shù)、構(gòu)造成縮小沿所述第二軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新垂直于所述第二軸線的第二焦距參數(shù)。
[0016]技術(shù)方案9.根據(jù)技術(shù)方案8所述的方法，其中所述攝像裝置的所述內(nèi)在校準信息還包括光學(xué)中心參數(shù)，并且其中基于與所述裁剪參數(shù)的所述關(guān)系調(diào)整所述內(nèi)在校準信息還包括:
基于在第一光學(xué)中心參數(shù)、構(gòu)造成縮小沿所述第一軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新相對于所述第一軸線的所述第一光學(xué)中心參數(shù)；以及基于在第二光學(xué)中心參數(shù)、構(gòu)造成縮小沿所述第二軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新相對于所述第二軸線的所述第二光學(xué)中心參數(shù)。
[0017]技術(shù)方案10.根據(jù)技術(shù)方案4所述的方法，其中所述攝像裝置的所述內(nèi)在校準信息包括與所述原始圖像相關(guān)聯(lián)的多個像素，并且其中基于與所述裁剪參數(shù)的所述關(guān)系調(diào)整所述內(nèi)在校準信息包括:
在所述原始圖像上施加具有第三軸線和第四軸線的二維網(wǎng)格，所述第四軸線垂直于所述第三軸線；
相對于施加在所述原始圖像上的所述二維網(wǎng)格對所述多個像素手動加標簽，每個像素具有相對于所述第三和第四軸線的相應(yīng)的坐標；以及
將與所述原始圖像相關(guān)聯(lián)的所述多個像素轉(zhuǎn)移到所述裁剪后的圖像，包括:
基于在相對于所述第一軸線的所述多個像素、構(gòu)造成縮小沿所述第一軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系，重新校準在所述裁剪后的圖像中所述多個像素中每一個相對于所述第一軸線的位置，以及
基于在相對于所述第二軸線的所述多個像素、構(gòu)造成縮小沿所述第二軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系，重新校準在所述裁剪后的圖像中所述多個像素中每一個相對于所述第二軸線的位置。[0018]技術(shù)方案11.根據(jù)技術(shù)方案10所述的方法，其中所述第三軸線對應(yīng)于世界坐標水平軸線，并且所述第四軸線對應(yīng)于世界坐標豎直軸線。
[0019]技術(shù)方案12.根據(jù)技術(shù)方案10所述的方法，其中所述內(nèi)在校準信息還包括焦距參數(shù)和光學(xué)中心參數(shù)，所述方法還包括:
監(jiān)測所述攝像裝置的徑向失真參數(shù)；
監(jiān)測相對于所述第三軸線的所述重新校準的多個像素和相對于所述第四軸線的所述重新校準的多個像素；
基于所述監(jiān)測的焦距參數(shù)、所述光學(xué)中心參數(shù)、所述徑向失真參數(shù)、所述外部信息、在所述裁剪后的圖像中相對于所述第一軸線的每個重新校準的像素位置和在所述裁剪后的圖像中相對于所述第二軸線的每個重新校準的像素位置，確定所述裁剪后的圖像中相對于所述第一和第二軸線的預(yù)計像素誤差；
比較相對于所述第一軸線的所述預(yù)計像素誤差與第一閾值；
比較相對于所述第二軸線的所述預(yù)計像素誤差與第二閾值；以及如果相對于所述第一軸線的所述預(yù)計像素誤差大于所述第一閾值或相對于所述第二軸線的所述預(yù)計像素誤差大于所述第二閾值，確定校準失敗。
[0020]技術(shù)方案13.根據(jù)技術(shù)方案7所述的方法，還包括:
響應(yīng)于調(diào)整感興趣的區(qū)域的用戶輸入動態(tài)地更新所述裁剪參數(shù)；以及 響應(yīng)于所述動態(tài)更新的裁剪參數(shù)動態(tài)地調(diào)整所述內(nèi)在校準信息。
[0021]技術(shù)方案14.根據(jù)技術(shù)方案13所述的方法，其中調(diào)整所述感興趣區(qū)域的所述用戶輸入包括調(diào)整縮放范圍系數(shù)以實現(xiàn)增加和減小所述所需感興趣區(qū)域中的一者的所述用戶輸入。
[0022]技術(shù)方案15.根據(jù)技術(shù)方案7所述的方法，其中所述圖形包括當(dāng)所述所需感興趣區(qū)域涵蓋顯示標牌時表示所述顯示標牌的文本、符號和形狀中至少一種的疊加圖形，所述疊加圖形被動態(tài)地配準在所述顯示標牌上。
[0023]技術(shù)方案16.根據(jù)技術(shù)方案7所述的方法，還包括:
監(jiān)測與所述感興趣區(qū)域有關(guān)的信息輸入；
分析所述信息輸入以檢測感興趣的特征；以及
基于所述感興趣的特征確定用于在所述裁剪后的圖像上的動態(tài)配準的所述圖形。
[0024]技術(shù)方案17.根據(jù)技術(shù)方案16所述的方法，其中所述感興趣的特征包括即將出現(xiàn)的操縱點，并且所述圖形包括表示所述即將出現(xiàn)的操縱點的導(dǎo)航狀況圖形。
[0025]技術(shù)方案18.根據(jù)技術(shù)方案16所述的方法，其中:
所述感興趣的特征包括行人、車道線和車輛中的至少一種；并且 所述圖形包括表示所述感興趣的特征的高亮圖形。
[0026]技術(shù)方案19.根據(jù)技術(shù)方案I所述的方法，還包括:
在圖形投影顯示器上顯示所述裁剪后的圖像和在所述裁剪后的圖像上的所述動態(tài)配準的圖形，所述圖形投影顯示器包括觸摸屏顯示器、人機界面顯示器、后視鏡顯示器、側(cè)視鏡顯示器和顯示監(jiān)視器中的一種。
[0027]技術(shù)方案20.—種用于在從攝像裝置獲得的裁剪后的圖像上配準圖形的方法，包括: 捕獲從后部寬視場攝像裝置獲得的具有在車輛后方的視角的原始后方圖像，所述后部寬視場攝像裝置定位成靠近所述車輛的后端；
監(jiān)測包括焦距參數(shù)和光學(xué)中心參數(shù)的所述攝像裝置的內(nèi)在校準信息；
監(jiān)測所述攝像裝置的徑向失真參數(shù)；
監(jiān)測包括位置參數(shù)和定向參數(shù)的所述攝像裝置的外部信息；
監(jiān)測包括車輛速度、定向和轉(zhuǎn)向角度參數(shù)的車輛信息；
基于預(yù)定的裁剪參數(shù)生成所述裁剪后的圖像以便從所述原始圖像排除不需要的內(nèi)容，所述預(yù)定的裁剪參數(shù)被構(gòu)造成縮小所述原始后方圖像的一部分；
基于與所述預(yù)定裁剪參數(shù)的關(guān)系而更新所述內(nèi)在校準信息，包括:
基于在第一焦距參數(shù)、構(gòu)造成縮小沿第一軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第一軸線的所述第一焦距參數(shù)；以及
基于在第二焦距參數(shù)、構(gòu)造成縮小沿第二軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第二軸線的所述第二焦距參數(shù)，
基于在第一光學(xué)中心參數(shù)、構(gòu)造成縮小沿第一軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第一軸線的所述第一光學(xué)中心參數(shù)，以及基于在第二光學(xué)中心參數(shù)、構(gòu)造成縮小沿第二軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第二軸線的所述第二光學(xué)中心參數(shù)；
基于所述調(diào)整后的所述攝像裝置的內(nèi)在校準信息、所述監(jiān)測的所述攝像裝置的徑向失真參數(shù)、所述監(jiān)測的所述攝像裝置的外部信息和所述監(jiān)測的車輛信息而將所述圖形動態(tài)地配準在所述裁剪后的圖像上；以及
在圖形投影顯示器上顯示所述裁剪后的圖像和在所述裁剪后的圖像上的所述動態(tài)配準的圖形，所述圖形投影顯示器包括觸摸屏顯示器、人機界面顯示器、后視鏡顯示器、側(cè)視鏡顯示器和顯示監(jiān)視器中的一種。
【專利附圖】

【附圖說明】
[0028]現(xiàn)在將以舉例方式參照附圖描述一個或多個實施例，在附圖中:
圖1示出根據(jù)本公開的配有至少一個攝像裝置和顯示系統(tǒng)的示例性車輛；
圖2示出根據(jù)本公開的從車輛后部針孔攝像裝置獲得的原始圖像和構(gòu)造成從原始圖像排除不需要的內(nèi)容的裁剪參數(shù)；
圖3示出根據(jù)本公開的基于圖2所示裁剪參數(shù)生成的裁剪后的圖像；
圖4示出根據(jù)本公開的用于在從攝像裝置獲得的裁剪后的圖像上動態(tài)配準圖形的示例性流程圖；
圖5示出根據(jù)本公開的用于在圖形投影顯示器上顯示在裁剪后的圖像上動態(tài)配準的圖形的示例性顯示系統(tǒng)；
圖6和圖7示出根據(jù)本公開的相對于初始圖像的用于攝像裝置的焦距參數(shù)和光學(xué)中心參數(shù)以及相對于裁剪后的圖像的用于攝像裝置的更新的焦距參數(shù)和更新的光學(xué)中心參數(shù)；
圖8示出初始圖像、基于為涵蓋初始圖像內(nèi)的所需感興趣區(qū)域而由用戶定義的裁剪參數(shù)生成的裁剪后的圖像、以及在所需的感興趣區(qū)域涵蓋顯示標牌時表示顯示標牌的內(nèi)容的疊加圖形；
圖9示出根據(jù)本公開的從具有變化的視角的后部攝像裝置獲得的后方圖像，后方圖像中的每一個與相應(yīng)的視角和相應(yīng)的裁剪參數(shù)相關(guān)聯(lián)；
圖10示出根據(jù)本公開的描繪車輛前方的駕駛場景的從前部攝像裝置獲得的前方圖
像；
圖11示出根據(jù)本公開的相對于施加在原始圖像上的二維網(wǎng)格被手動加標簽的多個像素；以及
圖12示出根據(jù)本公開的用于確定相對于裁剪后的圖像中的第一和第二軸線的預(yù)計像素誤差的預(yù)計誤差。
【具體實施方式】
[0029]現(xiàn)在參看附圖，其中所示內(nèi)容僅僅為了說明某些示例性實施例，而不是為了對其進行限制，圖1示出根據(jù)本公開的配有至少一個攝像裝置和顯示系統(tǒng)145的示例性車輛5。至少一個攝像裝置可包括后部攝像裝置102，其靠近車輛5的后端并且被構(gòu)造成獲得具有在車輛后方的視角的后方圖像。例如，后部攝像裝置102可以是定位成靠近車輛后牌照的寬視場(FOV)攝像裝置。至少一個攝像裝置還可包括前部攝像裝置104，其被構(gòu)造成獲得具有車輛前方的視角的前方圖像。至少一個攝像裝置還可包括至少一個側(cè)視攝像裝置103，其被構(gòu)造成獲得具有車輛的一側(cè)或兩側(cè)的視角的側(cè)視圖像。因此，攝像裝置可包括后部攝像裝置102、前部攝像裝置104和側(cè)視攝像裝置103中的一個或多個。應(yīng)當(dāng)理解，攝像裝置102和/或104可以是可調(diào)整的，以便能夠?qū)崿F(xiàn)寬范圍的視角。車輛5還包括圖形投影顯示器，包括但不限于顯示監(jiān)視器152、側(cè)視鏡顯示器154和后視鏡顯示器156，其中顯示監(jiān)視器152可以是單獨的或具有觸摸屏顯示器的人機界面(HMI)裝置的一部分。車輛5還包括第一檢測裝置模塊160、第二檢測裝置模塊161和第三檢測裝置模塊170，分別用于監(jiān)測和分析靠近車輛的信息輸入以確定感興趣的特征。第一檢測裝置模塊160可包括前部激光雷達裝置、前部激光裝置、前部雷達裝置和與3D地圖數(shù)據(jù)庫結(jié)合的GPS裝置。第二檢測裝置模塊161可包括后部激光雷達裝置、后部激光裝置和后部雷達裝置。第三檢測裝置模塊170可包括無線通信接收機、車輛間信息收發(fā)機、無線通信收發(fā)機和車輛到基礎(chǔ)設(shè)施信息接收機。車輛還包括多個車輛信息傳感器，包括車輛速度傳感器129、前部轉(zhuǎn)向角度傳感器130、后轉(zhuǎn)向角度傳感器132和偏航角速度傳感器134。下文參照圖5更詳細討論的顯示系統(tǒng)145包括攝像機校準模塊140和圖形投影顯示模塊150。顯示系統(tǒng)145包括可編程處理器，其包括程序以分別監(jiān)測后部寬FOV攝像裝置102、至少一個側(cè)視攝像裝置103、前部攝像裝置104、車輛信息傳感器以及第一檢測裝置模塊160、第二檢測裝置模塊161和第三檢測裝置模塊170。為簡單起見，本文將僅引用后部攝像裝置102，除非另外指明。如將要更詳細討論的，顯示系統(tǒng)150基于用于后部攝像裝置102的調(diào)整后的內(nèi)在校準信息在裁剪后的圖像上動態(tài)地配準圖形，并且在圖形投影顯示器上顯示裁剪后的圖像和在裁剪后的圖像上動態(tài)配準的圖形。顯示系統(tǒng)145可以與各種系統(tǒng)和裝置直接通信，或者顯示系統(tǒng)145可以通過LAN/CAN系統(tǒng)115通信。激光雷達裝置包括能夠通過用光照射靠近車輛的道路信息而測量到車輛的距離或靠近車輛的信息的其它性質(zhì)的本領(lǐng)域已知的裝置。雷達裝置包括利用電磁輻射來檢測靠近車輛的信息的本領(lǐng)域已知的裝置。激光裝置包括能夠通過利用投射到靠近車輛的目標的微波或無線電波的脈沖而測量到靠近車輛的信息的距離的本領(lǐng)域已知的裝置。車輛間信息收發(fā)機可以與道路上的其它車輛通信以監(jiān)測靠近車輛的信息。車輛到基礎(chǔ)設(shè)施接收機可以接收監(jiān)測到的從沿道路定位的基礎(chǔ)設(shè)施收發(fā)機發(fā)射的信息。車輛速度傳感器129、前轉(zhuǎn)向角度傳感器130、后轉(zhuǎn)向角度傳感器132和偏航角速度傳感器134被描繪為提供此類車輛信息的傳感器，其表示包括車輛運動參數(shù)的車輛操作，但本公開意圖包括用來由顯示系統(tǒng)145使用的任何此類傳感器。GPS裝置是用于與諸如衛(wèi)星系統(tǒng)的車輛外部的資源通信的本領(lǐng)域已知的裝置。GPS裝置可以結(jié)合3D地圖數(shù)據(jù)庫使用，該數(shù)據(jù)庫包括與由GPS裝置接收的地球坐標有關(guān)的關(guān)于車輛的當(dāng)前位置的詳細信息并跟蹤此前經(jīng)歷的GPS信息。
[0030]圖2示出根據(jù)本公開的從車輛后部攝像裝置獲得的原始圖像10以及第一裁剪參數(shù)2、第二裁剪參數(shù)4、第三裁剪參數(shù)6和第四裁剪參數(shù)8，這些參數(shù)分別被構(gòu)造成從原始圖像排除不需要的內(nèi)容。在一個示例性實施例中，來自原始圖像的不需要的內(nèi)容包括多余的車輛保險杠區(qū)域14。然而，不需要的內(nèi)容可包括在原始圖像10內(nèi)不需要查看的任何內(nèi)容。原始圖像10包括從后部攝像裝置(例如，圖1所示后部攝像裝置102)獲得的具有在車輛后方的視角的后方圖像，其中后部攝像裝直包括后部覽FOV攝像裝直。例如，后部覽FOV攝像裝置可定位成靠近車輛后牌照。裁剪參數(shù)2、4、6、8被構(gòu)造成縮小沿第一軸線O的原始圖像10的一部分和沿第二軸線I的原始圖像10的一部分中的至少一者。每一個裁剪參數(shù)可以以正被縮小的原始圖像部分的百分比來表示。包括動態(tài)參考疊加特征16的圖形在由裁剪參數(shù)2、4、6、8限定的區(qū)域內(nèi)示出并且將參照圖3進行討論。第一軸線O對應(yīng)于圖像寬度。因此，沿第一軸線O的原始圖像10的一部分分別利用第三裁剪參數(shù)6和第四裁剪參數(shù)8來縮小。第二軸線I垂直于第一軸線并且對應(yīng)于圖像高度。因此，沿第二軸線I的原始圖像10的一部分分別利用第二裁剪參數(shù)2和第三裁剪參數(shù)4來縮小。在一個示例性實施例中，裁剪參數(shù)基于設(shè)置攝像裝置的所選車輛的尺寸和設(shè)計來預(yù)定。在另一個示例性實施例中，裁剪參數(shù)為用戶定義的，以便涵蓋原始圖像內(nèi)的所需感興趣區(qū)域并排除所需感興趣區(qū)域之外的不需要的內(nèi)容。
[0031]圖3示出根據(jù)本公開的基于圖2所示裁剪參數(shù)2、4、6、8生成的裁剪后的圖像12。如圖3所示，裁剪后的圖像12對應(yīng)于由圖2的裁剪參數(shù)2、4、6、8封閉的區(qū)域，從而有效地排除原始圖像10中不需要的內(nèi)容，例如保險杠區(qū)域14。應(yīng)當(dāng)理解，攝像裝置包含諸如后部攝像裝置102的攝像裝置固有的內(nèi)在校準信息和外部信息。基于裁剪參數(shù)生成裁剪后的圖像需要調(diào)整該內(nèi)在校準信息，以使得諸如動態(tài)參考疊加特征16的圖形能被準確地動態(tài)配準在裁剪后的圖像12上，以便最終顯示在諸如顯示監(jiān)視器152的圖形投影顯示器上。攝像裝置的外部校準信息包括位置參數(shù)和定向參數(shù)，并且不受裁剪后的圖像的生成的影響。調(diào)整內(nèi)在校準信息基于與裁剪參數(shù)2、4、6、8的關(guān)系，并且將在下文中更詳細地討論。在一個示例性實施例中，包括動態(tài)參考疊加特征16的動態(tài)配準的圖形提供在車輛后方的期望路徑和位置信息。例如，動態(tài)參考疊加特征16可提供幫助駕駛員將車倒至停車位的期望路徑和與停車位有關(guān)的車輛的位置信息。在一個實施例中，動態(tài)參考疊加特征16被動態(tài)地配準在裁剪后的圖像12上并且顯示在圖形投影顯示器上，以便車輛的操作者在用戶選擇車輛的倒車操作時查看。其它實施例包括用于從車輛前方的前部攝像裝置獲得的圖像和/或從相應(yīng)的側(cè)視攝像裝置獲得的從車輛任一側(cè)獲得的圖像的動態(tài)參考疊加特征。還應(yīng)當(dāng)理解，后部、前部和側(cè)視攝像裝置可以合成以獲得俯視圖圖像，其中動態(tài)參考特征可以被動態(tài)地配準在這樣的俯視圖上。
[0032]圖4示出根據(jù)本公開的用于在從攝像裝置獲得的裁剪后的圖像上動態(tài)地配準圖形的示例性流程圖400。在該示例性實施例中，流程圖400動態(tài)地配準包括圖3所示裁剪后的圖像12的動態(tài)參考疊加特征16的圖形，除非另行說明。表I作為圖4的要點提供，其中帶數(shù)字編號的框和對應(yīng)的功能闡述如下。
【權(quán)利要求】
1.一種用于在從攝像裝置獲得的裁剪后的圖像上動態(tài)地配準圖形的方法，包括: 捕獲從所述攝像裝置獲得的原始圖像； 監(jiān)測所述攝像裝置的內(nèi)在校準信息、所述攝像裝置的外部信息和車輛信息； 基于裁剪參數(shù)生成所述裁剪后的圖像以便從所述原始圖像排除不需要的內(nèi)容； 基于與所述裁剪參數(shù)的關(guān)系調(diào)整所述內(nèi)在校準信息；以及 基于所述調(diào)整后的所述攝像裝置的內(nèi)在校準信息、所述監(jiān)測的所述攝像裝置的外部信息和所述監(jiān)測的車輛信息將所述圖形動態(tài)地配準在所述裁剪后的圖像上。
2.根據(jù)權(quán)利要求1所述的方法，其中所述攝像裝置包括后部攝像裝置、前部攝像裝置和側(cè)視攝像裝置中的至少一個。
3.根據(jù)權(quán)利要求2所述的方法，其中所述動態(tài)配準的圖形包括表示在所述車輛后方的期望路徑和位置信息的動態(tài)參考疊加特征。
4.根據(jù)權(quán)利要求1所述的方法，其中所述裁剪參數(shù)被構(gòu)造成縮小沿第一軸線的所述原始圖像的一部分和沿垂直于所述第一軸線的第二軸線的所述原始圖像的一部分中的至少一個。
5.根據(jù)權(quán)利要求4所述的方法， 其中所述第一軸線與圖像寬度相關(guān)聯(lián)，并且所述第二軸線與圖像高度相關(guān)聯(lián)。
6.根據(jù)權(quán)利要求4所述的方法，其中所述裁剪參數(shù)基于設(shè)置所述攝像裝置的車輛的尺寸和設(shè)計來預(yù)定。
7.根據(jù)權(quán)利要求4所述的方法，其中所述裁剪參數(shù)包括在所述原始圖像內(nèi)的用戶定義的感興趣區(qū)域并且排除在所述感興趣區(qū)域以外的用戶定義的區(qū)域。
8.根據(jù)權(quán)利要求4所述的方法，其中所述攝像裝置的所述內(nèi)在校準信息包括所述攝像裝置的焦距參數(shù)，并且其中基于與所述裁剪參數(shù)的所述關(guān)系調(diào)整所述內(nèi)在校準信息包括: 基于在第一焦距參數(shù)、構(gòu)造成縮小沿所述第一軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新垂直于所述第一軸線的第一焦距參數(shù)；以及 基于在第二焦距參數(shù)、構(gòu)造成縮小沿所述第二軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新垂直于所述第二軸線的第二焦距參數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其中所述攝像裝置的所述內(nèi)在校準信息還包括光學(xué)中心參數(shù)，并且其中基于與所述裁剪參數(shù)的所述關(guān)系調(diào)整所述內(nèi)在校準信息還包括: 基于在第一光學(xué)中心參數(shù)、構(gòu)造成縮小沿所述第一軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新相對于所述第一軸線的所述第一光學(xué)中心參數(shù)；以及基于在第二光學(xué)中心參數(shù)、構(gòu)造成縮小沿所述第二軸線的所述原始圖像的所述部分的所述裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新相對于所述第二軸線的所述第二光學(xué)中心參數(shù)。
10.一種用于在從攝像裝置獲得的裁剪后的圖像上配準圖形的方法，包括: 捕獲從后部寬視場攝像裝置獲得的具有在車輛后方的視角的原始后方圖像，所述后部寬視場攝像裝置定位成靠近所述車輛的后端； 監(jiān)測包括焦距參數(shù)和光學(xué)中心參數(shù)的所述攝像裝置的內(nèi)在校準信息； 監(jiān)測所述攝像裝置的徑向失真參數(shù)； 監(jiān)測包括位置參數(shù)和定向參數(shù)的所述攝像裝置的外部信息； 監(jiān)測包括車輛速度、定向和轉(zhuǎn)向角度參數(shù)的車輛信息；基于預(yù)定的裁剪參數(shù)生成所述裁剪后的圖像以便從所述原始圖像排除不需要的內(nèi)容，所述預(yù)定的裁剪參數(shù)被構(gòu)造成縮小所述原始后方圖像的一部分； 基于與所述預(yù)定裁剪參數(shù)的關(guān)系而更新所述內(nèi)在校準信息，包括: 基于在第一焦距參數(shù)、構(gòu)造成縮小沿第一軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第一軸線的所述第一焦距參數(shù)；以及 基于在第二焦距參數(shù)、構(gòu)造成縮小沿第二軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第二軸線的所述第二焦距參數(shù)， 基于在第一光學(xué)中心參數(shù)、構(gòu)造成縮小沿第一軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第一軸線的所述第一光學(xué)中心參數(shù)，以及基于在第二光學(xué)中心參數(shù)、構(gòu)造成縮小沿第二軸線的所述原始圖像的所述部分的所述預(yù)定裁剪參數(shù)之間的數(shù)學(xué)關(guān)系而更新沿所述第二軸線的所述第二光學(xué)中心參數(shù)； 基于所述調(diào)整后的所述攝像裝置的內(nèi)在校準信息、所述監(jiān)測的所述攝像裝置的徑向失真參數(shù)、所述監(jiān)測的所述攝像裝置的外部信息和所述監(jiān)測的車輛信息而將所述圖形動態(tài)地配準在所述裁剪后的圖像上；以及 在圖形投影顯示器上顯示所述裁剪后的圖像和在所述裁剪后的圖像上的所述動態(tài)配準的圖形，所述圖形投影顯示器包括觸摸屏顯示器、人機界面顯示器、后視鏡顯示器、側(cè)視鏡顯示器和顯示監(jiān)視器 中的一種。
【文檔編號】B60R16/02GK103448634SQ201310211936
【公開日】2013年12月18日 申請日期:2013年5月31日 優(yōu)先權(quán)日:2012年5月31日
【發(fā)明者】W.張, B.B.利特庫希, K.S.利貝克 申請人:通用汽車環(huán)球科技運作有限責(zé)任公司