本發(fā)明涉及魚眼圖像的俯視變換，尤其涉及一種基于兩次變換的魚眼圖像的俯視變換、俯視圖像獲取及映射表構(gòu)建方法。

背景技術(shù)：

隨著汽車電子行業(yè)的快速發(fā)展，行車安全的保證正從傳統(tǒng)的倒車影像逐步發(fā)展為360度環(huán)視全景。

汽車環(huán)視全景系統(tǒng)作為高級駕駛員輔助系統(tǒng)(ADAS)的一部分，能有效緩解駕駛員視線受阻問題，將汽車周圍360度范圍內(nèi)的物體直觀呈現(xiàn)給駕駛員，提高了會車、倒車等情況下的行車安全。目前，市場上采用的汽車全景系統(tǒng)幾乎都是2D的平面全景，即由俯視圖像構(gòu)成的全景系統(tǒng)。2D平面全景系統(tǒng)通常采用的實現(xiàn)流程是：(1)4路車載魚眼相機采集圖像；(2)魚眼畸變圖像校正為透視圖像；(3)透視圖像的俯視變換；(4)4路圖像的拼接和融合。圖像的俯視變換作為拼接的前置環(huán)節(jié)，其引入的誤差會直接影響拼接效果，使得全景系統(tǒng)觀感不佳?，F(xiàn)有俯視變換方法無法克服相機安裝時客觀存在的左右偏角問題，使得圖像中感興趣區(qū)域存在左右尺寸差異較大以及水平、豎直度較差的問題。

上述問題不僅發(fā)生在車載圖像領(lǐng)域，其他相近領(lǐng)域也有同樣的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種魚眼圖像的俯視變換、俯視圖像獲取及映射表構(gòu)建方法，以解決現(xiàn)有俯視變換方法受到相機安裝時客觀存在的左右偏角問題，使得圖像中感興趣區(qū)域存在左右尺寸差異較大以及水平、豎直度較差的問題。

為了解決上述問題，本發(fā)明一方面公開了一種魚眼圖像的俯視變換方法，所述方法包括：

利用魚眼圖像的透視校正圖像，確定魚眼相機前方的中間標(biāo)定板與所述魚眼圖像的標(biāo)準(zhǔn)俯視圖之間的逆透視變換矩陣；

利用所述逆透視變換矩陣對所述透視校正圖像進行第一次俯視變換，得到第一次俯視圖像；

利用所述第一次俯視圖像，確定所述魚眼相機前方的左、右標(biāo)定板與所述魚眼圖像的標(biāo)準(zhǔn)俯視圖之間的單應(yīng)性矩陣；

根據(jù)所述逆透視變換矩陣和所述單應(yīng)性矩陣得到最終的俯視圖像。

優(yōu)選的，所述根據(jù)所述逆透視變換矩陣和所述單應(yīng)性矩陣得到最終的俯視圖像包括：

將所述第一次俯視圖像按照所述單應(yīng)性矩陣進行變換得到最終的俯視圖像。

優(yōu)選的，所述左、右標(biāo)定板各為一塊。

優(yōu)選的，所述利用魚眼圖像的透視校正圖像，確定魚眼相機前方的中間標(biāo)定板與所述魚眼圖像的標(biāo)準(zhǔn)俯視圖之間的逆透視變換矩陣包括：

通過Harris角點檢測對所述透視校正圖像上所述中間標(biāo)定格板的角點進行提取，并將角點的坐標(biāo)存入矩陣m1；由提取的左上角的角點在俯視圖像上的期望像素坐標(biāo)以及所述中間標(biāo)定格板上單個小方格在俯視圖像中的期望像素尺寸來構(gòu)建與矩陣m1一一對應(yīng)的標(biāo)準(zhǔn)基點組M1；

根據(jù)所述矩陣m1和所述標(biāo)準(zhǔn)基點組M1確定所述逆透視變換矩陣。

優(yōu)選的，所述利用所述第一次俯視圖像，確定所述魚眼相機前方的左、右標(biāo)定板與所述魚眼圖像的標(biāo)準(zhǔn)俯視圖之間的單應(yīng)性矩陣包括：

對所述第一次俯視圖像上所述左、右標(biāo)定格板的角點進行提取，并將角點的坐標(biāo)存入矩陣m2；

由提取的左上角的角點在俯視圖像上的期望像素坐標(biāo)以及所述左、右標(biāo)定格板上單個小方格在俯視圖像中的期望像素尺寸來構(gòu)建與矩陣m2一一對應(yīng)的標(biāo)準(zhǔn)基點組M2；

計算所述矩陣m2和所述標(biāo)準(zhǔn)基點組M2間的單應(yīng)性矩陣H2。

優(yōu)選的，所述方法還包括根據(jù)所述魚眼圖像確定所述透視校正圖像。

優(yōu)選的，所述根據(jù)所述魚眼圖像確定所述透視校正圖像包括:

利用魚眼相機雙曲面模型擬合相機成像模型，實現(xiàn)魚眼相機的標(biāo)定，并計算雙曲面模型的內(nèi)參；

虛擬一理想透視相機，對比透視相機的小孔成像模型和魚眼相機的雙曲面模型，確定所述透視校正圖像。

優(yōu)選的，所述左、右標(biāo)定格板位于被拍攝設(shè)備的端點處，所述中間標(biāo)定格板位于相機正前方或所述左、右標(biāo)定格板的中間位置；所述左、右標(biāo)定格板的間距為預(yù)設(shè)值且兩者間成直線。

本發(fā)明另一方面公開了一種基于上述的俯視變換方法來構(gòu)建魚眼圖像與俯視圖像映射表的方法，所述方法包括：

利用所述逆透視變換矩陣和所述單應(yīng)性矩陣，對所述最終的俯視圖像進行逆俯視變換，確定所述最終的俯視圖像中的一點在所述透視校正圖像中的對應(yīng)坐標(biāo)，以建立所述最終的俯視圖像與所述透視校正圖像之間的映射表；

根據(jù)所述透視校正圖像與所述魚眼圖像之間的映射表，建立所述最終的俯視圖像與所述魚眼圖像之間的映射表。

本發(fā)明在一方面還公開了一種基于所述的構(gòu)建魚眼圖像與俯視圖像映射表的方法來獲取魚眼圖像的俯視圖像的方法，所述方法包括：

根據(jù)獲取的魚眼圖像和所述最終的俯視圖像與所述魚眼圖像之間的映射表，通過線性插值生成俯視圖像。

有益效果：

本發(fā)明基于兩次變換俯視變換方法：首先采用三塊標(biāo)定格板中的中間格板做初次俯視變換，此次變換能生成初步的俯視圖像，對相機安裝時必要的外翻偏角所造成的透視圖像上下尺寸差異問題能得到良好解決；然后采用左、右標(biāo)定格板做第二次俯視變換，此次變換能生成最終的俯視圖像，對相機安裝時多余的左右偏角所造成的圖像左右尺寸差異問題進行俯視校正。這種俯視變換方法，能有效減弱圖像左右尺寸差異和水平豎直度不佳的情況，對全景系統(tǒng)的后續(xù)拼接具有積極意義。

附圖說明

為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明俯視變換方法流程圖；

圖2為本發(fā)明標(biāo)定方格板安裝示意圖；

圖3-4為本發(fā)明通過標(biāo)定格板進行兩次俯視變換示意圖；

圖5為畸變圖像、透視圖像與俯視圖像關(guān)系圖。

具體實施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本申請中的技術(shù)方案，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本申請保護的范圍。

本發(fā)明的主旨在于基于兩次變換獲得魚眼圖像的俯視變換圖像：首先設(shè)置左、右、中標(biāo)定格板，采用中間格板做初次俯視變換，此次變換能生成初步的俯視圖像，對相機安裝時必要的外翻偏角所造成的透視圖像上下尺寸差異問題能得到良好解決；然后采用左、右標(biāo)定格板做第二次俯視變換，此次變換能生成最終的俯視圖像，對相機安裝時多余的左右偏角所造成的圖像左右尺寸差異問題進行俯視校正。這種俯視變換方法，能有效減弱圖像左右尺寸差異和水平豎直度不佳的情況，對全景系統(tǒng)的后續(xù)拼接具有積極意義。以下以車載圖像為例，對本發(fā)明進行詳細(xì)介紹。

如圖1所示，為本發(fā)明的一種具體的俯視變換方法，包括：

S11、利用魚眼圖像的透視校正圖像，確定魚眼相機前方的中間標(biāo)定板與所述魚眼圖像的標(biāo)準(zhǔn)俯視圖之間的逆透視變換矩陣；

首先，按一定布局要求，在魚眼相機前方布局三塊標(biāo)定方格板。參見圖2所示,4路魚眼相機通常安裝在汽車前l(fā)ogo、左右后視鏡下方及后牌照處，相機安裝時都會遠(yuǎn)離。根據(jù)汽車長寬尺寸和全景系統(tǒng)預(yù)定視野范圍，設(shè)定標(biāo)定板布局的極限尺寸(D1、D3)。將左、右標(biāo)定格板布置于極限尺寸處，中間格板位置可人為設(shè)置，通常布置在相機正前方或左、右標(biāo)定格板中間位置。按后續(xù)俯視變換方法中標(biāo)準(zhǔn)基點組的構(gòu)造要求對左、中、右格板的布局位置進行微調(diào)，使左、右格板間距D2、D4為一特殊確定值且擺放位置成嚴(yán)格直線。對前置相機而言，左、中、右三格板分別為3號、2號和1號板，對左側(cè)相機而言，左、中、右三格板分別為5號、4號和3號板。

針對一個相機，左、右標(biāo)定板可以各為一塊，或者可以根據(jù)需要設(shè)置多塊。

參見圖3、圖4，通過Harris角點檢測對透視圖像上中間標(biāo)定格板的角點進行提取，并將角點坐標(biāo)存入矩陣m1；由提取的左上角角點在俯視圖像上的期望像素坐標(biāo)(u₀,v₀)以及標(biāo)定格板上單個小方格在俯視圖像中的期望像素尺寸s來構(gòu)建與角點坐標(biāo)矩陣m1一一對應(yīng)的標(biāo)準(zhǔn)基點組M1；計算角點坐標(biāo)矩陣m1和標(biāo)準(zhǔn)基點組M1間的逆透視變換矩陣H1。

以圖4中間標(biāo)定格板的逆透視變換矩陣求取為例。按圖中箭頭方向一列一列地提取圖像上中間格板的角點，此時m1和M1的構(gòu)造如下：

S12、利用所述逆透視變換矩陣對所述透視校正圖像進行第一次俯視變換，得到第一次俯視圖像；

S13、利用所述第一次俯視圖像，確定所述魚眼相機前方的左、右標(biāo)定板與所述魚眼圖像的標(biāo)準(zhǔn)俯視圖之間的單應(yīng)性矩陣；

參見圖3、圖4，對第一次俯視變換圖像上左、右標(biāo)定格板的角點進行提取，并將角點坐標(biāo)存入矩陣m2；按步驟S11中所述方法構(gòu)建標(biāo)準(zhǔn)基點組M2；計算角點坐標(biāo)矩陣m2和標(biāo)準(zhǔn)基點組M2間的單應(yīng)性矩陣H2?？紤]到全景系統(tǒng)實際視野覆蓋要求較寬，可能對于極限處的左、右標(biāo)定格板成像較為模糊，針對可能存在的左、右格板角點不易提取的情況可將初次俯視圖像中單個黑、白小方格最小包圍矩形的幾何中心坐標(biāo)作為角點坐標(biāo)，相應(yīng)的構(gòu)造標(biāo)準(zhǔn)基點組M2。

S14、根據(jù)所述逆透視變換矩陣和所述單應(yīng)性矩陣得到最終的俯視圖像。

如對原透視校正圖像按逆透視變換矩陣H1和單應(yīng)性矩陣H2做最終的俯視變換：H2×H1×I。

或；

將所述第一次俯視圖像按照所述單應(yīng)性矩陣H2進行變換得到最終的俯視圖像。

在本發(fā)明的另一實施例中，所述方法還包括預(yù)先根據(jù)所述魚眼圖像確定所述透視校正圖像。具體可利用現(xiàn)有技術(shù)中的魚眼相機雙曲面模型擬合相機成像模型，實現(xiàn)魚眼相機的標(biāo)定，并計算雙曲面模型的內(nèi)參(a₀,a₁,...,a₄)。虛擬一理想透視相機，對比透視相機的小孔成像模型和魚眼相機的雙曲面模型，實現(xiàn)魚眼畸變圖像的透視校正。魚眼相機的幾何成像模型包括但不局限于雙曲面模型。

通過上述設(shè)置標(biāo)定格板，兩次變換實現(xiàn)了對魚眼圖像的俯視變換，得到了俯視變換圖像。但如果利用上述方法逐步進行變換得到俯視圖像，將無法滿足汽車環(huán)視全景系統(tǒng)的實時性要求。為此本發(fā)明可構(gòu)建俯視圖像和原魚眼畸變圖之間的映射表，這樣一旦獲得魚眼圖像即可根據(jù)映射表得到俯視圖像。

本發(fā)明構(gòu)建映射表的方法：俯視圖像經(jīng)逆俯視變換(H2×H1)^-1,求得俯視圖中一點在透視圖像中的對應(yīng)點坐標(biāo)；同時，透視圖像中點在原魚眼畸變圖像校正時已與畸變圖像生成映射表；從而，可生成俯視圖像和原魚眼畸變圖像間的映射表：

即利用所述逆透視變換矩陣和所述單應(yīng)性矩陣，對所述最終的俯視圖像進行逆俯視變換，確定所述最終的俯視圖像中的一點在所述透視校正圖像中的對應(yīng)坐標(biāo)，以建立所述最終的俯視圖像與所述透視校正圖像之間的映射表；根據(jù)所述透視校正圖像與所述魚眼圖像之間的映射表，建立所述最終的俯視圖像與所述魚眼圖像之間的映射表。

基于上述映射表獲取魚眼圖像的俯視圖像的方法包括：

根據(jù)獲取的魚眼圖像和所述最終的俯視圖像與所述魚眼圖像之間的映射表，通過線性插值生成俯視圖像。

綜上可見，基于標(biāo)定格板和兩次變換實現(xiàn)俯視變換，減弱了圖像感興趣區(qū)域的左右尺寸差異、改善了水平豎直度不佳的問題。而基于此構(gòu)建映射表，根據(jù)映射表由魚眼圖像可直接獲得俯視圖像，滿足了很多情況下對俯視圖像的實時性要求。

基于本發(fā)明所建立的魚眼畸變圖像、最終俯視圖像以及校正后的透視圖像之間的關(guān)系如圖5所示。

雖然通過實施例描繪了本申請，本領(lǐng)域普通技術(shù)人員知道，本申請有許多變形和變化而不脫離本申請的精神，希望所附的權(quán)利要求包括這些變形和變化而不脫離本申請的精神。