專利名稱：立體圖像處理器和立體圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體圖像處理器，其基于通過拍攝同一對象的圖像而獲得的立體圖像(基準(zhǔn)圖像和參照圖像)來計(jì)算圖像之間由視差導(dǎo)致的部分位移。
背景技術(shù)：
傳統(tǒng)地，已知如下立體圖像處理器，其基于使用立體照相機(jī)拍攝同一對象的圖像時(shí)獲得的兩個圖像(基準(zhǔn)圖像和參照圖像)來計(jì)算圖像之間的部分位移，并基于圖像之間的部分位移測量到該對象的距離。立體圖像處理器正處在用于如下設(shè)備的應(yīng)用研究中，所述設(shè)備諸如基于通過使用車載照相機(jī)拍攝前方車輛的圖像而獲得的圖像來測量到該車輛的距離的設(shè)備；或者基于通過使用車內(nèi)照相機(jī)拍攝駕駛員的面部的圖像而獲得的圖像來測量到面部器官(諸如眼睛和鼻子)的距離并估計(jì)駕駛員的面部方向的設(shè)備。然而，當(dāng)前照相機(jī)(諸如車載或車內(nèi)照相機(jī))的更小尺寸已經(jīng)導(dǎo)致更小的照相機(jī)間距并且因此在立體圖像之間產(chǎn)生更小的部分位移。傳統(tǒng)地，在這樣的立體圖像處理器中使用立體配對(match)方法(其用于立體圖像處理的視差計(jì)算)，諸如絕對差和(SAD)方法和純相位相關(guān)方法(POC)。在SAD方法中，通過使用矩形窗分別從基準(zhǔn)圖像和參照圖像中剪切出部分圖像， 并且計(jì)算部分圖像的亮度值之間的差的絕對值的總和。這里，諸如SAD值的特性值表示圖像的亮度差異度(level)。然后，在基線方向上以每一(per)像素為基礎(chǔ)移動(shift)參照圖像的矩形窗的位置，以找到使SAD值最小的對準(zhǔn)(alignment)，其被定義為“像素級視差 (即，部分位移)”。此后，最小值附近的三個SAD值(即，SAD值的最小值、第二小值和第三小值)被用于通過等距線性擬合來計(jì)算“子像素級視差(即，部分位移)”。傳統(tǒng)地已經(jīng)使用了這樣的SAD方法，并且其特征在于相對高的分析分辨率 (analytical resolution)且較少的運(yùn)算量。然而，SAD方法具有子像素級視差計(jì)算的低精度；SAD方法僅可以在1/4到1/6像素精度的量級上確定視差(即，圖像之間的部分位移)， 并且難以滿足對高精度視差計(jì)算功能的需求。因此，近來，POC方法由于其在視差計(jì)算上的高確度而引起注意。在POC方法中， 通過使用用于減小來自使用漢寧(Harming)窗等剪切圖像時(shí)發(fā)生的諧波的影響的窗口函數(shù)來分別從基準(zhǔn)圖像和參照圖像中剪切出部分圖像，并對部分圖像執(zhí)行2D傅立葉變換。將 2個傅立葉圖像數(shù)據(jù)組合，并且將振幅成分(component)歸一化。然后對數(shù)據(jù)執(zhí)行2D逆傅立葉變換，以確定相位限定(phase-limited)相關(guān)系數(shù)。然后基于相關(guān)峰值確定圖像之間的部分位移的量。稱為2D POC方法的這種POC方法具有在視差計(jì)算上具有非常高的精度的優(yōu)點(diǎn)。然而，2D POC方法在視差計(jì)算中需要大運(yùn)算量，并且難以在短時(shí)間中進(jìn)行運(yùn)算。另外，2D POC 方法在分析分辨率方面次于SAD方法，分析分辨率是屏幕上可以區(qū)分孤立對象并可以測量距離的量。近來，提出了 ID POC方法(見專利文獻(xiàn)1)，其需要比2D POC方法少的運(yùn)算。在IDPOC方法中，通過使用漢寧窗分別從基準(zhǔn)圖像和參照圖像中剪切出部分圖像，并且對部分圖像執(zhí)行ID傅立葉變換。將2個傅立葉圖像數(shù)據(jù)組合，并且將振幅成分歸一化。然后對數(shù)據(jù)執(zhí)行ID逆傅立葉變換以確定相位限定相關(guān)系數(shù)。換言之，為了減少運(yùn)算，執(zhí)行ID逆傅立葉變換而非2D逆傅立葉變換。然而，即使在傳統(tǒng)ID POC方法中已經(jīng)稍微減少了運(yùn)算，所述減少也仍然不夠，并且計(jì)算視差所需的運(yùn)算仍然大得多(與SAD方法比較)；因此，不易在短時(shí)間中進(jìn)行運(yùn)算。另外，ID POC方法在分析分辨率方面顯著地次于SAD方法，其中分析分辨率是屏幕上可以區(qū)分孤立對象并且可以測量距離的數(shù)量。引用列表專利文獻(xiàn)專利文獻(xiàn)1 日本專利公開特許公報(bào)(Laid-Open)No. 2008-123414

發(fā)明內(nèi)容
技術(shù)問題已經(jīng)在這樣的情形下做出了本發(fā)明。本發(fā)明的目的是提供一種立體圖像處理器， 其具有改善的視差計(jì)算精度和分析分辨率，且需要較少的運(yùn)算用于視差計(jì)算并且能夠快速處理。解決問題的方案本發(fā)明的一個方面是立體圖像處理器。該設(shè)備是基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像和參照圖像來計(jì)算圖像之間由視差導(dǎo)致的部分位移的立體圖像處理器，該處理器包括圖像配對單元，用于對基準(zhǔn)圖像和參照圖像中分別包括的同一對象的部分圖像執(zhí)行圖像配對，并基于圖像配對的結(jié)果檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移；逆相位濾波器處理單元，用于針對同一對象的具有最小像素精度部分位移的部分圖像， 利用逆相位濾波器對來自參照圖像的像素值進(jìn)行濾波，其中逆相位濾波器使用來自基準(zhǔn)圖像的經(jīng)順序顛倒的像素值作為濾波器系數(shù)；以及峰值位置檢測單元，用于檢測利用逆相位濾波器的濾波的輸出值最大的峰值位置，并基于峰值位置檢測基準(zhǔn)圖像和參照圖像之間的子像素精度部分位移。本發(fā)明的另一方面是立體圖像處理器。該設(shè)備是基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像和參照圖像來計(jì)算圖像之間由視差導(dǎo)致的部分位移的立體圖像處理器，該處理器包括圖像配對單元，用于對基準(zhǔn)圖像和參照圖像中分別包括的同一對象的部分圖像執(zhí)行圖像配對，并基于圖像配對的結(jié)果檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移；互相關(guān)計(jì)算單元，用于對于同一對象的具有最小像素精度部分位移的部分圖像，計(jì)算基準(zhǔn)圖像和參照圖像之間的互相關(guān)值；以及峰值位置檢測單元，用于檢測互相關(guān)值最大的峰值位置，并基于峰值位置檢測基準(zhǔn)圖像和參照圖像之間的子像素精度部分位移。本發(fā)明的又一方面是立體圖像處理器。該設(shè)備是基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像f(x，y)和參照圖像g(x，y)來計(jì)算圖像之間由視差導(dǎo)致的部分位移的立體圖像處理器，該處理器包括圖像配對單元，用于對基準(zhǔn)圖像和參照圖像中分別包括的同一對象的部分圖像 f (X，y)和 g (X，y)(其中，xa-wh/2 xa+wh/2，ya-wv/2 彡 y 彡 ya+wv/2) 執(zhí)行圖像配對，并基于圖像配對的結(jié)果在作為基線方向的χ方向上檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移η ；計(jì)算單元，用于對通過使用窗口函數(shù)w(m)在像素精度部分位移η最小的位置剪切出的ID部分圖像f’ (m) =f(xa+m,ya) Xw(m)和g’ (m) =g(xa+n+m, ya)(其中，J彡m彡K)計(jì)算以下表達(dá)式[表達(dá)式3]z{m) = Y4 f\-k) χ g\m -幻…(3)；
k=J以及峰值位置檢測單元，用于檢測所述計(jì)算的輸出值ζ (m)最大的峰值位置，并基于峰值位置檢測基準(zhǔn)圖像和參照圖像之間的子像素精度部分位移δ。本發(fā)明的再一方面是立體圖像處理方法。該方法是用于基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像和參照圖像來計(jì)算圖像之間由視差導(dǎo)致的部分位移的立體圖像處理方法，該方法包括對基準(zhǔn)圖像和參照圖像中分別包括的同一對象的部分圖像執(zhí)行圖像配對，并基于圖像配對的結(jié)果檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移；針對同一對象的具有最小像素精度部分位移的部分圖像，利用逆相位濾波器對來自參照圖像的像素值進(jìn)行濾波，其中逆相位濾波器使用來自基準(zhǔn)圖像的經(jīng)順序顛倒的像素值作為濾波器系數(shù)；以及檢測利用逆相位濾波器的濾波的輸出值最大的峰值位置，并基于峰值位置檢測基準(zhǔn)圖像和參照圖像之間的子像素精度部分位移。如下所述，本發(fā)明具有其它方面。因此，本發(fā)明的公開意在提供本發(fā)明的某些方面，并非意在將本發(fā)明的范圍限制為這里所述和所主張的。


圖1是示出根據(jù)實(shí)施例的立體圖像處理器的結(jié)構(gòu)的框圖。圖2是用于圖示像素級配對的圖。圖3是用于圖示子像素級配對的圖。圖4是用于圖示利用逆相位濾波器進(jìn)行濾波的處理的圖。圖5是用于圖示使用sine函數(shù)檢測峰值位置的處理的圖形表示。圖6是用于圖示使用二次曲線近似來檢測峰值位置的處理的圖形表示。圖7是用于圖示根據(jù)該實(shí)施例的立體圖像處理器的操作的流程圖。圖8是用于圖示根據(jù)該實(shí)施例的子像素計(jì)算(即，使用逆相位濾波器檢測峰值位置)的流程的流程圖。圖9是用于圖示根據(jù)又一實(shí)施例的立體圖像處理器的結(jié)構(gòu)的框圖。圖10是用于圖示計(jì)算互相關(guān)值的處理的圖。圖11是距離測量精度的比較結(jié)果的圖形表示。圖12示出運(yùn)算時(shí)間的比較結(jié)果。圖13是用于圖示根據(jù)另一實(shí)施例的立體圖像處理器的結(jié)構(gòu)的框圖。
具體實(shí)施例方式現(xiàn)在將詳細(xì)描述本發(fā)明。然而，下面的詳細(xì)描述和附圖并非意在限制本發(fā)明。根據(jù)本發(fā)明的立體圖像處理器是基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像和參照圖像來計(jì)算圖像之間由視差導(dǎo)致的部分位移的立體圖像處理器，該處理器包括圖像配對單元，用于對分別包括在基準(zhǔn)圖像和參照圖像中的同一對象的部分圖像執(zhí)行圖像配對，并基于圖像配對的結(jié)果檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移；逆相位濾波器處理單元，用于針對同一對象的具有最小像素精度部分位移的部分圖像，利用逆相位濾波器對來自參照圖像的像素值進(jìn)行濾波，其中逆相位濾波器使用來自基準(zhǔn)圖像的經(jīng)順序顛倒的像素值作為濾波器系數(shù)；以及峰值位置檢測單元，用于檢測利用逆相位濾波器進(jìn)行濾波的輸出值最大的峰值位置，并基于峰值位置檢測基準(zhǔn)圖像和參照圖像之間的子像素精度部分位移。利用此結(jié)構(gòu)，通過圖像配對檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移， 并且針對具有最小像素精度部分位移的部分圖像，利用逆相位濾波器進(jìn)行濾波?；跒V波的結(jié)果檢測峰值位置，并且計(jì)算基準(zhǔn)圖像和參照圖像之間的子像素精度部分位移。因此可以改善視差計(jì)算的精度和分析分辨率。在此情況下，用于檢測像素精度部分位移的圖像配對需要更少的運(yùn)算，并且使用逆相位濾波的濾波也需要更的運(yùn)算，因?yàn)榭梢詢H使用具有最小像素精度部分位移的部分圖像用于執(zhí)行濾波。因此，可以進(jìn)行快速視差計(jì)算。根據(jù)本發(fā)明，提供了逆相位濾波器處理單元，其針對同一對象的具有最小像素精度部分位移的部分圖像，利用逆相位濾波器執(zhí)行濾波。因此，可以改善視差計(jì)算的精度和分析分辨率，并且可以進(jìn)行快速處理，因?yàn)樵谝暡钣?jì)算中需要更少的運(yùn)算。(實(shí)施例1)現(xiàn)在將在下面參考附圖描述根據(jù)本發(fā)明的實(shí)施例的立體圖像處理器。在此實(shí)施例中，將作為示例對用于在諸如如下設(shè)備的設(shè)備中使用的立體圖像處理器進(jìn)行描述通過使用車載照相機(jī)測量到前方車輛的距離的設(shè)備；或者通過使用車內(nèi)照相機(jī)估計(jì)駕駛員的面部方向的設(shè)備。現(xiàn)在將在下面參考附圖描述根據(jù)本實(shí)施例的立體圖像處理器的結(jié)構(gòu)。圖1是根據(jù)本實(shí)施例的立體圖像處理器的結(jié)構(gòu)的框圖。如圖1中所示，立體圖像處理器1包括立體圖像輸入單元3，其接收由立體照相機(jī)2拍攝的立體圖像(基準(zhǔn)圖像和參照圖像)作為輸入； 以及圖像校正單元4，用于在立體圖像(基準(zhǔn)圖像和參照圖像)中校正鏡頭畸變以及并行地布置光軸，作為預(yù)處理。具體地，圖像校正單元4使用校準(zhǔn)數(shù)據(jù)來生成與實(shí)際空間中的對象一樣真實(shí)(straight)地反映真實(shí)對象的照相圖像。圖像校正單元4還執(zhí)行坐標(biāo)變換用于生成如下照相圖像無論將對象拍攝在照相圖像中的哪里，該照相圖像總是以同一尺寸反映在照相機(jī)光軸的方向上位于一定距離處的對象；并且圖像校正單元4平行地布置照相機(jī)光軸并移動圖像以使得無限遠(yuǎn)點(diǎn)處的對象可以在兩個照相圖像中位于相同位置。雖然這里已經(jīng)通過在坐標(biāo)變換之后使用圖像移動來實(shí)現(xiàn)圖像校正的方法作為示例而進(jìn)行了描述，但是本發(fā)明的范圍不限于此，并且任何手段可以用于執(zhí)行這樣的校正，諸如通過使用坐標(biāo)變換來在鏡頭畸變校正的同時(shí)平行地布置光軸，只要可以校正鏡頭畸變并且可以校正兩個照相機(jī)之間的位置關(guān)系即可。雖然已經(jīng)對僅執(zhí)行圖像校正作為預(yù)處理的情況進(jìn)行了描述，但并不意在限制預(yù)處理的類型，諸如在典型圖像處理中使用的對比度校正以及使用拉普拉斯(Laplacian)濾波器的邊緣增強(qiáng)，并且可以省略這樣的處理。因此，如果實(shí)施對比度校正，則其可以配對基準(zhǔn)圖像和參照圖像之間的亮度變化的動態(tài)范圍，從而可以進(jìn)行更精確的圖像配對。同樣，如果實(shí)施使用拉普拉斯濾波器的邊緣增強(qiáng)，則其可以去除由照相機(jī)之間的個體差異(即，基準(zhǔn)圖像和參照圖像之間的明亮度 (brightness)差異)導(dǎo)致的DC成分，從而可以進(jìn)行更精確的圖像配對。在圖像的坐標(biāo)變化和移動中，通常將以每一像素為基礎(chǔ)采樣的某一整數(shù)位置處的亮度信息轉(zhuǎn)換為實(shí)數(shù)位置處的另外的亮度信息。為了實(shí)現(xiàn)此轉(zhuǎn)換，可以采用使用線性插值的行間插值(interlinear)方法、使用要轉(zhuǎn)換的位置附近的亮度信息的雙三次方法等。雖然已經(jīng)引用行間插值方法和雙三次方法作為用于坐標(biāo)變換的方法，但是本發(fā)明的范圍并非限制于此，并且可以使用任何方法用于這樣的轉(zhuǎn)換，只要其可以用于坐標(biāo)變換即可。立體圖像處理器1包括第一圖像剪切單元5和第一配對單元6作為用于像素級配對的機(jī)構(gòu)。圖2是用于圖示像素級配對的示例的圖。第一圖像剪切單元5使用矩形窗從基準(zhǔn)圖像和參照圖像中的每一個中剪切出數(shù)據(jù)。圖2示出如何使用具有預(yù)定窗口尺寸(垂直尺寸個像素；水平尺寸wh個像素)的矩形窗來從基準(zhǔn)圖像和參照圖像剪切出數(shù)據(jù)。 在此情況下，中心在預(yù)定位置(xa，ya)的矩形窗被用于從基準(zhǔn)圖像剪切出數(shù)據(jù)，如圖2中所示。另一方面，在從參照圖像剪切出數(shù)據(jù)的同時(shí)，在水平方向(X方向)上以每一像素為基礎(chǔ)移動矩形窗的位置(Xa，ya)。第一配對單元6計(jì)算從基準(zhǔn)圖像和參照圖像剪切出的數(shù)據(jù)的SAD值，并基于下列表達(dá)式(1)確定圖像之間使SAD值最小的部分位移η[表達(dá)式1]
ya+wv/2 xa+wh/2SAD(n) = Yj Y4\f(x + i,y + j)-g(x + i + n,y + j)[--(l)
j=ya-wv! 2 i=xa-wh/2這樣，第一配對單元6具有如下功能對從基準(zhǔn)圖像和參照圖像剪切出的部分圖像(基準(zhǔn)圖像和參照圖像)執(zhí)行圖像配對，并基于圖像配對的結(jié)果檢測基準(zhǔn)圖像和參照圖像之間的像素精度部分位移。第一配對單元6對應(yīng)于本發(fā)明的“圖像配對手段”。雖然這里已經(jīng)作為示例對使用SAD方法用于像素級配對的情況進(jìn)行了描述，但是本發(fā)明的范圍并不限制于此，并且諸如差平方和(SSD:Sum of Squared Differences)方法的任何其它方法可以用于像素級配對，只要他們需要較少的運(yùn)算即可。立體圖像處理器1還包括第二圖像剪切單元7和第二配對單元8作為用于子像素級配對的機(jī)構(gòu)。圖3是用于圖示子像素級配對的示例的圖。第二圖像剪切單元7使用窗口函數(shù)來從基準(zhǔn)圖像和參照圖像中的每一個中剪切出數(shù)據(jù)。圖3示出如何使用諸如下面的表達(dá)式⑵的漢寧窗的窗口函數(shù)w(n)來從基準(zhǔn)圖像和參照圖像剪切出數(shù)據(jù)。在此情況下，中心在預(yù)定位置(xa，ya)的漢寧窗被用于從基準(zhǔn)圖像剪切出數(shù)據(jù)，而中心在如上所述在像素級配對中配對的位置(xa+n，ya)的漢寧窗被用于從參照圖像剪切出數(shù)據(jù)，如圖3中所示。 雖然在圖1中省略，但與在像素級配對中配對的位置(xa+n，ya)關(guān)聯(lián)的信息“η”被從第一配對單元6發(fā)送到第二圖像剪切單元7。[表達(dá)式2]w(m)=丄 cos (π ~-~) + 1 L.. (2)
2 1 K-J J雖然這里已經(jīng)作為示例對“垂直尺寸1個像素；以及水平尺寸K_J個像素”的窗口尺寸的情況進(jìn)行了描述，但是本發(fā)明的范圍并不限制于此。此外，雖然已經(jīng)對漢寧窗的窗口函數(shù)的情況進(jìn)行了描述，但是可以使用任何其它窗口函數(shù)。第二配對單元8包括逆相位濾波器單元9，用于利用逆相位濾波器對在像素級配對中配對的位置處的部分圖像進(jìn)行濾波；以及峰值檢測單元10，用于從來自逆相位濾波器單元9的輸出值檢測峰值位置?，F(xiàn)在將參考附圖對逆相位濾波器單元9中執(zhí)行的處理進(jìn)行詳細(xì)描述。圖4是用于圖示利用逆相位濾波器進(jìn)行濾波的示例的圖。圖4中的示例示出將表示“0，0，1，2，3，4，5， 0，0”的輸入信號x(m)輸入到逆相位濾波器的情況。在此情況下，將逆相位濾波器h(k)的抽頭長度(在第二圖像剪切單元7中用于剪切出部分圖像的窗口函數(shù)w(n)的長度K-J)設(shè)定為“5”，并且將通過5個數(shù)據(jù)(基準(zhǔn)圖像的亮度值)順序顛倒而獲得的一組值“5，4，3，2， 1”用作濾波器系數(shù)。假設(shè)位置k作為輸入信號的中心，則利用逆相位濾波器對圍繞k的5 個數(shù)據(jù)(即，k-2，k-l，k，k+l，k+2)進(jìn)行濾波，該逆相位濾波器計(jì)算總和作為輸出信號ζ (m)。 在此逆相位濾波器單元9中，根據(jù)像素級配對中檢測的部分位移η (像素精度部分位移)的大小，設(shè)定逆相位濾波器的抽頭長度。例如，如果像素精度部分位移η較小，則逆相位濾波器的抽頭長度也相應(yīng)地變得較小。具體地，參考圖4，例如當(dāng)t = 0時(shí)，利用逆相位濾波器“5，4，3，2，1”對圍繞t = 0的5個數(shù)據(jù)(8卩，0，0，1，2，3)進(jìn)行濾波，并且計(jì)算輸出值“26”(= 0X1+0X2+1X3+2X4+3X5)。這里所使用的字符“t”表示通過漢寧窗從參照圖像剪切出的部分圖像中的坐標(biāo)點(diǎn)，如圖4中所示。當(dāng)t = 1時(shí)，則利用逆相位濾波器“5，4，3， 2，1”對圍繞t = 1的5個數(shù)據(jù)(8卩，0，1，2，3，4)進(jìn)行濾波，并且計(jì)算輸出值“40” (= 0X1+1X2+2X3+3X4+4X5)。同樣，當(dāng) t = 2，t = 3 禾口 t = 4 時(shí)，分別計(jì)算輸出值“55”、 “40”和“26”。這樣，利用逆相位濾波器的濾波的特征在于其對稱的(在圖4中，關(guān)于t = 2雙側(cè)對稱性)且在中心具有峰值的輸出信號。另外，逆相位濾波器是所謂的HR濾波器的類型，因此特征在于其是線性移不變系統(tǒng)，其中具有任何移動的輸入信號導(dǎo)致具有與輸入信號相同移動量的輸出信號。這意味著即使在輸入具有比采樣間隔小的移動間隔時(shí)，輸入也將具有與輸入相同的移動量，并且輸出將具有在經(jīng)移動的信號中的采樣點(diǎn)處所取得的值。在逆相位濾波器單元9中，通過基準(zhǔn)圖像的亮度值順序顛倒而獲得的值f’ (-k)被用作逆相位濾波器的濾波器系數(shù)，并且參照圖像的亮度值g’ (m)是輸入信號x(m)。因此， 由此可見，在逆相位濾波器單元9處獲得的輸出信號ζ (m)可以通過下列表達(dá)式C3)計(jì)算[表達(dá)式3]
權(quán)利要求
1.立體圖像處理器，包括立體圖像獲取單元，包括第一成像系統(tǒng)和第二成像系統(tǒng)，所述立體圖像獲取單元通過用所述第一成像系統(tǒng)拍攝對象的圖像來獲取基準(zhǔn)圖像并通過用所述第二成像系統(tǒng)拍攝所述對象的圖像來獲取參照圖像；圖像配對單元，從立體圖像獲取所述基準(zhǔn)圖像和所述參照圖像，利用第一窗口函數(shù)從所述基準(zhǔn)圖像提取中心在預(yù)定參考點(diǎn)的第一部分圖像，并從所述參照圖像中的預(yù)定義區(qū)域得出對應(yīng)點(diǎn)，所述對應(yīng)點(diǎn)是相對于所述第一部分圖像的圖像亮度差異度最小的第二部分圖像中的中心點(diǎn)；濾波器單元，從所述立體圖像獲取所述基準(zhǔn)圖像和所述參照圖像，利用第二窗口函數(shù)從所述基準(zhǔn)圖像提取中心在預(yù)定參考點(diǎn)的第三部分圖像，從所述參照圖像提取中心在所述對應(yīng)點(diǎn)的第四部分圖像，并基于包含在所述第三部分圖像中的各個坐標(biāo)點(diǎn)的亮度值序列的坐標(biāo)順序顛倒后的值、以及包含在所述第四部分圖像中的各個坐標(biāo)點(diǎn)的亮度值，生成輸出信號序列；以及峰值位置檢測單元，從所獲取的輸出信號序列檢測具有最大輸出值的輸出信號，以基于所檢測的輸出信號在所述輸出信號序列中的位置來確定所述基準(zhǔn)圖像和所述參照圖像之間的視差。
2.如權(quán)利要求1所述的立體圖像處理器，所述第二窗口函數(shù)是在一個周期的相對邊緣上提供比所述第一窗口函數(shù)更連續(xù)變化的窗口函數(shù)。
3.如權(quán)利要求1所述的立體圖像處理器，所述濾波器單元以所述第三部分圖像和所述第四部分圖像中的坐標(biāo)的相對位置為基礎(chǔ)，對包含在所述第三部分圖像中的各個坐標(biāo)點(diǎn)的亮度值序列的坐標(biāo)順序顛倒后的值、與包含在所述第四部分圖像中的各個坐標(biāo)點(diǎn)的亮度值求和，以生成輸出信號序列。
4.如權(quán)利要求1所述的立體圖像處理器，所述峰值位置檢測單元使用sine函數(shù)來檢測所述峰值位置。
5.如權(quán)利要求1所述的立體圖像處理器，所述峰值位置檢測單元使用二次曲線近似來檢測所述峰值位置。
6.如權(quán)利要求1所述的立體圖像處理器，還包括配對誤差檢測單元，獲取由所述濾波器單元生成的輸出信號序列，并基于包含在所述輸出信號序列中的輸入信號的值，判定由所述圖像配對單元得出的所述第二部分圖像中的中心點(diǎn)不應(yīng)被采用作為所述對應(yīng)點(diǎn)。
7.如權(quán)利要求1所述的立體圖像處理器，基于在由所述圖像配對單元得出的所述對應(yīng)點(diǎn)與所述參考點(diǎn)之間的坐標(biāo)軸上的部分位移量，確定所述第二窗口函數(shù)的窗口長度。
8.立體圖像處理方法，包括在包括第一成像系統(tǒng)和第二成像系統(tǒng)的立體圖像獲取單元中，通過用所述第一成像系統(tǒng)拍攝對象的圖像來獲取基準(zhǔn)圖像并通過用所述第二成像系統(tǒng)拍攝所述對象的圖像來獲取參照圖像；在圖像配對單元中，從立體圖像獲取所述基準(zhǔn)圖像和所述參照圖像，利用第一窗口函數(shù)從所述基準(zhǔn)圖像提取中心在預(yù)定參考點(diǎn)的第一部分圖像，并從所述參照圖像中的預(yù)定義區(qū)域得出對應(yīng)點(diǎn)，所述對應(yīng)點(diǎn)是相對于所述第一部分圖像的圖像亮度差異度最小的第二部分圖像中的中心點(diǎn)；在濾波器單元中，從所述立體圖像獲取所述基準(zhǔn)圖像和所述參照圖像，利用第二窗口函數(shù)從所述基準(zhǔn)圖像提取中心在預(yù)定參考點(diǎn)的第三部分圖像，從所述參照圖像提取中心在所述對應(yīng)點(diǎn)的第四部分圖像，并基于包含在所述第三部分圖像中的各個坐標(biāo)點(diǎn)的亮度值序列的坐標(biāo)順序顛倒后的值、以及包含在所述第四部分圖像中的各個坐標(biāo)點(diǎn)的亮度值，生成輸出信號序列；以及在峰值位置檢測單元中，從所獲取的輸出信號序列檢測具有最大輸出值的輸出信號， 以基于所檢測的輸出信號在所述輸出信號序列中的位置來確定所述基準(zhǔn)圖像和所述參照圖像之間的視差。
9.立體圖像處理器，基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像和參照圖像來計(jì)算圖像之間由視差導(dǎo)致的部分位移，所述處理器包括圖像配對單元，對分別包含在所述基準(zhǔn)圖像和所述參照圖像中的所述同一對象的部分圖像執(zhí)行圖像配對，并基于所述圖像配對的結(jié)果檢測所述基準(zhǔn)圖像和所述參照圖像之間的像素精度部分位移；互相關(guān)計(jì)算單元，對于所述同一對象的具有最小像素精度部分位移的部分圖像，計(jì)算所述基準(zhǔn)圖像和所述參照圖像之間的互相關(guān)值；以及峰值位置檢測單元，檢測所述互相關(guān)值最大的峰值位置，并基于所述峰值位置檢測所述基準(zhǔn)圖像和所述參照圖像之間的子像素精度部分位移。
10.立體圖像處理器，基于通過拍攝同一對象的圖像而獲得的基準(zhǔn)圖像f(x，y)和參照圖像g(x，y)來計(jì)算圖像之間由視差導(dǎo)致的部分位移，所述處理器包括圖像配對單元，對分別包含在所述基準(zhǔn)圖像和所述參照圖像中的所述同一對象的部分圖像f(x，y)和g(x，y)執(zhí)行圖像配對，并基于所述圖像配對的結(jié)果檢測所述基準(zhǔn)圖像和所述參照圖像之間在作為基線方向的χ方向上的像素精度部分位移n，其中， xa-wh/2 ^ χ ^ xa+wh/2, ya~wv/2 ^ y ^ ya+wv/2 ；計(jì)算單元，對通過使用窗口函數(shù)W (m)在像素精度部分位移η最小的位置處剪切出的ID 部分圖像 f’ (m) = f(xa+m, ya) Xw(m)和 g’ (m) = g(xa+n+m, ya)計(jì)算以下表達(dá)式z(m) = fjf(-k)xg'(m-k)k=J其中，JSmSK;以及峰值位置檢測單元，檢測所述計(jì)算的輸出值ζ (m)最大的峰值位置，并基于所述峰值位置檢測所述基準(zhǔn)圖像和所述參照圖像之間的子像素精度部分位移S。
全文摘要
一種立體圖像處理器(1)在第一配對單元(6)中對基準(zhǔn)圖像和參照圖像中包括的同一對象的部分圖像執(zhí)行圖像配對處理，并基于所述圖像配對處理的結(jié)果檢測所述基準(zhǔn)圖像和所述參照圖像之間的以像素為單位的位移。接著，在第二配對單元(8)的逆相位濾波器單元(9)中，對于所述同一對象的具有以像素為單位的最小位移的部分圖像，將使用逆相位濾波器的濾波處理應(yīng)用至參照圖像的像素值，其中所述逆相位濾波器將基準(zhǔn)圖像的一行像素值的反向值作為濾波器系數(shù)。然后，在峰值檢測單元(10)中，檢測使用逆相位濾波器的濾波處理的輸出值達(dá)到最大的峰值位置，并且基于所述峰值位置檢測基準(zhǔn)圖像和參照圖像的以子像素為單位的位移。因此，提供了一種立體圖像處理器，其能夠在視差計(jì)算需要較小的運(yùn)算負(fù)載的情況下，改善視差計(jì)算的精度和分析分辨率并加快處理。
文檔編號G01B11/26GK102369550SQ20108001557
公開日2012年3月7日 申請日期2010年3月5日 優(yōu)先權(quán)日2009年3月31日
發(fā)明者丸谷健介, 南里卓也, 西村洋文 申請人:松下電器產(chǎn)業(yè)株式會社