濾波裝置及環(huán)境識別系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種濾波裝置及環(huán)境識別系統(tǒng)，通過對評價函數的評價值進行恰當地評價而能夠有效地排除本來應視為無效的差分值。本發(fā)明的濾波裝置具備：評價值導出部(160)，對于具有相互關聯(lián)性的一對圖像，導出表示從一個圖像任意地提取的區(qū)塊和從另一個比較對象提取的多個區(qū)塊之間的相關性的多個評價值；基準波形設定部(162)，在根據多個評價值而形成的變化波形中設定包含相關性最高的評價值的基準波形；差值判定部(164)，判定變化波形中是否存在與基準波形相似的相似波形，并基于該判定結果來判定相關性最高的評價值作為差值是否有效。
【專利說明】濾波裝置及環(huán)境識別系統(tǒng)

【技術領域】
[0001]本發(fā)明涉及求出多個比較對象中的對象物的差值(視差)時，判定該差值是否有效的濾波裝置和環(huán)境識別系統(tǒng)。

【背景技術】
[0002]以往，檢測位于本車輛的前方的車輛等特定物，以避免與前行車輛的碰撞(碰撞回避控制)，或以使本車輛與前行車輛的車距保持在安全距離的方式進行控制(巡航控制)的技術已被人所知(例如，專利文獻I)。
[0003]在這樣的碰撞回避控制、巡航控制中，為了得到位于本車輛前方的對象物的與本車輛之間的相對距離，例如使用視角不同的兩個攝像裝置，分別從其中獲取圖像數據，并利用圖案匹配導出視差，所謂圖案匹配是從基于另一個圖像數據的圖像(以下，稱為比較圖像)中檢索與基于從一個圖像數據的圖像(以下，稱為基準圖像)任意提取的區(qū)塊(以下，稱為基準區(qū)塊)相關性高的區(qū)塊(以下，稱為比較區(qū)塊)。然后，參照攝像裝置的設置位置和/或焦距等拍攝參數，使用通過三角測量法進行的所謂立體視覺法，由被導出的視差求出對象物相對于攝像裝置的相對距離，變換為相對距離加上水平距離和高度的三維位置信息。然后，使用該三維位置信息進行各種識別處理。在此，“水平”表示畫面橫向，后述的“垂直”表示畫面縱向。
[0004]在上述圖案匹配中，在比較圖像上一邊使區(qū)塊沿水平方向移動一邊計算與基準圖像的區(qū)塊的相關性，將相關性最高的區(qū)塊在比較圖像上的坐標與基準圖像的區(qū)塊的坐標的差分(差值)設為視差。然而，在水平方向上存在具有相似特征的對象物和/或在對象物中具有相似特征的對象部位的情況下，有可能與相似的其他對象物和/或對象部位形成匹配，從而導出錯誤的視差。
[0005]因此，公開有如下的技術:在圖案匹配中，當比較圖像的一個比較區(qū)塊與基準圖像的多個基準區(qū)塊的相關性變得最高時，僅將與視差最小的基準區(qū)塊相關的視差作為有效(例如，專利文獻2)。
[0006]現(xiàn)有技術文獻
[0007]專利文獻
[0008]專利文獻1:日本專利第3349060號公報
[0009]專利文獻2:日本專利第3287465號公報


【發(fā)明內容】

[0010]然而，在相似的對象物和/或對象部位例如連續(xù)存在三個以上的情況下，如果基準圖像的對象物與比較圖像的分離的其他對象物和/或對象部位形成匹配，則導出的視差(差值)與本來的視差相距甚遠，從而有可能將本來比存在于車輛前方的對象物位于更遠的對象物誤判斷為位于比存在于車輛前方的對象物更靠近的位置。在此，即使采用專利文獻2的技術，如果一旦將錯誤地導出的視差判定為有效，則依然可能發(fā)生前述的現(xiàn)象。也就是說，在這樣的相似的對象物/或對象部位連續(xù)存在的情況下，無法有效地排除本來應視為無效的視差。
[0011]本發(fā)明鑒于這樣的問題，其目的在于提供一種通過對評價函數的評價值進行恰當地評價而能夠有效地排除本來應無效的差值的濾波裝置和環(huán)境識別系統(tǒng)。
[0012]為了解決上述問題，本發(fā)明的濾波裝置的特征在于具備:評價值導出部，對于具有相互關聯(lián)性的一對比較對象，導出表示從一個比較對象任意地提取的提取部位和從另一個比較對象提取的多個提取部位之間的相關性的多個評價值；基準波形設定部，在根據多個評價值而形成的變化波形中設定包含相關性最高的評價值的基準波形；差值判定部，判定變化波形中是否存在與基準波形相似的相似波形，并基于判定結果來判定相關性最高的評價值作為差值是否有效。
[0013]差值判定部可以將從變化波形的斜率變?yōu)镺的極值點的評價值的絕對值、相關性最高的評價值與變化波形的斜率為O且在變化波形上與成為相關性最高的評價值的極值點在水平位置上相鄰的極值點的的評價值之間的差分、以及相關性最高的評價值與滿足預定條件的極值點之間的水平方向的差分中選擇的一個或多個參數與基準波形相近似的波形作為相似波形。
[0014]基準波形設定部可以在從相關性最高的評價值到變化波形的斜率為O且與成為相關性最高的評價值的極值點在水平位置上相鄰的兩個極值點為止的兩個波形之中，將相關性最高的評價值與極值點的評價值之間的差分大的波形設定為基準波形。
[0015]比較對象可以是圖像，提取部位可以是由圖像中的一個或多個像素構成的區(qū)塊。
[0016]為了解決上述問題，本發(fā)明的環(huán)境識別系統(tǒng)的特征在于具備:攝像裝置，生成具有相互關聯(lián)性的一對圖像；評價值導出部，對于所生成的一對圖像，導出表示從一個圖像任意地提取的區(qū)塊和從另一個圖像提取的多個區(qū)塊之間的相關性的多個評價值；基準波形設定部，在根據多個評價值而形成的變化波形中設定包含相關性最高的評價值的基準波形；差值判定部，判定變化波形中是否存在與基準波形相似的相似波形，并基于該判定結果來判定相關性最高的評價值作為視差是否有效。
[0017]根據本發(fā)明，通過對評價函數的評價值進行恰當地評價而能夠有效地排除本來應無效的差值。

【專利附圖】

【附圖說明】
[0018]圖1是表示環(huán)境識別系統(tǒng)的連接關系的框圖。
[0019]圖2是表示車外環(huán)境識別裝置的大致功能的功能框圖。
[0020]圖3是說明平均值差分匹配的動作的說明圖。
[0021]圖4是例示了基準圖像和比較圖像的說明圖。
[0022]圖5是表示任意的兩個區(qū)域的評價值的變化的說明圖。
[0023]圖6是用于說明極值點的確定處理的說明圖。
[0024]圖7是用于說明基準波形的說明圖。
[0025]圖8是用于說明差值判定部中的相似波形的限定的說明圖。
[0026]圖9是用于說明差值判定部中的相似波形的限定的說明圖。
[0027]圖10是用于說明差值判定部中的相似波形的限定的說明圖。
[0028]符號說明
[0029]100:環(huán)境識別系統(tǒng)110:攝像裝置
[0030]120:車外環(huán)境識別裝置(濾波裝置) 160:評價值導出部
[0031]162:基準波形設定部164:差值判定部
[0032]200:基準圖像204:基準區(qū)塊
[0033]210:比較圖像214:比較區(qū)塊

【具體實施方式】
[0034]以下，參照附圖對本發(fā)明的優(yōu)選的實施方式進行詳細說明。所述實施方式所示的尺寸、材料、其他具體的數值等僅僅是用來使發(fā)明容易理解的例示，除了特別聲明的情況以夕卜，并不限定本發(fā)明。應予說明，在本說明書和附圖中，對于實際上具有相同的功能、構成的要素，標記相同的符號，因而省略重復說明，并且與本發(fā)明沒有直接關系的要素省略圖示。
[0035]近年來，搭載了防碰撞功能的車輛逐漸被普及，所謂碰撞防止功能是指通過搭載于車輛的車載照相機拍攝本車輛的前方的道路環(huán)境，基于圖像(比較對象)內的顏色信息和/或位置信息，確定前行車輛等的對象物，避免本車輛與被確定的對象物之間的碰撞，將本車輛與前行車輛之間的車距保持在安全的距離(ACC Adaptive Cruise Control,自適應巡航控制)。
[0036]在所述碰撞防止功能中，為了得到位于本車輛前方的對象物的與本車輛的相對距離，例如使用視角不同的兩個攝像裝置，對從兩個攝像裝置分別取得的一對比較對象即基準圖像和比較圖像進行比較，并使用所謂的圖案匹配提取相關性高的區(qū)塊(提取部位)。然而，在圖像上的水平方向連續(xù)多次出現(xiàn)具有相似特征的對象物和/或在對象物中具有相似特征的對象部位的情況下，與相似的其他對象物和/或對象部位形成圖案匹配，從而存在導出錯誤的視差(差值)的可能性。因此，在本實施方式中，其目的在于，判斷是否存在與變化波形，即評價值的最小值(相關性成為最高的值)附近的波形相似的波形(波形是否有重復性)，從而有效地排除本來應無效的視差，其中，變化波形是根據圖案匹配的評價函數中的評價值而形成的波形。在此，區(qū)塊表示由圖像中的一個或者多個圖像構成的部位。以下，說明用于實現(xiàn)這樣的目的的環(huán)境識別系統(tǒng)，詳細描述作為其具體的構成要素的設置于車外環(huán)境識別裝置的濾波裝置。
[0037](環(huán)境識別系統(tǒng)100)
[0038]圖1是表示環(huán)境識別系統(tǒng)100的連接關系的框圖。環(huán)境識別系統(tǒng)100構成為包含設置于本車輛I內的攝像裝置110、車外環(huán)境識別裝置120和車輛控制裝置(EOT:EngineControl Unit,發(fā)動機控制單元)130。
[0039]攝像裝置110構成為包含電荷耦合器件(CCD,Charge-Coupled Device)和/或互補金屬氧化半導體(CMOS, Complementary Metal-Oxide Semiconductor)等拍攝兀件，所述攝像裝置110能夠拍攝與本車輛I的前方相當的環(huán)境，并生成由三個色相(R (紅)、G (綠)、B(藍))構成的彩色圖像和/或單色圖像。在此，采用利用攝像裝置110拍攝的彩色圖像作為亮度圖像，區(qū)別于后述的距離圖像。
[0040]另外，攝像裝置110在本車輛I的行進方向側使兩個攝像裝置110以各自的光軸大致平行的方式在大致水平方向上分離而設置。攝像裝置110例如按照1/60秒每幀(60fps)連續(xù)生成對本車輛I的前方的檢測區(qū)域中存在的對象物進行拍攝而得到的圖像數據。在此，識別的對象物不僅包括車輛、行人、信號燈、道路(前行路)、護欄、建筑物之類的獨立存在的立體物，還包括尾燈或閃爍警示燈、信號燈的各亮燈部分等能夠確定為立體物的一部分的物體。以下的實施方式中的各功能部以如此的圖像數據的更新作為契機按幀進行各處理。
[0041]車外環(huán)境識別裝置120分別從兩個攝像裝置110取得圖像數據，使用所謂的圖案匹配導出視差，將被導出的視差信息(相當于后述的相對距離)與圖像數據對應關聯(lián)而生成距離圖像。對于圖案匹配，在后面進行詳細描述。另外，車外環(huán)境識別裝置120使用基于亮度圖像的亮度、和包含基于距離圖像的與本車輛I之間的相對距離的實際空間中的三維位置信息，將亮度相等的且三維位置信息相近的區(qū)塊彼此作為對象物而進行群組化，從而確定本車輛I前方的檢測區(qū)域中的對象物是否與哪個特定物對應。
[0042]若確定了特定物，則車外環(huán)境識別裝置120 —邊追蹤該特定物(例如，前行車輛)，一邊導出特定物的相對速度等，進行特定物與本車輛I碰撞的可能性是否高的判定。其中，當判定為碰撞的可能性高時，車外環(huán)境識別裝置120將該情況通過設置于駕駛員的前方的顯示器122向駕駛員進行警告顯示(報告)，并且對車輛控制裝置130輸出表示該情況的信肩、O
[0043]車輛控制裝置130通過方向盤132、加速踏板134、制動踏板136接收駕駛員的操作輸入，并傳送到轉向機構142、驅動機構144、制動機構146，從而控制本車輛I。另外，車輛控制裝置130依照車外環(huán)境識別裝置120的指示，控制驅動機構144、制動機構146。
[0044]以下，對車外環(huán)境識別裝置120的構成進行詳細描述。在此，對本實施方式中特征性的求出濾波裝置中的對象物的視差的處理進行詳細說明，對與本實施方式的特征無關的構成省略說明。
[0045](車外環(huán)境識別裝置120)
[0046]圖2是表示車外環(huán)境識別裝置120的大致功能的功能框圖。如圖2所示，車外環(huán)境識別裝置120包含I/F部150、數據存儲部152和中央控制部154。
[0047]I/F部150是用于進行與攝像裝置110和/或車輛控制裝置130進行雙向的信息交換的接口。數據存儲部152由RAM、閃存、HDD等構成，以存儲以下所示的各功能部的處理所需的各種信息，另外，臨時存儲從攝像裝置110接收到的圖像數據。
[0048]中央控制部154由包含中央處理裝置(CPU)、儲存有程序等的ROM、作為工作區(qū)域的RAM等的半導體集成電路構成，該中央控制部154通過系統(tǒng)總線156來控制I/F部150、數據存儲部152等。另外，在本實施方式中，中央控制部154還作為評價值導出部160、基準波形設定部162、差值判定部164發(fā)揮功能。另外，評價值導出部160、基準波形設定部162以及差值判定部164還作為濾波裝置發(fā)揮功能。以下，對圖案匹配處理的詳細動作進行說明。
[0049](圖案匹配處理)
[0050]評價值導出部160分別從兩個攝像裝置110取得圖像數據，針對基于取得的兩個圖像數據且相互具有關聯(lián)性的一對圖像，導出多個評價值，所述多個評價值表示從成為基準的一個圖像(基準圖像)任意提取的區(qū)塊與從作為比較對象的另一個圖像(比較圖像)提取的多個區(qū)塊之間的相關性。
[0051]作為該圖案匹配，可以考慮在一對圖像之間，以任意的區(qū)塊為單位比較亮度(Y色差信號)。例如有求出亮度的差值的絕對差值和(SAD，Sum of Absolute Difference)、將差值平方后使用的差值的平方和(SSD, Sum of Squared intensity Difference)、求出從各像素的亮度減去平均值而得到的分散值的相似度的歸一化互相關(NCC，Normalized CrossCorrelat1n)等方法。其中，此處是舉出SAD作為例子進行說明。另外，在本實施方式中，進行如下的平均值差分匹配:求出基準圖像和比較圖像的區(qū)塊周圍的像素的亮度的平均值，基于從區(qū)塊內的亮度減去各自的平均值而得到的結果來導出評價值。以下，對平均值差分匹配的動作進行說明。
[0052]圖3是說明平均值差分匹配的動作的說明圖。首先，如圖3的(a)所示，評價值導出部160從基準圖像200中例如提取水平4個像素X垂直4個像素的由像素202的排列所表示的區(qū)塊(以下，稱為基準區(qū)塊)204。然后，在以后的處理中，依次提取基準區(qū)塊204，按照每個提取出的基準區(qū)塊204導出視差。在此，雖然將基準區(qū)塊204設定為水平4個像素X垂直4個像素，但基準區(qū)塊204內的像素數量可以任意設定。
[0053]在所述基準區(qū)塊204中，對于相鄰的基準區(qū)塊204彼此的像素不進行重疊。另外，在本實施方式中，由于使基準區(qū)塊204彼此相鄰，因而例如對于投射到檢測區(qū)域(例如水平600個像素X垂直180個像素)的全部的像素202，水平150 X垂直45 = 6750個區(qū)塊作為基準區(qū)塊204依次被提取。
[0054]但是，如上所述，在本實施方式中由于采用了平均值差分匹配，因此如圖3的(b)所示，評價值導出部160基于下述數學式1，求出以基準區(qū)塊204為中心的由基準區(qū)塊204的周圍的水平8個像素X垂直8個像素表示的區(qū)域206內的像素202的亮度Rb(i，j)的平均值Ab。
[0055]Ab= Σ Rb (i, j)/64…(數學式 I)
[0056]其中，i是由I?8表示的區(qū)域206內的水平像素位置，j是由I?8表示的區(qū)域206內的垂直像素位置。另外，在區(qū)域206未被收納于基準圖像200的情況下(因端部而區(qū)域206缺失的情況)，省略未被收納的部分而求出平均值Ab。
[0057]然后，評價值導出部160如下述數學式2那樣，從基準區(qū)塊204內的像素202的亮度Eb(i，j)減去上述平均值Ab，導出平均值差分亮度EEb (i，j)。
[0058]EEb (i, j) = Eb (i, j) — Ab…(數學式 2)
[0059]其中，i是由I?4表示的基準區(qū)塊204內的水平像素位置，j是由I?4表示的基準區(qū)塊204內的垂直像素位置。
[0060]接著，評價值導出部160如圖3的(C)所示從比較圖像210，例如提取由水平4個像素X垂直4個像素的像素212的排列所表示的區(qū)塊(以下，稱為比較區(qū)塊)214。在此，針對一個基準區(qū)塊204，依次提取多個比較區(qū)塊214，導出分別表示與基準區(qū)塊204的相關性的評價值。
[0061]對于所述比較區(qū)塊214而言，例如在水平方向上每次移動I個像素地被提取，所以相鄰的比較區(qū)塊214彼此的像素重疊。在本實施方式中，對于一個基準區(qū)塊204，從與基準區(qū)塊204相當的位置216在水平方向的左右提取合計128個比較區(qū)塊214。因此，提取范圍(探索范圍)變成水平(128+3 = ) 131個像素X垂直4個像素。與基準區(qū)塊204相當的位置216與提取范圍的位置關系根據基準圖像200與比較圖像210的視差的出現(xiàn)形態(tài)而設定。
[0062]但是，如上所述，由于在本實施方式中采用了平均值差分匹配，因此與基準區(qū)塊204同樣，評價值導出部160基于下述數學式3求出以比較區(qū)塊214為中心的由比較區(qū)塊214的周圍的水平8個像素X垂直8個像素表示的區(qū)域內的像素的亮度Re (i，j)的平均值Ac。
[0063]Ac = SRc (i，j)/64…(數學式 3)
[0064]其中，i是由I?8表示的區(qū)域內的水平像素位置，j是由I?8表示的區(qū)域內的垂直像素位置。
[0065]然后，評價值導出部160如下述數學式4那樣，從比較區(qū)塊214內的像素的亮度Ec (i，j)中減去上述平均值Ac，導出平均值差分亮度EEc (i，j)。
[0066]EEc (i, j) = Ec (i, j) — Ac…(數學式 4)
[0067]其中，i是由I?4表示的比較區(qū)塊214內的水平像素位置，j是由I?4表示的比較區(qū)塊214內的垂直像素位置。
[0068]接著，如下述數學式5所示，評價值導出部160從基準區(qū)塊204的各像素202的平均值差分亮度EEb(i，j)減去比較區(qū)塊214內的相當于相同的位置的各像素212的平均值差分亮度EEc (i，j)，將其累加導出評價值S。
[0069]S= Σ (EEb (i, j) — EEc(i，j))...(數學式 5)
[0070]這樣被導出的多個評價值S越小，即差分越小，相關性越高。因此，針對一個基準區(qū)塊204的與比較區(qū)塊214之間的多個(這里是128個)評價值中，最小的評價值(最小值)的位置成為表示視差的一端的位置的候補。
[0071]當針對任意的基準區(qū)塊204的評價值的最小值被導出時，評價值導出部160使與其最小值相當的比較區(qū)塊214的坐標與基準區(qū)塊204(相當于基準區(qū)塊204的位置216)的坐標的差分作為視差存儲到數據存儲部152的預定的區(qū)域中。因此，在數據存儲部152，存儲有水平150 X垂直45 = 6750個基準區(qū)塊204的視差。
[0072]由于上述平均值差分匹配中僅將圖像的高頻成分作為匹配的對象，從而具有與高通濾波器等價的作用，因此能夠去除低頻噪音。另外，即使對于基準圖像200與比較圖像210之間的亮度的輕微的失衡的影響、照相機和/或模擬電路部件的老化所導致的增益變化的影響，也能夠提聞視差的確定精度，且提聞視差的導出精度。
[0073]圖4是例示了基準圖像200和比較圖像210的說明圖。在此，從視角不同的兩個攝像裝置110取得的一對圖像中，將如圖4的(a)所示的來自位于右側的攝像裝置110的圖像設定為基準圖像200，將圖4的(b)所示的來自位于左側的攝像裝置110的圖像設定為比較圖像210。
[0074]當評價值導出部160基于基準圖像200和比較圖像210導出評價值時，例如在如圖4的(a)所示的區(qū)域220中，車輛的側端產生邊緣，易于進行圖案匹配，能夠容易地導出視差。
[0075]另一方面，如圖4的(a)所示的區(qū)域222的外壁那樣，在水平方向上連續(xù)重復具有相似的特征的對象部位(在此，柵欄的圖案)的情況下，基準圖像200的基準區(qū)塊204與比較圖像210內的本來不應被匹配的比較區(qū)塊214形成匹配，從而有可能導出錯誤的視差。
[0076]圖5是表示前述兩個區(qū)域220、222的評價值的變化的說明圖，圖5的(a)表示區(qū)域220中的任意的基準區(qū)塊204的示例，圖5的(b)表示區(qū)域222中的任意的基準區(qū)塊204的示例。另外，在圖5的(a)、(b)中，橫軸表示比較區(qū)塊214的水平位置，縱軸表示評價值。在此，評價值越小表示相關性越高。
[0077]在圖5的(a)中，區(qū)域220中被比較的區(qū)塊彼此是具有特點的區(qū)塊，因此評價值較小的部分會局部性地突出，從而明顯地出現(xiàn)最小值。另一方面，在圖5的(b)中，出現(xiàn)多個與評價值的最小值相當的波形向下凸出的極值點(斜率為O的點)，而根據基準圖像200和比較圖像210的顯示形態(tài)，尤其是，位于最小值附近的其他極值點變?yōu)樽钚≈?，從而有可能將其極值點誤識別為視差。
[0078]因此，在本實施方式中，關注作為根據圖案匹配的評價值而形成的波形的變化波形，判斷是否存在與評價值的最小值(相關性最高的值)附近的波形相似的波形，即變化波形是否具有重復性，并當變化波形中存在有多個相似的波形時，視為其評價值不夠可靠，且判定為作為視差是無效的。以下，詳細描述該處理。
[0079]基準波形設定部162由根據多個評價值而形成的變化波形確定極值點的同時，基于所確定的極值點中的相關性最高的評價值(最小值)和其他的極值點來設定包含最小值的基準波形。
[0080]圖6是用于說明極值點的確定處理的說明圖。極值點是變化波形的斜率為O的點，因而該極值點的水平方向前后的兩個點均變?yōu)闃O值點以上或以下的值。具體地講，假設相鄰的三個點的比較區(qū)塊214的水平位置和評價值為(x-1，s0)、(X，si) (x+l,s2)。當所述點彼此的關系滿足下述數學式6或者數學式7時，點彼此的關系變?yōu)槿鐖D6的(a)所示，變成水平位置X的評價值Si為向下凸出的極值點(以下，稱為谷極值點)。
[0081]s0 芎 Si 且 sl〈s2...(數學式 6)
[0082]s0>sl且Si蘭s2…(數學式7)
[0083]另外，當點彼此的關系滿足下述數學式8或者數學式9時，點彼此的關系變?yōu)槿鐖D6的(b)所示，變成水平位置X的評價值Si為向上凸出的極值點(以下，稱為峰極值點)。
[0084]s0 芻 Si 且 sl>s2...(數學式 8)
[0085]s0〈sl且Si芎s2…(數學式9)
[0086]圖7是用于說明基準波形的說明圖。基準波形設定部162導出作為谷極值點的最小值和與最小值在水平位置上相鄰的兩個極值點(峰極值點)的評價值的差分。這樣，導出與位于水平方向左側的峰極值點的評價值的差分Hl和與位于水平方向右側的峰極值點的評價值的差分Hr。然后，如圖7所示，基準波形設定部162在兩個波形中將最小值與峰極值點的評價值的差分較大的一側(在此，評價值的差分Hl側)的極值點之間的變化波形設定為基準波形。當然，當評價值的差分Hr大于差分Hl時，評價值的差分Hr側的極值點之間的變化波形變?yōu)榛鶞什ㄐ巍?br> [0087]如此，通過針對最小值僅將與其一側的極值點之間的波形設為基準波形，從而可以減輕比較波形時的處理負荷。并且，作為極值點，通過選擇大于與最小值的評價值的差分的極值點，即，選擇更具有特點的極值點，從而可高精度地提取與基準波形相似的波形。
[0088]差值判定部164判定在變化波形中是否存在與基準波形相似的相似波形，并基于該結果判定評價值的最小值作為視差是否有效。為了判定是否存在與基準波形相似的相似波形，差值判定部164通過多個條件而限定波形，檢測出滿足所有條件的波形。在本實施方式中，假設滿足三個條件的波形為相似波形。
[0089]圖8至圖10是用于說明差值判定部164中的相似波形的限定的說明圖。首先，如圖8的(a)那樣，差值判定部164從變化波形中將與由點劃線表示的基準波形具有相同傾向的波形(即，在水平方向左側具有峰極值點且在水平方向右側具有谷極值點的圖8的(a)中用實線表示的波形)全部提取而作為相似波形的候補。接著，如圖8的(b)那樣，差值判定部164排除谷極值點的評價值的絕對值與基準波形的谷極值點(最小值)不相近似的波形，即，排除谷極值點的評價值的絕對值為預定的閾值以上的由圖中的虛線表示的波形。這樣，只有谷極值點的評價值的絕對值為小于預定的閾值的波形作為相似波形的候補而被留下。
[0090]在此，預定的閾值D根據下述數學式10而確定。
[0091]D = HXGd+P+B…(數學式 10)
[0092]其中，H為前述評價值的差分Hl和Hr中較大的差分，Gd表示設定的增益，P表示最小值，B表示任意的偏移量。
[0093]根據所述構成，可以有效地排除谷極值點的評價值的絕對值遠離最小值的不應被認定為視差的波形。
[0094]接著，如圖9那樣，差值判定部164在根據數學式10而被縮小范圍的波形中，排除與最小值和峰極值點的評價值的差分不相近的(即，峰極值點和谷極值點的評價值的差分V沒有落入定范圍的)用虛線表示的波形。這樣，只有峰極值點和谷極值點的評價值的差分V落入預定范圍內的波形作為相似波形的候補而被留下。
[0095]在此，是否處于預定范圍是根據下述數學式11而確定。
[0096]HXGl〈V〈HXGh...(數學式 11)
[0097]其中，H為前述評價值的差分Hl和Hr中較大的差分，GUGh為分別定義上限和下限的增益。
[0098]根據所述構成，能夠有效地排除峰極值點與谷極值點之間的評價值的差分V遠離基準波形中的峰極值點與谷極值點之間的評價值的差分的不應被認定為與基準波形相似的波形。
[0099]接著，如圖10那樣，在差值判定部164通過數學式11而被縮小范圍的波形中，排除與從最小值到滿足預定的條件的谷極值點為止的水平方向上的差分不相似的波形，即排除如下述數學式12所示從最小值到預定的谷極值點為止的水平方向上的差分W與通過數學式11而被縮小范圍的波形的谷極值點彼此的水平方向上的差分X之差的絕對值為預定的閾值T以上的用虛線表示的波形。這樣，只有谷極值點彼此的水平方向上的差分與從最小值到預定的谷極值點為止的水平方向上的差分相似的波形作為相似波形的候補而被留下。
[0100]IW —X|〈T…(數學式 12)
[0101]其中，預定的谷極值點是通過數學式11而被縮小范圍的波形中與基準波形是屬于水平方向上位于前后的兩個波形中的任意一個波形的谷極值點。在圖10的示例中，將位于基準波形的左側的波形的谷極值點設為預定的谷極值點，然而，當然也可以將位于基準波形的右側的波形的谷極值點設為預定的谷極值點。差值判定部164如此將留下來的波形設定為相似波形。
[0102]根據該構成，可以有效地排除谷極值點彼此的水平方向上的差分X遠離于從最小值到預定的谷極值點為止的水平方向上的差分W的不應被認定為波形間的距離與包含基準波形的波形間的距離相似的波形。
[0103]接著，差值判定部164基于作為通過數學式12而被縮小范圍的波形的一個或多個相似波形來判定最小值作為視差是否有效。具體地，差值判定部164基于相似波形的數量(或者，其谷極值點的數量)是否為預定的閾值(例如，2)以上，如圖10那樣，如果相似波形為預定的閾值以上，則使得最小值作為視差失效。
[0104]并且，除此之外，代替前述的相似波形的數量，還可以判定相似波形是否是基準波形的水平方向前后的波形。例如，在圖10的示例中，相似波形存在于基準波形的水平方向前后，因而使得最小值作為視差失效。
[0105]如以上說明，在本實施方式中，通過多個條件來判定是否存在與評價值的最小值附近的波形相似的波形，即判定變化波形是否有重復性，如果在變化波形中相似的波形存在有多個，則其評價值不夠可靠，而作為視差失效。這樣，可以有效地排除本來應無效的視差。
[0106]另外，還提供使計算機作為上述的濾波裝置和/或環(huán)境識別系統(tǒng)發(fā)揮功能的程序或記錄了該程序的計算機可讀取的軟盤、光盤、ROM、CD、DVD、BD等存儲介質。在此，程序是指采用任意的語言或記錄方法而記錄的數據處理單元。
[0107]以上，參照附圖，對本發(fā)明的優(yōu)選實施方式進行了說明，但本發(fā)明當然也不限于所述實施方式。應了解的是，若本領域的技術人員在權利要求書中記載的范圍內，能夠想到各種的變更例或修改例，這是顯而易見的，對于這些當然也屬于本發(fā)明的技術范圍。
[0108]例如，在上述的實施方式中，作為比較對象，舉出使用視角不同的兩個攝像裝置110中同時拍攝的一對圖像的例子進行了說明，但并不限于上述情況，對于相互具有關聯(lián)性的一對圖像也能夠廣泛應用。作為這樣的相互具有關聯(lián)性的一對圖像，例如可考慮作為所謂光流(optical flow)的處理對象的用一個攝像裝置(單眼相機)在不同時刻拍攝且按時間序列輸出的兩個圖像，和/或作為所謂模板匹配的處理對象的被拍攝的圖像與預先準備的圖像的組合等。另外，上述的實施方式中，作為差值，舉出視角不同的兩個攝像裝置110中同時拍攝的一對圖像中的“視差”進行了說明，但并不限于上述情況，差值是相互具有關聯(lián)性的一對圖像中的基準區(qū)塊的差分等對應的提取部位彼此之間的差分即可。
[0109]另外，上述的實施方式中，雖然將亮度圖像設定為比較對象，基于亮度圖像的亮度導出評價值，但并不限于上述情況，可以將除亮度以外的信息、例如由遠紅外線相機得到的熱分布、由激光雷達或毫米波雷達得到的反射強度的分布等作為比較對象，基于這些導出評價值。該情況也與上述同樣，差值是對應的提取部位彼此的差分即可。
[0110]產業(yè)上的可利用性
[0111]本發(fā)明能夠用于在求多個圖像中的對象物的差值(視差)時，判定其差值是否有效的濾波裝置和環(huán)境識別系統(tǒng)。
【權利要求】
1.一種濾波裝置，其特征在于，具備: 評價值導出部，對于具有相互關聯(lián)性的一對比較對象，導出表示從一個比較對象任意地提取的提取部位和從另一個比較對象提取的多個提取部位之間的相關性的多個評價值； 基準波形設定部，在根據所述多個評價值而形成的變化波形中設定包含相關性最高的評價值的基準波形； 差值判定部，判定所述變化波形中是否存在與所述基準波形相似的相似波形，并基于該判定結果來判定所述相關性最高的評價值作為差值是否有效。
2.根據權利要求1所述的濾波裝置，其特征在于， 所述差值判定部將從所述變化波形的斜率變?yōu)镺的極值點的評價值的絕對值、所述相關性最高的評價值與該變化波形的斜率為O且在所述變化波形上與成為所述相關性最高的評價值的極值點在水平位置上相鄰的極值點的評價值之間的差分、以及該相關性最高的評價值與滿足預定條件的該極值點之間的水平方向的差分中選擇的一個或多個參數與所述基準波形相近似的波形作為所述相似波形。
3.根據權利要求1或2所述的濾波裝置，其特征在于， 所述基準波形設定部在從所述相關性最高的評價值到所述變化波形的斜率為O且與成為所述相關性最高的評價值的極值點在水平位置上相鄰的兩個極值點為止的兩個波形之中，將該相關性最高的評價值與該極值點的評價值之間的差分大的波形設定為所述基準波形。
4.根據權利要求1或2所述的濾波裝置，其特征在于， 所述比較對象是圖像，所述提取部位是由該圖像中的一個或多個像素構成的區(qū)塊。
5.根據權利要求3所述的濾波裝置，其特征在于， 所述比較對象是圖像，所述提取部位是由該圖像中的一個或多個像素構成的區(qū)塊。
6.一種環(huán)境識別系統(tǒng)，其特征在于，具備: 攝像裝置，生成具有相互關聯(lián)性的一對圖像； 評價值導出部，對于所生成的一對圖像，導出表示從一個圖像任意地提取的區(qū)塊和從另一個圖像提取的多個區(qū)塊之間的相關性的多個評價值； 基準波形設定部，在根據所述多個評價值而形成的變化波形中設定包含相關性最高的評價值的基準波形； 差值判定部，判定所述變化波形中是否存在與所述基準波形相似的相似波形，并基于該判定結果來判定所述相關性最高的評價值作為視差是否有效。
【文檔編號】G06T7/00GK104517098SQ201410503511
【公開日】2015年4月15日 申請日期:2014年9月26日 優(yōu)先權日:2013年9月30日
【發(fā)明者】小野宏行 申請人:富士重工業(yè)株式會社