本發(fā)明涉及道路交通監(jiān)控領(lǐng)域，具體涉及一種基于雙目視覺的路面沉降和異物檢測方法。

背景技術(shù)：

道路交通監(jiān)控系統(tǒng)是交通管理的重要工具，也是智能交通系統(tǒng)的重要組成部分。目前，道路交通監(jiān)控系統(tǒng)已經(jīng)涵蓋流量統(tǒng)計、車輛行人檢測與跟蹤、車牌車型識別、車輛違章檢測等多方面的應用，但對一些偶然發(fā)生的事件如道路拋灑物、路面沉降等鮮有關(guān)注。雖然這類事件發(fā)生的概率很小，然而一旦發(fā)生就可能造成不可挽回的損失，因此提高對此類事件的預警能力具有十分重要的意義。此外，當前的道路監(jiān)控系統(tǒng)大多利用單個攝像機進行監(jiān)控，而單目視覺技術(shù)無法獲取物體的三維尺寸信息，所以僅僅使用單目視覺技術(shù)很難在異物檢測、路面沉降檢測、井蓋監(jiān)測等方面取得良好的效果。因此，研究一種更加合理有效的路面沉降和異物檢測方法具有重大的實用價值。

在道路交通監(jiān)控數(shù)據(jù)處理技術(shù)中，圖像信息的提取往往采用比較單一的手段，來達到預期的技術(shù)需求，比如人臉識別、道路交通中常常會用到圖像信息，比如在識別圖像異常區(qū)域的技術(shù)中，往往采用預先采集標準圖像信息，然后在后期的圖像采集過程中，利用后期圖像與標準圖像進行差異化對比，找到差異點，最終輸出差異點，這種方式的缺點在于，需要高質(zhì)量、高標準的標準圖像，但在實際應用過程中，由于標準圖像是現(xiàn)場采集而成，會由于光線、建筑物、植物的外部變化造成標準圖像不準確，常常造成誤報差異點，比如，中午時間采集到的標準圖像與傍晚采集的后期的圖像對比，差異點不僅僅是圖像本身，還存在光線的巨大差異，又比如2001年標準圖像與2002年的標準圖像，由于植物或建筑物的變化也存在巨大差異，因此如果一直采用前一標準圖像進行對比分析，則會造成大量誤報。因此，這種采用現(xiàn)場采集標準圖像與后其的圖像對比分析的技術(shù)，無法很好的應用推廣。

技術(shù)實現(xiàn)要素：

本發(fā)明提出一種基于雙目視覺的路面沉降和異物檢測方法。該方法充分利用雙目視覺所獲得的視差信息和三維信息，根據(jù)事件發(fā)生前后視差值和三維坐標的變化來檢測是否出現(xiàn)沉降和異物點，進而及時通知控制中心是否發(fā)出警報。本發(fā)明能夠有效解決有效檢測圖像中沉降和異物區(qū)域，避免干擾，減小因此類偶然事件造成的損失。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：

一種基于雙目視覺的路面沉降和異物檢測方法，包括以下步驟：

步驟1：匹配同步的左圖像和右圖像的同名像素點，獲取視差圖像和對應像素點的三維坐標信息；

步驟2：遍歷視差圖像的像素點，取當前視差圖像之前的部分視差圖像的均值與前視差圖像進行差運算，然后將差值與閥值比較，以此判斷每個像素點是否是沉降區(qū)域或者異物區(qū)域的點；

具體方式為：先取當前視差圖像之前的部分視差圖像（可以連續(xù)、也可以非連續(xù)的視差圖像）創(chuàng)建出視差圖像的均值矩陣E，其中均值矩陣E表示沒有異常情況的視差值，然后創(chuàng)建一個新圖像，據(jù)緩存視差圖像和均值矩陣確定新圖像的均值，利用當前視差圖像中當前點對應的像素隊列中像素值與新圖像的均值之差連續(xù)大于閾值T的數(shù)量M，以及連續(xù)小于-T的數(shù)量N，以此判斷出沉降區(qū)域或者異物區(qū)域的點；

完成對沉降區(qū)域或者異物區(qū)域的點的識別后，我們還需要標記出對應的沉降區(qū)域或者異物區(qū)域，并計算沉降區(qū)域或者異物區(qū)域的大小，最終決定是否輸出報警信息，我們利用形態(tài)學，將異樣點連通，然后計算沉降區(qū)域或者異物區(qū)域的幾何特征，通過這些特征排除干擾區(qū)域，最終利用三維坐標確認沉降區(qū)域或者異物區(qū)域的三維尺寸，若為大小的沉降區(qū)域或者異物區(qū)域，則需要報警，若為小型的沉降區(qū)域或者異物區(qū)域，則不影響實際需求，則我們可以不報警，可以根據(jù)具體需求進行設(shè)置，因此還包括以下步驟3-步驟6的操作；

步驟3：經(jīng)過步驟2，得到了不同標記的區(qū)域點，分別對沉降區(qū)域或者異物區(qū)域進行形態(tài)學開運算和閉運算，得到連通的沉降區(qū)域或者異物區(qū)域；

步驟4：對連通區(qū)域提取外部輪廓，并計算輪廓的面積、周長以及相應外接矩形的長寬比特征；

步驟5：如果步驟4中得到的特征滿足所設(shè)定的沉降區(qū)域或者異物區(qū)域的規(guī)格，則將該區(qū)域標記為沉降區(qū)域或者異物區(qū)域；否則，將其標記為干擾區(qū)域；

步驟6：根據(jù)步驟1中得到的三維坐標信息進一步確定沉降區(qū)域或者異物區(qū)域的三維尺寸，進而確定是否發(fā)出警報；轉(zhuǎn)到步驟1，不斷重復步驟1到步驟6進行檢測。

針對異物點和沉降點，步驟2的具體過程為：

步驟2-1：首先設(shè)置視差圖像的均值矩陣E以及視差圖像緩存隊列Q，其中均值矩陣E表示沒有異常情況的視差值；

步驟2-2：將得到的視差圖像加入隊列Q中；

步驟2-3：如果隊列Q的長度小于設(shè)定的隊列長度閾值S，則進入步驟2-2；否則，進入步驟2-4；

步驟2-4：如果均值矩陣E為空矩陣，則進入步驟2-5；否則，進入步驟2-6；

步驟2-5：遍歷均值矩陣E的每一個點，采用方差和均值法初始化均值矩陣E；

步驟2-6：創(chuàng)建與視差圖像大小相同的新圖像，對每一像素位置，提取隊列Q中對應像素點的值，取其中開始的S/3數(shù)據(jù)計算方差和均值；如果方差大于閾值V，則當前均值使用均值矩陣E對應點的值替換；方差小于閾值V，但當前均值與均值矩陣E對應點的均值差異大于設(shè)定的閾值T，也將當前均值替換為均值矩陣E對應點的值；其余情況則保留當前均值參與后續(xù)運算；S/3數(shù)據(jù)為取隊列Q的一部分數(shù)據(jù)，也就是取隊列Q中S/3隊列長度的數(shù)據(jù)；

步驟2-7：統(tǒng)計當前點對應的像素隊列中像素值與步驟2-6得到的均值之差連續(xù)大于閾值T的數(shù)量M，以及連續(xù)小于-T的數(shù)量N；

步驟2-8：如果N>S/2，則判定該當前點為沉降點，新圖像中該點值設(shè)為標識值X1；如果M≤S/2，則判定該當前點為異物點，將新圖像中該當前點值設(shè)為標識值X2；若M≤S/2或N≤S/2，則判定該當前點為干擾點，新圖像中該點值設(shè)為Y；根據(jù)不同異樣點的屬性不同，判斷當前點為何種類型的點；

步驟2-9：選擇性更新均值矩陣E的點，如果是沉降點或異物點，則不更新均值矩陣E的對應點；否則，將均值矩陣E對應點的值更新為當前均值；

步驟2-10：遍歷完所有像素點后，將最早進入隊列的視差圖像彈出隊列。

采用方差和均值法初始化均值矩陣E的具體方法為：對每一個待初始化的點，提取隊列Q中對應像素點的值，依次取其中連續(xù)S/3數(shù)量的組點計算方差和均值，如果方差小于設(shè)定的閾值V，則將該組點的均值作為初始化的均值；否則隨機選取S/3數(shù)量的組點，并將該組點的均值作為初始化的均值。

還包括獲得同步的左圖像和右圖像步驟，其具體過程如下：

步驟11：離線標定雙目攝像機，確定雙目攝像機的內(nèi)參和外參；

步驟12：同步的獲得左攝像機的圖像右攝像機的圖像，形成圖像對；

步驟13：根據(jù)標定的攝像機參數(shù)對輸入的圖像對進行畸變校正，最終獲得同步的左圖像和右圖像。

本發(fā)明利用事件發(fā)生前后視差值和三維坐標的變化來檢測是否出現(xiàn)異樣點，采用設(shè)置視差圖像的均值矩陣E表示沒有異常情況的視差值，再利用創(chuàng)建與視差圖像大小相同的新圖像，取部分數(shù)據(jù)計算方差和均值，再利用統(tǒng)計當前點對應的像素隊列中像素值與新圖像部分數(shù)據(jù)的均值之差與設(shè)置的閾值進行比較，判斷出沉降區(qū)域或者異物區(qū)域的點；這種技術(shù)手段可以克服預先設(shè)置標準圖像的各自弊病，克服由于時間變化導致的光線、建筑物、植物、以及其他干擾物的存在而導致的影響，利用事件前后視差值，測定異樣點。另外，本發(fā)明最終可以根據(jù)不同特性的異樣點的屬性，分別標記出不同的類別的異樣點，比如可以標記出沉降點、異物點、干擾點。該方法充分利用雙目視覺所獲得的視差信息和三維信息，根據(jù)事件發(fā)生前后視差值和三維坐標的變化來檢測路面是否發(fā)生沉降或者出現(xiàn)異物，進而及時通知控制中心是否發(fā)出警報。本發(fā)明能夠有效解決傳統(tǒng)道路監(jiān)控方案中未關(guān)注到的路面沉降檢測問題，同時可以有效檢測路面異物，減小因此類偶然事件造成的損失。

當均值矩陣E為空矩陣時，我們無法進行后續(xù)處理，因此需要對均值矩陣E進行初始化處理，而均值矩陣E的初始化處理，是利用隊列Q中部分數(shù)量的組點計算方差和均值，然后將所計算出的方差和均值作為均值矩陣E的數(shù)據(jù)，這樣就避免了像預先設(shè)置標準圖像那樣造成一圖對比的技術(shù)缺陷，采用方差和均值法初始化均值矩陣E的具體方法為：對每一個待初始化的點，提取隊列Q中對應像素點的值，依次取其中連續(xù)S/3數(shù)量的組點計算方差和均值，如果方差小于設(shè)定的閾值V，則將該組點的均值作為初始化的均值；否則隨機選取S/3數(shù)量的組點，并將該組點的均值作為初始化的均值。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點和有益效果：

本發(fā)明事件發(fā)生前后視差值和三維坐標的變化來檢測是否出現(xiàn)異樣點，同時可以有效檢測路面異物，更加合理有效的對沉降區(qū)域或者異物區(qū)域進行檢測，不會由于干擾導致誤報，檢測更加準確，具有重大的實用價值。

附圖說明

此處所說明的附圖用來提供對本發(fā)明實施例的進一步理解，構(gòu)成本申請的一部分，并不構(gòu)成對本發(fā)明實施例的限定。

圖1為本發(fā)明的基本流程圖。

圖2為本發(fā)明中判斷當前像素點是否是沉降區(qū)域或者異物區(qū)域點的詳細流程圖。

圖3為本發(fā)明應用到實際沉降和異物模擬場景中的效果圖像。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附圖，對本發(fā)明作進一步的詳細說明，本發(fā)明的示意性實施方式及其說明僅用于解釋本發(fā)明，并不作為對本發(fā)明的限定。

實施例

如圖1所示，一種基于雙目視覺的路面沉降和異物檢測方法，包括以下步驟：

步驟1：匹配同步的左圖像和右圖像的同名像素點，獲取視差圖像和對應像素點的三維坐標信息；

步驟2：遍歷視差圖像的像素點，取當前視差圖像之前的部分視差圖像的均值與前視差圖像進行差運算，然后將差值與閥值比較，以此判斷每個像素點是否是沉降區(qū)域或者異物區(qū)域的點；

完成對沉降區(qū)域或者異物區(qū)域的點的識別后，我們還需要標記出對應的沉降區(qū)域或者異物區(qū)域，并計算沉降區(qū)域或者異物區(qū)域的大小，最終決定是否輸出報警信息，我們利用形態(tài)學，將異樣點連通，然后計算沉降區(qū)域或者異物區(qū)域的幾何特征，通過這些特征排除干擾區(qū)域，最終利用三維坐標確認沉降區(qū)域或者異物區(qū)域的三維尺寸，若為大小的沉降區(qū)域或者異物區(qū)域，則需要報警，若為小型的沉降區(qū)域或者異物區(qū)域，則不影響實際需求，則我們可以不報警，可以根據(jù)具體需求進行設(shè)置，因此還包括以下步驟3-步驟6的操作。

步驟3：經(jīng)過步驟2，得到了不同標記的區(qū)域點，分別對沉降區(qū)域或者異物區(qū)域進行形態(tài)學開運算和閉運算，得到連通的沉降區(qū)域或者異物區(qū)域；

步驟4：對連通區(qū)域提取外部輪廓，并計算輪廓的面積、周長以及相應外接矩形的長寬比特征；

步驟5：如果步驟4中得到的特征滿足所設(shè)定的沉降區(qū)域或者異物區(qū)域的規(guī)格，則將該區(qū)域標記為沉降區(qū)域或者異物區(qū)域；否則，將其標記為干擾區(qū)域；

步驟6：根據(jù)步驟1中得到的三維坐標信息進一步確定沉降區(qū)域或者異物區(qū)域的三維尺寸，進而確定是否發(fā)出警報；轉(zhuǎn)到步驟1，不斷重復步驟1到步驟6進行檢測。

步驟2的具體過程為：

步驟2-1：首先設(shè)置視差圖像的均值矩陣E以及視差圖像緩存隊列Q，其中均值矩陣E表示沒有異常情況的視差值；

步驟2-2：將得到的視差圖像加入隊列Q中；

步驟2-3：如果隊列Q的長度小于設(shè)定的隊列長度閾值S，則進入步驟2-2；否則，進入步驟2-4；

步驟2-4：如果均值矩陣E為空矩陣，則進入步驟2-5；否則，進入步驟2-6；

步驟2-5：遍歷均值矩陣E的每一個點，采用方差和均值法初始化均值矩陣E；

步驟2-6：創(chuàng)建與視差圖像大小相同的新圖像，對每一像素位置，提取隊列Q中對應像素點的值，取其中開始的S/3數(shù)據(jù)計算方差和均值；如果方差大于閾值V，則當前均值使用均值矩陣E對應點的值替換；方差小于閾值V，但當前均值與均值矩陣E對應點的均值差異大于設(shè)定的閾值T，也將當前均值替換為均值矩陣E對應點的值；其余情況則保留當前均值參與后續(xù)運算；

步驟2-7：統(tǒng)計當前點對應的像素隊列中像素值與步驟2-6得到的均值之差連續(xù)大于閾值T的數(shù)量M，以及連續(xù)小于-T的數(shù)量N；

步驟2-8：如果N>S/2，則判定該當前點為沉降點，新圖像中該點值設(shè)為標識值X1；如果M≤S/2，則判定該當前點為異物點，將新圖像中該當前點值設(shè)為標識值X2；若M≤S/2或N≤S/2，則判定該當前點為干擾點，新圖像中該點值設(shè)為Y；根據(jù)不同異樣點的屬性不同，判斷當前點為何種類型的點。

步驟2-9：選擇性更新均值矩陣E的點，如果是沉降點或異物點，則不更新均值矩陣E的對應點；否則，將均值矩陣E對應點的值更新為當前均值；

步驟2-10：遍歷完所有像素點后，將最早進入隊列的視差圖像彈出隊列。

采用方差和均值法初始化均值矩陣E的具體方法為：對每一個待初始化的點，提取隊列Q中對應像素點的值，依次取其中連續(xù)S/3數(shù)量的組點計算方差和均值，如果方差小于設(shè)定的閾值V，則將該組點的均值作為初始化的均值；否則隨機選取S/3數(shù)量的組點，并將該組點的均值作為初始化的均值。

還包括獲得同步的左圖像和右圖像步驟，其具體過程如下：

步驟11：離線標定雙目攝像機，確定雙目攝像機的內(nèi)參和外參；

步驟12：同步的獲得左攝像機的圖像右攝像機的圖像，形成圖像對；

步驟13：根據(jù)標定的攝像機參數(shù)對輸入的圖像對進行畸變校正，最終獲得同步的左圖像和右圖像。

本發(fā)明利用事件發(fā)生前后視差值和三維坐標的變化來檢測是否出現(xiàn)異樣點，采用設(shè)置視差圖像的均值矩陣E表示沒有異常情況的視差值，再利用創(chuàng)建與視差圖像大小相同的新圖像，取部分數(shù)據(jù)計算方差和均值，再利用統(tǒng)計當前點對應的像素隊列中像素值與新圖像部分數(shù)據(jù)的均值之差與設(shè)置的閾值進行比較，判斷出沉降區(qū)域或者異物區(qū)域的點；這種技術(shù)手段可以克服預先設(shè)置標準圖像的各自弊病，克服由于時間變化導致的光線、建筑物、植物、以及其他干擾物的存在而導致的影響，利用事件前后視差值，測定異樣點。另外，本發(fā)明最終可以根據(jù)不同特性的異樣點的屬性，分別標記出不同的類別的異樣點，比如可以標記出沉降點、異物點、干擾點。該方法充分利用雙目視覺所獲得的視差信息和三維信息，根據(jù)事件發(fā)生前后視差值和三維坐標的變化來檢測路面是否發(fā)生沉降或者出現(xiàn)異物，進而及時通知控制中心是否發(fā)出警報。本發(fā)明能夠有效解決傳統(tǒng)道路監(jiān)控方案中未關(guān)注到的路面沉降檢測問題，同時可以有效檢測路面異物，減小因此類偶然事件造成的損失。

當均值矩陣E為空矩陣時，我們無法進行后續(xù)處理，因此需要對均值矩陣E進行初始化處理，而均值矩陣E的初始化處理，是利用隊列Q中部分數(shù)量的組點計算方差和均值，然后將所計算出的方差和均值作為均值矩陣E的數(shù)據(jù)，這樣就避免了像預先設(shè)置標準圖像那樣造成一圖對比的技術(shù)缺陷，采用方差和均值法初始化均值矩陣E的具體方法為：對每一個待初始化的點，提取隊列Q中對應像素點的值，依次取其中連續(xù)S/3數(shù)量的組點計算方差和均值，如果方差小于設(shè)定的閾值V，則將該組點的均值作為初始化的均值；否則隨機選取S/3數(shù)量的組點，并將該組點的均值作為初始化的均值。

本發(fā)明中的具體效果見圖3，該圖為本發(fā)明應用到實際沉降和異物模擬場景中的效果圖像。

為模擬真實的路面監(jiān)控場景，雙目攝像機架設(shè)在離路面15m高的地方，并向地面俯拍。同時為了方便展示，將檢測結(jié)果顯示在左圖像中。為模擬沉降區(qū)域，首先在監(jiān)控場景中人為放置一個紙箱，紙箱長時間出現(xiàn)在監(jiān)控畫面中，然后撤掉紙箱；為模擬異物區(qū)域，首先保持監(jiān)控畫面為正常狀態(tài)，然后將紙箱長時間放置在監(jiān)控場景中或者人長時間站在監(jiān)控場景中同一位置。圖3中矩形區(qū)域1為模擬的沉降區(qū)域檢測效果，矩形區(qū)域2和矩形區(qū)域3為模擬的異物區(qū)域檢測效果。從圖中可以看出，本發(fā)明提供的方法能夠有效地檢測沉降區(qū)域和異物區(qū)域，并且能夠有效排除運動行人和車輛的干擾；同時利用雙目視覺，可以減小光線等外部因素的影響，極大地提高了檢測的準確率。

以上所述的具體實施方式，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施方式而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。