視覺里程計(jì)背景過濾方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視覺里程計(jì)使用領(lǐng)域，尤其涉及一種視覺里程計(jì)背景過濾方法及裝 置。
【背景技術(shù)】
[0002] 視覺里程計(jì)（visualodometry)是一種利用連續(xù)的攝像機(jī)圖片計(jì)算載體（如機(jī)器 人）相對于固定場景位移和姿態(tài)變化的方法。比起其它的位移測距法（odometry)，視覺里 程計(jì)的好處有：
[0003] 1.成本較低，只需要傳感器上攝像機(jī)即可
[0004] 2.能夠不受多種類別的干擾（如輪子位移傳感器受輪子滑移的影響）
[0005] 3.準(zhǔn)確率上較好。其原理和人類通過視覺判斷自身位移和姿態(tài)變化非常相似。人 類僅僅靠雙眼的圖像信息便能準(zhǔn)確地判斷位移，這給視覺里程計(jì)提供了一個(gè)很好的參照
[0006] 視覺里程計(jì)的方法一般可以概括為這幾個(gè)步驟（以下簡稱視覺里程計(jì)流水線）：
[0007]1.獲取圖像，可以使用單鏡頭攝像機(jī)（singlecamera)，立體攝像機(jī)或者全景攝像 機(jī)（omnidirectionalcamera)
[0008] 2.圖像校正，這一步采用圖像處理技術(shù)糾正透鏡畸變等，改善圖像質(zhì)量。
[0009] 3.特征發(fā)現(xiàn)，這一步可分為：
[0010]a.特征采集，從一幅圖像中提取出有代表性的、穩(wěn)固的特征。
[0011]b.特征配對，對比連續(xù)的圖像，將不同圖像中的同一特征配對起來。
[0012] 4.利用特征在連續(xù)圖像之間的變化，建立視覺場（opticalfield)。
[0013] 5.利用視覺場估算位移。
[0014] 6.定期地增加新的特征和去除過期（不再場景內(nèi)）的特征，以保證特征對于圖像 的完整覆蓋。
[0015] 另外一種視覺里程計(jì)的方法不進(jìn)行特征提取和配對，而是直接用整個(gè)場景/原始 圖片作為輸入。比如，利用深度學(xué)習(xí)可以解決較為簡單的環(huán)境下的靜動態(tài)物體區(qū)分。但是 在復(fù)雜的城市環(huán)境（交通，弱光環(huán)境）中，深度學(xué)習(xí)的成本驟增，不如直接利用環(huán)境的一些 不變屬性提取特征。這些屬性包括物體的相對位置和絕對位置，分別可用景深和GPS坐標(biāo) 刻畫，也包括物件本身的視覺屬性，比如棱角。
[0016] 對于無人車而言，視覺里程計(jì)可以作為多種位移測距系統(tǒng)中的一種，以提供對其 它位移測距法的補(bǔ)充，同時(shí)也可以作為一套冗余備份系統(tǒng)。
【發(fā)明內(nèi)容】
[0017] 為此，需要提供一種視覺里程計(jì)背景過濾方法及裝置，解決識別圖像背景的問題。
[0018] 為實(shí)現(xiàn)上述目的，發(fā)明人提供了一種視覺里程計(jì)背景過濾方法，包括如下步驟：
[0019] 根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景深，得到景深圖；
[0020] 根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重視差圖包括各像素點(diǎn)的視差信 息和權(quán)重信息；
[0021] 對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所述背景概率圖包括各像素點(diǎn)為 背景的概率信息；
[0022] 對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。
[0023] 具體地，還包括步驟：
[0024] 采集預(yù)設(shè)場景三維地圖。
[0025] 具體地，還包括步驟：
[0026] 采集行車圖像。
[0027] 優(yōu)選地，根據(jù)景深圖和同一時(shí)刻不同鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。
[0028] 優(yōu)選地，根據(jù)景深圖和不同時(shí)刻同一鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。
[0029] -種視覺里程計(jì)背景過濾裝置，包括景深圖計(jì)算模塊、權(quán)重視差圖計(jì)算模塊、背景 概率圖計(jì)算模塊、最佳背景區(qū)塊計(jì)算模塊：
[0030] 所述景深圖計(jì)算模塊用于根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景 深，得到景深圖；
[0031] 所述權(quán)重視差圖計(jì)算模塊用于根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重 視差圖包括各像素點(diǎn)的視差信息和權(quán)重信息；
[0032] 所述背景概率圖計(jì)算模塊用于對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所 述背景概率圖包括各像素點(diǎn)為背景的概率信息；
[0033] 所述最佳背景區(qū)塊計(jì)算模塊用于對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。
[0034] 具體地，還包括地圖采集模塊：
[0035] 所述地圖采集模塊用于采集預(yù)設(shè)場景三維地圖。
[0036] 具體地，其特征在于，還包括行車圖像采集模塊：
[0037] 所述行車圖像采集模塊用于采集行車圖像。
[0038] 優(yōu)選地，所述權(quán)重視差圖計(jì)算模塊用于根據(jù)景深圖和同一時(shí)刻不同鏡頭采集到的 行車圖像計(jì)算權(quán)重視差圖。
[0039] 優(yōu)選地，所述權(quán)重視差圖計(jì)算模塊用于根據(jù)景深圖和不同時(shí)刻同一鏡頭采集到的 行車圖像計(jì)算權(quán)重視差圖。
[0040] 區(qū)別于現(xiàn)有技術(shù)，上述技術(shù)方案巧妙地解決了視覺里程計(jì)中背景的精確識別與過 濾的問題。
【附圖說明】
[0041] 圖1為本發(fā)明【具體實(shí)施方式】所述場景與過濾后背景概率對比圖；
[0042] 圖2為本發(fā)明【具體實(shí)施方式】所述預(yù)先采集的三維地圖示例；
[0043] 圖3為本發(fā)明【具體實(shí)施方式】所述的靜態(tài)景深圖；
[0044] 圖4為本發(fā)明【具體實(shí)施方式】所述的視差法示意圖；
[0045] 圖5為本發(fā)明【具體實(shí)施方式】所述的視覺流圖法示意圖；
[0046]圖6為本發(fā)明【具體實(shí)施方式】所述的方法流程圖；
[0047]圖7為本發(fā)明【具體實(shí)施方式】所述的裝置模塊圖；
[0048] 附圖標(biāo)記說明：
[0049] 700、景深圖計(jì)算模塊；
[0050] 702、權(quán)重視差圖計(jì)算模塊；
[0051] 704、背景概率圖計(jì)算模塊；
[0052] 706、最佳背景區(qū)塊計(jì)算模塊；
[0053] 708、地圖采集模塊；
[0054] 710、行車圖像采集模塊。
【具體實(shí)施方式】
[0055] 為詳細(xì)說明技術(shù)方案的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合具體實(shí) 施例并配合附圖詳予說明。
[0056] 視覺里程計(jì)的一個(gè)主要挑戰(zhàn)就是在充斥著動態(tài)物體的場景內(nèi)準(zhǔn)確判斷位移。這對 于城市中行駛的無人車尤其重要，因?yàn)槌鞘械缆飞铣涑庵鞣N大尺寸的車輛。這些大尺寸 運(yùn)動物體容易導(dǎo)致視覺里程計(jì)流水線效能的嚴(yán)重下降。
[0057] 如果能夠有效地過濾掉這些動態(tài)物體，讓視覺里程計(jì)流水線集中于場景靜態(tài)的部 分，則能有效提高視覺里程計(jì)的準(zhǔn)確性。而本方法能夠協(xié)助動態(tài)環(huán)境下的視覺里程計(jì)準(zhǔn)確 地辨識背景。
[0058] 為了區(qū)分背景和運(yùn)動物體，一個(gè)簡單的想法是，先"記憶"背景，再比較所見之景 和"記憶"之間的偏差。差別越大，越不可能是背景。我們首先要定義"記憶"是什么。一 個(gè)固定場景的輪廓構(gòu)成的點(diǎn)集是算法所需的"記憶"。也就是說，在無人車運(yùn)行之前，它已經(jīng) 記錄下整個(gè)場景的座標(biāo)。
[0059] 本方法是一種利用預(yù)先采集的場景三維信息（如場景的3維激光掃描地圖/激光 點(diǎn)云圖），生成一幅背景概率圖，以便過濾掉動態(tài)物體盡可能還原場景原始的靜態(tài)的面貌。
[0060] 如圖1所示：左為過濾之前的場景，右為生成的背景概率圖。概率圖顏色越淺（越 白）的地方為靜態(tài)背景的概率越高。
[0061] 本方法可以應(yīng)用于滿足如下條件的環(huán)境中：
[0062] 1、對預(yù)設(shè)環(huán)境進(jìn)行了 3維激光地圖的采集。采集車輛配備高質(zhì)量的激光雷達(dá)，并 且有精準(zhǔn)的定位儀器（如gps)。
[0063]2、需要立體攝像機(jī)。
[0064] 3、三維激光地圖盡量不要有其它的臨時(shí)的、非固定的物體