一種獲取場景4d信息的方法
【專利摘要】本發(fā)明提出一種獲取場景4D信息的方法，將雙目立體視覺三維成像系統(tǒng)和紅外成像系統(tǒng)相結(jié)合，通過圖像配準和圖像融合等方法，同時獲取真實世界中某個位置的三維立體坐標信息和溫度信息，實現(xiàn)對真實世界在計算機中的四維表示。主要包括：接收所拍攝場景的左視角、右視角可見光圖像和紅外圖像，分別進行預處理；然后進行特征點提取，再進行特征點匹配，建立可見光圖像和紅外圖像上的所有配準點；基于已知的兩個可見光成像系統(tǒng)間的距離和焦距信息，對兩幅可見光圖像計算出所拍攝場景的深度圖，得出場景的三維坐標信息；根據(jù)確定的配準點，采用插值算法將溫度信息與三維坐標信息疊加，完成多分辨率信息融合，最終獲得所拍攝場景的4D信息。
【專利說明】—種獲取場景4D信息的方法
【技術領域】
[0001]本發(fā)明屬于基于可見光和紅外圖像傳感器的光電成像【技術領域】，具體涉及一種獲取場景真實信息的方法。
【背景技術】
[0002]對于本身是三維立體的客觀世界，傳統(tǒng)的2D光電成像設備對場景進行成像時，只能得到三維世界的一個二維表示，損失掉了真實世界中的第三維信息，即距離維信息。在沒有任何先驗知識的情況下，人類是無法通過二維照片來估計物體的大小和距離。人類之所以能感知立體世界，是因為人類的雙眼如同一套無與倫比的攝影系統(tǒng)，不僅具有非常高的動態(tài)范圍、靈活可變的光圈、可變焦鏡頭，還具有立刻將光信號變成大腦可識別信號的能力，并且具有全部調(diào)整均于不經(jīng)意間完成的強大功能。對于三維立體景物的還原，其最大的特點就是雙眼對同一個場景所看到的影像角度不同。盡管兩個眼睛的視距只有區(qū)區(qū)6.5厘米左右，但這個微小的視差已經(jīng)足以區(qū)分左右眼看到的物體之間的細微差別。一旦我們的大腦接受到左右眼分別看到的這兩個高度相關的信號之后，就能再大腦里面自動將左右眼看到的影像融合成為一個物體，不只具有上下左右，更有前后信息的充分表現(xiàn)，形成獨具深度的立體視覺。雙目立體視覺成像系統(tǒng)就是通過模仿人眼，將兩個光電成像系統(tǒng)綜合到一起來獲取真實場景的立體成像，并通過三維立體顯示器進行顯示。因此，雙目立體視覺成像系統(tǒng)可以稱為3D成像系統(tǒng)。
[0003]不論雙目立體視覺3D成像系統(tǒng)還是傳統(tǒng)的2D成像系統(tǒng)，一般都是在可見光波段對真實場景進行成像。而在可見光波段，無論是人眼還是各種可見光波段的成像系統(tǒng)，都無法感知到真實世界的溫度信息。實際上，任何一個高于絕對零度的物體在紅外譜段都會發(fā)射射線，這些射線所包含的能量被紅外圖像傳感器捕捉后，就可以實現(xiàn)對真實世界的紅外成像。由于處于不同溫度的物體所發(fā)出的紅外射線的能量不同，由此而得到的紅外圖像中包含有物體的溫度信息。
[0004]目前，基于可見光圖像傳感器的雙目立體視覺成像技術和基于紅外圖像傳感器的紅外成像技術各自均比較成熟，但是將兩者各自具有的優(yōu)勢結(jié)合起來形成4D影像的技術還尚未出現(xiàn)。
[0005]本發(fā)明在實現(xiàn)4D影像合成的過程中，需要考慮圖像配準和圖像融合等問題。
[0006]一、圖像配準
[0007]雙目立體視覺成像系統(tǒng)主要是為了仿真人眼功能，針對于同一場景的從不同角度捕獲的兩幅圖像，利用立體視覺原理，恢復其第三維信息的計算科學，其具體的算法包含相機標定、畸變校正、立體匹配、深度圖的獲取和三維重構(gòu)等。其中立體匹配算法就是將兩個成像系統(tǒng)看到的不同角度的場景中一些特征點進行匹配，只有找到好得匹配點的情況下才可以比較精確的計算出深度圖進而進行三維重構(gòu)。
[0008]本發(fā)明中所采用的圖像匹配方案與傳統(tǒng)的雙目立體視覺成像系統(tǒng)中所采用的立體匹配方法存在以下幾處不同:(I)處理圖像的數(shù)量不同。傳統(tǒng)的雙目立體視覺成像系統(tǒng)只考慮兩幅可見光圖像。而本發(fā)明中的圖像匹配方法需要將兩幅可見光圖像和一幅紅外圖像綜合考慮，找出存在于三幅圖像之間的最佳匹配方案。⑵處理圖像的分辨率不同。傳統(tǒng)的雙目立體視覺成像系統(tǒng)一般采用相同分辨率的兩個圖像傳感器分別對左右眼的場景進行成像。而本發(fā)明中由于存在紅外成像系統(tǒng)導致可見光圖像和紅外圖像的分辨率會存在不一致的現(xiàn)象。由于制造工藝等的限制，一般的紅外成像系統(tǒng)的圖像分辨率都要小于可見光成像系統(tǒng)的圖像分辨率。因此，在本發(fā)明的圖像配準過程中就需要考慮三幅不同分辨率圖像的匹配問題。
[0009]二、信息融合
[0010]紅外傳感器成的像的邊緣在一定程度上都有模糊，空間分辨率較低只能顯示出物體的輪廓，而可見光成像的邊緣即物體的輪廓比較清楚，具有豐富的細節(jié)信息和色彩。這種對同一對象通過不同方式獲取的數(shù)字圖像數(shù)據(jù)之間，既具有互補性，又存在大量的冗余信息。如何從這些兼有互補性和冗余性的數(shù)字圖像數(shù)據(jù)中有效地提取更有用、更精煉、質(zhì)量更高的信息，為人為決策或人工智能決策系統(tǒng)提供決策依據(jù)，已經(jīng)成為一個迫切需要得到解決的問題，數(shù)字圖像融合技術就應運而生。數(shù)字圖像融合技術是將多個傳感器在同一時間(或不同時間)獲取的關于某個場景的多譜段圖像或者圖像序列信息加以綜合，生成一個新的有關此場景的解釋，而這個解釋是從單一圖像中無法得到的。數(shù)字圖像融合技術將不同來源、具有不同特點的數(shù)字圖像數(shù)據(jù)各自的優(yōu)勢綜合起來，彌補了單一數(shù)字圖像上信息的不足。這樣不僅擴大了各種信息的應用范圍，而且大大提高了圖像分析的精度?，F(xiàn)在，數(shù)字圖像融合技術已經(jīng)廣泛的應用于醫(yī)學圖像處理、反恐安全檢測、國土探測、環(huán)境監(jiān)測和災害預警等領域。
[0011]傳統(tǒng)的數(shù)字圖像融合方法只考慮將兩個2D圖像進行融合。在本發(fā)明中，由于雙目立體視覺成像系統(tǒng)可以實現(xiàn)對真實場景的三維建模，而紅外成像系統(tǒng)只是得到對真實場景的一個二維溫度表示。因此，就需要考慮將一個3D的高分辨率場景的幾何模型同一個2D的低分辨率紅外圖像進行融合來得到一個最終的高分辨率4D場景的表示。

【發(fā)明內(nèi)容】

[0012]本發(fā)明中將基于可見光圖像傳感器的雙目立體視覺成像系統(tǒng)所獲取的3D立體信息和基于紅外圖像傳感器的紅外成像系統(tǒng)所獲取的ID溫度信息相融合，提出一種可以獲取場景4D彳目息的方法。
[0013]本發(fā)明的解決方案如下:
[0014]一種獲取場景4D信息的方法，包括以下步驟:
[0015](I)設置左視角可見光成像系統(tǒng)、右視角可見光成像系統(tǒng)和紅外成像系統(tǒng)，相應地接收所拍攝場景的左視角可見光圖像、右視角可見光圖像和紅外圖像；
[0016](2)對左視角可見光圖像、右視角可見光圖像和紅外圖像分別進行預處理；
[0017](3)對兩幅可見光圖像以及紅外圖像進行特征點提取，然后進行特征點匹配，建立可見光圖像和紅外圖像上的所有配準點，即完成多分辨率圖像配準；
[0018](4)首先基于已知的兩個可見光成像系統(tǒng)間的距離和焦距信息，對兩幅可見光圖像計算出所拍攝場景的深度圖，得出場景的三維坐標信息；然后根據(jù)步驟(3)確定的配準點，采用插值算法將紅外圖像的溫度信息與場景的三維坐標信息疊加，完成多分辨率信息融合，最終獲得所拍攝場景的4D信息。
[0019]上述步驟(3)中可以采用SIFT特征點提取算法對兩幅可見光圖像以及紅外圖像分別進行特征點提??；采用基于圖像分割的全局立體匹配算法對兩幅可見光圖像與紅外圖像進行特征點匹配。
[0020]上述步驟(4)中可以采用雙線性插值算法將紅外圖像的溫度信息與場景的三維坐標信息疊加。
[0021]上述步驟(2)中，對紅外圖像預處理主要包括非均勻性矯正和盲元檢測與補償，對可見光圖像的預處理主要基于雙邊濾波算法以去除噪聲。
[0022]本發(fā)明的方案中對圖像配準、信息融合及4D顯示做了進一步的考慮:
[0023]一、全局多分辨率圖像配準技術
[0024]依據(jù)采用最優(yōu)化理論方法的不同，傳統(tǒng)的立體匹配算法可以分為:基于局部和全局約束的立體匹配算法。基于局部約束的立體匹配算法又可以分為:基于區(qū)域、特征和相位的立體匹配算法；基于全局約束的立體匹配算法可以分為:基于動態(tài)規(guī)劃的立體匹配算法、模擬退火算法、圖割法和置信度傳播算法。
[0025]從優(yōu)化理論角度來講，局部約束立體匹配算法可以理解為，選取獨立的特征，根據(jù)匹配策略使得被匹配點滿足相似性準則或使不含平滑項的代價函數(shù)實現(xiàn)局部最優(yōu)；而基于全局約束的立體匹配算法是基于馬爾科夫隨機場理論，以圖像的結(jié)構(gòu)化特征等高級語義為匹配基元，構(gòu)建能量函數(shù)為代價函數(shù)，利用立體匹配所遵循的約束條件，解能量最小方程得到最優(yōu)解，實現(xiàn)立體匹配的全局最優(yōu)，其中如何構(gòu)建合理的能量函數(shù)和如何解病態(tài)的能量最小問題是該算法的核心所在。局部約束算法，因為只能實現(xiàn)局部最優(yōu)，對于圖像中的傾斜平面，光照變化，缺乏復雜紋理以及像素遮擋等問題并不能提出很好的解決方法，不能得到很好的視差估計圖，其優(yōu)點是計算量小，實現(xiàn)較為容易；目前來講，全局約束立體匹配算法，可以實現(xiàn)全局最優(yōu)，可有效解決如上問題，尤其圖割、分層等優(yōu)化算法已經(jīng)成為現(xiàn)在實現(xiàn)立體匹配的主要研究方向，缺點為計算量較大。
[0026]本發(fā)明中，由于存在三幅圖像(兩幅高分辨率可見光圖像，一幅低分辨率紅外圖像)，局部約束算法的效果有限，很多情況下不能得到滿意的匹配效果。理論上，任何一種有效的全局匹配方法都可以用到本發(fā)明中。因此，本發(fā)明使用基于圖割的全局約束圖像匹配算法對三幅圖像進行匹配，以期得到滿意的圖像匹配效果。
[0027]二、基于多尺度幾何分析的信息融合技術
[0028]在圖像配準以后，由于真實場景中的某一點在所有的配準點上攜帶的信息不同，需要將不同的信息進行融合進而生成最后的4D信息。兩幅可見光圖像，由于已經(jīng)配準，根據(jù)相機標定的結(jié)果，可以計算出當前待處理點的深度信息。針對該待處理點，在得到此點的深度信息后，再去紅外圖像中對應的配準點上找到此點對應的溫度信息，完成信息融合功倉泛。
[0029]三、最終融合效果顯示
[0030]目前計算機最多能實現(xiàn)對真實物體在計算機中的三維顯示。本發(fā)明中使用指示法來顯示4D模型，如圖4所示。圖4中以一個玩具熊為例，使用本發(fā)明中的方法建立該玩具熊的4D模型，在計算機中只能看到它的三維幾何顯示，但當鼠標放到玩具熊上的某一點時，可用數(shù)值方法顯示其溫度維的信息，其中R代表紅色分量，G代表綠色分量，B代表藍色分量，T代表溫度分量。
【專利附圖】

【附圖說明】
[0031]圖1為本發(fā)明的4D成像系統(tǒng)總體流程。
[0032]圖2為多分辨率圖像配準點示例。
[0033]圖3為信息融合示例。
[0034]圖4為最終4 D模型效果示例。
【具體實施方式】
[0035]本發(fā)明中的4D成像系統(tǒng)的總體流程圖如圖1所示，每個步驟的具體實現(xiàn)過程如下:
[0036]1.紅外圖像預處理。隨著紅外焦平面陣列圖像傳感器制造技術的日益進步，紅外成像技術不斷發(fā)展，已經(jīng)被廣泛應用于軍事、工業(yè)和商業(yè)等領域。由于制造技術、制造工藝和元材料的原因，紅外焦平面陣列圖像傳感器各探測元之間通常存在響應的非均勻性。非均勻性的極端表現(xiàn)為:當入射輻射發(fā)生改變時，某些探測元的響應始終過高或過低，導致圖像上出現(xiàn)影響視覺效果的亮點或暗點，即為盲元(也稱為無效元)。盲元的存在降低了圖像的質(zhì)量，影響了非均勻校正、圖像增強、目標檢測與識別等后續(xù)處理。因此，利用先進的圖像處理技術，對紅外圖像傳感器成像形成的紅外圖像進行非均勻性矯正和盲元檢測與補償，可有有效的提高紅外圖像的質(zhì)量，為后續(xù)的圖像配準等操作奠定良好的基礎[3]。
[0037]具體實現(xiàn)步驟為:
[0038]步驟1:采集20幀某個紅外場景，計算每個探測元的時域噪聲，確定(2n+l) X (2n+l)滑動窗口的自適應閾值。假設IRFPA的輸出為Xf (i，f)，圖像大小為MXN，探測元的時域噪聲定義為
【權利要求】
1.一種獲取場景4D信息的方法，包括以下步驟: (1)設置左視角可見光成像系統(tǒng)、右視角可見光成像系統(tǒng)和紅外成像系統(tǒng)，相應地接收所拍攝場景的左視角可見光圖像、右視角可見光圖像和紅外圖像； (2)對左視角可見光圖像、右視角可見光圖像和紅外圖像分別進行預處理； (3)對兩幅可見光圖像以及紅外圖像進行特征點提取，然后進行特征點匹配，建立可見光圖像和紅外圖像上的所有配準點，即完成多分辨率圖像配準； (4)首先基于已知的兩個可見光成像系統(tǒng)間的距離和焦距信息，對兩幅可見光圖像計算出所拍攝場景的深度圖，得出場景的三維坐標信息；然后根據(jù)步驟(3)確定的配準點，采用插值算法將紅外圖像的溫度信息與場景的三維坐標信息疊加，完成多分辨率信息融合，最終獲得所拍攝場景的4D信息。
2.根據(jù)權利要求1所述的獲取場景4D信息的方法，其特征在于:步驟(3)中采用SIFT特征點提取算法對兩幅可見光圖像以及紅外圖像分別進行特征點提??；采用基于圖像分割的全局立體匹配算法對兩幅可見光圖像與紅外圖像進行特征點匹配。
3.根據(jù)權利要求2所述的獲取場景4D信息的方法，其特征在于:步驟(4)采用雙線性插值算法將紅外圖像的溫度信息與場景的三維坐標信息疊加。
4.根據(jù)權利要求3所述的獲取場景4D信息的方法，其特征在于:步驟(2)中，對紅外圖像預處理主要包括非均勻性矯正和盲元檢測與補償，對可見光圖像的預處理主要基于雙邊濾波算法以去除噪 聲。
【文檔編號】G06T5/50GK104021548SQ201410209953
【公開日】2014年9月3日 申請日期:2014年5月16日 優(yōu)先權日:2014年5月16日
【發(fā)明者】周祚峰, 冷寒冰, 曹劍中, 薛彬, 朱少嵐, 王浩, 閆阿奇, 張建, 楊洪濤 申請人:中國科學院西安光學精密機械研究所