專利名稱：全景視覺系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺系統(tǒng)，更具體地說(shuō)，涉及一種具有圖像失真校正的全景視覺系統(tǒng)。
背景技術(shù)：
改進(jìn)的環(huán)境感知技術(shù)已越來(lái)越被許多實(shí)際應(yīng)用所需求，例如，監(jiān)視系統(tǒng)、視頻會(huì)議可視系統(tǒng)和車輛視覺系統(tǒng)。這些應(yīng)用的本質(zhì)是需要監(jiān)視一個(gè)廣闊的操作區(qū)域，并構(gòu)成復(fù)合圖像以方便不同的用戶模式理解。為了最小化攝像機(jī)數(shù)量和成本，具有全景鏡頭的攝像機(jī)可以拍攝到廣闊的區(qū)域，但因?yàn)槠涔逃械膸缀涡螤詈凸鈱W(xué)非線性，會(huì)產(chǎn)生失真。在監(jiān)視系統(tǒng)應(yīng)用中，多個(gè)全景攝像頭可覆蓋建筑的整個(gè)外部和內(nèi)部區(qū)域，并且所述系統(tǒng)可提供該區(qū)域的動(dòng)態(tài)觀測(cè)，并可手動(dòng)或自動(dòng)地追蹤經(jīng)過(guò)該區(qū)域的物體。
在車輛視覺系統(tǒng)中，多個(gè)全景攝像機(jī)可提供整個(gè)區(qū)域以及障礙物周圍360度的觀察。所述系統(tǒng)可將顯示視角轉(zhuǎn)至特定操作員模式，例如轉(zhuǎn)向、倒車和車道轉(zhuǎn)換以改善環(huán)境觀察。車輛視覺系統(tǒng)的其它優(yōu)點(diǎn)是降低后視鏡造成的風(fēng)阻和噪音，并通過(guò)去掉該突出的后視鏡減小車輛的寬度。這些系統(tǒng)也能夠檢測(cè)移動(dòng)中的物體，提供接近物體的警告，并通過(guò)多個(gè)視區(qū)追蹤該物體。視覺系統(tǒng)也可通過(guò)各種技術(shù)顯著地增強(qiáng)夜視能力，例如，紅外線、雷達(dá)和光敏設(shè)備。
視覺系統(tǒng)包括一個(gè)或多個(gè)圖像獲取設(shè)備，連接至一個(gè)或多個(gè)可視顯示單元。圖像獲得設(shè)備可結(jié)合具有不同的焦距和景深的不同的鏡頭，例如，平面鏡頭、全景鏡頭、魚眼(fish-eye)鏡頭和環(huán)形鏡頭。魚眼鏡頭和環(huán)形鏡頭具有廣闊的視野范圍和較大的景深。它們可以抓取寬且深的視野范圍。然而，它們可能使圖像失真，特別是邊沿部分，使得圖像看起來(lái)不成比例。在任何類型的鏡頭中，也有因鏡頭切向和徑向的非理想性、鏡頭偏置、鏡頭焦距和鏡頭外部附近的光分散導(dǎo)致的光學(xué)失真。在視覺系統(tǒng)中，還有因亮度變化和色像差導(dǎo)致的其它類型的圖像失真。這些失真影響圖像的質(zhì)量和清晰度。
現(xiàn)有全景視覺系統(tǒng)在正確地混合多個(gè)圖像的同時(shí)，未消除圖像失真。美國(guó)專利6,498,620 B2便公開了這樣一種全景系統(tǒng)，名稱為“車輛后視系統(tǒng)”。這個(gè)系統(tǒng)由圖像抓取設(shè)備、圖像合成器和顯示系統(tǒng)組成。無(wú)論是該專利還是本申請(qǐng)引用的任何文獻(xiàn)中，都沒有提供用于校正幾何、光學(xué)、顏色失常和亮度圖像失真的電子圖像處理系統(tǒng)。公開號(hào)為2003/0103141A1的美國(guó)專利申請(qǐng)描述了一種車輛視覺系統(tǒng)，僅包括有以預(yù)校準(zhǔn)為基礎(chǔ)的亮度校正，不包括其它光學(xué)和幾何校正。
失真的圖像和多個(gè)圖像之間的不連續(xù)性降低了操作員的視覺認(rèn)知速度，并因此，他/她的環(huán)境認(rèn)知可能會(huì)產(chǎn)生錯(cuò)誤。這是啟動(dòng)有效全景視覺系統(tǒng)的重要阻礙之一。因此需要通過(guò)消除幾何、光學(xué)、顏色失常、亮度和其它失真并提供多個(gè)視角的合成圖像，提供能準(zhǔn)確呈現(xiàn)周圍環(huán)境的全景視覺系統(tǒng)。這種校正可幫助目視觀察和識(shí)別，并改善可視圖像質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的一方面提供一種具有相關(guān)的攝像機(jī)、顯示光學(xué)器件和幾何特性的全景視覺系統(tǒng)，所述系統(tǒng)包括(a)多個(gè)圖像獲取設(shè)備，從場(chǎng)景中抓取圖像幀數(shù)據(jù)，并產(chǎn)生圖像感應(yīng)器輸入，所述圖像幀數(shù)據(jù)共同地覆蓋最高360°范圍的視野，所述圖像獲得設(shè)備具有幾何和光學(xué)失真參數(shù)；(b)數(shù)字轉(zhuǎn)換器，連接至所述多個(gè)圖像獲取設(shè)備以對(duì)所述圖像幀數(shù)據(jù)和圖像感應(yīng)器輸入采樣并轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)；(c)圖像處理器，連接至所述數(shù)字轉(zhuǎn)換器，所述圖像處理器包括(i)圖像測(cè)量設(shè)備，用以接收所述數(shù)字圖像數(shù)據(jù)并測(cè)量所述數(shù)字圖像數(shù)據(jù)的圖像亮度和環(huán)境光照度級(jí)別；(ii)亮度校正模塊，連接至所述圖像測(cè)量設(shè)備以接收所述數(shù)字圖像數(shù)據(jù)以及所述攝像機(jī)、顯示光學(xué)器件和幾何特性、所述圖像亮度和環(huán)境光照度級(jí)別，并校正亮度不均性，優(yōu)化所述數(shù)字圖像數(shù)據(jù)中選擇區(qū)域的亮度范圍；(iii)卷積級(jí)，連接至所述亮度校正模塊以組合所述幾何和光學(xué)失真參數(shù)以構(gòu)成卷積失真參數(shù)，所述幾何和光學(xué)失真參數(shù)包括所述圖像感應(yīng)器輸入、所述攝像機(jī)、顯示光學(xué)器件和幾何特性以及與之相關(guān)的非理想性；(iv)失真校正模塊，連接至所述卷積級(jí)以對(duì)所述數(shù)字圖像數(shù)據(jù)產(chǎn)生并應(yīng)用基于所述卷積失真參數(shù)的失真校正轉(zhuǎn)換，以生成經(jīng)校正的數(shù)字圖像數(shù)據(jù)；(v)顯示控制器，連接至所述失真校正模塊以根據(jù)所述經(jīng)校正的數(shù)字圖像數(shù)據(jù)組成合成圖像；以及(d)顯示器系統(tǒng)，連接至所述圖像處理器以在觀察表面顯示所述合成圖像以供觀察，所述合成圖像無(wú)視覺失真。
另一方面，本發(fā)明提供一種使用具有相關(guān)的攝像機(jī)、顯示光學(xué)器件和幾何特性以及幾何和光學(xué)失真參數(shù)的全景視覺系統(tǒng)生成覆蓋最高360°或4π立體弧度范圍的合成圖像以提供全景觀察的方法，所述方法包括(a)從場(chǎng)景中獲取圖像幀數(shù)據(jù)，所述圖像幀數(shù)據(jù)共同覆蓋最高360°或4π立體弧度的視野范圍，并產(chǎn)生一組圖像感應(yīng)器輸入；(b)轉(zhuǎn)換所述圖像幀數(shù)據(jù)和圖像感應(yīng)器輸入為數(shù)字圖像數(shù)據(jù)，所述數(shù)字圖像數(shù)據(jù)與圖像亮度和環(huán)境光照度級(jí)別相關(guān)；(c)獲取所述攝像機(jī)、顯示光學(xué)器件和幾何特性、所述圖像亮度和環(huán)境光照度級(jí)別，并校正亮度不均性以優(yōu)化所述數(shù)字圖像數(shù)據(jù)中選擇區(qū)域的亮度范圍；(d)對(duì)所述幾何和光學(xué)失真參數(shù)進(jìn)行卷積處理以構(gòu)成卷積失真參數(shù)，所述幾何和光學(xué)失真參數(shù)包括所述圖像感應(yīng)器輸入、所述攝像機(jī)、顯示光學(xué)器件和幾何特性及與之相關(guān)的非理想性；(e)對(duì)所述數(shù)字圖像數(shù)據(jù)產(chǎn)生并應(yīng)用基于所述卷積失真參數(shù)的失真校正轉(zhuǎn)換，以生成經(jīng)校正的數(shù)字圖像數(shù)據(jù)；
(f)根據(jù)所述經(jīng)校正的數(shù)字圖像數(shù)據(jù)組成合成圖像；以及(g)在觀察表面顯示所述合成圖像以供觀察，所述合成圖像無(wú)視覺失真。
在另一方面，本發(fā)明提供一種圖像處理器，用于具有相關(guān)的攝像機(jī)、顯示光學(xué)器件和幾何特性以及幾何和光學(xué)失真參數(shù)的全景視覺系統(tǒng)，所述全景視覺系統(tǒng)使用多個(gè)圖像獲取設(shè)備以從場(chǎng)景中抓取圖像幀并生成數(shù)字圖像數(shù)據(jù)和圖像感應(yīng)器輸入，并使用數(shù)字轉(zhuǎn)換器以轉(zhuǎn)換所述數(shù)字圖像數(shù)據(jù)和圖像感應(yīng)器輸入為數(shù)字圖像數(shù)據(jù)，所述圖像處理器包括(a)圖像測(cè)量設(shè)備，用以接收所述數(shù)字圖像數(shù)據(jù)并測(cè)量所述數(shù)字圖像數(shù)據(jù)的圖像亮度和環(huán)境光照度級(jí)別；(b)亮度校正模塊，連接至所述圖像測(cè)量設(shè)備以接收所述數(shù)字圖像數(shù)據(jù)以及所述攝像機(jī)、顯示光學(xué)器件和幾何特性、所述圖像亮度和環(huán)境光照度級(jí)別，并校正亮度不均性，優(yōu)化所述數(shù)字圖像數(shù)據(jù)中選擇區(qū)域的亮度范圍；(c)卷積級(jí)，連接至所述亮度校正模塊以組合所述幾何和光學(xué)失真參數(shù)以構(gòu)成卷積失真參數(shù)，所述幾何和光學(xué)失真參數(shù)包括所述圖像感應(yīng)器輸入、所述攝像機(jī)、顯示光學(xué)器件和幾何特性以及與之相關(guān)的非理想性；(d)失真校正模塊，連接至所述卷積級(jí)以對(duì)所述數(shù)字圖像數(shù)據(jù)產(chǎn)生并應(yīng)用基于所述卷積失真參數(shù)的失真校正轉(zhuǎn)換，以生成經(jīng)校正的數(shù)字圖像數(shù)據(jù)；以及(e)顯示控制器，連接至所述失真校正模塊以根據(jù)所述經(jīng)校正的數(shù)字圖像數(shù)據(jù)組成合成圖像。
在本發(fā)明的第一實(shí)施例中，提供了一種車輛視覺系統(tǒng)，覆蓋高達(dá)360°的水平視野范圍以及高達(dá)180°的垂直視野范圍，重點(diǎn)在車的后部、兩側(cè)和角落的觀察。所述環(huán)境顯示圖像可與其他車輛信息數(shù)據(jù)例如車輛狀態(tài)或?qū)Ш綌?shù)據(jù)相結(jié)合。圖像首選顯示在前控制面板上，接近駕駛員的視野范圍。還可顯示附加的觀察圖像以改善覆蓋性和靈活性，例如，替代后視鏡的內(nèi)部?jī)x表板(dashboard)角落顯示器，可消除外部部件的突起和風(fēng)阻。當(dāng)一個(gè)視圖比其它的視圖更重要時(shí)，所述系統(tǒng)適用于再配置顯示器并基于控制輸入在各視圖之間切換。
例如，在倒車時(shí)，顯示器重新設(shè)置以顯示車尾交廣范圍內(nèi)的圖像；或者，右轉(zhuǎn)燈打開且車輛在較高速度行駛時(shí)，顯示右側(cè)的圖像；或者在右轉(zhuǎn)燈打開，車輛停止或低速行駛時(shí)，顯示右側(cè)拐角的圖像。在優(yōu)選實(shí)施例中，所述系統(tǒng)提供相關(guān)幫助，用作停車助手，或通過(guò)對(duì)路邊線、車道和物體的識(shí)別提供車道變線警告，以及確定距離。
在另一個(gè)實(shí)施例中，本發(fā)明提供一種監(jiān)測(cè)系統(tǒng)，覆蓋某一結(jié)構(gòu)(例如建筑物、橋梁等)內(nèi)部和/或外部高達(dá)360°的水平范圍以及高達(dá)180°的垂直視野范圍。所述系統(tǒng)可提供多個(gè)經(jīng)失真校正后的圖像以產(chǎn)生連續(xù)圖像帶或掃描全景視圖。所述系統(tǒng)可執(zhí)行動(dòng)態(tài)檢測(cè)和監(jiān)測(cè)范圍內(nèi)的物體追蹤，以及物體識(shí)別以識(shí)別出人、車輛等。
在另一個(gè)實(shí)施例中，本發(fā)明提供一種視頻會(huì)議視覺系統(tǒng)，產(chǎn)生寬達(dá)180°或環(huán)形360°的廣闊視野。在這個(gè)實(shí)施例中，本發(fā)明幫助觀察會(huì)議或聚會(huì)的參與者，并使用一個(gè)攝像機(jī)提供鏡頭拉近發(fā)言者的功能。
本發(fā)明實(shí)施例的各種細(xì)節(jié)以及本發(fā)明的優(yōu)點(diǎn)將通過(guò)下面的描述和附圖展示。


附圖中圖1是本發(fā)明視覺系統(tǒng)及其內(nèi)置的部件的整體視圖；圖2A是圖1中作為視覺系統(tǒng)一部分的圖像處理器的結(jié)構(gòu)示意圖；圖2B是圖1中圖像處理器的邏輯流程圖；圖3A是具有后視鏡用于兩側(cè)和尾部觀察的傳統(tǒng)車輛的示意圖；圖3B是車輛視覺系統(tǒng)實(shí)施例中攝像機(jī)的設(shè)置及其觀察范圍的示意圖；圖3C是車輛視覺系統(tǒng)實(shí)施例中選擇的攝像機(jī)觀察范圍的示意圖；圖4A是車輛視覺系統(tǒng)實(shí)施例中視覺系統(tǒng)顯示器的觀察表面的示意圖；圖4B是車輛視覺系統(tǒng)實(shí)施例中右轉(zhuǎn)指示燈打開時(shí)圖4A所示相同的觀察表面的示意圖；圖5A是車輛視覺系統(tǒng)實(shí)施例中視覺系統(tǒng)顯示器的觀察表面的可選擇的大視野范圍的示意圖；圖5B是車輛倒車時(shí)圖5A中的觀察表面經(jīng)重新設(shè)置后的示意圖；圖6A是車輛變線時(shí)經(jīng)重新設(shè)置的顯示器的示意圖；圖6B是車輛右轉(zhuǎn)且駕駛員視野不清楚時(shí)經(jīng)重新設(shè)置的顯示器的示意圖；圖7是顯示車輛和臨近物體的俯視圖；圖8是車輛視覺系統(tǒng)中的控制輸入的一個(gè)示例的示意圖；圖9A是視頻會(huì)議視覺系統(tǒng)實(shí)施例中設(shè)置在會(huì)議桌中央的半球形、180°(2π的弧度)視野的攝像機(jī)的示意圖；圖9B是視頻會(huì)議視覺系統(tǒng)實(shí)施例的顯示器的示意圖；圖10是走廊或建筑墻上安裝有兩個(gè)攝像機(jī)作為監(jiān)視系統(tǒng)實(shí)施例的一部分的示意圖；圖11A是本發(fā)明監(jiān)視系統(tǒng)實(shí)施例的顯示器的示意圖；圖11B是圖9A中同一顯示器在稍后時(shí)間的示意圖。
具體實(shí)施例方式
圖1展示了根據(jù)本發(fā)明建立的視覺系統(tǒng)100的整體結(jié)構(gòu)，其包括多個(gè)圖像獲取設(shè)備如像攝像機(jī)110用以抓取圖像幀，數(shù)字轉(zhuǎn)換器118用以轉(zhuǎn)換圖像幀數(shù)據(jù)為數(shù)字圖像數(shù)據(jù)，圖像處理器200用以調(diào)整亮度并校正圖像失真并根據(jù)數(shù)字圖像數(shù)據(jù)和控制參數(shù)構(gòu)成合成圖像，控制器101用以傳遞用戶和感應(yīng)器參數(shù)至圖像處理器200，以及顯示設(shè)備120用以在觀察表面160上顯示合成的圖像以供觀察。本發(fā)明最終合成的圖像覆蓋高達(dá)360°，包括多個(gè)感興趣的特定區(qū)域，并且無(wú)失真。這一系統(tǒng)很大程度上增強(qiáng)了環(huán)境認(rèn)知性。
圖1中的攝像機(jī)110包括圖像光學(xué)器件112、感應(yīng)器陣列114和圖像抓取控制器116。對(duì)于需要較廣區(qū)域覆蓋的應(yīng)用，圖像光學(xué)器件112可使用廣角鏡頭以最小化需要的攝像機(jī)的數(shù)量。廣角鏡頭也具有較大的景深，降低聚焦的調(diào)整及其成本。這種鏡頭一般具有超過(guò)100°的視野范圍，景深從幾英尺到無(wú)限遠(yuǎn)。這些屬性均使得所述鏡頭正是全景視覺系統(tǒng)所需要的。廣角鏡頭具有較大的光學(xué)失真，光學(xué)地校正非常難并且成本很高。在本發(fā)明中，使用電子校正來(lái)補(bǔ)償任何光學(xué)和幾何失真，以及光學(xué)或投影路徑中任何其它的非線性和非理想性。
在本發(fā)明中，攝像機(jī)鏡頭不需要完美或產(chǎn)生完美的圖像。所有的圖像失真，包括鏡頭幾何結(jié)構(gòu)或非理想性導(dǎo)致的圖像失真，均被數(shù)學(xué)模擬和電子校正。這一特征的重要性在于其可允許用戶使用便宜的可擴(kuò)展景深的廣角鏡頭。這類鏡頭的缺點(diǎn)是會(huì)產(chǎn)生圖像失真和亮度不均；這類鏡頭會(huì)拉伸物體，特別是靠近取景范圍的邊緣處。這個(gè)效果是眾所周知的，例如，魚眼或環(huán)形鏡頭便是如此。它們使得物體看起來(lái)不成比例。有大量的光學(xué)解決方案可用于補(bǔ)償這些失真。然而，附加大量光學(xué)器件將使得所述設(shè)備更大、更重和更貴。大量光學(xué)器件的成本由人工成本決定，例如，磨光、對(duì)準(zhǔn)等。但是電子元件變得較便宜且更有效。眾所周知，光學(xué)器件不可能完全消除某些失真。
光學(xué)器件解決方案的另一個(gè)缺點(diǎn)是對(duì)對(duì)準(zhǔn)的敏感度以及碰撞后導(dǎo)致的功能故障。因此，非常需要電子圖像校正以使得視覺系統(tǒng)表示真實(shí)的設(shè)置，在使其性能優(yōu)良的同時(shí)，價(jià)格也相對(duì)低。這在視覺系統(tǒng)中得到證實(shí)，電子元件是最可能被需要以完成其它任務(wù)。這些任務(wù)包括全景轉(zhuǎn)換和顯示器控制。稍后將描述的圖像處理器200提供了這些基本的功能。
圖像感應(yīng)器陣列114設(shè)置在攝像機(jī)110內(nèi)。該感應(yīng)器陣列適用于緩和通過(guò)攝像機(jī)系統(tǒng)的取景范圍的光強(qiáng)度的極劇變化。對(duì)于有效工作在不同光照情況下的視覺系統(tǒng)，需要很大的動(dòng)態(tài)范圍。這個(gè)動(dòng)態(tài)范圍要求源于從白天到晚上環(huán)境光照強(qiáng)度的變化，以及夜晚偶然的光源引起的變化。攝像機(jī)感應(yīng)器基本上是多個(gè)鑲嵌的片段，每個(gè)片段從取景范圍內(nèi)一部分接收光線，記錄光線強(qiáng)度作為電壓輸出。圖像抓取控制器116發(fā)送圖像幀強(qiáng)度信息，并基于這些數(shù)據(jù)，從圖像處理器200接收命令以用于合成優(yōu)化、鏡頭光圈控制和白平衡控制。
數(shù)字轉(zhuǎn)換器118從圖像抓取控制器116接收數(shù)據(jù)，并轉(zhuǎn)換這些數(shù)據(jù)為數(shù)字圖像數(shù)據(jù)。在另一個(gè)實(shí)施例中，數(shù)字轉(zhuǎn)換器118的功能可集成在圖像感應(yīng)器114或圖像處理器200中。在存在音頻數(shù)據(jù)獲取的情況下，數(shù)字轉(zhuǎn)換器118從音頻設(shè)備陣列117接收音頻數(shù)據(jù)。隨后產(chǎn)生數(shù)字音頻數(shù)據(jù)并將之與數(shù)字圖像數(shù)據(jù)合并。然后將數(shù)字圖像數(shù)據(jù)發(fā)送至圖像處理器200。
圖2A展示圖像處理器200的細(xì)節(jié)。該圖像處理器的功能是接收數(shù)字圖像數(shù)據(jù)、測(cè)量圖像統(tǒng)計(jì)值、增強(qiáng)圖像質(zhì)量、補(bǔ)償亮度不均和校正這些數(shù)據(jù)中的各種失真，以最終產(chǎn)生一個(gè)或多個(gè)無(wú)失真的合成圖像。該圖像處理器包括光學(xué)和幾何數(shù)據(jù)接口236，其包括攝像機(jī)光學(xué)數(shù)據(jù)、投影光學(xué)數(shù)據(jù)和投影幾何數(shù)據(jù)，以及控制數(shù)據(jù)接口202、圖像測(cè)量模塊210、亮度校正模塊220、失真卷積級(jí)250、失真校正模塊260和顯示器控制器280。為了理解圖像處理器200的功能，簡(jiǎn)單的討論這些失真的特性和原因是重要的。
周圍環(huán)境光線和點(diǎn)光源可導(dǎo)致亮度級(jí)別的極劇變化，從而產(chǎn)生較差的圖像質(zhì)量并使圖像元素難以識(shí)別。在本發(fā)明中，圖像處理器200測(cè)量全部的和選擇的圖像區(qū)域，并分析它們以控制曝光以在感興趣的區(qū)域獲得最佳圖像質(zhì)量。高亮度光源例如前燈和聚光燈的強(qiáng)度被充分地降低，而低亮度物體的細(xì)節(jié)得到增強(qiáng)以利于元素的識(shí)別。
圖像感應(yīng)器可以是任何類型和任何分辨率的感應(yīng)器，本發(fā)明的實(shí)施例中，高分辨率固態(tài)CCD或CMOS圖像感應(yīng)器在大小、成本、集成度和靈活性方面都是恰當(dāng)?shù)?。典型的?yīng)用包括通過(guò)光圈控制和積分時(shí)間(integration time)調(diào)整至變化范圍廣的環(huán)境光線級(jí)別。除了光圈控制和積分時(shí)間控制，亮度校正模塊220對(duì)感興趣的區(qū)域執(zhí)行柱狀圖分析，擴(kuò)大低光照度區(qū)域的對(duì)比度并降低高光照度區(qū)域的對(duì)比度以提供增強(qiáng)的圖像元素識(shí)別。
亮度不均是圖像中不想要的亮度變化。造成亮度不均的主要物理原因是穿過(guò)光學(xué)系統(tǒng)不同部分的光線經(jīng)過(guò)不同的距離和區(qū)域密度。光線的強(qiáng)度的衰減與其經(jīng)過(guò)的距離的平方成比例。這種現(xiàn)象既發(fā)生在攝像機(jī)光學(xué)器件中，也發(fā)生在顯示器光學(xué)器件中。除了這些純物理原因外，光學(xué)系統(tǒng)的非理想性也導(dǎo)致亮度不均。所述非理想性的例子是投影鏡頭的虛影和側(cè)面起伏，以及產(chǎn)生的投影光線的不一致性。如果亮度變化對(duì)于3個(gè)不同的顏色成分不同，便稱為色度不一致。
另一種類型的光學(xué)失真是色像差。它源于光學(xué)元件例如鏡頭對(duì)于不同的波長(zhǎng)具有不同的折射率。通過(guò)光學(xué)元件傳播的光線根據(jù)不同的波長(zhǎng)以不同的角度折射。這使得圖像中顏色發(fā)生橫向偏移。橫向色像差導(dǎo)致點(diǎn)目標(biāo)的不同顏色成分分離和擴(kuò)散。在觀察表面上一個(gè)點(diǎn)目標(biāo)看起來(lái)帶有毛邊。另一種類型的色像差實(shí)質(zhì)上是軸向的，因鏡頭對(duì)不同的光線波長(zhǎng)具有不同的焦點(diǎn)而產(chǎn)生。這種類型的色像差不能通過(guò)電子校正方法校正。
視覺系統(tǒng)種可能會(huì)出現(xiàn)各種其它的失真。鏡頭切向或徑向的非理想性、鏡頭偏置、投影器非理想性以及因偏軸投影引起的梯形失真是一些常見的失真。
除了上述的失真外，圖像處理器200將捕捉到的場(chǎng)景映射在具有特定特性的觀察表面，例如，形狀、大小和屏幕高寬比。例如，圖像可由捕捉的場(chǎng)景的不同部分構(gòu)成，并投影到車輛的擋風(fēng)玻璃的一部分上，在這種情況中，因?yàn)橛^察表面的非平面形狀以及特定的大小，會(huì)出現(xiàn)失真。本發(fā)明中的圖像處理器校正所有這些失真，如下將給出描述。
參照?qǐng)D2A中的圖像處理器200的細(xì)節(jié)，數(shù)字圖像數(shù)據(jù)由圖像測(cè)量模塊210接收，在此將測(cè)得感興趣的區(qū)域的圖像的對(duì)比度和亮度柱狀圖。這些柱狀圖由亮度校正模塊220進(jìn)行分析以控制感應(yīng)器曝光度，并調(diào)整數(shù)字圖像數(shù)據(jù)以改善圖像內(nèi)容，用于觀察和檢測(cè)。某些調(diào)整包括高亮度壓縮、擴(kuò)大對(duì)比度、增強(qiáng)細(xì)節(jié)和降低噪音。
連同這些測(cè)量信息一起，亮度校正模塊220從光學(xué)和幾何數(shù)據(jù)接口236接收攝像機(jī)和投影光學(xué)數(shù)據(jù)。這些數(shù)據(jù)根據(jù)光學(xué)元件的精確光線傳播計(jì)算和校準(zhǔn)來(lái)確定。這些數(shù)據(jù)對(duì)于亮度校正是很重要的，因?yàn)樗鼈兲峁┝送ㄟ^(guò)攝像機(jī)和投影系統(tǒng)的不同光線的光學(xué)路徑長(zhǎng)度。分離或組合的攝像機(jī)和投影校正圖被生成以計(jì)算每個(gè)象素的校正。
該校正圖可離線獲得，或者可根據(jù)環(huán)境動(dòng)態(tài)地計(jì)算出。因此亮度校正模塊220的功能是接收數(shù)字圖像數(shù)據(jù)并產(chǎn)生亮度已調(diào)整的數(shù)字圖像數(shù)據(jù)。在色度不一致的情況下，亮度校正模塊220首選分別對(duì)三個(gè)不同的顏色成分應(yīng)用亮度校正。亮度校正模塊的物理實(shí)現(xiàn)可以是軟件程序或?qū)Ｓ玫奶幚黼娐罚鐢?shù)字信號(hào)處理器或集成電路中的計(jì)算邏輯。
亮度已調(diào)整的圖像數(shù)據(jù)應(yīng)該進(jìn)行幾何、光學(xué)和其它空間失真的校正。這些失真稱作“扭曲(warp)”校正，并且這種校正技術(shù)在本說(shuō)明書中被稱作“圖像扭曲”。圖像扭曲的相關(guān)介紹可以在George Wolberg所著的《數(shù)字圖像扭曲》(George Wolberg，Digital Image Warping，IEEE Computer Society Press，1998)中找到，本申請(qǐng)?jiān)诖艘闷湎嚓P(guān)內(nèi)容。
圖像扭曲基本上是坐標(biāo)轉(zhuǎn)換、映射輸出象素至輸入象素的有效參數(shù)表示。理想情況下，一個(gè)網(wǎng)格點(diǎn)數(shù)據(jù)集表示每個(gè)輸出象素至輸入象素的映射。然而，因?yàn)椴檎冶淼募羟谐叽?，網(wǎng)格點(diǎn)數(shù)據(jù)表示相對(duì)于硬件實(shí)現(xiàn)是相當(dāng)不能原諒的。本發(fā)明中，圖像扭曲技術(shù)提供一種有效的方法以通過(guò)一些參數(shù)來(lái)表示象素網(wǎng)格點(diǎn)數(shù)據(jù)集。在一個(gè)實(shí)施例中，這些參數(shù)表示由n次多項(xiàng)式完成，n由組合失真的復(fù)雜程度決定。
在本發(fā)明的另一個(gè)實(shí)施例中，輸出空間的不同區(qū)域被分為具有內(nèi)在幾何屬性的多個(gè)小片，以降低多項(xiàng)式的次數(shù)。原理上，該小片的數(shù)量越大且適于每個(gè)小片的多項(xiàng)式次數(shù)越高，網(wǎng)格點(diǎn)數(shù)據(jù)集的參數(shù)化就越準(zhǔn)確。然而，在實(shí)時(shí)應(yīng)用中，這需要與處理能力相平衡。所述扭曲圖因此表示輸出象素至輸入象素的映射，表示攝像機(jī)光學(xué)、顯示器光學(xué)和顯示器幾何特性，包括最終合成的圖像的規(guī)格和觀察表面的形狀特性。此外，任何控制參數(shù)，包括用戶輸入?yún)?shù)，也與上述參數(shù)組合，并表示在一次轉(zhuǎn)換中。
除了坐標(biāo)轉(zhuǎn)換以外，通常還需要采樣或?yàn)V波功能。一旦輸出圖像數(shù)據(jù)被映射到輸入象素上，輸入象素周圍的區(qū)域被指定用于濾波。這個(gè)區(qū)域稱作濾波器覆蓋區(qū)域(filter footprint)。濾波基本上是一個(gè)加權(quán)平均函數(shù)，基于覆蓋區(qū)域內(nèi)所有的象素獲得輸出象素的顏色成分的強(qiáng)度。在特定的例子中，各向異性橢圓形覆蓋區(qū)域被用于獲得最優(yōu)圖像質(zhì)量。眾所周知，覆蓋區(qū)域面積越大，輸出圖像的質(zhì)量越高。圖像處理200在本發(fā)明中執(zhí)行坐標(biāo)轉(zhuǎn)換的同時(shí)執(zhí)行圖像濾波。
為了校正圖像失真，上述所有幾何和光學(xué)失真參數(shù)在失真卷積級(jí)250被組合在一起，用于不同的顏色成分。這些參數(shù)包括通過(guò)光學(xué)和幾何接口236得到的攝像機(jī)光學(xué)數(shù)據(jù)、投影光學(xué)數(shù)據(jù)、投影幾何數(shù)據(jù)，以通過(guò)控制接口202得到的控制輸入。這些組合在一起的光學(xué)和幾何失真參數(shù)隨后由失真校正模塊260獲得。這個(gè)模塊的功能是將場(chǎng)景中每個(gè)元素的位置、形狀和顏色強(qiáng)度轉(zhuǎn)換到顯示象素上。觀察表面160的形狀也包括在投影幾何數(shù)據(jù)234內(nèi)。該表面不需要是平面的，可以是任何常規(guī)的形狀，只要獲得表面圖(surface map)并且與其它失真參數(shù)組合。所述顯示器表面圖(display surface map)與剩余的失真數(shù)據(jù)進(jìn)行卷積處理。
在本發(fā)明的一個(gè)實(shí)施例中，失真校正模塊260獲得覆蓋整個(gè)失真參數(shù)空間的扭曲圖(warp map)。該處理在美國(guó)專利申請(qǐng)No.2003/0020732-A1和No.2003/0043303-A1中給出了詳細(xì)的解釋，在此引用其相關(guān)內(nèi)容。對(duì)于每組失真參數(shù)，將計(jì)算出轉(zhuǎn)換，以補(bǔ)償圖像在通過(guò)攝像機(jī)光學(xué)器件、顯示器光學(xué)器件傳播至特定形狀的觀察表面160上時(shí)所產(chǎn)生的失真。失真參數(shù)組的形成和轉(zhuǎn)換計(jì)算可離線完成，并存儲(chǔ)在存儲(chǔ)器中以供圖像處理器200通過(guò)接口訪問(wèn)。在參數(shù)變化的情況中，也可至少部分動(dòng)態(tài)地完成。
顯示器圖像可由視窗組成，該視窗可以是獨(dú)立的圖像或彼此級(jí)聯(lián)的圖像。對(duì)于每個(gè)視窗，失真校正模塊260從扭曲表面等式中添加并計(jì)算空間轉(zhuǎn)換和濾波參數(shù)，并執(zhí)行圖像轉(zhuǎn)換以便顯示。
對(duì)于每個(gè)圖像幀，失真校正模塊260首先在失真參數(shù)空間中找出最接近的網(wǎng)格數(shù)據(jù)點(diǎn)。隨后失真校正模塊260添加對(duì)應(yīng)該組參數(shù)的現(xiàn)有轉(zhuǎn)換以匹配實(shí)際的失真參數(shù)。校正模塊260隨后對(duì)數(shù)字圖像數(shù)據(jù)應(yīng)用該轉(zhuǎn)換以補(bǔ)償所有失真。來(lái)自每個(gè)攝像機(jī)的每個(gè)幀的數(shù)字圖像數(shù)據(jù)被組合以構(gòu)成符合觀察表面及其子結(jié)構(gòu)的合成圖像。對(duì)應(yīng)的數(shù)字?jǐn)?shù)據(jù)經(jīng)過(guò)校正后，當(dāng)圖像形成在觀察表面上時(shí)，沒有看得見的失真并且適配觀察表面上的最優(yōu)觀察區(qū)域。失真校正模塊260的物理實(shí)現(xiàn)可以是通用數(shù)字信號(hào)處理器內(nèi)的軟件程序，或?qū)Ｓ玫奶幚黼娐罚鐚Ｓ眉呻娐?。圖像處理器200的物理實(shí)例結(jié)合在Silicon Optix公司的sxW1和REON芯片內(nèi)。
圖2B是本發(fā)明一個(gè)實(shí)例中圖像處理器200的邏輯流程圖。這個(gè)流程圖中的數(shù)字?jǐn)?shù)據(jù)流用粗線表示，而計(jì)算的數(shù)據(jù)流用細(xì)線表示。如圖中所示，亮度和對(duì)比度柱狀圖在步驟(10)從數(shù)字?jǐn)?shù)據(jù)中測(cè)得。攝像機(jī)光學(xué)、顯示器光學(xué)和顯示器幾何參數(shù)在步驟(14)和(16)中獲得。這些數(shù)據(jù)隨后與亮度和對(duì)比度柱狀圖一起在步驟(20)獲得，在此圖像亮度的不均被調(diào)整。來(lái)自步驟(14)和(16)的光學(xué)和幾何數(shù)據(jù)，以及步驟(26)獲得的控制參數(shù)，隨后在步驟(30)中收集。在這個(gè)步驟，所有失真參數(shù)被合并。轉(zhuǎn)化失真效果的轉(zhuǎn)換在步驟(40)被計(jì)算出。這個(gè)補(bǔ)償轉(zhuǎn)換隨后應(yīng)用于步驟(20)中獲得的經(jīng)亮度調(diào)整的數(shù)字圖像數(shù)據(jù)。
如前所述，為了較高的圖像質(zhì)量，象素?cái)?shù)據(jù)在這個(gè)步驟被過(guò)濾。因此，步驟(50)中同時(shí)進(jìn)行坐標(biāo)轉(zhuǎn)換和圖像處理。在步驟(50)，失真補(bǔ)償后的數(shù)字圖像數(shù)據(jù)用于生成合成圖像用于顯示。
一個(gè)幀的數(shù)字圖像數(shù)據(jù)被處理和合成后，顯示器控制器280根據(jù)這些數(shù)據(jù)產(chǎn)生圖像。在本發(fā)明的一個(gè)實(shí)施例中，所述圖像形成在顯示設(shè)備120上，顯示設(shè)備120可以是直接可視顯示器或投影顯示設(shè)備。在一個(gè)實(shí)施例中，來(lái)自投影顯示設(shè)備120的圖像通過(guò)顯示光學(xué)器件122投影在觀察表面160上。顯示光學(xué)器件122是大量光學(xué)元件，用以將投影光線從顯示設(shè)備120引導(dǎo)至觀察表面160上。任何特定的顯示器系統(tǒng)都具有額外的光學(xué)和幾何失真，需要進(jìn)行校正。在這個(gè)例子中，圖像處理器200將這些失真合并并校正合并后的失真。
需要注意的是，本發(fā)明不限于任何特定顯示器系統(tǒng)的選擇；該顯示設(shè)備可以是液晶、發(fā)光二極管、陰極射線管、電致發(fā)光管、等離子顯示器或任何其它可視顯示設(shè)備。該顯示設(shè)備可以是可直接觀看的，或者可以通過(guò)顯示光學(xué)器件投影在集成的板上，用作觀察屏幕。首選地，顯示器系統(tǒng)的亮度通過(guò)環(huán)境光感應(yīng)器、單獨(dú)的信號(hào)和用戶調(diào)光開關(guān)來(lái)調(diào)整。該觀察表面的大小最好可由用戶根據(jù)例如離操作員眼睛離屏幕的距離進(jìn)行調(diào)整。
控制器101與圖像處理器200連接。控制器101從用戶接口150獲取用戶參數(shù)，從感應(yīng)器194獲取輸入，并將之發(fā)送至圖像處理器200用于顯示器控制。本發(fā)明不同的實(shí)施例的應(yīng)用對(duì)應(yīng)的用戶參數(shù)是特定的。感應(yīng)器194優(yōu)選包括環(huán)境光感應(yīng)器和直接閃光感應(yīng)器。來(lái)自這些感應(yīng)器的數(shù)據(jù)用于顯示器調(diào)整。將控制參數(shù)與其它參數(shù)進(jìn)行卷積處理，可提供想要的圖像。
對(duì)于本發(fā)明的某些應(yīng)用，可能需要記錄數(shù)據(jù)流或通過(guò)網(wǎng)絡(luò)發(fā)送其至不同的客戶端。在這兩種情況下，首先需要且必需壓縮視頻數(shù)據(jù)流以達(dá)到存儲(chǔ)和帶寬限度。在一個(gè)例子中，壓縮級(jí)132從圖像處理器200接收視頻流，并壓縮該數(shù)字視頻數(shù)據(jù)。壓縮后的數(shù)據(jù)存儲(chǔ)在記錄設(shè)備142中以供將來(lái)使用。在另一個(gè)實(shí)施例中，數(shù)據(jù)在編碼級(jí)134中進(jìn)行編碼，并通過(guò)網(wǎng)絡(luò)接口144發(fā)送至網(wǎng)絡(luò)上。
在詳細(xì)解釋了本發(fā)明的一般性特征后，以下將介紹視覺系統(tǒng)100的多個(gè)實(shí)施例。在一個(gè)實(shí)施例中，本發(fā)明提供一種車輛視覺系統(tǒng)。圖3A展示了一種現(xiàn)有的汽車900，具有兩個(gè)側(cè)面后視鏡和一個(gè)車內(nèi)后視鏡，覆蓋右側(cè)視野902、左測(cè)視野904和后部視野906。眾所周知，傳統(tǒng)的后視鏡位置和視野范圍導(dǎo)致出現(xiàn)盲點(diǎn)，并因?yàn)檩^寬的視角而可能具有失真。從這三個(gè)鏡子提供的圖像很難得到完整的周圍環(huán)境認(rèn)知。
在本發(fā)明的一個(gè)例子中，如圖3B所示，汽車900’配備有設(shè)置在駕駛員座位前面的攝像機(jī)110’和攝像機(jī)111’。這些位置通過(guò)與駕駛員的直接視覺范圍重疊來(lái)增加覆蓋范圍。這個(gè)例子中的攝像機(jī)113’位于汽車尾部或車頂后部的中間。通過(guò)選擇不同視野范圍的特定區(qū)域可以提供不重疊的連續(xù)圖像。這可防止駕駛員出現(xiàn)混淆。
在圖3C展示的另一個(gè)例子中，汽車900”在車頭的兩個(gè)拐角設(shè)有攝像機(jī)110”和攝像機(jī)111”，并在汽車尾部的中間位置設(shè)有攝像機(jī)113”。在這個(gè)例子中，重點(diǎn)是根據(jù)用戶輸入或控制參數(shù)可調(diào)節(jié)視野范圍。例如，在轉(zhuǎn)向指示燈打開時(shí)，轉(zhuǎn)向側(cè)面視野903”可用。需要注意的是，這個(gè)視野的覆蓋范圍是用戶輸入的函數(shù)，并且在原理上，覆蓋虛線內(nèi)的整個(gè)區(qū)域。同樣，駕駛側(cè)面視野905”用于普通駕駛模式，它也可擴(kuò)展為覆蓋虛線內(nèi)的整個(gè)區(qū)域。本例子中的后部視野根據(jù)控制參數(shù)具有兩種模式。在倒車時(shí)，顯示倒車后部視野907”。這個(gè)視野能完全覆蓋汽車后部，包括路面上的物體。這確保安全倒車并大大方便了并排停車。然而，汽車在駕駛模式時(shí)，使用較窄的駕駛后部視野906”。這些位置和角度確保駕駛員可以得到汽車外部附近的視圖。這個(gè)例子大大方便了并排停車和變道。
圖4A是駕駛員見到的觀察表面160的一個(gè)示例的示意圖。后部視野圖像166在觀察表面的底部，右側(cè)視野圖像162和左側(cè)視野圖像164分別位于觀察表面160的右上部和左上部。圖5A展示了使用較寬顯示器的觀察表面160’的一個(gè)例子，其中側(cè)面視野顯示位于后部視野圖像166’的兩邊。圖像處理器200具有全景轉(zhuǎn)換和圖像縫合功能以合成這種特殊的顯示。圖4B和圖5B分別展示了在汽車右轉(zhuǎn)或倒車時(shí)，重新設(shè)置后的圖4A和圖5A的顯示器的示例。
圖6A是在汽車變線、換到右車道時(shí)重新設(shè)置的顯示器的觀察表面160的示意圖。在這個(gè)例子中，汽車右前方和后方完全可視，從而可以知道汽車右側(cè)的所有物體。圖6B是右轉(zhuǎn)指示燈打開時(shí)重新設(shè)置以用于右轉(zhuǎn)的顯示器的示意圖。圖3C中的轉(zhuǎn)向側(cè)面視野903”現(xiàn)在顯示在顯示器的中上部，即轉(zhuǎn)向側(cè)面視野163”。后部視野166”和右側(cè)視野166”顯示在顯示器的底部。
圖7展示了觀察表面160的另一個(gè)例子。顯示器的這一特定設(shè)置通過(guò)從圖像獲取設(shè)備收集可視信息以及從集成在視覺系統(tǒng)100內(nèi)的超聲波和雷達(dá)感應(yīng)器確定距離來(lái)實(shí)現(xiàn)。在這個(gè)展示的例子中，黑粗線且有灰色陰影的汽車設(shè)有視覺系統(tǒng)100，并示出了周圍的設(shè)置，即其它車輛。本發(fā)明的這個(gè)實(shí)施例很大程度上改善環(huán)境認(rèn)知并幫助有助于駕駛汽車。每個(gè)物體的二維影像由攝像機(jī)直接抓取。這些車輛和物體的形狀和大小通過(guò)根據(jù)車道和路邊的大小和形狀推斷攝像機(jī)的圖像來(lái)重新建立。通過(guò)模式識(shí)別和數(shù)據(jù)庫(kù)中特定物體的查找表可以重新建立駕駛場(chǎng)景的更精確的圖像。
需要注意的是，本發(fā)明不限于這些展示的實(shí)施例；攝像機(jī)數(shù)量和位置的變化以及觀察表面的重新設(shè)置均落入本發(fā)明的范圍。投影幾何數(shù)據(jù)、投影光學(xué)數(shù)據(jù)和攝像機(jī)光學(xué)數(shù)據(jù)覆蓋圖像處理器200中所有這些可選的實(shí)施例。
優(yōu)選地，顯示器亮度可通過(guò)環(huán)境光感應(yīng)器進(jìn)行調(diào)整，通過(guò)來(lái)自車頭燈的信號(hào)進(jìn)行調(diào)整，或通過(guò)手動(dòng)調(diào)光開關(guān)進(jìn)行調(diào)整。此外，優(yōu)選地，顯示器表面的大小也可通過(guò)駕駛員調(diào)整。此外，顯示器圖像的焦距最好在駕駛員焦距范圍內(nèi)，如美國(guó)專利5,949,331所述，在此引用該專利的相關(guān)內(nèi)容。然而，顯示器系統(tǒng)焦距最好可根據(jù)車輛的速度調(diào)整以確保圖像永遠(yuǎn)在駕駛員的景深范圍內(nèi)。在較高的速度，駕駛員自然地關(guān)注較遠(yuǎn)的距離。這種調(diào)整通過(guò)速度表信號(hào)156或傳輸信號(hào)154實(shí)現(xiàn)。
圖6展示了車輛視覺系統(tǒng)中用戶輸入150的一個(gè)例子。信號(hào)接口151從不同的部件接收信號(hào)，并與控制器101連接。例如，在右轉(zhuǎn)時(shí)轉(zhuǎn)向指示燈152打開，傳送一個(gè)信號(hào)給信號(hào)接口151，并傳送到控制器101上，最后傳送到圖像處理器200。一旦圖像處理器200接收到這個(gè)信號(hào)后，圖像處理器配置顯示器，以在觀察表面160上強(qiáng)調(diào)右側(cè)顯示圖像162。圖4B展示了這種情況下的觀察屏幕160。右側(cè)視野圖像現(xiàn)在占據(jù)了觀察表面160的一半，另一辦用于后部視野圖像166。圖5B展示了使用寬觀察表面的實(shí)施例的相同情況。其它的信號(hào)引起其它的功能。
例如，在停車時(shí)，傳輸首選產(chǎn)生信號(hào)以強(qiáng)調(diào)后部視野。其它信號(hào)包括當(dāng)方向盤向一側(cè)轉(zhuǎn)動(dòng)超過(guò)一個(gè)預(yù)設(shè)限度時(shí)發(fā)出的轉(zhuǎn)向信號(hào)，剎車踏板被踩下時(shí)的剎車信號(hào)，傳送有關(guān)行駛速度和方法的信息的傳輸信號(hào)，以及速度表信號(hào)，在測(cè)量不同速度下輸入不同信號(hào)。在本發(fā)明中，所述顯示器系統(tǒng)，依據(jù)任何這些控制參數(shù)調(diào)整至不同的情況，并自動(dòng)重新設(shè)置以使關(guān)鍵的圖像可用。圖像處理器200可結(jié)合使用各種控制信號(hào)，在此我們僅提到了幾個(gè)例子。
各種有用的信息可顯示在觀察表面160上，包括公路圖、路邊信息、6PS信息和當(dāng)?shù)靥鞖忸A(yù)報(bào)。視覺系統(tǒng)100通過(guò)下載的文件或通過(guò)駕駛員請(qǐng)求的無(wú)線通信訪問(wèn)這些數(shù)據(jù)。隨后視覺系統(tǒng)100將這些數(shù)據(jù)疊加在圖像幀數(shù)據(jù)上以合成顯示器系統(tǒng)顯示的圖像。重要的警告系統(tǒng)也首選由該視覺系統(tǒng)接收，并通過(guò)顯示器系統(tǒng)顯示出來(lái)和通過(guò)音頻信號(hào)接口進(jìn)行廣播。視覺系統(tǒng)100也可通過(guò)交換圖像數(shù)據(jù)信息與高速公路駕駛系統(tǒng)集成。視覺系統(tǒng)100還可與距離確定器和目標(biāo)識(shí)別器集成，美國(guó)專利6,498,620 B2中有相關(guān)介紹，在此由本申請(qǐng)引用。
在本發(fā)明的一個(gè)實(shí)施例中，車輛視覺系統(tǒng)100包括有壓縮級(jí)132和記錄設(shè)備142以建立攝像機(jī)和音頻設(shè)備檢測(cè)的事件的連續(xù)記錄。這些特征結(jié)合的功能可保存除駕駛員想要記錄的事件外在撞擊前和撞擊后的特定片段，以供在事故例如車禍、車輛脅持和交通違例之后進(jìn)行重放。這些信息可由執(zhí)法機(jī)關(guān)、司法機(jī)關(guān)和保險(xiǎn)公司使用。
在一個(gè)不同的實(shí)施例中，本發(fā)明提供一種視頻會(huì)議視覺系統(tǒng)，根據(jù)給定的設(shè)置可覆蓋高達(dá)180°或360°的視野范圍。在這個(gè)實(shí)施例中，音頻信號(hào)和視頻信號(hào)均需要。在圖1展示的視覺系統(tǒng)100中，除了來(lái)自攝像機(jī)的視頻輸入外，音頻設(shè)備陣列117提供音頻輸入。音頻信號(hào)數(shù)據(jù)通過(guò)數(shù)字轉(zhuǎn)換器118轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，并疊加在數(shù)字圖像幀數(shù)據(jù)上。該系統(tǒng)提供有圖像移位功能，基于音頻信號(hào)的三角測(cè)量掃視各個(gè)發(fā)言者和提問(wèn)者。該掃視和縮放功能由圖像處理器200提供。在缺乏光學(xué)縮放的情況下，提供數(shù)字縮放。
圖7A涉及視頻會(huì)議系統(tǒng)的一個(gè)例子。圖中所示的攝像機(jī)110位于會(huì)議桌的中央。在這個(gè)特定的例子中，攝像機(jī)110具有半球形鏡頭系統(tǒng)并抓取桌面及其上方的所有東西。原始圖像是顛倒的、被拉伸且不成比例。然而，觀察表面160上顯示的圖像是無(wú)失真和經(jīng)過(guò)全景轉(zhuǎn)換的。
圖7B展示了觀察表面160，其中發(fā)言者的圖像被放大，而與會(huì)的其它人在同一觀察表面以直線方式顯示。
在另一個(gè)實(shí)施例中，本發(fā)明提供了一種具有運(yùn)動(dòng)檢測(cè)和目標(biāo)識(shí)別的監(jiān)視系統(tǒng)。圖2A展示了圖像處理器200的一個(gè)例子，用于監(jiān)視系統(tǒng)。運(yùn)動(dòng)檢測(cè)器270評(píng)估連續(xù)輸入的圖像幀，并基于預(yù)設(shè)的檢測(cè)運(yùn)動(dòng)級(jí)別和信號(hào)警報(bào)，發(fā)送運(yùn)動(dòng)區(qū)域坐標(biāo)至失真卷積級(jí)250。輸入的圖像幀用于監(jiān)控當(dāng)前視窗外的區(qū)域。追蹤的坐標(biāo)由失真卷積級(jí)250用于計(jì)算視窗以顯示檢測(cè)到的目標(biāo)經(jīng)校正后的圖像。已校正失真的目標(biāo)圖像可通過(guò)對(duì)目標(biāo)的運(yùn)動(dòng)補(bǔ)償和時(shí)間內(nèi)插(temporalinterpolation)增強(qiáng)分辨率。該系統(tǒng)還可執(zhí)行目標(biāo)識(shí)別和分類。
圖8展示了監(jiān)視系統(tǒng)的一個(gè)例子。攝像機(jī)110和111設(shè)置在走廊內(nèi)，安裝在走廊內(nèi)的墻上。這兩個(gè)攝像機(jī)監(jiān)控走廊內(nèi)的交通。這個(gè)實(shí)施例中的圖像處理器200使用運(yùn)動(dòng)監(jiān)測(cè)器和追蹤器270追蹤某目標(biāo)經(jīng)過(guò)走廊時(shí)的移動(dòng)。這個(gè)例子中的特定時(shí)間的觀察表面160如圖9A所示，稍后時(shí)間的觀察表面160如圖9B所示。當(dāng)目標(biāo)在視野內(nèi)從一個(gè)攝像機(jī)移動(dòng)至另一個(gè)攝像機(jī)時(shí)，該目標(biāo)通過(guò)的全程被抓取。該視覺系統(tǒng)還可執(zhí)行對(duì)分辨率的增強(qiáng)，通過(guò)時(shí)間抽取(temporalextraction)改善目標(biāo)的細(xì)節(jié)和識(shí)別，并在圖9A和圖9B的圖像頂端顯示它。附圖中的頂端部分提供了移動(dòng)目標(biāo)的全分辨率圖像或?qū)σ苿?dòng)目標(biāo)進(jìn)行數(shù)字縮放。目標(biāo)的識(shí)別和追蹤通過(guò)一幀接一幀的比較運(yùn)動(dòng)中的被檢測(cè)目標(biāo)來(lái)實(shí)現(xiàn)。輪廓線突出被追蹤目標(biāo)以便于識(shí)別。
權(quán)利要求
1.一種具有相關(guān)的攝像機(jī)、顯示光學(xué)器件和幾何特性的全景視覺系統(tǒng)，其特征在于，所述系統(tǒng)包括(a)多個(gè)圖像獲取設(shè)備，從場(chǎng)景中抓取圖像幀數(shù)據(jù)，并產(chǎn)生圖像感應(yīng)器輸入，所述圖像幀數(shù)據(jù)共同地覆蓋最高360°范圍的視野，所述圖像獲得設(shè)備具有幾何和光學(xué)失真參數(shù)；(b)數(shù)字轉(zhuǎn)換器，連接至所述多個(gè)圖像獲取設(shè)備以對(duì)所述圖像幀數(shù)據(jù)和圖像感應(yīng)器輸入采樣并轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)；(c)圖像處理器，連接至所述數(shù)字轉(zhuǎn)換器，所述圖像處理器包括(i)圖像測(cè)量設(shè)備，用以接收所述數(shù)字圖像數(shù)據(jù)并測(cè)量所述數(shù)字圖像數(shù)據(jù)的圖像亮度和環(huán)境光照度級(jí)別；(ii)亮度校正模塊，連接至所述圖像測(cè)量設(shè)備以接收所述數(shù)字圖像數(shù)據(jù)以及所述攝像機(jī)、顯示光學(xué)器件和幾何特性、所述圖像亮度和環(huán)境光照度級(jí)別，并校正亮度不均性，優(yōu)化所述數(shù)字圖像數(shù)據(jù)中選擇區(qū)域的亮度范圍；(iii)卷積級(jí)，連接至所述亮度校正模塊以組合所述幾何和光學(xué)失真參數(shù)以構(gòu)成卷積失真參數(shù)，所述幾何和光學(xué)失真參數(shù)包括所述圖像感應(yīng)器輸入、所述攝像機(jī)、顯示光學(xué)器件和幾何特性以及與之相關(guān)的非理想性；(iv)失真校正模塊，連接至所述卷積級(jí)以對(duì)所述數(shù)字圖像數(shù)據(jù)產(chǎn)生并應(yīng)用基于所述卷積失真參數(shù)的失真校正轉(zhuǎn)換，以生成經(jīng)校正的數(shù)字圖像數(shù)據(jù)；(v)顯示控制器，連接至所述失真校正模塊以根據(jù)所述經(jīng)校正的數(shù)字圖像數(shù)據(jù)組成合成圖像；以及(d)顯示器系統(tǒng)，連接至所述圖像處理器以在觀察表面顯示所述合成圖像以供觀察，所述合成圖像無(wú)視覺失真。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述圖像處理器適用于單獨(dú)處理數(shù)字圖像數(shù)據(jù)的紅、綠和藍(lán)成分以校正橫向色像差和失真。
3.根據(jù)權(quán)利要求2所述的全景視覺系統(tǒng)，其特征在于，所述亮度校正模塊單獨(dú)處理紅、綠和藍(lán)成分以校正色度不一致。
4.根據(jù)權(quán)利要求1所述的全景視覺系統(tǒng)，其特征在于，所述多個(gè)圖像獲取設(shè)備和所述數(shù)字轉(zhuǎn)換器由多個(gè)數(shù)字?jǐn)z像機(jī)實(shí)現(xiàn)。
5.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，所述顯示器系統(tǒng)是光投影系統(tǒng)，其中所述幾何和光學(xué)失真參數(shù)被合并以預(yù)校正相關(guān)的幾何和光學(xué)失真。
6.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括至少一個(gè)環(huán)境光感應(yīng)器、至少一個(gè)燈光信號(hào)和至少一個(gè)用戶調(diào)光開關(guān)，其中所述顯示器系統(tǒng)的亮度根據(jù)所述環(huán)境光感應(yīng)器、單獨(dú)的燈光信號(hào)和用戶調(diào)光開關(guān)中至少其一進(jìn)行調(diào)整。
7.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括控制器，其中所述數(shù)控制器用于傳送一組用戶參數(shù)至所述全景視覺系統(tǒng)以基于選擇的一組觀察功能和參數(shù)將所述用戶參數(shù)與失真參數(shù)合并。
8.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括連接至所述圖像處理器的控制接口，用于接收和傳送用戶輸入和控制參數(shù)。
9.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，其中所述圖像處理器進(jìn)一步用于發(fā)送曝光控制命令至所述圖像獲取設(shè)備以用于光圈和曝光時(shí)間控制。
10.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括觀察表面，其中所述觀察表面上的合成圖像的位置和大小可根據(jù)一組用戶輸入進(jìn)行調(diào)整。
11.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，所述系統(tǒng)為車輛視覺系統(tǒng)。
12.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，所述顯示器系統(tǒng)用于形成車輛內(nèi)駕駛員視野范圍前方的合成圖像，即下述組中至少一個(gè)儀表板、擋風(fēng)玻璃、車頂和汽車儀表板。
13.根據(jù)權(quán)利要求12所述的全景視覺系統(tǒng)，其特征在于，所述顯示器系統(tǒng)用于形成擋風(fēng)玻璃和儀表板內(nèi)角的兩個(gè)觀察表面上的合成圖像以模擬車輛兩側(cè)的后視鏡。
14.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，所述合成圖像的焦點(diǎn)位于車輛內(nèi)駕駛員的焦距前方。
15.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，所述顯示器系統(tǒng)的焦點(diǎn)實(shí)際上是無(wú)限的。
16.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，所述車輛視覺系統(tǒng)在多個(gè)設(shè)置中根據(jù)下述組中的輸入重新設(shè)置轉(zhuǎn)向信號(hào)、傳輸系統(tǒng)、剎車系統(tǒng)、方向盤系統(tǒng)和速度表。
17.根據(jù)權(quán)利要求16所述的全景視覺系統(tǒng)，其特征在于，當(dāng)車輛轉(zhuǎn)向信號(hào)設(shè)置為右轉(zhuǎn)時(shí)，所述顯示器系統(tǒng)增強(qiáng)車輛的右側(cè)視野；當(dāng)車輛轉(zhuǎn)向信號(hào)設(shè)置為左轉(zhuǎn)時(shí)，增強(qiáng)車輛的左側(cè)視野。
18.根據(jù)權(quán)利要求16所述的全景視覺系統(tǒng)，其特征在于，當(dāng)車輛方向向右轉(zhuǎn)超過(guò)預(yù)設(shè)的角度時(shí)，所述顯示器系統(tǒng)增強(qiáng)車輛的右側(cè)視野，當(dāng)車輛方向盤向左轉(zhuǎn)超過(guò)預(yù)設(shè)的角度時(shí)，增強(qiáng)車輛的左側(cè)視野。
19.根據(jù)權(quán)利要求16所述的全景視覺系統(tǒng)，其特征在于，在車輛倒車時(shí)，所述顯示器系統(tǒng)增強(qiáng)車輛后部視野。
20.根據(jù)權(quán)利要求16所述的全景視覺系統(tǒng)，其特征在于，如果駕駛員的直接視野被臨近物體遮掩時(shí)，所述視覺系統(tǒng)增強(qiáng)車輛前方和后方拐角處的至少一個(gè)視野。
21.根據(jù)權(quán)利要求20所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括至少一個(gè)激光感應(yīng)器和雷達(dá)感應(yīng)器，并且其中所述圖像處理器進(jìn)一步使用所述感應(yīng)器檢測(cè)車外表面和某一目標(biāo)之間的距離，并在車外表面和所述目標(biāo)之間的距離落入車輛速度所定義的限度時(shí)，提供音頻和視頻警告。
22.根據(jù)權(quán)利要求21所述的全景視覺系統(tǒng)，其特征在于，所述顯示器系統(tǒng)經(jīng)過(guò)配置后通過(guò)攝像機(jī)捕捉二維圖像以及根據(jù)車道和路邊模式和物體查找數(shù)據(jù)庫(kù)推斷出三維圖像，顯示車輛及其周圍的設(shè)置的俯視圖。
23.根據(jù)權(quán)利要求20所述的全景視覺系統(tǒng)，其特征在于，所述圖像處理器進(jìn)一步用于檢測(cè)路面、車道和路邊標(biāo)記中的至少一個(gè)，并在車輛外表面接近所述邊沿標(biāo)記時(shí)提供音頻和視覺警告。
24.根據(jù)權(quán)利要求23所述的全景視覺系統(tǒng)，其特征在于，所述圖像處理器進(jìn)一步用于檢測(cè)指定區(qū)域的位置，并在顯示器系統(tǒng)上提供方向指示以引導(dǎo)車輛移動(dòng)到所述指定區(qū)域。
25.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括下述組中至少一個(gè)環(huán)境光感應(yīng)器、來(lái)車頭燈感應(yīng)器和駕駛員調(diào)光開關(guān)，并且其中所述顯示器系統(tǒng)的亮度和對(duì)比度根據(jù)所述環(huán)境光感應(yīng)器、來(lái)車頭燈感應(yīng)器和駕駛員調(diào)光開關(guān)中至少一個(gè)的讀數(shù)進(jìn)行調(diào)整。
26.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括安全黑盒設(shè)備和用于記錄觸發(fā)器被激活的時(shí)間段前后的所有數(shù)字圖像數(shù)據(jù)的觸發(fā)器設(shè)備，所述觸發(fā)器可由下述組中至少一個(gè)激活用戶、碰撞、脅持和盜竊。
27.根據(jù)權(quán)利要求11所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括集成的GPS導(dǎo)航單元，其將公路圖和路邊信息顯示在所述顯示器系統(tǒng)上。
28.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括多個(gè)監(jiān)視感應(yīng)器，所述系統(tǒng)用作監(jiān)視視覺系統(tǒng)。
29.根據(jù)權(quán)利要求28所述的全景視覺系統(tǒng)，其特征在于，所述圖像處理器進(jìn)一步使用所述監(jiān)視感應(yīng)器執(zhí)行運(yùn)動(dòng)檢測(cè)和目標(biāo)追蹤。
30.根據(jù)權(quán)利要求28所述的全景視覺系統(tǒng)，其特征在于，在所述監(jiān)視感應(yīng)器檢測(cè)到運(yùn)動(dòng)后，所述圖像處理器提供一組視頻和音頻信號(hào)。
31.根據(jù)權(quán)利要求26所述的全景視覺系統(tǒng)，其特征在于，所述圖像處理器進(jìn)一步定義一組指定的保護(hù)區(qū)域，追蹤多個(gè)目標(biāo)，并在有目標(biāo)進(jìn)入所述指定保護(hù)區(qū)時(shí)產(chǎn)生音頻和視頻報(bào)警，并且在有目標(biāo)進(jìn)入所述指定保護(hù)區(qū)域時(shí)，所述顯示器系統(tǒng)被重新設(shè)置以突出顯示所述目標(biāo)。
32.根據(jù)權(quán)利要求3所述的全景視覺系統(tǒng)，其特征在于，進(jìn)一步包括一組音頻感應(yīng)器，并且所述數(shù)字轉(zhuǎn)換器進(jìn)一步轉(zhuǎn)換音頻感應(yīng)器輸入為數(shù)字音頻數(shù)據(jù)，所述系統(tǒng)用作視頻會(huì)議視覺系統(tǒng)。
33.根據(jù)權(quán)利要求32所述的全景視覺系統(tǒng)，其特征在于，所述圖像處理器和所述顯示器系統(tǒng)進(jìn)一步根據(jù)視頻會(huì)議用戶產(chǎn)生的音頻信號(hào)的強(qiáng)度和方向，產(chǎn)生并顯示縮放的視頻會(huì)議用戶圖像。
34.一種使用具有相關(guān)的攝像機(jī)、顯示光學(xué)器件和幾何特性以及幾何和光學(xué)失真參數(shù)的全景視覺系統(tǒng)生成覆蓋最高360°或4π立體弧度范圍的合成圖像以提供全景觀察的方法，其特征在于，所述方法包括(a)從場(chǎng)景中獲取圖像幀數(shù)據(jù)，所述圖像幀數(shù)據(jù)共同覆蓋最高360°或4π立體弧度的視野范圍，并產(chǎn)生一組圖像感應(yīng)器輸入；(b)轉(zhuǎn)換所述圖像幀數(shù)據(jù)和圖像感應(yīng)器輸入為數(shù)字圖像數(shù)據(jù)，所述數(shù)字圖像數(shù)據(jù)與圖像亮度和環(huán)境光照度級(jí)別相關(guān)；(c)獲取所述攝像機(jī)、顯示光學(xué)器件和幾何特性、所述圖像亮度和環(huán)境光照度級(jí)別，并校正亮度不均性以優(yōu)化所述數(shù)字圖像數(shù)據(jù)中選擇區(qū)域的亮度范圍；(d)對(duì)所述幾何和光學(xué)失真參數(shù)進(jìn)行卷積處理以構(gòu)成卷積失真參數(shù)，所述幾何和光學(xué)失真參數(shù)包括所述圖像感應(yīng)器輸入、所述攝像機(jī)、顯示光學(xué)器件和幾何特性及與之相關(guān)的非理想性；(e)對(duì)所述數(shù)字圖像數(shù)據(jù)產(chǎn)生并應(yīng)用基于所述卷積失真參數(shù)的失真校正轉(zhuǎn)換，以生成經(jīng)校正的數(shù)字圖像數(shù)據(jù)；(f)根據(jù)所述經(jīng)校正的數(shù)字圖像數(shù)據(jù)組成合成圖像；以及(g)在觀察表面顯示所述合成圖像以供觀察，所述合成圖像無(wú)視覺失真。
35.根據(jù)權(quán)利要求34所述的方法，其特征在于，進(jìn)一步單獨(dú)地處理所述數(shù)字圖像數(shù)據(jù)的紅、綠和藍(lán)成分以校正橫向色像差失真。
36.根據(jù)權(quán)利要求35所述的方法，其特征在于，其中亮度調(diào)整針對(duì)所述紅、綠和藍(lán)成分單獨(dú)地執(zhí)行以校正色度不一致。
37.根據(jù)權(quán)利要求36所述的方法，其特征在于，其中校正轉(zhuǎn)換通過(guò)以下步驟實(shí)現(xiàn)(i)獲取覆蓋所述幾何和光學(xué)失真參數(shù)的整個(gè)空間的網(wǎng)格數(shù)據(jù)集；(ii)計(jì)算對(duì)應(yīng)步驟(i)的網(wǎng)格上的每個(gè)數(shù)據(jù)集的校正轉(zhuǎn)換；以及(iii)插入鄰近網(wǎng)格轉(zhuǎn)換以符合實(shí)際圖像幀轉(zhuǎn)換參數(shù)。
38.根據(jù)權(quán)利要求37所述的方法，其特征在于，其中步驟(i)和(ii)離線執(zhí)行，并針對(duì)每個(gè)圖像幀校正訪問(wèn)所述轉(zhuǎn)換網(wǎng)格。
39.根據(jù)權(quán)利要求37所述的方法，其特征在于，其中步驟(i)和(ii)在變化情況下動(dòng)態(tài)地完成。
40.根據(jù)權(quán)利要求37所述的方法，其特征在于，其中與所述轉(zhuǎn)換相關(guān)的象素圖通過(guò)扭曲圖表示。
41.根據(jù)權(quán)利要求40所述的方法，其特征在于，其中所述扭曲圖依據(jù)遞增多項(xiàng)式和位置多項(xiàng)式之一參數(shù)化。
42.根據(jù)權(quán)利要求36所述的方法，其特征在于，進(jìn)一步生成和傳送曝光控制命令至多個(gè)圖像獲取設(shè)備。
43.根據(jù)權(quán)利要求36所述的方法，其特征在于，進(jìn)一步包括接收控制和用戶參數(shù)以與失真參數(shù)進(jìn)行卷積處理。
44.根據(jù)權(quán)利要求36所述的方法，其特征在于，進(jìn)一步包括運(yùn)動(dòng)檢測(cè)和追蹤。
45.根據(jù)權(quán)利要求43所述的方法，其特征在于，進(jìn)一步包括根據(jù)感應(yīng)器和用戶輸入調(diào)整所示合成圖像的亮度、對(duì)比度和大小。
46.根據(jù)權(quán)利要求43所述的方法，其特征在于，進(jìn)一步根據(jù)一組控制輸入重新設(shè)置所述顯示器系統(tǒng)。
47.根據(jù)權(quán)利要求43所述的方法，其特征在于，進(jìn)一步根據(jù)一組控制參數(shù)調(diào)整所述合成圖像的焦距。
48.一種圖像處理器，用于具有相關(guān)的攝像機(jī)、顯示光學(xué)器件和幾何特性以及幾何和光學(xué)失真參數(shù)的全景視覺系統(tǒng)，所述全景視覺系統(tǒng)使用多個(gè)圖像獲取設(shè)備以從場(chǎng)景中抓取圖像幀并生成數(shù)字圖像數(shù)據(jù)和圖像感應(yīng)器輸入，并使用數(shù)字轉(zhuǎn)換器以轉(zhuǎn)換所述數(shù)字圖像數(shù)據(jù)和圖像感應(yīng)器輸入為數(shù)字圖像數(shù)據(jù)，所述圖像處理器包括(a)圖像測(cè)量設(shè)備，用以接收所述數(shù)字圖像數(shù)據(jù)并測(cè)量所述數(shù)字圖像數(shù)據(jù)的圖像亮度和環(huán)境光照度級(jí)別；(b)亮度校正模塊，連接至所述圖像測(cè)量設(shè)備以接收所述數(shù)字圖像數(shù)據(jù)以及所述攝像機(jī)、顯示光學(xué)器件和幾何特性、所述圖像亮度和環(huán)境光照度級(jí)別，并校正亮度不均性，優(yōu)化所述數(shù)字圖像數(shù)據(jù)中選擇區(qū)域的亮度范圍；(c)卷積級(jí)，連接至所述亮度校正模塊以組合所述幾何和光學(xué)失真參數(shù)以構(gòu)成卷積失真參數(shù)，所述幾何和光學(xué)失真參數(shù)包括所述圖像感應(yīng)器輸入、所述攝像機(jī)、顯示光學(xué)器件和幾何特性以及與之相關(guān)的非理想性；(d)失真校正模塊，連接至所述卷積級(jí)以對(duì)所述數(shù)字圖像數(shù)據(jù)產(chǎn)生并應(yīng)用基于所述卷積失真參數(shù)的失真校正轉(zhuǎn)換，以生成經(jīng)校正的數(shù)字圖像數(shù)據(jù)；以及(e)顯示控制器，連接至所述失真校正模塊以根據(jù)所述經(jīng)校正的數(shù)字圖像數(shù)據(jù)組成合成圖像。
49.根據(jù)權(quán)利要求48所述的圖像處理器，其特征在于，進(jìn)一步用于單獨(dú)地處理數(shù)字圖像數(shù)據(jù)的紅、綠和藍(lán)成分以校正橫向色像差失真。
50.根據(jù)權(quán)利要求49所述的圖像處理器，其特征在于，所述亮度校正模塊單獨(dú)地處理數(shù)字圖像數(shù)據(jù)的紅、綠和藍(lán)成分以校正色度不一致。
51.根據(jù)權(quán)利要求50所述的圖像處理器，其特征在于，進(jìn)一步用于生成和傳送曝光控制命令至圖像獲取設(shè)備。
52.根據(jù)權(quán)利要求50所述的圖像處理器，其特征在于，進(jìn)一步用于接收空制和用戶參數(shù)以與失真參數(shù)進(jìn)行卷積處理。
53.根據(jù)權(quán)利要求50所述的圖像處理器，其特征在于，進(jìn)一步用于運(yùn)動(dòng)檢測(cè)和追蹤目標(biāo)。
54.根據(jù)權(quán)利要求50所述的圖像處理器，其特征在于，進(jìn)一步用于根據(jù)多個(gè)感應(yīng)器和一組用戶輸入調(diào)整所述合成圖像的亮度、對(duì)比度和大小。
55.根據(jù)權(quán)利要求52所述的圖像處理器，其特征在于，進(jìn)一步用于根據(jù)一組控制輸入重新設(shè)置所述顯示器系統(tǒng)。
56.根據(jù)權(quán)利要求52所述的圖像處理器，其特征在于，進(jìn)一步用于根據(jù)一組控制參數(shù)調(diào)整所述合成圖像的焦距。
全文摘要
一種失真校正全景視覺系統(tǒng)和方法，提供通過(guò)廣角光學(xué)鏡頭獲取的視覺校正后的合成圖像并投影在觀察表面上。所述系統(tǒng)使用圖像捕獲設(shè)備抓取高達(dá)360°或4π立體弧度范圍內(nèi)的場(chǎng)景。圖像處理器校正亮度或色度的不均，并對(duì)每個(gè)圖像幀應(yīng)用空間轉(zhuǎn)換。所述空間轉(zhuǎn)換通過(guò)將視覺轉(zhuǎn)換、獲取幾何和光學(xué)失真轉(zhuǎn)換、顯示器幾何和光學(xué)轉(zhuǎn)換合并進(jìn)行卷積。所述失真校正單獨(dú)應(yīng)用于紅、綠和藍(lán)成分以消除光學(xué)器件的橫向色像差。顯示器系統(tǒng)隨后用于在顯示設(shè)備上顯示生成的合成圖像，隨后通過(guò)投影光學(xué)器件投影到觀察表面上。所述生成的圖像無(wú)失真，并且匹配觀察表面的特征。
文檔編號(hào)G06K9/36GK1985266SQ200480043148
公開日2007年6月20日 申請(qǐng)日期2004年7月26日 優(yōu)先權(quán)日2004年7月26日
發(fā)明者路易·李, 馬蘇德·瓦基利 申請(qǐng)人:奧普提克斯晶硅有限公司