專利名稱：用于確定相機(jī)姿態(tài)以及用于識(shí)別真實(shí)環(huán)境的對(duì)象的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于確定相機(jī)相對(duì)于真實(shí)環(huán)境的姿態(tài)的方法，以及涉及用于在由相機(jī)拍攝的圖像中識(shí)別真實(shí)環(huán)境的對(duì)象的方法。而且，本發(fā)明涉及用于提供數(shù)據(jù)模型的方法，該數(shù)據(jù)模型意圖用于在用于確定相機(jī)相對(duì)于真實(shí)環(huán)境的真實(shí)目標(biāo)的姿態(tài)的方法中或在用于識(shí)別真實(shí)環(huán)境的對(duì)象的方法中，與由相機(jī)拍攝的圖像數(shù)據(jù)進(jìn)行比較。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR)是以現(xiàn)實(shí)覆蓋虛擬數(shù)據(jù)并且由此便于數(shù)據(jù)與現(xiàn)實(shí)相關(guān)聯(lián)的技術(shù)。在現(xiàn)有技術(shù)中已知有例如移動(dòng)AR系統(tǒng)的應(yīng)用。在過去的幾年中，已證實(shí)高性能移動(dòng)設(shè)備(例如，所謂的智能手機(jī))適于AR應(yīng)用。同時(shí)，這些設(shè)備具有相當(dāng)大的彩色顯示器、內(nèi)置相機(jī)、良好的處理器以及諸如方位傳感器和GPS的附加傳感器。此外，經(jīng)由無線電通信網(wǎng)絡(luò)，可以估計(jì)設(shè)備的位置。在過去，存在各種在移動(dòng)設(shè)備上利用AR實(shí)施的方案。首先，存在使用特定 的光學(xué)標(biāo)記，以確定設(shè)備的位置和方位。最近，還存在利用更加現(xiàn)代化設(shè)備的方位傳感器系統(tǒng)和 GPS 的方法([1，4，10，15])。ΓIlAR ffiKitude. http: IIwm. mobilizy. com/wikitude. php0[4]在1997年關(guān)于可佩戴式計(jì)算機(jī)的第一國際研討會(huì)的論文集中第74_81頁由
S.Feiner、B. MacIntyre、T. Ho丄丄erer 矛ロ A. Webster 的 A touring machine Prototyping 3dmooile augmented reality systems for exploring the uroan environment。[10]Sekai Camera, http://www. tonchidot. com/product~info. html。[14] 2008年第七屆關(guān)于混合和增強(qiáng)現(xiàn)實(shí)的IEEE/ACM國際研討會(huì)，2008年IEEE/ACM 國際研討會(huì)第 187 頁-188 頁由 Marko Heinrich, Bruce H. Thomas, Stefan Mueller 的“AR Weather”，混合和增強(qiáng)現(xiàn)實(shí)。[15]layar. com出版商Springer柏林/海德爾于2006年4月在雜志《Machine Vision andApplications》出版的第17卷，第I號(hào)，第8頁-第20頁，書號(hào)為ISSN0932-8092 (印刷)1432-1769 (在線)。然而,在這方面應(yīng)該注意的是由于不安全的傳感器數(shù)據(jù),配準(zhǔn)(registration),即覆蓋，的精度值得改迸。對(duì)此的方法是使用混合追蹤，該混合追蹤通過光學(xué)方法，例如根據(jù)GPS、羅盤以及重力傳感器的組合來改善相機(jī)的初始姿態(tài)。常常使用圖像數(shù)據(jù)的所謂“直方圖均衡化”，以便減少對(duì)于變化的光線條件的易感性。在現(xiàn)有技術(shù)中，已知用于確定相機(jī)相對(duì)于真實(shí)環(huán)境的姿態(tài)的光學(xué)追蹤系統(tǒng)的初始化和在由相機(jī)拍攝的圖像中真實(shí)對(duì)象的對(duì)象識(shí)別。然而，系統(tǒng)的可靠性有時(shí)會(huì)隨著變化的環(huán)境條件而發(fā)生極大的改變。在這方面相機(jī)姿態(tài)是空間中的相機(jī)的位置和方位。可以將現(xiàn)實(shí)提供為任意形式的數(shù)據(jù)模型，例如作為描述現(xiàn)實(shí)或部分現(xiàn)實(shí)的幾何特性的3D模型。公開文獻(xiàn)US2003/0025714描述了通過增強(qiáng)現(xiàn)實(shí)來可視化氣象數(shù)據(jù)的系統(tǒng)。公開文獻(xiàn)US2005/0231419A1描述了通過氣象獨(dú)立傳感器來監(jiān)視空域，并通過AR顯示空域信息的AR系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于在用于確定相機(jī)相對(duì)于真實(shí)環(huán)境的姿態(tài)的方法中以及用于在由相機(jī)拍攝的圖像中識(shí)別真實(shí)環(huán)境的對(duì)象的方法中，提高對(duì)于變化的環(huán)境條件的魯棒性。根據(jù)第一方面，本發(fā)明涉及用于確定相機(jī)相對(duì)于真實(shí)環(huán)境的姿態(tài)的方法，所述方法包括以下步驟通過相機(jī)拍攝真實(shí)環(huán)境的至少ー個(gè)圖像，所述圖像包含真實(shí)對(duì)象的至少部分；例如在拍攝圖像吋，確定環(huán)境狀況的至少ー個(gè)參數(shù)；執(zhí)行追蹤方法，該追蹤方法在真實(shí)對(duì)象包含在所述真實(shí)環(huán)境的所述圖像中時(shí)，評(píng)價(jià)關(guān)于與所述真實(shí)對(duì)象相關(guān)聯(lián)的特征和所述真實(shí)對(duì)象的相應(yīng)特征之間的對(duì)應(yīng)關(guān)系，以便獲得關(guān)于相機(jī)的姿態(tài)的結(jié)論；以及根據(jù)所述至少ー個(gè)參數(shù)來執(zhí)行所述追蹤方法。
根據(jù)本發(fā)明的另一方面，本發(fā)明涉及用于在由相機(jī)拍攝的圖像中識(shí)別真實(shí)環(huán)境的對(duì)象的方法，所述方法包括以下步驟通過相機(jī)拍攝真實(shí)環(huán)境的至少ー個(gè)圖像，所述圖像包含真實(shí)對(duì)象的至少部分；執(zhí)行圖像識(shí)別方法，所述圖像識(shí)別方法提供關(guān)于圖像中的所述至少ー個(gè)真實(shí)對(duì)象的識(shí)別的信息；例如在拍攝圖像吋，確定環(huán)境狀況的至少ー個(gè)參數(shù)；以及根據(jù)所述至少ー個(gè)參數(shù)執(zhí)行所述圖像識(shí)別方法。具體來說，可以以這一方式識(shí)別當(dāng)前環(huán)境狀況，并且動(dòng)態(tài)地配置該系統(tǒng)。通過匹配配置的方式，提高了相對(duì)于變化的環(huán)境條件的魯棒性。根據(jù)本發(fā)明的實(shí)施例，所述環(huán)境狀況的至少ー個(gè)參數(shù)的確定使用以下信息項(xiàng)目中的至少ー個(gè)或多個(gè)某日的時(shí)間；某年的時(shí)間；天氣，尤其是雨、云、太陽(太陽輻射)以及霧；月亮的位置；雪情；樹木的枝葉；海抜高度；公共事件，特別是強(qiáng)烈運(yùn)動(dòng)；交通狀況；位置；世界坐標(biāo)系中的方位；圖像直方圖 ，溫度;維護(hù)步驟。環(huán)境狀況的至少ー個(gè)參數(shù)尤其可以對(duì)于這些條件或狀況中的ー個(gè)或多個(gè)是特有的。如在上文中以示例性方式指出地，各種環(huán)境條件對(duì)于前述的用于對(duì)象識(shí)別和姿態(tài)確定的方法，常常具有很大的影響。在識(shí)別這些條件后，從而能夠做出反應(yīng)。例如，ー個(gè)反應(yīng)可以是針對(duì)太陽的大多數(shù)位置，準(zhǔn)備環(huán)境的數(shù)據(jù)模型，并且對(duì)于雨天和睛天也如此做。當(dāng)期望在特定的位置執(zhí)行識(shí)別或初始化時(shí)，可以例如通過某天/某年的時(shí)間以及在線天氣信息的查詢的方式，加載和利用合適的數(shù)據(jù)模型(其中太陽輻射的向量與所計(jì)算的太陽輻射的向量之間的角度盡可能小)。通常而言，由此存在描述至少部分環(huán)境條件的ー個(gè)或多個(gè)測(cè)量、仿真或確定的參數(shù)。可以分別從配置用于對(duì)象識(shí)別和姿態(tài)確定的識(shí)別或初始化系統(tǒng)的ー個(gè)或多個(gè)參數(shù)中確定或?qū)С?。在本發(fā)明的實(shí)施例中，追蹤方法使用至少ー個(gè)根據(jù)至少一個(gè)參數(shù)進(jìn)行初始化的光學(xué)追蹤方法。例如，通過具有ー個(gè)、兩個(gè)、三個(gè)、四個(gè)、五個(gè)或六個(gè)自由度的追蹤方法，來確定相機(jī)的姿態(tài)。在本發(fā)明的實(shí)施例中，追蹤方法可以使用傳感器類型不同的數(shù)個(gè)追蹤傳感器。例如，追蹤方法包括根據(jù)至少一個(gè)參數(shù)對(duì)至少ー個(gè)追蹤傳感器進(jìn)行加權(quán)。在本發(fā)明的實(shí)施例中，追蹤方法也可以包括根據(jù)至少ー個(gè)參數(shù)進(jìn)行方法部分步驟的優(yōu)先化(prioritization)。然而，在使用與由相機(jī)拍攝的圖像的數(shù)據(jù)進(jìn)行比較的數(shù)據(jù)模型的方法中，作為替換或與之組合，也可以考慮當(dāng)前環(huán)境狀況的至少ー個(gè)參數(shù)來選擇數(shù)據(jù)模型。在另ー實(shí)施例中，使用至少ー個(gè)數(shù)據(jù)模型與真實(shí)環(huán)境的圖像中的真實(shí)對(duì)象的圖像數(shù)據(jù)進(jìn)行比較，其中所述至少ー個(gè)參數(shù)對(duì)于數(shù)據(jù)模型的準(zhǔn)備和/或使用具有影響。例如，至少ー個(gè)參數(shù)對(duì)于數(shù)據(jù)模型的種類，尤其是所謂特征探測(cè)器和描述符的準(zhǔn)備具有影響。在另ー實(shí)施例中，從記錄有至少ー個(gè)參數(shù)(環(huán)境狀況)或由仿真準(zhǔn)備的多個(gè)單獨(dú)模型中提取數(shù)據(jù)模型，該數(shù)據(jù)模型包含在數(shù)個(gè)環(huán)境狀況中出現(xiàn)的信息項(xiàng)目的交集。本發(fā)明還涉及用于提供數(shù)據(jù)模型的方法，該數(shù)據(jù)模型意圖用于在用于確定相機(jī)相對(duì)于真實(shí)環(huán)境的真實(shí)對(duì)象的姿態(tài)的方法中或用于識(shí)別真實(shí)環(huán)境的對(duì)象的方法中，與由相機(jī)拍攝的圖像的數(shù)據(jù)進(jìn)行比較。根據(jù)這樣的方法，查明或仿真環(huán)境狀況，并且確定所述環(huán)境狀況的至少ー個(gè)參數(shù)。而且，準(zhǔn)備數(shù)據(jù)模型，該數(shù)據(jù)模型包含所述真實(shí)對(duì)象的基本描述，設(shè)定或仿真各種環(huán)境狀況，并且對(duì)于不同的環(huán)境狀況，根據(jù)相應(yīng)的至少ー個(gè)參數(shù)來提供相應(yīng)匹配的數(shù)據(jù)模型(例如這可以作為對(duì)于當(dāng)前參數(shù)的直接反應(yīng)或者作為預(yù)備，例如，在預(yù)先仿真大多數(shù)的情況時(shí)發(fā)生)。根據(jù)實(shí)施例，基本描述是環(huán)境的虛擬3D模型。根據(jù)另ー實(shí)施例，所準(zhǔn)備的數(shù)據(jù)模型包括在數(shù)個(gè)不同環(huán)境狀況中出現(xiàn)的信息項(xiàng)目的交集。例如，當(dāng)將虛擬信息混合在真實(shí)環(huán)境的景觀中時(shí)，可以考慮例如經(jīng)由因特網(wǎng)(“在線”)檢索天氣數(shù)據(jù)，以便相對(duì)于真實(shí)環(huán)境増加混合在虛擬信息中的真實(shí)度，并且從而提高關(guān)聯(lián)性。存在在此可構(gòu)想用于處理的各種的復(fù)雜度。例如，基干天氣狀況，可以分配與天氣狀況匹配的固定的照明模式或素材(例如紋理)。根據(jù)天氣數(shù)據(jù)(諸如云、太陽輻射等)和/或其它數(shù)據(jù)(諸如，某日/某年的時(shí)間等)，可以計(jì)算光線條件或投射的陰影(例如，通過本領(lǐng)域技術(shù)人員已知的光線追蹤方法)。本發(fā)明的附加的有利開發(fā)和實(shí)施例將在從屬權(quán)利要求中指出。


下文中將通過附圖來更加詳細(xì)地描述本發(fā)明，其中圖I示出相對(duì)于真實(shí)環(huán)境的示例性系統(tǒng)設(shè)置的示意性配置的平面圖，該示例性系統(tǒng)設(shè)置可以用于執(zhí)行根據(jù)本發(fā)明的方法；
圖2示出相對(duì)于真實(shí)環(huán)境的示例性系統(tǒng)設(shè)置的示意性配置的側(cè)視圖，該示例性系統(tǒng)設(shè)置可以用于執(zhí)行根據(jù)本發(fā)明的方法；圖3示出用于確定相機(jī)姿態(tài)或用于對(duì)象識(shí)別的數(shù)據(jù)模型的示意性示例；圖4示出根據(jù)本發(fā)明的實(shí)施例的方法的示例性流程；圖5示出根據(jù)本發(fā)明的進(jìn)ー步實(shí)施例的方法的示例性流程；圖6示出根據(jù)本發(fā)明的進(jìn)ー步實(shí)施例的方法的示例性流程；圖7示出根據(jù)本發(fā)明的進(jìn)ー步實(shí)施例的方法的示例性流程；圖8示出根據(jù)本發(fā)明的進(jìn)ー步實(shí)施例的方法的示例性流程；圖9示出根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)結(jié)構(gòu)的示例性設(shè)置；圖10示出根據(jù)本發(fā)明的實(shí)施例的示例性參數(shù)向量；圖11示出根據(jù)本發(fā)明實(shí)施例的所拍攝的圖像的差異的近似的示例性值以及可能的計(jì)算。
具體實(shí)施例方式圖I示出相對(duì)于真實(shí)環(huán)境的示例性系統(tǒng)設(shè)置的示意性配置的平面圖，該示例性系統(tǒng)設(shè)置可以用于執(zhí)行根據(jù)本發(fā)明的方法。具體來說，圖I示出了系統(tǒng)設(shè)置的各種可能性。與此結(jié)合，圖2示出相對(duì)于真實(shí)環(huán)境的示例性系統(tǒng)設(shè)置的示意性配置的側(cè)視圖，該示例性系統(tǒng)設(shè)置可以用于執(zhí)行根據(jù)本發(fā)明的方法。在圖IA的所示中，用戶佩戴作為顯示設(shè)備的頭戴顯示系統(tǒng)(“頭戴顯示器”，簡稱HMD)，該頭戴顯示系統(tǒng)包括作為系統(tǒng)設(shè)置20的一部分的顯示器21。該顯示器21例如可以是通常已知的半透明數(shù)據(jù)眼鏡(“光學(xué)透視顯示器”)，由計(jì)算機(jī)23提供的虛擬信息可以在半透明數(shù)據(jù)眼鏡中混合。隨后，在通過半透明數(shù)據(jù)眼鏡21觀看真實(shí)世界時(shí)，用戶看到増加混合有虛擬信息的真實(shí)世界40的對(duì)象(諸如與真實(shí)世界相關(guān)的POI對(duì)象)。以這種方式，系 統(tǒng)設(shè)置20構(gòu)成了普遍已知的增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)的第一實(shí)施例。顯示器21可以具有諸如旋轉(zhuǎn)傳感器的附加傳感器24，和附加傳感器24上安裝的用于光學(xué)追蹤的相機(jī)22。顯示器21可以是半透明的，或可以由相機(jī)圖像來提供現(xiàn)實(shí)圖像。在采用半透明顯示器21吋，眼睛25與顯示器21之間的校準(zhǔn)是必要的。在這方面，具有各種記載在現(xiàn)有技術(shù)中的處理方法，并且對(duì)于本領(lǐng)域技術(shù)人員也是已知的。有利地是，在顯示器21上或用戶身體上的任何地方，或者也可以在計(jì)算機(jī)單元23中，還可以安裝諸如GPS傳感器(GPS :全球定位系統(tǒng))的位置傳感器，用以確定系統(tǒng)設(shè)置20在真實(shí)世界40中的地理位置(例如，根據(jù)經(jīng)度和緯度)。圖IB的視圖示出了例如可以在現(xiàn)代移動(dòng)電話(所謂“智能手機(jī)”)中經(jīng)常發(fā)現(xiàn)的另一示例性系統(tǒng)設(shè)置30。顯示設(shè)備31 (例如，以顯示屏或顯示器的形式)、計(jì)算機(jī)33、傳感器34以及相機(jī)32構(gòu)成了例如容納在移動(dòng)電話的共同外殼中的系統(tǒng)單元?？梢允褂脗鞲衅黝愋筒煌臄?shù)個(gè)追蹤傳感器。例如，可以組合使用和評(píng)價(jià)旋轉(zhuǎn)傳感器34-1和GPS傳感器34-2(參見，圖2)。通過示出由相機(jī)32捕獲的真實(shí)環(huán)境40的相機(jī)圖像50的顯示器31，來提供真實(shí)環(huán)境40的景象。對(duì)于增強(qiáng)現(xiàn)實(shí)的應(yīng)用，可以在顯示器31上顯示該相機(jī)圖像50，并且可以對(duì)該相機(jī)圖像增加附加的虛擬信息(諸如與真實(shí)世界相關(guān)的POI對(duì)象)。以這種方式，系統(tǒng)設(shè)置30構(gòu)成了普遍已知的增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)的另ー實(shí)施例?；旧?，本發(fā)明可以方便地應(yīng)用于所有形式的AR。例如，無論是實(shí)施在具有半透明HMD的所謂光學(xué)透視模式中，還是實(shí)施在具有相機(jī)和顯示屏的視頻透視模式中。基本上，本發(fā)明也可以結(jié)合立體顯示器來使用，其中視頻透視方法有利地使用兩個(gè)相機(jī)，每ー個(gè)相機(jī)為每個(gè)眼睛記錄一個(gè)視頻流。在任何情況下，能夠?yàn)槊總€(gè)眼睛單獨(dú)計(jì)算虛擬3D信息的項(xiàng)目?；旧希挛拿枋龅牟煌糠值牟襟E的處理能夠經(jīng)由網(wǎng)絡(luò)分配到各種計(jì)算機(jī)。因此，客戶端/服務(wù)器架構(gòu)或純粹的基于客戶端的解決方案是可行的(其中例如，將可供選擇的各種數(shù)據(jù)模型固定地提供在服務(wù)器上)。例如，客戶端可以將圖像發(fā)送到服務(wù)器，服務(wù)器基于該圖像并且基于環(huán)境狀況的參數(shù)，，使用關(guān)于系統(tǒng)設(shè)置(參見，圖I)的3D方位和3D位置或其相對(duì)于真實(shí)世界的部分(參見以下的姿態(tài))以及對(duì)于視覺或能見度范圍的客戶端語句?？梢杂煽蛻舳瞬糠值卮_定關(guān)于環(huán)境狀況的參數(shù)(例如位置)，并且可以由服務(wù)器部分地確定關(guān)于環(huán)境狀況的參數(shù)(對(duì)于該位置的氣象數(shù)據(jù))。而且，客戶端或服務(wù)器也可以包括數(shù)個(gè)計(jì)算單元，諸如數(shù)個(gè)CPU或諸如普遍已知的FPGA、ASIC、GPU或DSP的專門硬件組件。也存在相互交換例如相對(duì)于在該位置的環(huán)境狀況產(chǎn)生的信息，或者在客戶端產(chǎn)生環(huán)境數(shù)據(jù)的情況中相互交換信息的數(shù)個(gè)客戶端。該信息的交換可以經(jīng)由服務(wù)器進(jìn)行，然而，也可以設(shè)想例如經(jīng)由藍(lán)牙或WLAN的直接連接而進(jìn)行。為了實(shí)現(xiàn)AR，空間中的相機(jī)姿態(tài)(位置和方位)是必需的。這可以通過各種不同的方式來實(shí)現(xiàn)。例如通過僅使用GPS和具有電子羅盤的方位傳感器(例如安裝在某些現(xiàn)代化移動(dòng)電話中)能夠確定在現(xiàn)實(shí)世界中的姿態(tài)。然而，姿態(tài)的不確定性會(huì)非常高。因此，也可以使用其它方法，諸如光學(xué)初始化和追蹤，或者光學(xué)方法與GPS和方位傳感器的結(jié)合?？梢允褂肳LAN定位，或者RFID或光學(xué)標(biāo)記也可以支持該定位過程。如上文中所述，在此也可以使用基于客戶端/服務(wù)器的方法。然而，基本上，本發(fā)明并不僅限制于AR的使用。例如，還可以執(zhí)行對(duì)象識(shí)別，并且隨后在網(wǎng)頁瀏覽器中啟動(dòng)網(wǎng)頁或者啟動(dòng)應(yīng)用程序。然而，也可以使
用至少ー個(gè)參數(shù)和照片，以便在諸如Flickr的照片站點(diǎn)上準(zhǔn)確地定位圖像，該圖像也可以指示拍攝圖像的地方。本發(fā)明能夠改善用于客戶端的信息表示。然而，也能夠用在遠(yuǎn)程情景中。在這種情況下，例如控制室中的維護(hù)專家在他的顯示屏上可以看到經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)傳輸?shù)目蛻舳说膱D像以及相應(yīng)處理的信息。隨后，專家可以對(duì)客戶端發(fā)出指令或只是觀察。在類似的情景中，可以設(shè)想某人觀看具有根據(jù)本發(fā)明顯示的交互式附加信息的捕獲圖像或視頻素材，并且如果可能的話，能夠通過類似于基于因特網(wǎng)的應(yīng)用“谷歌街景”來導(dǎo)航。此外，也可以將使用監(jiān)視器、HMD或頭頂顯示器的本發(fā)明安裝在或攜載在車輛、飛機(jī)或船只中。基本上，本發(fā)明可以用于融和所謂的感興趣點(diǎn)?？梢葬槍?duì)大量不同形式的信息設(shè)置感興趣點(diǎn)(“Ρ0Ι”)。下文中給出的示例可以使用GPS信息來表示多個(gè)地方的圖像。可以自動(dòng)提取來自因特網(wǎng)的信息。例如，這可以是具有地址或給出評(píng)級(jí)的網(wǎng)頁的公司或餐館網(wǎng)站。用戶可以在特定的位置存放文本、圖像或3D對(duì)象，并且可以將文本、圖像或3D對(duì)象提供給其他人使用?？梢葬槍?duì)地理信息檢索諸如維基百科的信息網(wǎng)頁，并且該網(wǎng)頁可以作為POI用于訪問?？梢愿鶕?jù)移動(dòng)設(shè)備的用戶的檢索和瀏覽行為自動(dòng)地產(chǎn)生Ρ0Ι。能夠顯示出其它的感興趣地方，諸如地下交通或公交車站、醫(yī)院、警察局、醫(yī)生、房地產(chǎn)廣告或健身俱樂部。該系統(tǒng)也允許顯示導(dǎo)航信息(例如，箭頭)。如圖2中所示，現(xiàn)實(shí)可以以任意的形式呈現(xiàn)為數(shù)據(jù)模型，例如3D模型51，該3D模型51在該情況中限定出真實(shí)對(duì)象41的幾何特性，或者將對(duì)象的點(diǎn)特征存儲(chǔ)在3D點(diǎn)云中。因此，這樣的數(shù)據(jù)模型通?？梢悦枋霈F(xiàn)實(shí)或部分現(xiàn)實(shí)的幾何特性?？梢栽谟糜诖_定相機(jī)姿態(tài)的追蹤方法中或用于對(duì)象識(shí)別的方法中利用這樣的數(shù)據(jù)模型。例如，利用這樣的數(shù)據(jù)模型，可以實(shí)施用于光學(xué)對(duì)象追蹤的方法。在這種情況下，如本領(lǐng)域技術(shù)人員已知的，將諸如數(shù)據(jù)模型51的數(shù)據(jù)模型與由相機(jī)拍攝的包括真實(shí)對(duì)象41的圖像的數(shù)據(jù)進(jìn)行比較。在現(xiàn)有技術(shù)中，已知在由相機(jī)拍攝的圖像中的真實(shí)對(duì)象的對(duì)象識(shí)別以及用于確定相對(duì)于真實(shí)環(huán)境的相機(jī)姿態(tài)的光學(xué)追蹤系統(tǒng)的初始化。具體來說，當(dāng)真實(shí)對(duì)象包含在真實(shí)環(huán)境的圖像中時(shí)，在此所使用的方法評(píng)價(jià)關(guān)干與真實(shí)對(duì)象相關(guān)聯(lián)的特征和真實(shí)對(duì)象的相應(yīng)特性之間的對(duì)應(yīng)關(guān)系的信息，以獲得關(guān)于相機(jī)姿態(tài)的結(jié)論。然而，系統(tǒng)的可靠性有時(shí)會(huì)隨著環(huán)境狀況的改變而發(fā)生極大的變化。通過本發(fā)明，能夠識(shí)別當(dāng)前的環(huán)境狀況并且動(dòng)態(tài)地配置該系統(tǒng)。通過匹配配置的方式，提高了對(duì)于環(huán)境條件改變的魯棒性。根據(jù)本發(fā)明的一方面，將實(shí)施以下步驟通過相機(jī)拍攝真實(shí)環(huán)境的至少ー個(gè)圖像；該圖像包含真實(shí)對(duì)象的至少一部分；確定環(huán)境狀況的至少ー個(gè)參數(shù)；當(dāng)真實(shí)對(duì)象包含在真實(shí)環(huán)境的圖像中時(shí)，執(zhí)行追蹤方法，該追蹤方法評(píng)價(jià)關(guān)干與真實(shí)對(duì)象相關(guān)聯(lián)的特征和真實(shí)對(duì)象的相應(yīng)特性之間的對(duì)應(yīng)關(guān)系，以獲得關(guān)于相機(jī)姿態(tài)的結(jié)論；以及根據(jù)該至少ー個(gè)參數(shù)來執(zhí)行追蹤方法，尤其是根據(jù)該至少ー個(gè)參數(shù)來找到對(duì)應(yīng)關(guān)系。因此能夠識(shí)別當(dāng)前的環(huán)境狀況，并且動(dòng)態(tài)地配置該系統(tǒng)。通過匹配配置的方式，能夠提高魯棒性。例如，追蹤方法使用至少ー個(gè)根據(jù)至少一個(gè)參數(shù)初始化的光學(xué)追蹤方法。例如通過追蹤方法采用ー個(gè)、兩個(gè)、三個(gè)、四個(gè)、五個(gè)或六個(gè)自由度來確定相機(jī)的姿態(tài)。預(yù)期用途例如是對(duì)象識(shí)別(例如，獲得信息“我在哪個(gè)對(duì)象的前面”)，或者用于具有六自由度的增強(qiáng)現(xiàn)實(shí)的光學(xué)追蹤系統(tǒng)的初始化。為了確定六自由度，現(xiàn)有技術(shù)中已知的可能方式在于生成2D-3D對(duì)應(yīng)關(guān)系并且將其輸入優(yōu)化方法。此外，例如，當(dāng)記錄設(shè)備額外裝配有生成深度信息的深度相機(jī)或第二相機(jī)時(shí)，也可以使用3D-3D對(duì)應(yīng)關(guān)系。為了提供對(duì)應(yīng)關(guān)系，可以從圖像中識(shí)別特征，并且在數(shù)據(jù)模型中檢索相同的特征。為了檢索，可以使用所謂的特征描述符(例如SURF或SIFT)。SUFT表示加速魯棒特征，SIFT表示尺度不變特征變換)。然而，當(dāng)相對(duì)于其它光線條件而不是當(dāng)前圖像所識(shí)別的特征來產(chǎn)生數(shù)據(jù)模型的特征和其描述符時(shí)，這常常不起作用。例如，追蹤方法使用數(shù)個(gè)傳感器類型不同的追蹤傳感器。隨后，在追蹤方法中，可以以所謂的傳感器融合，根據(jù)至少ー個(gè)參數(shù)，相對(duì)于其它追蹤傳感器，對(duì)追蹤傳感器中的一個(gè)或多個(gè)實(shí)施加權(quán)(例如，在惡劣條件的情況下增加了光學(xué)追蹤的不確定性)。也可以根據(jù)至少ー個(gè)參數(shù)在追蹤方法中實(shí)施方法部分步驟的優(yōu)先化。例如，在良好的條件下可以首先使用更快的方法(例如，SUFT),以及在惡劣條件的情況下首先使用更魯棒的方法(例如，SIFT)。不同的環(huán)境條件常常對(duì)該方法和許多特征有著很大的影響。因此在識(shí)別這些不同的環(huán)境條件時(shí)，可以由此針對(duì)該方法和許多特征做出反應(yīng)。反應(yīng)例如可以是對(duì)于太陽的大多數(shù)位置準(zhǔn)備環(huán)境模型，并且對(duì)于雨天和睛天也如此做。當(dāng)在特定的位置執(zhí)行識(shí)別或初始化時(shí)，可以例如通過時(shí)間、日期/年和在線天氣信息查詢的方式，加載和使用合適的模型(其中在太陽輻射的向量和所計(jì)算的太陽輻射的向量之間的角度盡可能的小)。因此，存在描述環(huán)境條件的參數(shù)以及配置該識(shí)別或初始化系統(tǒng)的參數(shù)。實(shí)施例使用以下項(xiàng)目信息中的ー個(gè)或數(shù)個(gè)，來確定環(huán)境狀況的至少ー個(gè)參數(shù)某日的時(shí)間；某年的時(shí)間；天氣，尤其是雨、云、太陽和霧；月亮的位置；雪情；樹木的枝葉；海拔高度；公共事件，并且特別是強(qiáng)烈運(yùn)動(dòng)；交通情況；位置；世界坐標(biāo)系的方位；圖像直方圖；溫度；維護(hù)步驟。因此，環(huán)境狀況的至少ー個(gè)參數(shù)對(duì)于這些條件或情況中的ー個(gè)或多個(gè)尤其可以是特有的。在實(shí)施例中，至少ー個(gè)參數(shù)并不(僅僅)是位置或并不(僅僅)是對(duì)于位、置而特有的。在進(jìn)ー步的實(shí)施例中，至少ー個(gè)參數(shù)并不(僅僅)是方位或并不(僅僅)是對(duì)于方位而特有的。在另ー實(shí)施例中，至少ー個(gè)參數(shù)并不(僅僅)是姿態(tài)或并不(僅僅)是對(duì)于姿態(tài)而特有的。以下，存在根據(jù)本發(fā)明的進(jìn)ー步的示例和可能方式對(duì)于照明情況，還可以考慮月亮。在有月光的夜晚，可以使用特定的光學(xué)特征，在黑暗的夜晚，可以僅采用人造光源(例如，燈光廣告)來工作，或者完全不嘗試使用光學(xué)系統(tǒng)，而是僅使用例如GPS和羅盤。在下雪時(shí)(當(dāng)前天氣或最近幾天的天氣數(shù)據(jù)庫，以及溫度曲線或在線道路交通報(bào)道或在線雪崩報(bào)道)，環(huán)境又有不同，并且將有利地加載相應(yīng)的模型或停用該光學(xué)追蹤。根據(jù)年的時(shí)間，在某些區(qū)域可以得出關(guān)于樹木枝葉的結(jié)論，并且可以加載不同的模型。除了某年的時(shí)間以外，還可以在計(jì)算中額外考慮整個(gè)一年的氣候條件。在這個(gè)方面，、海抜高度也可以起到作用?；旧希粌H可以根據(jù)特定的環(huán)境狀況來加載不同的數(shù)據(jù)模型，而且還能夠?qū)τ趦?yōu)先化(在算法中初期或后期考慮)或組合模型中特定模型部分的加權(quán)(對(duì)于結(jié)果的強(qiáng)大的或弱小的影響)施加影響。在組合模型中，單個(gè)模型數(shù)據(jù)(諸如點(diǎn)云的多個(gè)點(diǎn))被補(bǔ)充有關(guān)于環(huán)境狀況的數(shù)據(jù)。根據(jù)特定的環(huán)境狀況，因此能夠移出、改變或者増加部分模型數(shù)據(jù)。例如在“冬天”的環(huán)境狀況中將數(shù)據(jù)模型的特定點(diǎn)移出(即，不考慮)，而在“夏天”的環(huán)境狀況中則考慮它們。在圖9中示出了對(duì)于該可能實(shí)現(xiàn)的可行的數(shù)據(jù)結(jié)構(gòu)。該數(shù)據(jù)模型可以包含每個(gè)特征一個(gè)參數(shù)向量、諸如SURF描述符的描述符、和用于計(jì)算諸如地球坐標(biāo)系中的3D位置的姿態(tài)的最優(yōu)化信息，其中該參數(shù)向量描述該特征可以與哪些環(huán)境狀況一起合理地使用。相機(jī)拍攝圖像的位置和方位常常還與所確定的環(huán)境條件有很大的關(guān)聯(lián)性(當(dāng)?shù)靥鞖?，?dāng)?shù)厝掌诘臅r(shí)間等)。然而，例外是，識(shí)別過程會(huì)發(fā)生在全世界內(nèi)(例如，可ロ可樂瓶的識(shí)別)，并且其中客戶端可以對(duì)特定環(huán)境的特性做出反應(yīng)，而不管位置在哪里(例如，移動(dòng)設(shè)備上的亮度傳感器或相機(jī)圖像的直方圖)。直方圖(一種關(guān)于圖像的統(tǒng)計(jì)方式)例如可以允許提示環(huán)境照明的一般特性，并且可以停用或切換光學(xué)方法。方法的切換例如可以是代替使用角落特征而使用邊緣特征，或者代替使用SURF而使用已知的SIFT?；蛘呖梢哉?qǐng)求用戶有益地干預(yù)和向系統(tǒng)提供用于識(shí)別的提示。在對(duì)象受到維護(hù)的情況下，可以根據(jù)當(dāng)前維護(hù)步驟或維護(hù)狀態(tài)的知識(shí)，導(dǎo)出關(guān)于環(huán)境的進(jìn)ー步信息。例如對(duì)于特定步驟是否已經(jīng)拆除電機(jī)。甚至公共事件或交通情況的知識(shí)(根據(jù)經(jīng)驗(yàn)或在線檢索)也能夠提供對(duì)于以下情況的提示特定區(qū)域不能提供可靠的信息，因?yàn)樗鼈兲幱诓粩嗟倪\(yùn)動(dòng)中(例如，人群或移動(dòng)車輛)。進(jìn)ー步的實(shí)施例包括根據(jù)環(huán)境狀況的至少ー個(gè)參數(shù)與追蹤方法相對(duì)于已知環(huán)境狀況的已知理想?yún)?shù)的距離測(cè)量的確定，來計(jì)算在確定相機(jī)姿態(tài)中的不確定性。通常來說，也可以以ー個(gè)向量的形式組合關(guān)于環(huán)境狀況的數(shù)個(gè)參數(shù)的一部分，并且產(chǎn)生具有記錄或準(zhǔn)備條件的相應(yīng)向量的數(shù)據(jù)模型?？梢愿鶕?jù)向量的比較來導(dǎo)出提供給當(dāng)前環(huán)境狀況的數(shù)據(jù)模型的質(zhì)量，并且因此可以選擇具有最小偏差的數(shù)據(jù)模型，和/或可以根據(jù)差異導(dǎo)出用于識(shí)別的不確定性語句。在圖10中示出這方面的示例向量包含例如用于日期的時(shí)間、云的情況以及年的時(shí)間的三個(gè)字段。橢圓形示出在特定時(shí)間拍攝的情景的環(huán)境狀況。圖11示出近似的示例性值和情景之間差異的可能計(jì)算。在這方面，可以對(duì)各個(gè)參數(shù)加權(quán)，因?yàn)檫@些可以對(duì)于數(shù)據(jù)模型產(chǎn)生不同程度的影響?？梢詫?duì)于每個(gè)數(shù)據(jù)模型，也可以對(duì)于比較信息的每ー項(xiàng)(例如，SURF特征)或數(shù)據(jù)模型內(nèi)的每個(gè)特征存儲(chǔ)參數(shù)向量。在這個(gè)方面，不僅可以存儲(chǔ)固定值，也可以存儲(chǔ)該比較信息適和的參數(shù)范圍。圖8示出了附加信息的可能使用。例如，如步驟6.1和6.2中所述，可以通過根據(jù)參數(shù)向量距離的排序來加速比較，隨后可以更加快速地發(fā)現(xiàn)所期望的數(shù)量的對(duì)。作為替換，可以將當(dāng)前環(huán)境參數(shù)向量放置在圖像中所發(fā)現(xiàn)的所有特征之前，并且隨后可以啟動(dòng)由最近的鄰近搜索選擇性支持的匹配算法。在本發(fā)明的實(shí)施例中，該至少ー個(gè)參數(shù)對(duì)于關(guān)于模型數(shù)據(jù)的成功檢索的最小需求具有影響，尤其是確定與真實(shí)對(duì)象相關(guān)聯(lián)的多個(gè)特征和在真實(shí)環(huán)境的圖像中的真實(shí)對(duì)象的相應(yīng)特征，該相應(yīng)特征已達(dá)到一致(至少“匹配”特征的數(shù)量)。在識(shí)別和初始化中，常常存在指出假設(shè)特征或整個(gè)對(duì)象從哪里檢索的所指示的測(cè)量。例如，必須重新尋找或檢索至少 10個(gè)特征。在當(dāng)前模型良好地適應(yīng)環(huán)境時(shí)，例如，可以增加測(cè)量(例如必須重新尋找20個(gè)特征)。因此，在好的條件下，所謂“誤報(bào)”(對(duì)象的錯(cuò)誤識(shí)別；即由系統(tǒng)進(jìn)行的對(duì)象假設(shè)識(shí)別證明是錯(cuò)誤的)(例如，這會(huì)導(dǎo)致準(zhǔn)確度的提高)，然而，在惡劣條件的情況下，并不放棄可能的初始化機(jī)會(huì)。在進(jìn)ー步的實(shí)施例中，環(huán)境狀況的至少ー個(gè)參數(shù)對(duì)于數(shù)據(jù)模型的準(zhǔn)備和/或使用具有影響。具體來說，至少ー個(gè)參數(shù)影響數(shù)據(jù)模型的準(zhǔn)備類型，例如特征探測(cè)和特征描述符的準(zhǔn)備。具體來說，存在不同的特征提取器和描述符。在好的環(huán)境條件下，例如，可以選擇快速方法(例如，快速提取器+快速描述符)，而在困難的條件情況下，可以使用更加復(fù)雜的方法(例如，SIFT)。在另ー實(shí)施例中，從多個(gè)單獨(dú)的模型中提取數(shù)據(jù)模型，其中數(shù)據(jù)模型包含數(shù)個(gè)環(huán)境狀況下信息的交集。圖7中的流程圖示出該過程的示例性實(shí)現(xiàn)方式。在步驟30. O中，カロ載各種現(xiàn)有的數(shù)據(jù)模型或之前由仿真產(chǎn)生的數(shù)據(jù)模型。之后(步驟31. 0)，執(zhí)行模型之間的匹配。在這種情況下，常常檢索ー些比較數(shù)據(jù)，而另ー些將一次也不會(huì)被檢索?？梢跃彺鏅z索的頻率。在可選步驟32. O中，可以去除離群值，例如，當(dāng)特征在數(shù)據(jù)模型的共同坐標(biāo)系中的其位置處變化極大吋。應(yīng)當(dāng)注意，數(shù)據(jù)模型基本上也可以由不同方法創(chuàng)建的異質(zhì)性比較信息來構(gòu)成(例如，SURF或SIFT或任何邊緣模型或區(qū)域模型或考慮顏色的模型)。之后，可以組合經(jīng)常檢索的比較信息(步驟31. O),以形成新的地圖。在這種情況下，也可以選擇性地確定用于空間中例如每體積的比較信息的上限。隨后，進(jìn)行根據(jù)最強(qiáng)比較信息的排序。在這方面，可以通過僅優(yōu)選非常穩(wěn)健且緩慢的方法的加權(quán)操作來防止它。之后，可以存儲(chǔ)該地圖，以用于進(jìn)一歩的使用。在另ー實(shí)施例中，具有數(shù)個(gè)執(zhí)行該方法的局部系統(tǒng)(尤其是數(shù)個(gè)客戶端，諸如數(shù)個(gè)移動(dòng)設(shè)備)，并非每ー個(gè)局部系統(tǒng)自身計(jì)算追蹤情況，而是完成的情況信息對(duì)于所有的局部系統(tǒng)可用，有利地，甚至完成的識(shí)別或初始化模型對(duì)于局部系統(tǒng)可用。例如，局部系統(tǒng)連續(xù)將關(guān)于情況的信息提供給所提供的服務(wù)器或?qū)Φ忍幚?。?duì)等處理將發(fā)生在數(shù)個(gè)移動(dòng)設(shè)備之間(例如，服務(wù)器與10號(hào)設(shè)備通信，10號(hào)設(shè)備與13號(hào)和17號(hào)設(shè)備鄰近，并且隨后，10號(hào)設(shè)備可以直接向這些設(shè)備請(qǐng)求信息)。另外，存在単獨(dú)的設(shè)備將信息提供給服務(wù)器，并且，用戶從服務(wù)器獲得用于他的特定設(shè)備的信息。
在另ー實(shí)施例中，將確定相機(jī)姿態(tài)用于計(jì)算相對(duì)于圖像中包含的至少ー個(gè)真實(shí)對(duì)象的深度信息，在顯示設(shè)備中，當(dāng)由被遮蔽的真實(shí)對(duì)象在情景中遮蔽疊置到真實(shí)環(huán)境上的虛擬信息時(shí)，深度信息用于融合用于遮蔽真實(shí)對(duì)象的遮蔽模型。本發(fā)明的另一方面涉及在用于相對(duì)于真實(shí)對(duì)象確定相機(jī)的姿態(tài)的方法中或在用于識(shí)別真實(shí)環(huán)境的對(duì)象的方法中，用于準(zhǔn)備數(shù)據(jù)模型的方法，該數(shù)據(jù)模型_在分別與由相機(jī)拍攝的圖像和其數(shù)據(jù)進(jìn)行比較，其中確定或仿真環(huán)境狀況，并且確定環(huán)境狀況的至少ー個(gè)參數(shù)，所準(zhǔn)備的數(shù)據(jù)模型包含真實(shí)對(duì)象的基本描述，預(yù)設(shè)或仿真各種環(huán)境狀況，并且根據(jù)相應(yīng)的至少ー個(gè)參數(shù)，可以將相應(yīng)的匹配數(shù)據(jù)模型用于不同的環(huán)境狀況。這可以作為對(duì)于當(dāng)前參數(shù)的直接反應(yīng)而發(fā)生，或作為預(yù)備，例如在預(yù)先仿真大部分情況時(shí)。因此，代替以巨大的花費(fèi)提供不同情況的數(shù)個(gè)模型 ，一個(gè)構(gòu)想包括提供中性(neutral)模型，并且通過環(huán)境效果的仿真，以動(dòng)態(tài)地(或預(yù)先)匹配環(huán)境效果，并且采用相當(dāng)少的花費(fèi)。例如，基本描述是環(huán)境的虛擬3D模型。例如，可以構(gòu)想具有城市的3D模型?，F(xiàn)在可以嘗試通過已知的所謂3D渲染技術(shù)，來計(jì)算太陽的當(dāng)前路徑以及由此導(dǎo)致的環(huán)境模型。例如，3D模型具有應(yīng)用于其的紋理(texture)，該紋理是之前從環(huán)境狀況特定特性中釋放的。在采集信息時(shí)，常常也能夠記錄陰影?？梢試L試使用對(duì)于本領(lǐng)域技術(shù)人員已知的方法去消除這些。在實(shí)施例中，采用不同的光線情況，將3D模型投影到圖像平面上。有利地，所準(zhǔn)備的數(shù)據(jù)模型包含在數(shù)個(gè)不同(盡可能的多)環(huán)境狀況中提供的信息的交集。也可想象產(chǎn)生大量不同環(huán)境模型(通過記錄或仿真)，并且從其中提取用于識(shí)別/初始化的特征。可以在環(huán)境模型中檢查特定特征(例如，特定SURF特征)是否發(fā)生在盡可能多的不同模型中，并且隨后將特別魯棒的特征封裝在盡可能多的情況下工作的模型中。也可以參照上文與圖7相關(guān)的描述。實(shí)施例將SLAM方法與當(dāng)前環(huán)境狀況的確定相結(jié)合，并且將所準(zhǔn)備的數(shù)據(jù)模型與關(guān)于環(huán)境狀況的信息一起存儲(chǔ)。在所謂的同時(shí)定位與繪制地圖(SLAM)中，在相機(jī)處于運(yùn)動(dòng)中或是立體相機(jī)的情況下，或還可以直接采用類似于3D方法(例如，深度相機(jī))，產(chǎn)生環(huán)境的地圖(數(shù)據(jù)模型)(例如，SURF特征圖和其在世界中的3D位置)，并且確定相機(jī)的姿態(tài)。此外，在記錄關(guān)于當(dāng)前環(huán)境條件的數(shù)據(jù)或參數(shù)時(shí)(如上文所述)，可以將這些數(shù)據(jù)用于產(chǎn)生相對(duì)于大量的不同環(huán)境條件的更加完整的世界模型集合。例如，系統(tǒng)可以用于在全面的數(shù)據(jù)已經(jīng)可用的特定位置處開始，并且隨后可以在此基礎(chǔ)上進(jìn)行。隨后，系統(tǒng)學(xué)習(xí)相對(duì)于特定的條件的新范圍，并且在將來也可以以此為基礎(chǔ)來開始。在以下中，將通過圖4至圖8中所示的流程圖的方式并結(jié)合其它附圖來更加詳細(xì)地闡述本發(fā)明的多個(gè)方面和實(shí)施例。圖4首先涉及根據(jù)本發(fā)明的關(guān)于模型數(shù)據(jù)的使用的方法的實(shí)施例。在步驟I. O中，記錄參數(shù)向量，該參數(shù)向量基本上包括關(guān)于環(huán)境狀況的一個(gè)或多個(gè)參數(shù)(例如，通過經(jīng)由中心服務(wù)器查詢天氣情況，通過一天/地方的日期/時(shí)間的方式計(jì)算太陽的位置)。在步驟
2.O中，將包含記錄位置的參數(shù)向量發(fā)送至服務(wù)器。在步驟3. O中，捜索用于該位置的追蹤模型。從對(duì)于該位置可能的模型中，在步驟4. O中選擇具有參數(shù)向量中的最小距離的模型。之后，在步驟5. O中加載相應(yīng)的模型。在步驟6. O中，根據(jù)特定的應(yīng)用，執(zhí)行相機(jī)圖像中的對(duì)象識(shí)別或者用于相機(jī)的姿態(tài)確定的追蹤初始化。
在圖5中，所執(zhí)行的示例性方法用于根據(jù)用戶數(shù)據(jù)準(zhǔn)備數(shù)據(jù)模型。在步驟7. O中，在使用期間(同時(shí)初始化和繪制地圖)，“學(xué)習(xí)(learn)”新的模型數(shù)據(jù)。在步驟8.0中，將參數(shù)向量和新的地圖(數(shù)據(jù)模型)發(fā)送至服務(wù)器。在步驟9. O中，存在數(shù)據(jù)的可選擇性細(xì)化(所謂的“束調(diào)節(jié)”)，其中新的數(shù)據(jù)存儲(chǔ)有參數(shù)向量和位置。在步驟S10. O中，補(bǔ)充模型中的缺ロ(例如，未知區(qū)域的新覆蓋或采用新的參數(shù)向量的新覆蓋)。在步驟5. O中，隨后另ー客戶端可以加載之前如通過步驟7. O至步驟10. O的方式描述的，由另ー用戶發(fā)送到服務(wù)器的相應(yīng)數(shù)據(jù)模型。代替其它的客戶端，也可以讓準(zhǔn)備數(shù)據(jù)模型的相同用戶或相同設(shè)備例如在稍后的時(shí)刻分別加載數(shù)據(jù)模型。圖3示意性示出可以如何準(zhǔn)備數(shù)據(jù)模型，以用于確定相機(jī)姿態(tài)的方法或用于對(duì)象識(shí)別的方法?？梢詮陌鎸?shí)對(duì)象(參見，圖2中的對(duì)象41)的基本描述的中性模型60開始。之后，設(shè)定或仿真各種環(huán)境狀況，例如來自上方的太陽輻射。對(duì)于不同的環(huán)境狀況，根據(jù)相應(yīng)的至少ー個(gè)參數(shù)，例如圖3的匹配數(shù)據(jù)模型61和62來提供相應(yīng)的匹配數(shù)據(jù)模型，該匹配數(shù)據(jù)模型61和62每ー個(gè)均根據(jù)環(huán)境狀況來考慮投射陰影。此外，能夠有利地直接根 據(jù)數(shù)據(jù)模型61和62準(zhǔn)備略微壓實(shí)器形狀的數(shù)據(jù)模型，該數(shù)據(jù)模型由所準(zhǔn)備的比較數(shù)據(jù)的集合構(gòu)成，例如特征點(diǎn)云。數(shù)據(jù)模型62以示例性的方式示出對(duì)于所產(chǎn)生的數(shù)據(jù)模型的現(xiàn)實(shí)的接近度可以由附加措施進(jìn)ー步提高。因此，模型62不會(huì)由陰影投射造成的環(huán)境的附加已知對(duì)象的遮蔽而受損，而是也可以結(jié)合當(dāng)前的云情況，例如通過當(dāng)前的降雨雷達(dá)圖像查詢。圖6示出根據(jù)本發(fā)明另ー實(shí)施例的方法的示例性流程。在步驟20. O中，記錄真實(shí)環(huán)境的數(shù)據(jù)(具體地或如步驟7. O中)，并且在這種情況下，有利地記錄了環(huán)境狀況的參數(shù)向量。對(duì)于特定的記錄，可以有利地以HDR (所謂的“高動(dòng)態(tài)范圍”)進(jìn)行記錄。在步驟21. O中，盡可能地相對(duì)于特定參數(shù)實(shí)施數(shù)據(jù)模型的中性化(例如去除陰影，亮度歸一化等)。在步驟22. O中，針對(duì)環(huán)境條件的頻譜產(chǎn)生參數(shù)向量。此外，在步驟23. O中，可以通過仿真(例如，光線追蹤方法)產(chǎn)生相應(yīng)的數(shù)據(jù)模型。在步驟24. O中，向根據(jù)圖4的步驟4. O做出提供。為了增加現(xiàn)實(shí)度并從而提高關(guān)聯(lián)性，可以有利地在線查詢天氣數(shù)據(jù)。在這方面，存在可構(gòu)想用于處理的各種復(fù)雜度?；商鞖馇闆r(例如，根據(jù)谷歌天氣服務(wù)“主要多云”、“局部暴雨”、“局部降雨”)，可以分配與天氣情況相匹配的固定的照明模式或素材(例如，紋理)。然而，在最高復(fù)雜度中，也可以使用當(dāng)前的云或雨衛(wèi)星或雷達(dá)圖像，以便動(dòng)態(tài)地準(zhǔn)備云層覆蓋的近似模型，并且從其中計(jì)算出陰影投射以及可選的詳細(xì)的光線條件(還參照?qǐng)D3)。如上文所述，這可以由服務(wù)器來實(shí)施，該服務(wù)器以特定位置的方式使數(shù)據(jù)對(duì)于客戶端可用。對(duì)于距離的感知有幫助的是確定由于霧、雨或霾造成的能見度。這可以被自動(dòng)實(shí)施(參見，出版商Springer柏林/海德爾于2006年4月在雜志《Machine Vision and Applications》出版的第 17 卷，第 I 號(hào)，第 8 頁-第 20 頁的 “From video image e. g. Automatic FogDetection and Estimation of Visibility Distance through use of an OnboardCamera”，書號(hào)為ISSN 0932-8092 (印刷)1432-1769 (在線))或也可以通過當(dāng)前的天氣數(shù)據(jù)來查詢。除了其它已知技術(shù)之外，最簡單的技術(shù)實(shí)現(xiàn)是在三維圖形處理庫(OpenGL)中設(shè)定霧調(diào)節(jié)。此外，可以基于位置、日期以及一天的時(shí)間，來分別計(jì)算太陽和月亮的位置，并且使用太陽和月亮的位置來調(diào)節(jié)光源。這對(duì)于陰影特別有效(參見圖3)，該陰影輔助人們更好地確定虛擬對(duì)象(例如POI)的位置。陰影可以是預(yù)先計(jì)算的紋理(有利地采用透明值)，該預(yù)先計(jì)算的紋理根據(jù)太陽或月亮的位置，位于地平面上的POI下方，其中太陽或月亮與POI之間的直線與地平面交叉(如果并非如此，則屬于例外)。如果太陽或月亮同時(shí)可見，則太陽用于計(jì)算。然而，如現(xiàn)有技術(shù)已知的，也可以動(dòng)態(tài)地計(jì)算陰影。這可以有利地包括POI的相互陰影。在提供環(huán)境的3D模型(例如，以用于遮蔽真實(shí)對(duì)象的遮蔽模型63的形式；所謂的“遮蔽幾何形狀”)時(shí)，這可以額外用于陰影情況的現(xiàn)實(shí)計(jì)算，因?yàn)樗缭赑OI上(還參見圖3)投射陰影。通過由POI的環(huán)境的圖像來豐富素材，可以進(jìn)ー步增加所融合的物質(zhì)的真實(shí)度。對(duì)于本領(lǐng)域技術(shù)人員來說，使用所謂的環(huán)境地圖是已知的。 根據(jù)相機(jī)的參數(shù)位置和方位，可以采用另ー個(gè)重要步驟來增強(qiáng)數(shù)據(jù)模型的質(zhì)量。通過加載遮蔽模型(所謂的“遮蔽幾何形狀”)，可以確定比較數(shù)據(jù)對(duì)于相機(jī)是可見還是不可見，例如，在另ー建筑物后面。可以存儲(chǔ)深度模型，或者可以通過SLAM算法、立體相機(jī)或飛行時(shí)間相機(jī)動(dòng)態(tài)產(chǎn)生深度模型。在這種情況下，每組比較數(shù)據(jù)(例如，SIFT特征)的深度信息的ー項(xiàng)是足夠的。在進(jìn)ー步的步驟中，產(chǎn)生用于在近范圍中正確重疊的相機(jī)參數(shù)(這不必連續(xù)發(fā)生)。這些可以動(dòng)態(tài)產(chǎn)生，例如，通過SLAM機(jī)構(gòu)，或可以根據(jù)設(shè)備名稱從服務(wù)器中檢索，或可以存儲(chǔ)在程序中。根據(jù)系統(tǒng)的硬件能力，可以顯示和計(jì)算一切。在系統(tǒng)硬件薄弱的情況下，也可以在部分服務(wù)器上進(jìn)行正確素材表面的計(jì)算，或者可以在部分服務(wù)器上計(jì)算整個(gè)圖像。采用強(qiáng)大的系統(tǒng)，現(xiàn)代的GPU (圖像處理單元)可以承擔(dān)大部分工作。對(duì)此，存在對(duì)于本領(lǐng)域技術(shù)人員已知的多種可能方式。通過相對(duì)于真實(shí)環(huán)境，確定相機(jī)的位置和方位，可以計(jì)算關(guān)于至少ー個(gè)包含在圖像中的真實(shí)對(duì)象的深度信息，并且在由被遮蔽的真實(shí)對(duì)象在景觀中遮蔽虛擬信息的情況中，深度信息可以用于在顯示設(shè)備中，融合用于遮蔽真實(shí)對(duì)象的遮蔽模型。
權(quán)利要求
1.一種用于確定相機(jī)(22，32)相對(duì)于真實(shí)環(huán)境(40)的姿態(tài)的方法，所述方法包括以下步驟 -通過相機(jī)(22，32)拍攝真實(shí)環(huán)境的至少ー個(gè)圖像(50)，所述圖像包含真實(shí)對(duì)象(41)的至少部分； -確定環(huán)境狀況的至少ー個(gè)參數(shù)； -執(zhí)行追蹤方法，所述追蹤方法在所述真實(shí)對(duì)象包含在所述真實(shí)環(huán)境的所述圖像(50)中吋，評(píng)價(jià)關(guān)于所述真實(shí)對(duì)象(41)相關(guān)聯(lián)的特征和所述真實(shí)對(duì)象(41)的相應(yīng)特征之間的對(duì)應(yīng)關(guān)系的信息，以獲得關(guān)于所述相機(jī)(22，32)的所述姿態(tài)的結(jié)論； -根據(jù)所述至少ー個(gè)參數(shù)來執(zhí)行所述追蹤方法。
2.根據(jù)權(quán)利要求I所述的方法，其中 所述追蹤方法使用至少ー個(gè)根據(jù)所述至少ー個(gè)參數(shù)進(jìn)行初始化的光學(xué)追蹤方法。
3.根據(jù)權(quán)利要求I或2所述的方法，其中 通過所述追蹤方法，采用ー個(gè)、兩個(gè)、三個(gè)、四個(gè)、五個(gè)或六個(gè)自由度來確定所述相機(jī)(22，32)的所述姿態(tài)。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 所述追蹤方法使用傳感器類型不同的數(shù)個(gè)追蹤傳感器(32，34-1，34-2 )。
5.根據(jù)權(quán)利要求4所述的方法，其中 所述追蹤方法包括根據(jù)所述至少ー個(gè)參數(shù)對(duì)至少ー個(gè)所述追蹤傳感器(32，34-1，34-2)進(jìn)行加權(quán)。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 所述追蹤方法包括根據(jù)所述至少ー個(gè)參數(shù)對(duì)方法部分步驟進(jìn)行優(yōu)先化。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 使用數(shù)據(jù)模型(51)與由所述相機(jī)拍攝的所述圖像(50)的數(shù)據(jù)進(jìn)行比較，考慮所述環(huán)境狀況的所述至少一個(gè)參數(shù)來選擇所述數(shù)據(jù)模型。
8.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 通過確定所述環(huán)境狀況的所述至少一個(gè)參數(shù)與所述追蹤方法相對(duì)于已知環(huán)境狀況的已知理想?yún)?shù)的距離測(cè)量，計(jì)算在確定所述相機(jī)姿態(tài)中的不確定性。
9.一種用于在由相機(jī)拍攝的圖像中識(shí)別真實(shí)環(huán)境的對(duì)象的方法，所述方法包括以下步驟 -通過相機(jī)(22，32)拍攝真實(shí)環(huán)境的至少ー個(gè)圖像(50)，所述圖像包含真實(shí)對(duì)象(41)的至少部分； -執(zhí)行圖像識(shí)別方法，所述圖像識(shí)別方法提供關(guān)于所述圖像(50)中的所述至少ー個(gè)真實(shí)對(duì)象(41)的識(shí)別的信息； -確定環(huán)境狀況的至少ー個(gè)參數(shù)； -根據(jù)所述至少ー個(gè)參數(shù)執(zhí)行所述圖像識(shí)別方法。
10.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 為了確定所述環(huán)境狀況的所述至少ー個(gè)參數(shù)，使用以下項(xiàng)目信息中的至少ー個(gè)或多個(gè)某日的時(shí)間；某年的時(shí)間；天氣，尤其是雨、云、太陽和霧；月亮的位置；雪情；樹木的枝葉；海抜高度；公共事件，尤其是強(qiáng)烈運(yùn)動(dòng)；交通狀況；位置；世界坐標(biāo)系中的方位；圖像直方圖；溫度；維護(hù)步驟。
11.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 所述至少一個(gè)參數(shù)對(duì)于關(guān)于所述圖像中的模型數(shù)據(jù)的成功檢索的最低要求具有影響，尤其是確定與所述真實(shí)對(duì)象相關(guān)聯(lián)的多個(gè)特征，所述多個(gè)特征與所述真實(shí)環(huán)境的圖像中的所述真實(shí)對(duì)象的圖像的相應(yīng)特征相符合。
12.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 -使用數(shù)據(jù)模型(51，60)與所述真實(shí)環(huán)境的圖像中的所述真實(shí)對(duì)象(41)的圖像的數(shù)據(jù)進(jìn)行比較，以及 -其中，所述至少一個(gè)參數(shù)對(duì)于所述數(shù)據(jù)模型的準(zhǔn)備和/或使用具有影響。
13.根據(jù)權(quán)利要求12所述的方法，其中 在所述數(shù)據(jù)模型內(nèi)存儲(chǔ)姆數(shù)據(jù)模型ー參數(shù)向量或姆特征ー參數(shù)向量。
14.根據(jù)權(quán)利要求12或13所述的方法，其中 所述至少一個(gè)參數(shù)影響所述數(shù)據(jù)模型的準(zhǔn)備的種類，尤其影響特征探測(cè)器和描述符的準(zhǔn)備。
15.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 從多個(gè)単獨(dú)模型中提取數(shù)據(jù)模型，所述數(shù)據(jù)模型包含在數(shù)個(gè)環(huán)境狀況中出現(xiàn)的信息的交集。
16.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 數(shù)個(gè)局部系統(tǒng)分別執(zhí)行所述方法； 其中，并非每個(gè)所述局部系統(tǒng)自身計(jì)算追蹤狀況，而是使已完成的狀況信息對(duì)于所有局部系統(tǒng)可用，有利地，甚至使已完成的識(shí)別或初始化模型對(duì)于所述局部系統(tǒng)可用。
17.根據(jù)權(quán)利要求16所述的方法，其中 所述局部系統(tǒng)將關(guān)于所述環(huán)境狀況的信息提供給所提供的服務(wù)器，或提供給對(duì)等處理過程。
18.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中 通過確定所述相機(jī)姿態(tài)，計(jì)算關(guān)于所述圖像中包含的至少ー個(gè)真實(shí)對(duì)象的深度信息，當(dāng)疊加在所述真實(shí)環(huán)境上的虛擬信息在視野中被待遮蔽的所述真實(shí)對(duì)象遮蔽時(shí)，所述深度信息用于在顯示設(shè)備中融入用于遮蔽真實(shí)對(duì)象的遮蔽模型。
19.一種用于提供數(shù)據(jù)模型(60)的方法，所述數(shù)據(jù)模型(60)意圖用于在用于確定相機(jī)(22，32)相對(duì)于真實(shí)環(huán)境的真實(shí)對(duì)象(41)的姿態(tài)的方法中或用于識(shí)別真實(shí)環(huán)境的真實(shí)對(duì)象(41)的方法中，與由相機(jī)(22，32)拍攝的圖像(50)的數(shù)據(jù)進(jìn)行比較，其中 -查明或仿真環(huán)境狀況，并且確定所述環(huán)境狀況的至少ー個(gè)參數(shù)； -準(zhǔn)備數(shù)據(jù)模型(60)，所述數(shù)據(jù)模型(60)包含所述真實(shí)對(duì)象的基本描述，設(shè)定或仿真各種環(huán)境狀況，并且對(duì)于不同的環(huán)境狀況，根據(jù)相應(yīng)的至少ー個(gè)參數(shù)來提供相應(yīng)適合的數(shù)據(jù)模型(61)。
20.根據(jù)權(quán)利要求19所述的方法，其中 所述基本描述是環(huán)境的虛擬3D模型。
21.根據(jù)權(quán)利要求20所述的方法，其中 所述3D模型具有之前從環(huán)境狀況特定特性中釋放的應(yīng)用于其的紋理。
22.根據(jù)權(quán)利要求20或21所述的方法，其中 在不同的光線狀況下，將所述3D模型投影到所述圖像平面。
23.根據(jù)權(quán)利要求19至22中任一項(xiàng)所述的方法，其中 所準(zhǔn)備的數(shù)據(jù)模型包含在數(shù)個(gè)不同環(huán)境狀況中出現(xiàn)的信息的交集。
24.根據(jù)權(quán)利要求19至23中任一項(xiàng)所述的方法，其中 將SLAM方法與所述環(huán)境狀況的查明進(jìn)行組合，并且將所準(zhǔn)備的數(shù)據(jù)模型與關(guān)于所述環(huán)境狀況的信息一起存儲(chǔ)。
全文摘要
一種用于確定相機(jī)(22，32)相對(duì)于真實(shí)環(huán)境(40)的姿態(tài)的方法，包括以下步驟通過相機(jī)(22，32)記錄真實(shí)環(huán)境的至少一個(gè)圖像(50)，其中所述圖像包含真實(shí)對(duì)象(41)的至少一個(gè)部分；執(zhí)行追蹤方法，該追蹤方法在真實(shí)對(duì)象包含在所述真實(shí)環(huán)境的所述圖像(50)中時(shí)，評(píng)價(jià)關(guān)于與真實(shí)對(duì)象(41)相關(guān)聯(lián)的特征和所述真實(shí)對(duì)象(41)的相應(yīng)特性之間的對(duì)應(yīng)關(guān)系，以便得出關(guān)于相機(jī)(22，32)的姿態(tài)的結(jié)論；確定環(huán)境狀況的至少一個(gè)參數(shù)；以及根據(jù)所述至少一個(gè)參數(shù)來執(zhí)行所述追蹤方法。該方法還可類似地應(yīng)用于用于在由相機(jī)拍攝的圖像中識(shí)別真實(shí)環(huán)境的對(duì)象的方法。
文檔編號(hào)G06T7/00GK102667855SQ201080057475
公開日2012年9月12日 申請(qǐng)日期2010年9月16日 優(yōu)先權(quán)日2009年10月19日
發(fā)明者P·邁耶 申請(qǐng)人:Metaio有限公司