用于使用雷達-光學(xué)成像融合來創(chuàng)建地圖的方法和系統(tǒng)的制作方法
【專利摘要】一種使用雷達掃描和光學(xué)成像的組合來對空間進行繪圖的方法。該方法包括下列步驟：提供測量車輛，其具有連接到其的雷達系統(tǒng)和圖像獲取系統(tǒng)；使雷達系統(tǒng)的視場與圖像獲取系統(tǒng)的視場對準；使用雷達掃描系統(tǒng)獲得空間的至少一個雷達掃描；使用圖像獲取系統(tǒng)獲得空間的至少一個圖像；以及組合至少一個雷達掃描與至少一個圖像以構(gòu)造空間的地圖。
【專利說明】用于使用雷達-光學(xué)成像融合來創(chuàng)建地圖的方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本公開涉及使用雷達數(shù)據(jù)和光學(xué)圖像數(shù)據(jù)的組合來創(chuàng)建地圖(map)。
【背景技術(shù)】
[0002]雖然基于車輛的繪圖(mapping)是已知的，當前的方法遭受很多缺點之苦,該缺點包括差的角分辨率或不精確的空間測量。

【發(fā)明內(nèi)容】

[0003]在一個實施例中，本發(fā)明提供了一種使用雷達掃描和光學(xué)成像的組合來對空間進行繪圖的方法。該方法包括下列步驟:提供測量車輛，該車輛具有附接到其的雷達系統(tǒng)和圖像獲取系統(tǒng)；使雷達系統(tǒng)的視場與圖像獲取系統(tǒng)的視場對準；使用雷達掃描系統(tǒng)獲得空間的至少一個雷達掃描；使用圖像獲取系統(tǒng)獲得空間的至少一個圖像；以及將至少一個雷達掃描與至少一個圖像進行組合以構(gòu)造空間的地圖。
[0004]在另一實施例中，本發(fā)明提供了一種用于使用雷達掃描和光學(xué)成像的組合來對空間進行繪圖的系統(tǒng)。該系統(tǒng)包括測量車輛，該測量車輛具有附接到其的雷達系統(tǒng)和圖像獲取系統(tǒng)，雷達系統(tǒng)的視場與圖像獲取系統(tǒng)的視場對準。該系統(tǒng)還包括與雷達系統(tǒng)和圖像獲取系統(tǒng)通信的控制器。控制器配置成使用雷達掃描系統(tǒng)獲得空間的至少一個雷達掃描；使用圖像獲取系統(tǒng)獲得空間的至少一個圖像；以及將至少一個雷達掃描與至少一個圖像進行組合以構(gòu)造空間的地圖。
[0005]通過考慮詳細描述和附圖，本發(fā)明的其它方面將變得清楚。
【專利附圖】

【附圖說明】
[0006]圖1示出使用雷達系統(tǒng)和圖像掃描系統(tǒng)來掃描空間的測量車輛以及從所掃描的數(shù)據(jù)創(chuàng)建的空間的地圖。
[0007]圖2示出使用用于識別建筑物的周界的雷達數(shù)據(jù)產(chǎn)生的圖。
[0008]圖3示出如在如將被圖像獲取系統(tǒng)觀看的典型圖像中看到的建筑物，其中建筑物中的平行特征由于三維建筑物到二維圖像的變換看起來是會聚的或發(fā)散的。
[0009]圖4示出使用描繪建筑物的周界的數(shù)據(jù)產(chǎn)生的圖，其中基于從相關(guān)的圖像數(shù)據(jù)提取的信息來識別門口的位置。
【具體實施方式】
[0010]在詳細解釋本發(fā)明的任何實施例之前，應(yīng)理解，本發(fā)明在其應(yīng)用中不限于在下面的描述中闡述或在附圖中示出的部件的構(gòu)造和布置的細節(jié)。本發(fā)明能夠有其它實施例并且能夠以各種方式被實踐或執(zhí)行。
[0011]本發(fā)明包括用于通過組合來自雷達掃描和光學(xué)圖像獲取的信息來創(chuàng)建地圖的方法和系統(tǒng)。測量車輛100被操縱穿過空間，收集該空間的一個或多個雷達掃描和光學(xué)圖像。該空間是其中區(qū)域(例如在城市環(huán)境中的建筑物)的詳細三維視圖是所期望的任何地點。
[0012]在各種實施例中，測量車輛100是常規(guī)車輛，例如轎車、卡車、廂式貨車或摩托車。在其它實施例中，測量車輛100是自主的或遠程操作的車輛(例如機器人)。在各種實施例中，測量車輛100是自主的、遠程操作的或有人駕駛的陸基的、空中的或水上的車輛。
[0013]在本發(fā)明的實施例中，測量車輛100具有附接到其的雷達系統(tǒng)200和圖像獲取系統(tǒng)300 (圖1)。雷達系統(tǒng)200和圖像獲取系統(tǒng)300中的每個具有與各自獲得信息的空間區(qū)對應(yīng)的相應(yīng)的視場210、310。為了簡單起見，圖1示出單個雷達系統(tǒng)200和圖像獲取系統(tǒng)300，然而在各種實施例中，多個單元可附接到測量車輛。兩個或多個圖像獲取系統(tǒng)300的使用提供捕獲立體圖像的能力，從而允許從圖像得到額外的數(shù)據(jù)。
[0014]在一個實施例中，兩個系統(tǒng)的視場210、310對準,使得這兩個系統(tǒng)同時從同一空間區(qū)收集數(shù)據(jù)。雷達系統(tǒng)200和圖像獲取系統(tǒng)300可在測量車輛100上被指向向前、向側(cè)面或向后。在各種實施例中，測量車輛100還可包括GPS單元400。
[0015]在各種實施例中，測量車輛100包括計算機系統(tǒng)110。在一些實施例中，使用計算機系統(tǒng)Iio收集并存儲來自雷達系統(tǒng)200、圖像獲取系統(tǒng)300和GPS單元400 (當存在時)的數(shù)據(jù)，為了說明目的，計算機系統(tǒng)110被示為容納于測量車輛100上。然而，可使用在一個或多個遠程位置中操作的一個或多個這樣的計算機系統(tǒng)110來實施本文描述的方法和系統(tǒng)。通常，計算機系統(tǒng)110包括微處理器、存儲器和數(shù)據(jù)存儲、輸入和輸出及有線或無線聯(lián)網(wǎng)能力，并與本文公開的測量和感測系統(tǒng)進行有效的通信(有線或無線)。計算機系統(tǒng)110用作控制器，該控制器配置成執(zhí)行本文公開的方法和系統(tǒng)，包括控制雷達系統(tǒng)200、圖像獲取系統(tǒng)300和GPS單元400中的一個或多個以及如本文所述地那樣處理數(shù)據(jù)以如本文公開那樣對空間進行繪圖。
[0016]在一些實施例中，在收集數(shù)據(jù)的同時例如使用基于無線電的通信將數(shù)據(jù)傳輸?shù)讲煌牡攸c以用于通過可遠程地定位的可匹配的計算機系統(tǒng)110來存儲和分析。可與數(shù)據(jù)的收集同時(或接近同時，當傳輸信號被減慢或中斷時使用緩沖器來存儲數(shù)據(jù))地分析數(shù)據(jù)，或可在收集期間在計算機系統(tǒng)110上存儲數(shù)據(jù)并在稍后的時間離線地分析數(shù)據(jù)。
[0017]固定波束雷達系統(tǒng)200可通過包括被定位于相對于彼此不同的角度處的多個天線以從多個方向收集所反射的雷達能量并使用關(guān)于天線的相對角度的信息從反射的能量得到空間信息，來從較寬的視場得到信息?？商娲兀瑨呙枥走_系統(tǒng)200可通過掃描和收集來自一般是較窄的視場的東西的能量并通過掃描空間(例如光柵掃描)建立較大的視場來得到關(guān)于反射的能量的空間關(guān)系的信息。
[0018]來自雷達系統(tǒng)200的數(shù)據(jù)提供關(guān)于到視場210中的物體的距離的準確信息。然而，與光學(xué)成像比較，雷達在提供角度信息(例如關(guān)于正交于雷達波束的尺寸的信息)時不是那樣準確。對于固定波束雷達系統(tǒng)200尤為如此，在固定波束雷達系統(tǒng)200中，角度信息從收集自接收反射能量的多個天線收集的不同信號得到。
[0019]因此，為了提供跨越雷達系統(tǒng)200的視場210的更好的空間信息(即，更好的角分辨率)，將雷達掃描信息與使用圖像獲取系統(tǒng)300得到的同一空間的一個或多個圖像組合。如上所述，雷達系統(tǒng)200和圖像獲取系統(tǒng)300在開始時被對準，以便使視場盡可能準確地重疊。然而，數(shù)據(jù)的進一步對準可能是必要的，并可手動地或以自動方式執(zhí)行數(shù)據(jù)的進一步對準。[0020]雷達傳感器200通常收集原始頻率信息。一般，對原始頻率信息執(zhí)行傅立葉變換。因為來自運動物體(例如轎車、行人)的反射實質(zhì)上小于來自靜止物體(例如建筑物、柱子)的反射，所以通常安全的是假設(shè)所有反射數(shù)據(jù)都來自靜止的物體。因此，原始頻率信息的傅立葉變換的結(jié)果將對應(yīng)于離靜止物體的雷達傳感器的距離。然而，為了更好地改善數(shù)據(jù)且特別是針對其中運動物體對反射數(shù)據(jù)做出顯著貢獻的情況，當?shù)貓D被構(gòu)造時，可確定并移除來自運動物體的數(shù)據(jù)的分量。此外，可在稍后的時間分析來自雷達傳感器200的速度信息，且可移除對應(yīng)于運動物體的數(shù)據(jù)。
[0021]對于每個頻率，可計算角度，其中用于計算角度的機構(gòu)取決于是固定波束還是掃描雷達傳感器200被使用。對于固定波束傳感器，對于每個頻率，比較來自不同天線的相位和振幅信息以確定角度，而掃描傳感器給出關(guān)于角度的更直接的結(jié)果。一旦計算出所有這個信息，就產(chǎn)生地圖，其中針對每個距離的所計算的角度被標記。從雷達傳感器200接收的功率信息也可用于區(qū)分開好的測量與差的測量。雖然在一些情況下雷達地圖包含噪聲，通常雷達地圖提供對應(yīng)于建筑物或其它大的靜止物體的外形或輪廓。
[0022]圖2示出使用用于識別建筑物(例如圖3所示的建筑物)的周界或覆蓋區(qū)(footprint)的雷達數(shù)據(jù)產(chǎn)生的圖。圖2示出從上面看到的示出雷達數(shù)據(jù)(圖2中的散斑)的建筑物的覆蓋區(qū)的視圖，即，由雷達系統(tǒng)200收集的雷達反射的最強總和的抽象的或精簡的視圖。從這個信息中，識別出建筑物的輪廓(圖2中的線)。
[0023]使用從同一位置的圖像獲取系統(tǒng)300得到的數(shù)據(jù)，可識別出被探測到的大物體(例如圖2中的建筑物)。圖像處理和物體識別可用于識別這些大物體,且對于感興趣的物體，可執(zhí)行雷達和視頻數(shù)據(jù)的匹配?？商貏e使用雷達數(shù)據(jù)來確定到這些物體的精確距離，并將到這些物體的精確距離輸入到地圖中(例如作為GPS坐標)。
[0024]對于不感興趣的物體，使用來自圖像獲取系統(tǒng)300的圖像數(shù)據(jù)對物體的分類可用于排除一個或多個這樣的物體。例如，其它車輛(例如停下的汽車)可被識別出并被排除用于繪圖步驟，因為這些一般是可移動的且當?shù)貓D被使用時這些可能不再在它們的原始位置處。
[0025]因為雷達系統(tǒng)200還可確定在大物體(例如建筑物)之間是否有大自由空間，所以諸如小巷之類的位置也可被輸入到地圖中，而不必使測量車輛100移動穿過它們；如果車輛不被允許在小巷中或如果測量車輛100不適合在小巷中，則這是特別有用的。例如小巷的空間具有下列特征:它被長的筆直墻(即，建筑物的正面)和緊靠它們的無阻擋視野(即，對應(yīng)于小巷的開口)約束。
[0026]作為來自雷達系統(tǒng)200和圖像獲取系統(tǒng)300的數(shù)據(jù)的處理的結(jié)果，使用精確的建筑物位置(圖1)來產(chǎn)生空間的地圖500。除了物體的底部的位置和尺寸以外，地圖500還可包括每個物體的正面和側(cè)面(以及背面，如果測量車輛100可接近的話)的海拔以提供三維視圖。從雷達系統(tǒng)200和圖像獲取系統(tǒng)300得到的準確的結(jié)構(gòu)尺寸(例如寬度、高度、離街道和其它物體的距離)可用于完善該結(jié)構(gòu)(例如建筑物)的輪廓。這個信息轉(zhuǎn)而可用于從可放置在結(jié)構(gòu)上分明的骨架之上的圖像“切割”數(shù)據(jù)以產(chǎn)生空間的現(xiàn)實三維視圖?？舍槍娜S物體(例如建筑物)到二維圖像(圖3)的變換產(chǎn)生的失真來校正圖像數(shù)據(jù)。對于大部分建筑物，假設(shè)總體形狀是矩形棱柱，然而，來自雷達系統(tǒng)200和圖像獲取系統(tǒng)300的數(shù)據(jù)可用于確定建筑物或其它物體的形狀，并在校正相應(yīng)的失真時進行適當?shù)恼{(diào)節(jié)。[0027]可分析圖像數(shù)據(jù)以識別物體上的特征(例如建筑物上的門口或窗戶)，以提供用于繪圖的更詳細的信息。圖4示出使用描繪建筑物的周界的雷達數(shù)據(jù)產(chǎn)生的圖，其中基于從相關(guān)的圖像數(shù)據(jù)提取的信息識別出門口的位置。結(jié)合從GPS單元400得到的地理參考數(shù)據(jù)，門口可用作導(dǎo)航點，例如用于計算步行距離或最近的停車場，或以確定從用戶的當前位置到建筑物入口的距離?？赏ㄟ^使用在圖片中可見的尺寸、使用從數(shù)據(jù)被獲取的視點到建筑物底部的雷達距離并使用視點比例縮放計算來計算建筑物的尺寸(例如高度)。
[0028]采用幾個步驟來識別物體(例如建筑物)的輪廓，例如在圖3中的建筑物周圍顯示的輪廓。建筑物的基線(例如圖2)被識別為在俯仰(pitch)方向上的旋轉(zhuǎn)點(考慮視角和與距離的相關(guān)比例縮放)。垂直拐角被識別為在偏航方向上的旋轉(zhuǎn)角。雷達數(shù)據(jù)(例如圖2所示的散斑數(shù)據(jù))用于識別建筑物邊界(圖2中的線)，建筑物邊界轉(zhuǎn)而用于計算旋轉(zhuǎn)點(例如俯仰和偏航)。這些點可接著用于分割圖像。在其它用途當中，當沒有來自該視點的原始圖像是可用的時，這個分割信息可用于拉長圖像以產(chǎn)生新視點，例如獲取建筑物的側(cè)面的傾斜圖像并拉長它以產(chǎn)生直接看建筑物的側(cè)面的視點。
[0029]除了來自原始建筑物的圖像以外，例如廣告600的圖像也可能被放置在建筑物(圖3)的一些或全部上。此外，可從建筑物的多個圖像中選擇被“切割”并放置到建筑物上的圖像，即，建設(shè)物的外部的圖像，例如具有比當?shù)玫酵瑫r掃描數(shù)據(jù)時可用的圖像更好的照明的圖像。也可例如通過“拉伸”來自側(cè)視圖的圖像數(shù)據(jù)以給出從建筑物的正面看的外觀來創(chuàng)建具有新視點的圖像。因為建筑物或其它物體的骨架的尺寸在三維中是已知的，即使從各種角度被觀看，也可正確地顯示放置到物體的外表面上的圖像。在不是矩形棱柱的建設(shè)物(例如具有彎曲面的建筑物)的情況下，圖像數(shù)據(jù)在彎曲面上被“拉伸”。
[0030]地圖500和來自空間的相關(guān)三維數(shù)據(jù)可用于多個目的。在一個實施例中，地圖500用于提供基于被掃描的空間的虛擬世界或幾個空間的復(fù)合物來產(chǎn)生虛構(gòu)的虛擬世界。在另一實施例中，地圖用作例如在車輛、計算機或智能電話中的導(dǎo)航工具的部分。
[0031]除了所掃描的物體以外，可將其它三維物體添加到在地圖中提供的視圖。如上所述，可以用無縫方式將廣告放置在物體上。此外，虛擬字符可被顯示輸入所描繪的建筑物，例如用于游戲、廣告或互聯(lián)網(wǎng)零售的目的。
[0032]與只使用成像系統(tǒng)來產(chǎn)生數(shù)據(jù)的系統(tǒng)比較，雷達具有提供準確的距離信息以及較長的有用范圍(與成像系統(tǒng)的20-50米比較，雷達是250米)的優(yōu)點。因此，到建筑物的距離可被計算以提供繪圖和方向信息，而不需要測量車輛100更近地接近建筑物。因此，減小了測量車輛100需要行駛以對用于繪圖的特定空間進行繪圖的距離。此外，更遠離公共街道的建筑物可被更精確地繪圖。此外，可給出到建筑物的門的距離，包括例如從停車場走到門花費多長時間的計算之類的特征。
[0033]因此，本發(fā)明提供了使用雷達-光學(xué)成像融合來創(chuàng)建地圖的方法和系統(tǒng)等等。在下面的權(quán)利要求中闡述了本發(fā)明的各種特征和優(yōu)點。
【權(quán)利要求】
1.一種使用雷達掃描和光學(xué)成像的組合來對空間進行繪圖的方法，包括: 提供測量車輛，所述測量車輛具有附接到所述測量車輛的雷達系統(tǒng)和圖像獲取系統(tǒng)； 使所述雷達系統(tǒng)的視場與所述圖像獲取系統(tǒng)的視場對準； 使用雷達掃描系統(tǒng)來獲得空間的至少一個雷達掃描； 使用所述圖像獲取系統(tǒng)來獲得所述空間的至少一個圖像；以及 組合所述至少一個雷達掃描與所述至少一個圖像以構(gòu)造所述空間的地圖。
2.如權(quán)利要求1所述的方法，還包括從所述至少一個雷達掃描移除來自至少一個運動物體的數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，還包括識別所述空間中的物體。
4.如權(quán)利要求3所述的方法，還包括識別所述物體的特征。
5.如權(quán)利要求3所述的方法，其中，所述物體是建筑物，并且所述方法還包括使用所述至少一個雷達掃描來識別所述建筑物的輪廓。
6.如權(quán)利要求5所述的方法，其中，所述輪廓包括所述建筑物的覆蓋區(qū)。
7.如權(quán)利要求6所述的方法，還包括估計所述建筑物的高度。
8.如權(quán)利要求7所述的方法，還包括在所述地圖內(nèi)所述建筑物的圖像上顯示廣告。
9.如權(quán)利要求1所述的方法，其中，所述地圖被用于車輛和智能電話中的至少一個上的導(dǎo)航系統(tǒng)。
10.如權(quán)利要求1所述的方法，其`中，提供具有附接到測量車輛的雷達系統(tǒng)和圖像獲取系統(tǒng)的測量車輛還包括提供具有附接到測量車輛的雷達系統(tǒng)、圖像獲取系統(tǒng)和GPS單元的測量車輛。
11.一種使用雷達掃描和光學(xué)成像的組合來對空間進行繪圖的系統(tǒng)，包括: 測量車輛，其具有附接到所述測量車輛的雷達系統(tǒng)和的圖像獲取系統(tǒng)，所述雷達系統(tǒng)的視場與所述圖像獲取系統(tǒng)的視場對準； 控制器，其與所述雷達系統(tǒng)和所述圖像獲取系統(tǒng)通信，所述控制器被配置成: 使用雷達掃描系統(tǒng)來獲得空間的至少一個雷達掃描； 使用所述圖像獲取系統(tǒng)來獲得所述空間的至少一個圖像；以及 組合所述至少一個雷達掃描與所述至少一個圖像以構(gòu)造所述空間的地圖。
12.如權(quán)利要求11所述的系統(tǒng)，其中，所述控制器還被配置成從所述至少一個雷達掃描移除來自至少一個運動物體的數(shù)據(jù)。
13.如權(quán)利要求11所述的系統(tǒng)，其中，所述控制器還被配置成識別所述空間中的物體。
14.如權(quán)利要求13所述的系統(tǒng)，其中，所述控制器還被配置成識別所述物體的特征。
15.如權(quán)利要求13所述的系統(tǒng)，其中，所述物體是建筑物，并且其中所述控制器還被配置成使用所述至少一個雷達掃描來識別所述建筑物的輪廓。
16.如權(quán)利要求15所述的系統(tǒng)，其中，所述輪廓包括所述建筑物的覆蓋區(qū)。
17.如權(quán)利要求16所述的系統(tǒng)，其中，所述控制器還被配置成估計所述建筑物的高度。
18.如權(quán)利要求17所述的系統(tǒng)，其中，所述控制器還被配置成在所述地圖內(nèi)的所述建筑物的圖像上顯示廣告。
19.如權(quán)利要求11所述的系統(tǒng)，其中，所述地圖被用于在車輛和智能電話中的至少一個上的導(dǎo)航系統(tǒng)。
20.如權(quán)利要求11所述的系統(tǒng)，其中，所述測量車輛還包括附接到所述測量車輛的GPS單元 。
【文檔編號】G01S13/89GK103890606SQ201280051376
【公開日】2014年6月25日 申請日期:2012年10月19日 優(yōu)先權(quán)日:2011年10月20日
【發(fā)明者】J·貝克爾, O·施溫特 申請人:羅伯特·博世有限公司