專利名稱：3維數(shù)據(jù)制作方法及3維數(shù)據(jù)制作裝置的制作方法
技術領域：
本發(fā)明涉及3維數(shù)據(jù)制作方法及3維數(shù)據(jù)制作裝置，即使在移動體中不具備位置檢測裝置，也能基于在移動中取得的連續(xù)圖像，進行移動體的位置測定，以及制作帶有3維數(shù)據(jù)的圖像數(shù)據(jù)。
背景技術：
作為測定地面的絕對坐標的測定裝置，GPS (GlcAal Positioning System，全球定位系統(tǒng))裝置已經(jīng)普及。GPS裝置是利用來自至少3個以上優(yōu)選5個以上的人造衛(wèi)星的電波，測定地面的3維位置坐標的裝置?？墒?，在電波沒有到達的空間、例如人造衛(wèi)星的電波沒有覆蓋的區(qū)域中，或者由于建筑物等的障礙物遮擋了電波的空間中，或者在隧道等的封閉狀態(tài)的空間中，不能利用GPS裝置進行位置測定。
因此，本申請人在日本特開2007-147341號公報(專利文獻1)中，提出了一種在移動體安裝攝像裝置，通過攝像裝置在移動中連續(xù)地取得圖像，通過圖像處理從圖像中提取特征點，基于已知的移動體的位置通過后方交會法進行提取的特征點的位置測定，進而基于位置變?yōu)橐阎奶卣鼽c，通過前方交會法測定移動后的移動體的位置的方法以及進行該測定的測定裝置，即使沒有GPS裝置那樣的位置測定裝置，也能夠實時地測定移動體的位置。
在日本特開2007-147341號公報(專利文獻1)公開的測定移動體的位置的方法中，如上述那樣從圖像中的建筑物等提取特征點。特征點的提取例如通過利用圖像處理提取建筑物的角等的對比度變化較大的點來進行，但包含許多不確定要素，例如由于移動體的移動導致圖像中的位置變化，或通過攝像方向變化而被其他的建筑物遮擋，或對比度因為天候等的變化而變化。
進而，在特征點的提取過程中，因為包含誤差因素，所以在利用后方交會法、前方交會法的移動體的位置測定中含有誤差累積的問題。
因此，為了提高精度需要提取許多的特征點。此外，需要以圖像處理來進行特征點的提取、在圖像間的特征點的匹配等，所以存在數(shù)據(jù)處理量變多，數(shù)據(jù)處理裝置的負擔變大，此外處理時間變長等的問題。
本發(fā)明鑒于該實際情況，提供一種3維數(shù)據(jù)制作方法及3維數(shù)據(jù)制作裝置，能夠更簡便地基于在移動中取得的連續(xù)圖像，進行移動體的位置測定，以及制作帶有3維數(shù)據(jù)的圖像數(shù)據(jù)。
現(xiàn)有技術文獻專利文獻1 日本特開2007-147341號公報； 專利文獻2 日本特開平8-255245號公報。發(fā)明內(nèi)容
本發(fā)明涉及一種3維數(shù)據(jù)制作方法，其使用攝像裝置，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟；取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟；以及至少最初的1個測定用圖像中包含的地標的3維坐標是已知的，基于該測定用圖像的地標的3維坐標，求取測定用圖像攝像地點的3維坐標的步驟。
此外，本發(fā)明涉及使用地標進行所述2個圖像的匹配的3維數(shù)據(jù)制作方法。
此外，本發(fā)明涉及還具有提取特征點的步驟，使用地標和所述特征點進行所述2 個圖像的匹配的3維數(shù)據(jù)制作方法，此外，涉及包含通過前方交會法求取從成為已知的2 個測定用圖像攝像地點攝像的測定圖像中的地標的3維坐標的步驟的3維數(shù)據(jù)制作方法， 此外，涉及通過測量機對在所述測定用圖像中包含的地標的3維坐標進行測定的步驟的3 維數(shù)據(jù)制作方法，此外，涉及還包含在規(guī)定的移動范圍中攝像的圖像中包含的地標內(nèi)，通過測量機預先對利用后方交會法的測定所需要的地標的3維坐標進行測定的步驟的3維數(shù)據(jù)制作方法，此外，涉及在規(guī)定的移動范圍中攝像的圖像中包含的地標內(nèi)，通過所述3維數(shù)據(jù)制作方法對利用后方交會法的測定所需要的地標的3維坐標進行測定的3維數(shù)據(jù)制作方法。
此外，本發(fā)明涉及一種3維數(shù)據(jù)制作方法，使用至少具備攝像裝置的位置檢測傳感器，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟；取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟； 對至少最初的2個測定用圖像進行攝像的2個地點的3維坐標是已知的，基于該2個地點的3維坐標求取所述地標的3維坐標的步驟；以及基于獲得的所述地標的3維坐標，求取下一個測定用圖像攝像地點的3維坐標的步驟。
此外，本發(fā)明涉及使用地標進行所述2個圖像的匹配的3維數(shù)據(jù)制作方法。
此外，本發(fā)明涉及使用地標和圖像中的特征點進行所述2個圖像的匹配的3維數(shù)據(jù)制作方法，此外，涉及所述位置檢測傳感器具備GPS位置檢測裝置，所述2個地點的3維坐標通過所述GPS位置檢測裝置而是已知的3維數(shù)據(jù)制作方法，此外，涉及還包含通過測量機對所述2個地點的3維坐標進行測定的步驟，通過所述測量機取得所述2個地點的3維坐標的3維數(shù)據(jù)制作方法。
此外，本發(fā)明涉及一種3維數(shù)據(jù)制作裝置，其中，具備對周圍的景色進行攝像，取得數(shù)字圖像的攝像裝置；作為模板具有地標圖像，將以規(guī)定時間間隔取得的數(shù)字圖像作為測定用圖像，通過該測定用圖像和所述模板的圖案識別，從所述測定用圖像中識別地標的識別部；以及預先具備在攝像的測定用圖像中包含的地標的3維坐標，基于所述識別的地標的3維坐標，通過后方交會法對攝像地點的3維坐標進行測定的數(shù)據(jù)處理制作部的3維數(shù)據(jù)制作裝置，此外，涉及所述數(shù)據(jù)處理制作部通過所述后方交會法對第1、第2地點的攝像地點的3維坐標進行測定，針對在第2地點攝像的測定用圖像中的未知的地標，基于從第 1、第2地點的攝像地點的圖像的匹配，通過前方交會法對未知的地標的3維坐標進行測定的3維數(shù)據(jù)制作裝置，此外，涉及所述數(shù)據(jù)處理制作部在規(guī)定的移動范圍中存在的地標內(nèi)，至少預先具備后方交會法所需要的地標的3維坐標，通過后方交會法對所述移動范圍中的攝像地點的3維坐標進行測定的3維數(shù)據(jù)制作裝置，此外，涉及地標的3維坐標通過所述3 維數(shù)據(jù)制作方法來求取的3維數(shù)據(jù)制作裝置，此外，涉及地標的3維坐標通過測量機預先進行測定來獲得的3維數(shù)據(jù)制作裝置。
此外，本發(fā)明涉及一種3維數(shù)據(jù)制作裝置，其中，具備至少具有對周圍的景色進行攝像，取得數(shù)字圖像的攝像裝置的位置檢測傳感器；作為模板具有地標圖像，將以規(guī)定時間間隔取得的數(shù)字圖像作為測定用圖像，通過該測定用圖像和所述模板的圖案識別，從所述測定用圖像中識別地標的識別部；以及通過進行時間上鄰接的2個測定用圖像中的地標的匹配，從而進行立體測定，基于對至少最初的2個測定用圖像進行攝像的地點的、第1、第 2地點的3維坐標是已知的該第1、第2地點的3維坐標，通過前方交會法求取所述地標的 3維坐標，基于求取的所述地標的3維坐標和作為未知點的第3地點的立體測定結果，通過后方交會法對第3地點的3維坐標進行測定，對在各攝像地點取得的測定用圖像關聯(lián)各攝像地點的3維坐標的數(shù)據(jù)處理部。
此外，本發(fā)明涉及還具備GPS位置檢測裝置，通過GPS位置檢測裝置取得第1、第2 地點的3維坐標的3維數(shù)據(jù)制作裝置，此外，涉及以規(guī)定的單元預先取得所述第1、第2地點的3維坐標的3維數(shù)據(jù)制作裝置。


圖1是本發(fā)明的實施例的3維數(shù)據(jù)制作裝置的概略圖。
圖2是將本發(fā)明的3維數(shù)據(jù)制作裝置應用于汽車的情況下的說明圖。
圖3是本發(fā)明的實施例的位置測定裝置的概略框圖。
圖4是表示本發(fā)明的實施例的測定路線與地標的關系的說明圖。
圖5是表示本發(fā)明的實施例的測定的狀態(tài)的說明圖。
圖6 (A)是針對獲得的圖像，通過前方交會法進行追蹤點的位置測定的說明圖，圖 6 (B)是基于獲得的圖像，通過后方交會法進行攝像點的位置測定的說明圖。
圖7是表示本發(fā)明的第1實施例的作用的流程圖。
圖8是表示本發(fā)明的第1實施例的作用的流程圖。
圖9是表示本發(fā)明的第2實施例的測定的狀態(tài)的說明圖。
圖10是表示本發(fā)明的第2實施例的作用的流程圖。
圖11是表示本發(fā)明的第2實施例的作用的流程圖。
附圖標記說明13維數(shù)據(jù)制作裝置； 2數(shù)據(jù)處理制作部； 3位置檢測傳感器； 4操作部； 5顯示部； 6傳感器主體； 7 GPS位置檢測裝置； 8攝像裝置；14控制運算部； 15存儲部； 16程序儲存部； 17數(shù)據(jù)儲存部； 18地標識別部； 19運算器； 20存儲器； 21模板圖像儲存部； 22程序儲存部； 23通信控制部。
具體實施方式
以下，一邊參照附圖，一邊說明本發(fā)明的實施例。
首先，對本發(fā)明的原理的概要進行說明。
在本發(fā)明中，也在移動體設置具有攝像裝置的位置檢測傳感器，以所述攝像裝置在移動體的移動中連續(xù)取得圖像，從取得的圖像提取特征點，基于特征點通過圖像測量來測定移動體的3維位置，但在本發(fā)明中，取得道路標識、信號機、電線桿、下水道蓋等的在道路邊或道路設置的成為陸地上的記號的物體(以下稱為地標)來作為特征點。進而，取得地標的3維位置數(shù)據(jù)(3維坐標)，基于在圖像中識別的地標和取得的地標的3維坐標，實時地執(zhí)行移動體的3維坐標的測定。
再有，關于地標的3維坐標的取得，有交替地進行前方交會法和后方交會法，根據(jù)移動中取得的連續(xù)圖像依次取得的方法，和預先測定地標的3維坐標來進行取得的方法。
在使用從2個地點攝像的圖像以公知的方法來測定3維坐標的立體測定中，前方交會法(method of intersection)是使用從2個以上的3維坐標已知的點獲得的圖像進行3維坐標的測定，對未知點的坐標進行運算的測定方法。后方交會法(method of resection)是使用從未知點攝像的已知點的圖像進行立體測定，對攝像的位置的坐標進行運算的測定方法。
圖1是表示本發(fā)明的實施例的3維坐標制作裝置1的概略的圖，該3維坐標制作裝置1主要由數(shù)據(jù)處理制作部2、位置檢測傳感器3、操作部4、顯示部5構成。所述位置檢測傳感器3設置在移動體、例如汽車的駕駛室的車頂?shù)鹊倪m于眺望的位置，此外，所述數(shù)據(jù)處理制作部2、所述操作部4、所述顯示部5設置在作業(yè)者、駕駛者能夠操作、目視確認的地點、例如駕駛室中。再有，所述操作部4設為觸摸面板等，也可以與所述顯示部5 —體化。
圖2表示移動體9是汽車的情況，此外表示所述位置檢測傳感器3設置在所述移動體9的車頂?shù)那闆r。
所述位置檢測傳感器3具備設置在傳感器主體6的上表面的GPS位置檢測裝置 7，在所述傳感器主體6的側面朝向4個方向的攝像裝置8a、攝像裝置Sb、攝像裝置Sc、攝像裝置8d (以下在總稱的情況下設為攝像裝置8)(參照圖3)。
所述攝像裝置8以能夠對全向的景色進行攝像的方式而配置，如果攝像裝置8單體具有廣視角的話是3個即可，或者在具有窄視角的情況下設置5個以上。再有，也可以使1個攝像裝置8在水平方向旋轉，按每個所要的旋轉角進行攝像。
再有，也可以設置2個攝像裝置8，使得對與所述移動體9的行進方向成直角的2 個方向的景色進行攝像。在該情況下，只要攝像角具有適當?shù)姆秶纯?，不需要?80°。
此外，所述攝像裝置8是數(shù)字攝像機或數(shù)字視頻攝像機等，能夠將攝像的圖像作為數(shù)字圖像數(shù)據(jù)進行輸出，所述攝像裝置8具備由許多像素構成的攝像元件、例如CCD傳感器、CMOS傳感器等，從1個攝像裝置8輸出的圖像數(shù)據(jù)的1幀作為來自各像素的信號的集合而構成，通過確定與信號對應的像素，從而確定圖像中的位置。
所述GPS位置檢測裝置7具備GPS天線11、GPS運算部12 (參照圖3)，通過所述 GPS天線11接收來自多個衛(wèi)星的信號，GPS運算部12基于接收結果3維幾何學地對衛(wèi)星與接收點的距離進行運算，進行3維的位置測定。再有，在位置測定中有單獨位置測定、干擾位置測定等，但優(yōu)選采用能夠一邊移動一邊以高速進行測定的RTK(real time kinematic, 實時動態(tài)差分)位置測定。
所述攝像裝置8a、所述攝像裝置Sb、所述攝像裝置Sc、所述攝像裝置8d以規(guī)定時間間隔同步地進行攝像，將取得的圖像數(shù)據(jù)送出至所述數(shù)據(jù)處理制作部2，在該數(shù)據(jù)處理制作部2中將圖像數(shù)據(jù)與攝像數(shù)據(jù)進行關聯(lián)，儲存到后述的圖像數(shù)據(jù)儲存部中。再有，攝像間隔也可以根據(jù)移動體9的移動速度來決定。例如，在所述移動體9的移動速度大的情況下， 使時間間隔變短，在移動速度小的情況下，使時間間隔變長等。
針對所述數(shù)據(jù)處理制作部2，參照圖3進行說明。
該數(shù)據(jù)處理制作部2大致以輸入輸出控制部13、以CPU為代表的控制運算部14、 存儲部15、地標識別部18、通信控制部23等構成。
所述存儲部15是存儲器卡、HD、FD、MO等，以內(nèi)置或能夠拆裝的方式設置。
此外該存儲部15具有程序儲存部16、數(shù)據(jù)儲存部17，在所述程序儲存部16中儲存有控制裝置的工作的順序程序(sequence program)；基于移動體9的位置通過前方交會法對特征點的3維數(shù)據(jù)進行運算，此外通過基于特征點的3維數(shù)據(jù)對移動體的位置進行運算的后方交會法進行運算的測量程序；用于將獲得的測定結果向數(shù)據(jù)收集裝置等的外部裝置發(fā)送的發(fā)送控制程序；以及用于使所述顯示部5顯示位置測定結果的顯示程序等的各種程序。
在所述數(shù)據(jù)儲存部17中，在以所述攝像裝置8取得的圖像數(shù)據(jù)內(nèi)，按每個規(guī)定間隔攝像的圖像作為測定用圖像數(shù)據(jù)而儲存，進而，攝像了測定用圖像的時間與測定用圖像數(shù)據(jù)關聯(lián)起來。再有，在通過所述位置檢測傳感器3能夠取得3維坐標的狀態(tài)下，進一步關聯(lián)測定用圖像數(shù)據(jù)和3維坐標。因此，所述測定用圖像數(shù)據(jù)、3維坐標成為時間序列的數(shù)據(jù)。
所述地標識別部18具有運算器19、存儲器20，該存儲器20還具有模板圖像儲存部21和程序儲存部22。
再有，所述運算器19也可以兼作為所述控制運算部14。此外，也可以將所述儲存部15和所述存儲器20設為同一存儲裝置，該存儲裝置具備所述程序儲存部16、所述數(shù)據(jù)儲存部17、所述模板圖像儲存部21、所述程序儲存部22。
所述模板圖像儲存部21將與道路標識、信號機等、電線桿、下水道蓋等各種地標對應的圖像數(shù)據(jù)作為目標圖像進行儲存，所述程序儲存部22儲存有通過以所述攝像裝置 8取得的測定用圖像和所述圖案圖像的圖案識別，從而從所述測定用圖像中判別、提取地標CN 102549382 A的地標判別程序。在這里，道路標識等的地標的形狀、圖樣在全國是共同的，在將地標作為模板圖像的情況下的圖案(pattern)識別精度高，此外在每次測定、每次場所變更時不需要重新設定。
所述通信控制部23控制在與外部數(shù)據(jù)處理裝置、例如PC等進行數(shù)據(jù)的交接的情況下的數(shù)據(jù)的發(fā)送接收。
參照圖4、圖5對本發(fā)明的第1本實施例的作用進行說明。
在本實施例中，從在行駛中攝像的連續(xù)圖像中提取地標，根據(jù)地標的位置(3維數(shù)據(jù))進行移動體9的位置測定，在第1實施例中，說明地標的3維坐標(以下稱為坐標值)是未知的情況。
圖4表示測定的道路和沿著道路豎立設置作為地標的道路標識Bi、B2、B3、B4、 B5、...，此外在路面設置有作為地標的下水道口 C1、C2、...的狀態(tài)。
圖5是表示障礙物(景觀形狀)25和障礙物(景觀形狀沈)和所述移動體9、即位置檢測傳感器3的關系的示意圖，圖5中，Al、7表示行進方向右側的地標，圖5中，ΒΓΒ9表示行進方向左側的地標。圖6 (A)是表示基于取得的圖像，通過前方交會法進行測定點的位置測定的說明圖，圖6 (B)是表示基于獲得的圖像，通過后方交會法進行攝像點的位置測定的說明圖。
在圖5中，表示所述移動體9在障礙物25、障礙物沈之間行進，所述位置檢測傳感器3從第1地點(測定點Pl)移動到第6地點(測定點P6)(以下將測定點P僅簡稱為P) 的狀態(tài)，在P1、P2中，能夠通過所述GPS天線11接收來自衛(wèi)星的信號，在P3>5是由于所述障礙物25、所述障礙物沈不能接收來自衛(wèi)星的信號的狀態(tài)，在P6能夠再次接收來自衛(wèi)星的信號。
再有，關于P1、P2，也可以設為不是利用GPS而是通過其他的測定裝置進行位置測定的已知點，基于已知點的Pl、P2進行測定，開始3維數(shù)據(jù)制作。
在以下，參照圖7，說明針對左側的景色、所述地標的圖像的取得，基于該圖像的位置測定。
在所述移動體9到達Pl的時刻，所述控制運算部14取得以所述GPS位置檢測裝置7測定的3維坐標。同時取得以所述攝像裝置8攝像的測定用圖像數(shù)據(jù)(步驟01)。所述控制運算部14將在Pl攝像的圖像Jl設為第1測定用圖像數(shù)據(jù)，將該第1測定用圖像數(shù)據(jù)與Pl的測定3維坐標關聯(lián)起來并儲存在所述數(shù)據(jù)儲存部17。
此外，在所述移動體9移動的期間，通過所述攝像裝置8對周圍的圖像連續(xù)地攝像 (步驟02)。此外，各P成為預先設定的每個時間間隔的所述移動體9的位置。
所述控制運算部14在各P檢查是否從所述GPS位置檢測裝置7有位置數(shù)據(jù)的輸入。根據(jù)在各P是否有來自所述GPS位置檢測裝置7的位置數(shù)據(jù)的輸入，如后述那樣判斷、 選擇各P的位置測定是利用所述位置檢測傳感器3的測定，或是基于測定用圖像數(shù)據(jù)的利用根據(jù)前方交會法、后方交會法的運算的測定，執(zhí)行選擇的測定方法。
所述地標識別部18通過在所述程序儲存部22中儲存的地標判別程序，對于所述測定用圖像數(shù)據(jù)，通過將在所述模板圖像儲存部21中儲存的所述模板圖像作為模板進行圖案識別，從所述測定用圖像數(shù)據(jù)中識別地標(步驟03)。此外，地標識別部18對地標的中心位置進行運算。
地標的中心位置(地標中心點)例如是圖形中心，圖形中心能夠通過攝像元件的像素的位置來確定。此外，關于地標的識別數(shù)量，設為利用前方交會法的測定中所需要的數(shù)量。
再有，關于地標的識別，能夠使用例如在日本特開平8-255245號公報(專利文獻 2)中公開的方法。
在Pl>2的過程中，也通過所述攝像裝置8對周圍的景色連續(xù)地攝像，以規(guī)定的時間間隔執(zhí)行基于測定用圖像數(shù)據(jù)和模板圖像的地標的識別，進行在圖像間的地標的追蹤。
在所述位置檢測傳感器3移動到的P2中，取得來自所述位置檢測傳感器3的位置測定數(shù)據(jù)，位置測定數(shù)據(jù)和在P2攝像的圖像J2的第2測定用圖像數(shù)據(jù)儲存在所述數(shù)據(jù)儲存部17中。
關于第2測定用圖像數(shù)據(jù)，通過使用模板圖像的圖案識別來執(zhí)行地標的識別，并且求取地標的中心點的訪問。進而，基于跟蹤的結果，進行以第1測定用圖像數(shù)據(jù)識別的地標和以第2測定用圖像數(shù)據(jù)識別的地標的匹配(matching)(步驟04)。
識別的地標的中心點作為通過點(B1、B2、B3、...)，進行圖像Jl和圖像J2的相互評定，對圖像Jl和圖像J2進行包含3維數(shù)據(jù)的圖像(立體圖像)化。通過利用該立體圖像獲得的3維坐標和所述前方交會法，對各地標中心點(B1、B2、B3、...)的3維坐標進行運算 (步驟:05)。
運算的結果，各地標的中心點(Bi、B2、B3,...)成為已知點。各地標的中心點 (Bi、B2、B3、...)的3維坐標與第1測定用圖像數(shù)據(jù)、第2測定用圖像數(shù)據(jù)關聯(lián)起來，儲存在所述數(shù)據(jù)儲存部17中。此外，圖像Jl和圖像J2以及后述的在測定點P攝像的圖像與3 維數(shù)據(jù)一起存儲在所述數(shù)據(jù)儲存部17中。
當所述移動體9移動到P3時，來自衛(wèi)星的電波被所述障礙物沈遮擋，沒有輸入所述位置檢測傳感器3的位置測定。所述控制運算部14當判斷為沒有來自所述位置檢測傳感器3的輸入時，切換到根據(jù)基于后方交會法的運算的位置測定。
在到P3的期間中也連續(xù)地進行利用所述攝像裝置8的攝像、攝像圖像中的地標的識別、地標的追蹤。
S卩，基于已經(jīng)獲得的各地標的中心點(B1、B2、B3、...)的3維坐標、以及在P2取得的圖像J2中的所述地標中心點(Bi、B2、B3、...)和在P3取得的圖像，通過后方交會法對 P3的3維坐標進行運算(步驟06，參照(圖6 (B)))。
再有，伴隨著所述移動體9移動到P1、P2、P3、...，攝像范圍進行移動，在攝像的圖像中依次包含新的地標，能夠在利用模板圖像的圖案識別中識別新的地標，進而測定地標的中心點。
例如，參照圖6 (A)、圖6 (B)的話，在圖像J2中產(chǎn)生B4，在圖像J3中產(chǎn)生B5、B6 的地標。針對新產(chǎn)生的地標也進行追蹤，進而針對產(chǎn)生的地標依次通過前方交會法對地標的3維坐標進行運算測定。
通過后方交會法，P3成為已知點。
而且，根據(jù)圖像中的地標中心點的3維坐標，通過后方交會法對Pn的位置進行運算測定，進而根據(jù)變?yōu)橐阎腜 (n-1)以及P (η)的3維坐標，基于圖像通過前方交會法對新產(chǎn)生的地標中心點的位置進行運算測定，即使在不能獲得來自衛(wèi)星的電波，不能進行利用所述位置檢測傳感器3的P的位置測定的狀態(tài)下，也能交替地實施前方交會法和后方交會法，繼續(xù)實施P的位置(3維坐標)測定。
接著，當所述移動體9到達P6時，變得能夠接收來自衛(wèi)星的電波，通過所述位置檢測傳感器3測定P6的位置，當以該位置檢測傳感器3測定的3維坐標輸入到所述控制運算部14中時，該控制運算部14判斷為有3維坐標輸入，停止利用后方交會法的運算。此外， 通過立體圖像的形成來求取通過所述攝像裝置8在P6攝像的圖像數(shù)據(jù)、從該圖像數(shù)據(jù)提取的地標中心點、該地標中心點的3維數(shù)據(jù)，求取的3維數(shù)據(jù)與P6的3維坐標關聯(lián)起來并儲存到所述數(shù)據(jù)儲存部17中。
因此，在從所述位置檢測傳感器3輸入位置數(shù)據(jù)的期間中，以該位置檢測傳感器3 測定的結果被采用為P的位置測定的數(shù)據(jù)，當來自該位置檢測傳感器3的位置數(shù)據(jù)中斷時， 采用通過立體圖像的形成而求取的3維數(shù)據(jù)和通過前方交會法、后方交會法運算的P的3 維坐標，不中斷地連續(xù)地測定P的位置。
關于鄰接的2個攝像地點，例如關于P2、P3，針對在P2、P3取得的2個圖像將地標中心點作為通過點進行相互標定，設為包含3維數(shù)據(jù)的圖像(立體圖像)的話，能夠根據(jù)圖像求取構成其他圖像的各像素的位置數(shù)據(jù)和方位數(shù)據(jù)、即3維坐標，能夠使運算處理高速化。 通過相互標定(relative orientation)獲得的P的立體圖像被儲存在所述數(shù)據(jù)儲存部17 中(步驟:07)。
而且，在各測定點攝像的圖像能夠作為包含與從GPS取得的坐標關聯(lián)起來的3維數(shù)據(jù)的圖像，即使在通過單一的GPS位置檢測裝置7，在測定中途有來自衛(wèi)星的電波被遮擋的陰影部分的情況下，也能夠不中斷位置測定，取得連續(xù)的大量的3維數(shù)據(jù)和具有3維數(shù)據(jù)的圖像。
再有，在上述說明中，對所述移動體9的左側的圖像進行攝像，進行P的位置測定， 但在不能從左側的圖像取得地標的情況下，也可以取得右側的圖像等，在圖像處理的階段中根據(jù)狀況針對取得的圖像適宜地進行選擇。
再有，在測定用圖像間的追蹤中，如圖8、圖9所示，除了使用地標之外，也可以使用通過特征點提取而求取的特征點。
即使在圖像中沒有地標的情況下，能夠提取特征點(步驟0 )，根據(jù)特征點提取來進行圖像的追蹤(步驟04’)。此外，在連續(xù)的一連串的圖像中存在3點以上的地標，或者出現(xiàn)了 3點以上的地標的時刻，能夠通過后方交會法進行位置檢測傳感器3的3維坐標的測定。
接著，說明地標的位置、即3維坐標是已知的第2實施例。
如在第1實施例中說明的那樣，在開始攝像時，當2點的攝像地點的坐標是已知時，能夠從連續(xù)圖像識別地標，測定地標的坐標。
因此，如果以所述GPS位置檢測裝置7以外的測定裝置、例如全站儀(total station)對在最初的2點攝像的情況下的2點的坐標進行測定的話，所述位置檢測傳感器 3也可以不具備所述GPS位置檢測裝置7。
進而，在向圖5所示的Pl>6移動的過程中，測定道路標識B1、B2、B3、B4、B5.....道路標識A1、A2、A3、A4、A5、...的坐標，道路標識各自的3維坐標成為已知。此外，作為地標的下水道口 C1、C2、...作為地圖數(shù)據(jù)具有正確的3維坐標。
因此，針對1次通過、進行了測量的路線(以下稱為測量完成路線)，在道路邊的圖像或通過道路時攝像的圖像中包含的地標的3維坐標成為已知，在第2次以后，不再需要通過前方交會法求取地標的3維坐標。
在第2次以后在測量完成路線中行駛時，能夠基于成為已知點的地標中心點的坐標，通過后方交會法對移動體9的3維坐標進行測定。
針對第2實施例，參照圖3、圖11進行說明。
第2實施例中的基本的結構與圖3所示的是同等的。在第2實施例中，所述地標識別部18將測定完成地標的信息、即測定完成地標的圖像與3維坐標關聯(lián)起來，預先儲存在地標識別部18中。
再有，在第2實施例中不需要開始時的移動體9的3維坐標，因此不需要攝像地點的位置測定。
在所述移動體9的移動中，對周圍的景色連續(xù)攝像，取得連續(xù)圖像(步驟11)。
以規(guī)定的時間間隔，執(zhí)行基于測定用圖像數(shù)據(jù)和模板圖像的地標的識別(步驟 12)，進而通過所述地標識別部18呼入(call in)識別的地標的坐標位置，確定識別的地標的坐標位置(步驟13)。
在經(jīng)過了規(guī)定時間的2個測定用圖像之間進行地標的追蹤，進行地標的匹配。此外，基于在當前時刻攝像的測定用圖像中的多個地標的中心點的3維坐標，通過后方交會法，測定當前時刻的位置檢測傳感器3的3維坐標(步驟14)。
將在當前時刻攝像的圖像與當前時刻的位置檢測傳感器3的3維坐標關聯(lián)起來， 儲存在所述數(shù)據(jù)儲存部17中。
再有，在測定用圖像間的追蹤中，如圖11所示，除了使用地標之外，也可以使用通過特征點提取而求取的特征點(步驟11a)。即使在圖像中沒有地標的情況下，也能夠根據(jù)特征點提取來進行圖像的追蹤。此外，在連續(xù)的一連串的圖像中存在3點以上的地標，或者出現(xiàn)了 3點以上的地標的時刻，能夠通過后方交會法進行位置檢測傳感器3的3維坐標的測定。
而且，根據(jù)從在每個規(guī)定時間間隔攝像的測定用圖像獲得的地標的中心點坐標和相對于該中心點坐標的方位角，實時地測定當前時刻的位置檢測傳感器3的3維坐標，此外將當前時刻的測定用圖像數(shù)據(jù)與3維坐標關聯(lián)起來進行儲存。此外，上述測定用圖像的攝像、測定用圖像數(shù)據(jù)與3維坐標的關聯(lián)、測定用圖像的儲存，在所述移動體9的預定的移動范圍或規(guī)定的移動范圍中反復進行。
此外，與第1實施例同樣地，針對在鄰接的2個攝像地點取得的2個測定用圖像， 將地標中心點作為通過點進行相互標定，作為包含3維數(shù)據(jù)的圖像(立體圖像)，通過相互標定而獲得的P的立體圖像被儲存在所述數(shù)據(jù)儲存部17中，在各攝像地點中依次將立體圖像儲存在所述數(shù)據(jù)儲存部17中(步驟15)。
進而，基于地標的地面坐標系的絕對數(shù)據(jù)，將各圖像的3維數(shù)據(jù)依次變換成地面坐標系的數(shù)據(jù)(步驟16)。
到所述移動體9完全通過測定對象范圍之前，反復進行上述步驟1廣步驟16的步驟，制作測定對象范圍全部區(qū)域的帶有3維數(shù)據(jù)的圖像。
再有，在測定用圖像間的追蹤中，除了使用地標之外，也可以使用通過特征點提取而求取的特征點。即使在圖像中沒有地標的情況下，也能夠根據(jù)特征點提取來進行圖像的追蹤。此外，在連續(xù)的一連串的圖像中存在3點以上的地標，或者出現(xiàn)了 3點以上的地標的時刻，能夠通過后方交會法進行位置檢測傳感器3的3維坐標的測定(參照圖9、圖10)。
再有，為了使地標中心點的3維坐標的精度提高，也可以反復多次進行第1實施例的地標中心點的3維坐標的測定，進行平均化。
此外，也可以針對成為對象的路線，針對沿著該路線存在的地標預先通過測量機進行實際測量，取得地標的3維坐標數(shù)據(jù)，將3維坐標數(shù)據(jù)與模板圖像一起儲存在所述模板圖像儲存部21中。
在該情況下，作為位置檢測傳感器3，能夠省略GPS位置檢測裝置7。
產(chǎn)業(yè)上的利用可能性根據(jù)本發(fā)明，是一種3維數(shù)據(jù)制作方法，其使用攝像裝置，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟；取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟；以及至少最初的1個測定用圖像中包含的地標的3維坐標是已知的，基于該測定用圖像的地標的3維坐標，求取測定用圖像攝像地點的3維坐標的步驟，因此，僅在最初取得針對規(guī)定的地標的3維坐標，就能夠測定攝像地點的3維坐標。
此外根據(jù)本發(fā)明，是一種3維數(shù)據(jù)制作方法，使用至少具備攝像裝置的位置檢測傳感器，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟； 取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟；對至少最初的2個測定用圖像進行攝像的2個地點的3維坐標是已知的，基于該2個地點的3維坐標求取所述地標的3維坐標的步驟；以及基于獲得的所述地標的3維坐標，求取下一個測定用圖像攝像地點的3維坐標的步驟，因此，不需要像以前那樣通過圖像處理提取特征點，數(shù)據(jù)處理量減少，此外因為形狀、圖像圖案單純并是已知的，所以地標的識別精度高，坐標的測定精度提高。
此外根據(jù)本發(fā)明，因為使用地標和圖像中的特征點來進行所述2個圖像的匹配， 所以即使在沒有地標的情況下，或者數(shù)量不足的情況下，也能夠不中斷地進行3維數(shù)據(jù)的制作。
此外根據(jù)本發(fā)明，還包含通過測量機對所述2個地點的3維坐標進行測定的步驟， 因為通過所述測量機取得所述2個地點的3維坐標，所以不需要GPS位置檢測裝置，此外與障礙物的有無無關地，能夠進行任意地域的測定。
此外根據(jù)本發(fā)明，因為具備具備對周圍的景色進行攝像，取得數(shù)字圖像的攝像裝置；作為模板具有地標圖像，將以規(guī)定時間間隔取得的數(shù)字圖像作為測定用圖像，通過該測定用圖像和所述模板的圖案識別，從所述測定用圖像中識別地標的識別部；以及預先具備在攝像的測定用圖像中包含的地標的3維坐標，基于所述識別的地標的3維坐標，通過后方交會法對攝像地點的3維坐標進行測定的數(shù)據(jù)處理制作部，因此，不需要用于測定攝像地點的3維坐標的測定裝置，此外不需要通過圖像處理提取特征點，數(shù)據(jù)處理量減少，此外形狀、圖像圖案單純并是周知的，因此地標的識別精度高，坐標的測定精度提高。
此外根據(jù)本發(fā)明，所述數(shù)據(jù)處理制作部在規(guī)定的移動范圍中存在的地標內(nèi)，至少預先具備后方交會法所需要的地標的3維坐標，通過后方交會法對所述移動范圍中的攝像地點的3維坐標進行測定，因此不需要用于測定攝像位置的測定裝置，此外與障礙物的有無無關地，能夠以高精度進行攝像位置的3維坐標的測定。
此外根據(jù)本發(fā)明，因為具備至少具有對周圍的景色進行攝像，取得數(shù)字圖像的攝像裝置的位置檢測傳感器；作為模板具有地標圖像，將以規(guī)定時間間隔取得的數(shù)字圖像作為測定用圖像，通過該測定用圖像和所述模板的圖案識別，從所述測定用圖像中識別地標的識別部；以及通過進行時間上鄰接的2個測定用圖像中的地標的匹配，從而進行立體測定，基于對至少最初的2個測定用圖像進行攝像的地點的、第1、第2地點的3維坐標是已知的該第1、第2地點的3維坐標，通過前方交會法求取所述地標的3維坐標，基于求取的所述地標的3維坐標和作為未知點的第3地點的立體測定結果，通過后方交會法對第3地點的3 維坐標進行測定，對在各攝像地點取得的測定用圖像關聯(lián)各攝像地點的3維坐標的數(shù)據(jù)處理部，因此，不需要像以前那樣通過圖像處理來提取特征點，數(shù)據(jù)處理量減少，此外形狀、圖像圖案單純并是周知的，因此地標的識別精度高，坐標的測定精度提高。
權利要求
1.一種3維數(shù)據(jù)制作方法，其使用攝像裝置，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟；取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟；以及至少最初的1個測定用圖像中包含的地標的 3維坐標是已知的，基于該測定用圖像的地標的3維坐標，求取測定用圖像攝像地點的3維坐標的步驟。
2.根據(jù)權利要求1所述的3維數(shù)據(jù)制作方法，其中，使用地標進行所述2個圖像的匹配。
3.根據(jù)權利要求1所述的3維數(shù)據(jù)制作方法，其中，還具有提取特征點的步驟，使用地標和所述特征點進行所述2個圖像的匹配。
4.根據(jù)權利要求1所述的3維數(shù)據(jù)制作方法，其中，包含通過前方交會法求取從成為已知的2個測定用圖像攝像地點攝像的測定圖像中的地標的3維坐標的步驟。
5.根據(jù)權利要求1所述的3維數(shù)據(jù)制作方法，其中，包含通過測量機對在所述測定用圖像中包含的地標的3維坐標進行測定的步驟。
6.根據(jù)權利要求1所述的3維數(shù)據(jù)制作方法，其中，還包含在規(guī)定的移動范圍中攝像的圖像中包含的地標內(nèi)，通過測量機預先對利用后方交會法的測定所需要的地標的3維坐標進行測定的步驟。
7.—種3維數(shù)據(jù)制作方法，在規(guī)定的移動范圍中攝像的圖像中包含的地標內(nèi)，通過權利要求4所述的3維數(shù)據(jù)制作方法對利用后方交會法的測定所需要的地標的3維坐標進行測定。
8.—種3維數(shù)據(jù)制作方法，使用至少具備攝像裝置的位置檢測傳感器，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟；取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟；對至少最初的2個測定用圖像進行攝像的2個地點的3維坐標是已知的，基于該2個地點的3維坐標求取所述地標的3維坐標的步驟；以及基于獲得的所述地標的3維坐標，求取下一個測定用圖像攝像地點的3維坐標的步驟。
9.根據(jù)權利要求8所述的3維數(shù)據(jù)制作方法，其中，使用地標進行所述2個圖像的匹配。
10.根據(jù)權利要求8所述的3維數(shù)據(jù)制作方法，其中，使用地標和圖像中的特征點進行所述2個圖像的匹配。
11.根據(jù)權利要求8所述的3維數(shù)據(jù)制作方法，其中，所述位置檢測傳感器具備GPS位置檢測裝置，所述2個地點的3維坐標通過所述GPS位置檢測裝置而是已知的。
12.根據(jù)權利要求8所述的3維數(shù)據(jù)制作方法，其中，還包含通過測量機對所述2個地點的3維坐標進行測定的步驟，通過所述測量機取得所述2個地點的3維坐標。
13.—種3維數(shù)據(jù)制作裝置，其中，具備對周圍的景色進行攝像，取得數(shù)字圖像的攝像裝置；作為模板具有地標圖像，將以規(guī)定時間間隔取得的數(shù)字圖像作為測定用圖像，通過該測定用圖像和所述模板的圖案識別，從所述測定用圖像中識別地標的識別部；以及預先具備在攝像的測定用圖像中包含的地標的3維坐標，基于所述識別的地標的3維坐標，通過后方交會法對攝像地點的3維坐標進行測定的數(shù)據(jù)處理制作部。
14.根據(jù)權利要求13所述的3維數(shù)據(jù)制作裝置，其中，所述數(shù)據(jù)處理制作部通過所述后方交會法對第1、第2地點的攝像地點的3維坐標進行測定，針對在第2地點攝像的測定用圖像中的未知的地標，基于從第1、第2地點的攝像地點的圖像的匹配，通過前方交會法對未知的地標的3維坐標進行測定。
15.根據(jù)權利要求13所述的3維數(shù)據(jù)制作裝置，其中，所述數(shù)據(jù)處理制作部在規(guī)定的移動范圍中存在的地標內(nèi)，至少預先具備后方交會法所需要的地標的3維坐標，通過后方交會法對所述移動范圍中的攝像地點的3維坐標進行測定。
16.根據(jù)權利要求15所述的3維數(shù)據(jù)制作裝置，其中，地標的3維坐標通過權利要求4 所述的3維數(shù)據(jù)制作方法來求取。
17.根據(jù)權利要求15所述的3維數(shù)據(jù)制作裝置，其中，地標的3維坐標通過測量機預先進行測定來獲得。
18.—種3維數(shù)據(jù)制作裝置，其中，具備至少具有對周圍的景色進行攝像，取得數(shù)字圖像的攝像裝置的位置檢測傳感器；作為模板具有地標圖像，將以規(guī)定時間間隔取得的數(shù)字圖像作為測定用圖像，通過該測定用圖像和所述模板的圖案識別，從所述測定用圖像中識別地標的識別部；以及通過進行時間上鄰接的2個測定用圖像中的地標的匹配，從而進行立體測定，基于對至少最初的2個測定用圖像進行攝像的地點的、第1、第2地點的3維坐標是已知的該第1、第2地點的3維坐標，通過前方交會法求取所述地標的3維坐標，基于求取的所述地標的3維坐標和作為未知點的第3地點的立體測定結果，通過后方交會法對第3地點的3維坐標進行測定，對在各攝像地點取得的測定用圖像關聯(lián)各攝像地點的3維坐標的數(shù)據(jù)處理部。
19.根據(jù)權利要求18所述的3維數(shù)據(jù)制作裝置，其中，還具備GPS位置檢測裝置，通過 GPS位置檢測裝置取得第1、第2地點的3維坐標。
20.根據(jù)權利要求18所述的3維數(shù)據(jù)制作裝置，其中，以規(guī)定的單元預先取得所述第 1、第2地點的3維坐標。
全文摘要
一種3維數(shù)據(jù)制作方法，其使用攝像裝置(8a，8b)，該攝像裝置對周圍的景色進行攝像，取得數(shù)字圖像數(shù)據(jù)，其中，所述3維數(shù)據(jù)制作方法具備一邊移動一邊通過所述攝像裝置連續(xù)地對周圍的景色的圖像進行攝像的步驟；取得按每個規(guī)定的時間間隔攝像的圖像作為測定用圖像的步驟；將地標作為模板通過圖案識別從該測定用圖像中提取地標的步驟；進行時間上鄰接的2個測定用圖像的匹配的步驟；以及至少最初的1個測定用圖像中包含的地標的3維坐標是已知的，基于該測定用圖像的地標的3維坐標，求取測定用圖像攝像地點的3維坐標的步驟。
文檔編號G01C21/00GK102549382SQ20108004523
公開日2012年7月4日 申請日期2010年9月27日 優(yōu)先權日2009年10月6日
發(fā)明者大友文夫, 大谷仁志, 熊谷薰 申請人:株式會社拓普康