两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

位姿信息估計方法、裝置和可移動設備與流程

文檔序號:12472019閱讀:484來源:國知局
位姿信息估計方法、裝置和可移動設備與流程

本申請涉及可移動設備領域,且更具體地,涉及一種位姿信息估計方法、裝置、可移動設備、計算機程序產品和計算機可讀存儲介質。



背景技術:

可移動設備(例如,機器人)執(zhí)行任務前需要先定位自己的位置和朝向信息(即,位姿信息),定位過程主要依賴可移動設備存儲的場景感知結果,即場景地圖,構建場景地圖的技術就是同步定位與地圖構建(SLAM)技術。

SLAM技術包括多種類型,例如,最為常用的是基于視覺技術的SLAM(VSLAM),其主要的流程包括特征提取匹配、位姿計算優(yōu)化、和回環(huán)檢測處理?,F(xiàn)有的方案一般都是各個流程分開處理,其中,特征提取匹配使用的是人工設計的經驗特征,比如,定向快速旋轉二進制魯棒獨立基本特征(ORB)、加速魯棒特征(SURF)、尺度不變特征轉換(SIFT)等。位姿計算優(yōu)化使用的是傳統(tǒng)幾何方法,包括捆集調整(Bundle Adjustment)、迭代最近點(Iterative Closest Point)和圖優(yōu)化等,并且位姿計算優(yōu)化還可以結合慣性測量單元的輸出,方法主要是濾波法和圖優(yōu)化算法?;丨h(huán)檢測處理則使用的是傳統(tǒng)的基于內容的圖像檢索算法(CBIR),比如詞袋模型(BOW)、空間金字塔匹配(SPM)等。

然而,在現(xiàn)有技術的SLAM過程中,對于特征提取匹配而言,存在以下問題:人工設計的經驗特征不一定最優(yōu)、計算量大、魯棒性不足;對于位姿計算優(yōu)化而言,存在以下問題:對外點敏感、魯棒性差、計算復雜度高、結合慣性測量單元建模時計算復雜;對于回環(huán)檢測處理,存在以下問題:環(huán)節(jié)多復雜度高,精度差。也就是說,基于現(xiàn)有SLAM過程的位姿信息估計技術效率低下,難以滿足實際應用需求。

因此,需要一種更加新穎的位姿信息估計技術。



技術實現(xiàn)要素:

為了解決上述技術問題,提出了本申請。本申請的實施例提供了一種位姿信息估計方法、裝置、可移動設備、計算機程序產品和計算機可讀存儲介質,其在位姿信息估計過程中實現(xiàn)了端到端的優(yōu)化訓練,提高了整個過程的處理能效和計算效率。

根據本申請的一個方面,提供了一種位姿信息估計方法,用于估計處于工作環(huán)境中的可移動設備的位姿信息,所述可移動設備包括環(huán)境傳感器,所述方法包括:接收由所述環(huán)境傳感器獲取的所述工作環(huán)境的樣本數(shù)據;經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述可移動設備的位姿信息;以及輸出所述位姿信息。

根據本申請的另一方面,提供了一種位姿信息估計裝置,用于估計處于工作環(huán)境中的可移動設備的位姿信息,所述可移動設備包括環(huán)境傳感器,所述裝置包括:數(shù)據接收單元,用于接收由所述環(huán)境傳感器獲取的所述工作環(huán)境的樣本數(shù)據;回環(huán)檢測單元,用于經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述可移動設備的位姿信息;以及位姿輸出單元,用于輸出所述位姿信息。

根據本申請的另一方面,提供了一種可移動設備,包括:處理器;存儲器;以及存儲在所述存儲器中的計算機程序指令,所述計算機程序指令在被所述處理器運行時使得所述處理器執(zhí)行上述的位姿信息估計方法。

根據本申請的另一方面,提供了一種計算機程序產品,包括計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的位姿信息估計方法。

根據本申請的另一方面,提供了一種計算機可讀存儲介質,其上存儲有計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的位姿信息估計方法。

與現(xiàn)有技術相比,采用根據本申請實施例的位姿信息估計方法、裝置、可移動設備、計算機程序產品和計算機可讀存儲介質,可以接收由在可移動設備上裝備的環(huán)境傳感器獲取的該可移動設備所處的工作環(huán)境的樣本數(shù)據,經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述可移動設備的位姿信息,并且輸出所述位姿信息。因此,與現(xiàn)有技術相比,可以實現(xiàn)位姿信息估計過程的端到端優(yōu)化訓練,將其中的多個流程融合統(tǒng)一利用深度學習算法進行求解,方便利用專用的深度學習芯片得到更高的處理能效和計算效率。

附圖說明

通過結合附圖對本申請實施例進行更詳細的描述,本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解,并且構成說明書的一部分,與本申請實施例一起用于解釋本申請,并不構成對本申請的限制。在附圖中,相同的參考標號通常代表相同部件或步驟。

圖1圖示了根據本申請實施例的位姿信息估計的應用場景的示意圖。

圖2圖示了根據本申請實施例的位姿信息估計方法的流程圖。

圖3圖示了根據本申請實施例的多層深度學習模型的示意圖。

圖4圖示了根據本申請實施例的回環(huán)檢測步驟的流程圖。

圖5圖示了根據本申請實施例的位姿信息輸出步驟的流程圖。

圖6圖示了根據本申請實施例的位姿信息估計裝置的框圖。

圖7圖示了根據本申請實施例的可移動設備的框圖。

具體實施方式

下面,將參考附圖詳細地描述根據本申請的示例實施例。顯然,所描述的實施例僅僅是本申請的一部分實施例,而不是本申請的全部實施例,應理解,本申請不受這里描述的示例實施例的限制。

申請概述

針對現(xiàn)有技術中的問題,本申請的基本構思是提出一種新的位姿信息估計方法、裝置、可移動設備、計算機程序產品和計算機可讀存儲介質,其可以接收由在可移動設備上裝備的環(huán)境傳感器獲取的該可移動設備所處的工作環(huán)境的樣本數(shù)據,經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述可移動設備的位姿信息,并且輸出所述位姿信息。

因此,與基于現(xiàn)有SLAM過程的位姿信息估計技術存在傳統(tǒng)流程都是一個個隔離開的模塊、難以進行全局統(tǒng)籌優(yōu)化、以及涉及的計算優(yōu)化方法較多、且很多都是近似優(yōu)化、復雜度較高、需要通用CPU等固有問題相比,本方案可以實現(xiàn)位姿信息估計過程的端到端的優(yōu)化訓練,將其中的多個流程融合統(tǒng)一利用深度學習算法進行求解,方便利用專用的深度學習芯片得到更高的處理能效和計算效率。此外,本方案不需要人工經驗設計特征,不需要人工設計復雜的慣性測量單元建模模型,可以獲得更高準確率的回環(huán)檢測結果,并且可以通過在線學習優(yōu)化地圖的存儲表達。

圖1圖示了根據本申請實施例的位姿信息估計的應用場景的示意圖。

如圖1所示,用于位姿信息估計的應用場景包括處于工作環(huán)境中的可移動設備。該可移動設備可以是能夠在工作環(huán)境中移動的任何類型的電子設備。例如,該工作環(huán)境例如可以是室內環(huán)境和/或室外環(huán)境。并且,該可移動設備可以是用于各種用途的可移動機器人,例如掃地機器人、擦窗機器人、空氣凈化機器人、安防機器人、家電管理機器人、提醒機器人、巡邏機器人等。此外,該可移動設備也可以是除了機器人之外的其他類型的設備,例如,可以是諸如車輛、飛行器、航天器、水中運載工具之類的交通工具等。下面,為了描述方便,將以可移動機器人為例來說明該可移動設備。

該可移動機器人可以在移動過程中對自身進行定位。具體地,機器人可以在移動過程中不斷獲得各個位置點#1、#2、#3、#4等的樣本數(shù)據(例如,圖像觀測數(shù)據或激光掃描數(shù)據等)、以及位置信息(例如(X,Y)坐標)和姿態(tài)信息(例如,θ朝向角)(兩者可以統(tǒng)稱為位姿信息(X,Y,θ)),并且利用這些數(shù)據信息來進行基于深度多任務學習的統(tǒng)一建圖定位算法,從而獲得該工作環(huán)境的地圖。當然,所獲得的位姿信息也可以用于執(zhí)行諸如掃地、巡邏、安防等該可移動機器人的其他固有功能和任務。

需要注意的是,上述應用場景僅是為了便于理解本申請的精神和原理而示出,本申請的實施例不限于此。相反,本申請的實施例可以應用于可能適用的任何場景。例如,該可移動設備可以是一個或多個。

在介紹了本申請的基本原理之后,下面將參考附圖來具體介紹本申請的各種非限制性實施例。

示例性方法

下面結合圖1的應用場景,參考圖2來描述根據本申請實施例的位姿信息估計方法。

圖2圖示了根據本申請實施例的位姿信息估計方法的流程圖。

如圖2所示,根據本申請實施例的位姿信息估計方法用于估計處于工作環(huán)境中的可移動設備的位姿信息,所述可移動設備包括環(huán)境傳感器,并且所述方法可以包括:

在步驟S110中,接收由所述環(huán)境傳感器獲取的所述工作環(huán)境的樣本數(shù)據。

可移動設備(例如,可移動機器人)在工作環(huán)境中進行移動,以基于自身用途來執(zhí)行特定工作任務,例如,掃地、巡邏、安防等,并且可以在執(zhí)行任務的過程中,不斷進行建圖和定位。當然,本申請不限于此。例如,構建地圖的工作也可以預先完成。

例如,可移動設備可以在移動的同時,利用在其上裝備的環(huán)境傳感器來捕捉所述工作環(huán)境的樣本數(shù)據。例如,該環(huán)境傳感器可以是用于捕捉圖像數(shù)據的圖像傳感器,其可以是攝像頭或攝像頭陣列。當然,本申請不限于此。例如,該環(huán)境傳感器也可以是用于捕捉掃描數(shù)據的激光傳感器等其他各種器件,只要其能夠產生包括環(huán)境特征的樣本數(shù)據即可。

在步驟S120中,經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述可移動設備的位姿信息。

然后,可以將接收到所述工作環(huán)境的樣本數(shù)據輸入到多層深度學習模型中,利用深度學習算法來進行求解,以檢測可移動設備的位姿信息。此外,在位姿信息估計的過程中,除了單純地基于特征信息之外,還可以進一步檢測在工作環(huán)境中的行走路徑是否出現(xiàn)回環(huán)?;丨h(huán)檢測,又稱閉環(huán)檢測(Loop closure detection),是指可移動設備識別是否曾到達相應場景的能力。如果檢測成功,可以顯著地減小位姿信息估計過程中的累積誤差。

在一個示例中,多層深度學習模型可以提取所述樣本數(shù)據中的特征表示,并且僅僅根據所述特征表示來進行回環(huán)檢測。然而,僅僅基于特征表示來檢測回環(huán)由于輸入條件過于單一,可能導致檢測過程計算復雜,并且所得到的結果可能出現(xiàn)誤差。

因此,在另一示例中,多層深度學習模型可以提取所述樣本數(shù)據中的特征表示,根據所述特征表示來估計所述可移動設備的位姿信息,并且根據所述特征表示和已經估計出的所述可移動設備的位姿信息來檢測所述可移動設備在所述工作環(huán)境中的行走路徑是否出現(xiàn)回環(huán)。這樣,通過更多的輸入條件,可以獲得更加準確的檢測結果和更快的計算速度。下面,將在本示例中繼續(xù)描述本申請的實施例。

例如,該多層深度學習模型可以采用諸如卷積神經網絡、深度置信網絡之類的各種機器學習模型來實現(xiàn),并且可以通過一個或多個學習模型來實現(xiàn)上述特征提取、位姿估計、和回環(huán)檢測三個功能。例如,上述三個功能可以分別對應于三個機器學習模型,通過監(jiān)督不同的信號進行分別訓練。

圖3圖示了根據本申請實施例的多層深度學習模型的示意圖。

如圖3所示,該多層深度學習模型可以包括:深度學習特征模型、深度學習位姿模型、和深度學習回環(huán)模型。其中,所述深度學習特征模型和所述深度學習位姿模型是離線訓練好的,并且所述深度學習回環(huán)模型是在線訓練的。

具體地,深度學習特征模型可以是提前離線訓練好的,訓練的目標是對目標運動估計更加具有區(qū)分性。它可以以圖像分類數(shù)據、圖像匹配數(shù)據、圖像分割數(shù)據等等訓練的模型抽取前K層(K為自然數(shù),并且取決于設計需求)得到,也可以是以估計目標位姿為目標的深度網絡的前幾層(與深度學習位姿模型合并一起訓練,訓練完成后分成前后兩部分分開用)。

深度學習位姿模型的目標是估計當前的相對位姿,是離線訓練好的。其可以單獨訓練,也可以是以估計目標位姿為目標的深度網絡的后幾層。

深度學習回環(huán)模型的目標是檢測當前幀是否和地圖已有的場景出現(xiàn)了回環(huán),是在線訓練的(默認第一次運行后一直在線更新學習,也可以手動清除歷史學習的記錄重新開始)。

盡管上面以三個獨立的深度學習模型為例對多層深度學習模型進行了說明,但是,本申請不限于此。例如,也可以將三者同時結合為一個機器學習模型,并且分別作為其中的不同層,通過監(jiān)督不同的信號進行訓練?;蛘?,如上所述,也可以設計出某兩個機器學習模型結合在一起、獨立于另外一個機器學習模型的學習模型。

下面,將結合圖4來具體描述根據后者示例的步驟S120。

圖4圖示了根據本申請實施例的回環(huán)檢測步驟的流程圖。

如圖4所示,步驟S120可以包括:

在子步驟S121中,經由深度學習特征模型,提取所述樣本數(shù)據中的特征表示。

例如,可以預先利用級聯(lián)回歸方法在大量人工標注的特征點的觀測樣本數(shù)據(諸如攝像頭預先捕獲的圖像、從網上下載的圖像等等)的基礎上訓練出該深度學習特征模型。替換地,也可以預先利用哈爾(Haar)算法、自適應增強(AdaBoost)算法、卷積神經網絡(CNN)、支持向量機(SVM)等算法在大量觀測樣本數(shù)據的基礎上訓練出該深度學習特征模型。

然后,可移動設備可以在移動過程中采集周圍物體的樣本數(shù)據(諸如攝像頭實時捕獲的圖像)??梢詫⑦@些觀測到的樣本數(shù)據輸入到該預先訓練好的深度學習特征模型中,以快速地識別并提取當前樣本數(shù)據(例如,當前幀圖像)中的特征,并且獲取該特征的特征表示(或稱之為,特征描述符或特征描述向量等)。

也就是說,可以將攝像機傳感器信息首先輸入到深度學習特征模型中得到特征表示。例如,可以通過諸如提取特征并進行(例如,基于歐式距離等的)特征比對之類方式來確定當前樣本數(shù)據中是否出現(xiàn)特征,并且隨后對該特征進行描述,以生成相應的特征表示。

在子步驟S122中,經由深度學習位姿模型,根據所述特征表示來估計所述可移動設備的位姿信息。

在一個示例中,深度學習位姿模型可以是僅僅在大量特征表示的基礎上訓練出來的。這時,可以將深度學習特征模型輸出的當前樣本數(shù)據中的特征表示輸入到深度學習位姿模型,以估計所述可移動設備的當前位姿信息。然而,僅僅基于特征表示來檢測可移動設備的位姿信息由于輸入條件過于單一,可能導致檢測過程計算復雜,并且所得到的結果可能出現(xiàn)誤差。

因此,在另一示例中,所述可移動設備還可以包括可選的運動傳感器,用于獲取所述可移動設備的運動數(shù)據。例如,該運動傳感器可以是在可移動設備中內建的慣性測量單元和運動編碼器(包括加速度計與陀螺儀等),用于測量可移動設備的運動參數(shù),例如,速度、加速度、位移等,以確定可移動設備在工作環(huán)境中的位置與方向,并且還可以是內建的磁力計等,以實時校準姿態(tài)傳感器的累計誤差。這樣,通過更多的輸入條件,可以獲得更加準確的位姿估計和更快的計算速度。

在后者示例中,該子步驟S122可以包括:接收由所述運動傳感器獲取的所述可移動設備的運動數(shù)據;以及經由所述深度學習位姿模型,根據所述特征表示和所述運動數(shù)據來估計所述可移動設備的位姿信息。

例如,為了獲得更加準確的當前位姿信息的估計,除了將當前樣本數(shù)據中的特征表示輸入深度學習位姿模型之外,還可以進一步參考一些歷史的樣本數(shù)據。

也就是說,響應于在步驟S121中提取到當前樣本數(shù)據中的特征表示,可以進一步獲取所述當前樣本數(shù)據之前預定數(shù)目的先前樣本數(shù)據中的特征表示,并且經由所述深度學習位姿模型,根據所述先前樣本數(shù)據中的特征表示、所述當前樣本數(shù)據中的特征表示、和所述可移動設備的當前運動數(shù)據來估計所述可移動設備在獲取所述當前樣本數(shù)據時的當前絕對位姿。

例如,為了獲得當前絕對位姿,可以經由所述深度學習位姿模型,根據所述先前樣本數(shù)據中的特征表示、所述當前樣本數(shù)據中的特征表示、和所述可移動設備的當前運動數(shù)據來估計所述可移動設備在獲取所述當前樣本數(shù)據時與在獲取前一樣本數(shù)據時相比的當前相對位姿;讀取已經估計出的所述可移動設備在獲取所述前一樣本數(shù)據時的前一絕對位姿;并且根據所述當前相對位姿和所述前一絕對位姿來計算所述當前絕對位姿。

具體地,向可以深度學習位姿模型輸入時間相鄰的幾幀圖像中的特征表示(例如,可以取決于不同的設計需求,給定時間相鄰幀的數(shù)量)和慣性測量單元及運動編碼器的感知結果,以獲得輸出是當前幀的相對位姿,結合時間相鄰幀的已經計算出的歷史位姿,可以得到當前的估計位姿。

這時,本方法可以直接前進到步驟S130,以向外輸出當前的估計位姿。

替換地,為了獲得更加準確的估計位姿,可以進一步執(zhí)行回環(huán)檢測,回環(huán)檢測可以使輸出的估計位姿更加準確,或者說可以校正估計位姿中的累積誤差。在后者情況下,本方法在步驟S130之前,首先前進到子步驟S123。

在子步驟S123中,經由深度學習回環(huán)模型,根據所述特征表示和已經估計出的所述可移動設備的位姿信息來檢測所述可移動設備在所述工作環(huán)境中的行走路徑是否出現(xiàn)回環(huán),并且根據回環(huán)檢測結果來校正已經估計出的所述可移動設備的位姿信息。

例如,可以經由深度學習回環(huán)模型,根據所述當前樣本數(shù)據中的特征表示和所述當前絕對位姿來生成當前出現(xiàn)回環(huán)的置信度和對應的校正位姿。并且,如果所述置信度大于或等于一閾值,則判斷出所述行走路徑當前出現(xiàn)回環(huán)。相反地,如果所述置信度小于所述閾值,則判斷出所述行走路徑當前未出現(xiàn)回環(huán)。

具體地,當深度學習位姿模型輸出目標位姿后,其相應的幀特征(深度學習特征模型輸出、慣性測量單元、運動編碼器)和位姿(深度學習位姿模型輸出)對就可以輸入到回環(huán)模型進行回環(huán)檢測。繼而,深度學習回環(huán)模型可以給出一個是否構成回環(huán)的預測和新的校正位姿。例如,回環(huán)預測可以通過是或否的硬判決來做出,替換地,也可以向檢測結果分配一個構成回環(huán)的置信度,來形成軟判決。

由于可移動設備追蹤得到的位姿都是有誤差的,隨著路徑的不斷延伸,前面幀的誤差會一直傳遞到后面去,導致最后一幀的位姿在世界坐標系里的誤差有可能非常大。除了利用優(yōu)化方法在局部和全局調整位姿,還可以根據回環(huán)檢測結果來校正已經估計出的所述可移動設備的位姿信息,以實現(xiàn)位姿優(yōu)化。

例如,可以響應于判斷出所述行走路徑出現(xiàn)回環(huán),對已經估計出的所述可移動設備的位姿信息進行校正。例如,可以響應于在子步驟S123中由深度學習回環(huán)模型生成的回環(huán)置信度大于或等于所述閾值,使用所述校正位姿來校正在子步驟S122中由深度學習位姿模型估計的當前絕對位姿,其中,所述校正位姿是所述可移動設備先前移動到回環(huán)位置時的先前絕對位姿。此外,還可以進一步根據校正后的當前絕對位姿來校正所述可移動設備在獲取先前樣本數(shù)據時的先前絕對位姿。

需要說明的是,并不是每次根據當前特征表示來估計所述可移動設備的當前位姿信息時,都必須執(zhí)行回環(huán)檢測,該回環(huán)檢測可以基于特定條件來觸發(fā)執(zhí)行。例如,可以當在步驟S122中估計的位姿信息指示出所述可移動設備執(zhí)行轉向(轉向角度超出一定閾值)時,才觸發(fā)執(zhí)行回環(huán)檢測。替換地,也可以在整個系統(tǒng)處于計算空閑(或計算量低于一定閾值)時,才觸發(fā)執(zhí)行回環(huán)檢測。

此外,在本申請的實施例中,當在該子步驟S123中檢測到行走路徑出現(xiàn)回環(huán)之后,該步驟S120還可以進一步包括以下的一個或多個步驟,以實現(xiàn)進一步的附加效果:

在子步驟S124中,根據回環(huán)檢測的結果來對所述深度學習回環(huán)模型進行在線訓練。

例如,可以響應于判斷出所述行走路徑未出現(xiàn)回環(huán),使用所述特征表示和已經估計出的所述可移動設備的位姿信息來對所述深度學習回環(huán)模型進行在線訓練;并且響應于判斷出所述行走路徑出現(xiàn)回環(huán),使用所述特征表示和校正后的位姿信息來對所述深度學習回環(huán)模型進行在線訓練。

具體地,在進行回環(huán)檢測之后,特征和位姿對可以作為在線學習的輸入,繼續(xù)訓練深度學習回環(huán)模型。這里,深度學習回環(huán)模型的參數(shù)充當了傳統(tǒng)建圖定位中的地圖的角色,可以在每次回環(huán)檢測的時候使用模型參數(shù),獲得準確位姿之后,繼而更新回環(huán)模型。

替換地或附加地,在子步驟S125中,響應于判斷出所述行走路徑出現(xiàn)回環(huán),使用所述特征表示和校正后的位姿信息來更新所述深度學習位姿模型。

也就是說,盡管所述深度學習位姿模型是離線訓練好的,但是也可以通過在線獲得的位姿信息的校正結果以及對應的特征表示和可選的運動數(shù)據來對它進行更新,以期望后續(xù)能夠估計出更為準確的位姿信息。

在步驟S130中,輸出所述位姿信息。

在回環(huán)檢測執(zhí)行完畢之后,可以根據回路檢測結果來輸出所述位姿信息。

圖5圖示了根據本申請實施例的位姿信息輸出步驟的流程圖。

如圖5所示,步驟S130可以包括:

在步驟S131中,響應于判斷出所述行走路徑未出現(xiàn)回環(huán),輸出已經估計出的所述可移動設備的位姿信息。

在步驟S132中,響應于判斷出所述行走路徑出現(xiàn)回環(huán),輸出校正后的位姿信息。

也就是說,當檢測到在子步驟S123中由深度學習回環(huán)模型檢測到出現(xiàn)回環(huán)或者檢測到回環(huán)的置信度大于或等于一定閾值后,可以將由深度學習回環(huán)模型生成的該校正位姿作為最終定位位姿,否則直接用原始的位姿,用于后續(xù)的地圖構建、任務執(zhí)行等操作。

可選地,在步驟S140中,根據所輸出的位姿信息來構建所述工作環(huán)境的環(huán)境地圖。

在回環(huán)檢測執(zhí)行完畢之后,可以根據回路檢測結果,使用輸出的位姿信息來構建所述工作環(huán)境的環(huán)境地圖。

例如,一方面,可以響應于判斷出所述行走路徑未出現(xiàn)回環(huán),使用所述特征表示和已經估計出的所述可移動設備的位姿信息來構建所述工作環(huán)境的環(huán)境地圖;另一方面,可以響應于判斷出所述行走路徑出現(xiàn)回環(huán),使用所述特征表示和校正后的位姿信息來構建所述工作環(huán)境的環(huán)境地圖。

由此可見,采用根據本申請實施例的位姿信息估計方法,可以接收由在可移動設備上裝備的環(huán)境傳感器獲取的該可移動設備所處的工作環(huán)境的樣本數(shù)據,經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述可移動設備的位姿信息,并且輸出所述位姿信息。因此,與現(xiàn)有技術相比,本申請的實施例提出了一種基于深度多任務學習的統(tǒng)一位姿信息估計方法,主要包括統(tǒng)一模型、多傳感器融合、多任務輸出、專用計算硬件等,從而實現(xiàn)了端到端優(yōu)化、去除了人工經驗特征導致的偏差。

此外,本申請的實施例還具有以下優(yōu)勢:采用統(tǒng)一多任務模型,使得流程少、計算效率高;模型可以隨著數(shù)據量的增加而繼續(xù)學習提高;環(huán)境傳感器直接結合運動傳感器,可以獲得更加多元化的多傳感器融合輸入;采用專用集成計算硬件(例如,專用集成電路芯片ASIC),處理能效高且計算速度快。

需要說明的是,根據本申請各個實施例的位姿信息估計方法可以應用于可移動設備中,由可移動設備自主完成,也可以應用于與可移動設備分立的且可以與可移動設備進行通信的其他設備(諸如,服務器)中,由該其他設備遙控可移動設備完成。

示例性裝置

下面,參考圖6來描述根據本申請實施例的位姿信息估計裝置。

圖6圖示了根據本申請實施例的位姿信息估計裝置的框圖。

如圖6所示,根據本申請實施例的位姿信息估計裝置100可以用于估計處于工作環(huán)境中的可移動設備的位姿信息,所述可移動設備包括環(huán)境傳感器,并且所述裝置100可以包括:數(shù)據接收單元110,用于接收由所述環(huán)境傳感器獲取的所述工作環(huán)境的樣本數(shù)據;回環(huán)檢測單元120,用于經由多層深度學習模型,提取所述樣本數(shù)據中的特征表示,并根據所述特征表示來估計所述移動設備的位姿信息;以及位姿輸出單元130,用于輸出所述位姿信息。

在一個示例中,回環(huán)檢測單元120可以包括:特征提取模塊,用于可以經由深度學習特征模型,提取所述樣本數(shù)據中的特征表示;位姿估計模塊,用于經由深度學習位姿模型,根據所述特征表示來估計所述可移動設備的位姿信息;并且回環(huán)檢測模塊,用于經由深度學習回環(huán)模型,根據所述特征表示和已經估計出的所述可移動設備的位姿信息來檢測所述可移動設備在所述工作環(huán)境中的行走路徑是否出現(xiàn)回環(huán),并且根據回環(huán)檢測結果來校正已經估計出的所述可移動設備的位姿信息。

在一個示例中,所述深度學習特征模型和所述深度學習位姿模型可以是離線訓練好的,并且所述深度學習回環(huán)模型可以是在線訓練的。

在一個示例中,回環(huán)檢測單元120還可以包括:回環(huán)訓練模塊,用于根據回環(huán)檢測的結果來對所述深度學習回環(huán)模型進行在線訓練。

在一個示例中,所述回環(huán)訓練模塊可以響應于判斷出所述行走路徑未出現(xiàn)回環(huán),使用所述特征表示和已經估計出的所述可移動設備的位姿信息來對所述深度學習回環(huán)模型進行在線訓練;并且響應于判斷出所述行走路徑出現(xiàn)回環(huán),使用所述特征表示和校正后的位姿信息來對所述深度學習回環(huán)模型進行在線訓練。

在一個示例中,回環(huán)檢測單元120還可以包括:位姿更新模塊,用于響應于判斷出所述行走路徑出現(xiàn)回環(huán),使用所述特征表示和校正后的位姿信息來更新所述深度學習位姿模型。

在一個示例中,所述可移動設備還包括運動傳感器,并且所述位姿估計模塊可以接收由所述運動傳感器獲取的所述可移動設備的運動數(shù)據;并且經由所述深度學習位姿模型,根據所述特征表示和所述運動數(shù)據來估計所述可移動設備的位姿信息。

在一個示例中,所述位姿估計模塊可以響應于提取到當前樣本數(shù)據中的特征表示,獲取所述當前樣本數(shù)據之前預定數(shù)目的先前樣本數(shù)據中的特征表示;并且經由所述深度學習位姿模型,根據所述先前樣本數(shù)據中的特征表示、所述當前樣本數(shù)據中的特征表示、和所述可移動設備的當前運動數(shù)據來估計所述可移動設備在獲取所述當前樣本數(shù)據時的當前絕對位姿。

在一個示例中,所述位姿估計模塊可以經由所述深度學習位姿模型,根據所述先前樣本數(shù)據中的特征表示、所述當前樣本數(shù)據中的特征表示、和所述可移動設備的當前運動數(shù)據來估計所述可移動設備在獲取所述當前樣本數(shù)據時與在獲取前一樣本數(shù)據時相比的當前相對位姿;讀取已經估計出的所述可移動設備在獲取所述前一樣本數(shù)據時的前一絕對位姿;并且根據所述當前相對位姿和所述前一絕對位姿來計算所述當前絕對位姿。

在一個示例中,所述回環(huán)檢測模塊可以經由深度學習回環(huán)模型,根據所述當前樣本數(shù)據中的特征表示和所述當前絕對位姿來生成當前出現(xiàn)回環(huán)的置信度和對應的校正位姿;并且如果所述置信度大于或等于一閾值,則判斷出所述行走路徑當前出現(xiàn)回環(huán);如果所述置信度小于所述閾值,則判斷出所述行走路徑當前未出現(xiàn)回環(huán)。

在一個示例中,所述回環(huán)檢測模塊可以響應于所述置信度大于或等于所述閾值,使用所述校正位姿來校正所述當前絕對位姿,其中,所述校正位姿是所述可移動設備先前移動到回環(huán)位置時的先前絕對位姿。

在一個示例中,所述回環(huán)檢測模塊還可以根據校正后的當前絕對位姿來校正所述可移動設備在獲取先前樣本數(shù)據時的先前絕對位姿。

在一個示例中,位姿輸出單元130可以響應于判斷出所述行走路徑未出現(xiàn)回環(huán),輸出已經估計出的所述可移動設備的位姿信息;并且響應于判斷出所述行走路徑出現(xiàn)回環(huán),輸出校正后的位姿信息。

在一個示例中,位姿信息估計裝置100還可以包括地圖構建單元140,用于根據所輸出的位姿信息來構建所述工作環(huán)境的環(huán)境地圖。

在一個示例中,地圖構建單元140可以響應于判斷出所述行走路徑未出現(xiàn)回環(huán),使用所述特征表示和已經估計出的所述可移動設備的位姿信息來構建所述工作環(huán)境的環(huán)境地圖;并且響應于判斷出所述行走路徑出現(xiàn)回環(huán),使用所述特征表示和校正后的位姿信息來構建所述工作環(huán)境的環(huán)境地圖。

上述位姿信息估計裝置100中的各個單元和模塊的具體功能和操作已經在上面參考圖1到圖5描述的位姿信息估計方法中詳細介紹,并因此,將省略其重復描述。

需要說明的是,根據本申請實施例的位姿信息估計裝置100可以作為一個軟件模塊和/或硬件模塊而集成到該可移動設備中,換言之,該可移動設備可以包括該位姿信息估計裝置100。例如,當可移動設備是可移動機器人時,該位姿信息估計裝置100可以是該可移動機器人的操作系統(tǒng)中的一個軟件模塊,或者可以是針對于該可移動機器人所開發(fā)的一個應用程序;當然,該位姿信息估計裝置100同樣可以是該可移動機器人的眾多硬件模塊之一。

替換地,在另一示例中,該位姿信息估計裝置100與該可移動機器人也可以是分立的設備(例如,服務器),并且該位姿信息估計裝置100可以通過有線和/或無線網絡連接到該可移動機器人,并且按照約定的數(shù)據格式來傳輸交互信息。

示例性設備

下面,參考圖7來描述根據本申請實施例的可移動設備。該可移動設備可以是可移動機器人、可移動計算機或服務器或其他電子設備。

圖7圖示了根據本申請實施例的可移動設備的框圖。

如圖7所示,可移動設備10包括一個或多個處理器11和存儲器12。

處理器11可以是中央處理單元(CPU)或者具有數(shù)據處理能力和/或指令執(zhí)行能力的其他形式的處理單元,并且可以控制可移動設備10中的其他部件以執(zhí)行期望的功能。

存儲器12可以包括一個或多個計算機程序產品,所述計算機程序產品可以包括各種形式的計算機可讀存儲介質,例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計算機可讀存儲介質上可以存儲一個或多個計算機程序指令,處理器11可以運行所述程序指令,以實現(xiàn)上文所述的本申請的實施例的位姿信息估計方法以及/或者其他期望的功能。在所述計算機可讀存儲介質中還可以存儲深度學習特征模型、深度學習位姿模型、深度學習回環(huán)模型、工作環(huán)境的樣本數(shù)據、樣本數(shù)據中的特征表示、可移動設備的運動數(shù)據、可移動設備的位姿信息、所構建的地圖等等。

在一個示例中,可移動設備10還可以包括:輸入裝置13和輸出裝置14。

例如,該輸入裝置13可以包括環(huán)境傳感器,配置為采集可移動設備所處10的工作環(huán)境的樣本數(shù)據,并且將所采集的樣本數(shù)據存儲在存儲器12中以供其他器件使用。當然,也可以利用其他集成或分立的環(huán)境傳感器來采集該樣本數(shù)據,并且將它發(fā)送到可移動設備。例如,該環(huán)境傳感器可以是用于捕捉圖像數(shù)據的圖像傳感器,其可以是攝像頭或攝像頭陣列。又如,該環(huán)境傳感器可以是用于捕捉掃描數(shù)據的激光傳感器,其可以是激光器或激光器陣列。當然,本申請不限于此。該環(huán)境傳感器還可以是雷達之類的其他各種器件。

此外,該輸入裝置13還可以包括運動傳感器,配置為獲取所述可移動設備10的運動數(shù)據。例如,該運動傳感器可以是在可移動設備中內建的慣性測量單元和運動編碼器(包括加速度計與陀螺儀等),用于測量可移動設備的運動參數(shù),例如,速度、加速度、位移等,以確定可移動設備在工作環(huán)境中的位置與方向,并且還可以是內建的磁力計等,以實時校準姿態(tài)傳感器的累計誤差。這樣,可以獲得更加準確的位姿估計。當然,也可以利用其他集成或分立的運動傳感器來采集可移動設備10的運動數(shù)據,并且將它發(fā)送到可移動設備。

輸出裝置14可以向外部(例如,用戶)輸出各種信息,例如深度學習特征模型、深度學習位姿模型、深度學習回環(huán)模型、工作環(huán)境的樣本數(shù)據、樣本數(shù)據中的特征表示、可移動設備的運動數(shù)據、可移動設備的位姿信息、所構建的地圖等等,并且輸出裝置14可以包括顯示器、揚聲器等中的一個或多個。

在可移動設備10中,處理器11、存儲器12、輸入裝置13、和輸出裝置14這些部件通過總線系統(tǒng)和/或其他形式的連接機構(未示出)互連。應當注意,圖7所示的可移動設備10的部件和結構只是示例性的,而非限制性的,根據需要,可移動設備10也可以具有其他部件和結構。

在一個示例中,可移動設備10還可以包括:驅動裝置15,被配置為驅動所述可移動設備在工作環(huán)境中移動。例如,驅動裝置15可包括電動機以及受電動機驅動的輪子或履帶等。電動機的運行可由處理器11控制。

此外,盡管未示出,可移動設備10還可以包括通信裝置等,通信裝置可以通過網絡或其他技術與其他裝置(例如,個人計算機、服務器、移動臺、基站等)通信,所述網絡可以是因特網、無線局域網、移動通信網絡等,所述其他技術例如可以包括藍牙通信、紅外通信等。

示例性計算機程序產品和計算機可讀存儲介質

除了上述方法和設備以外,本申請的實施例還可以是計算機程序產品,其包括計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據本申請各種實施例的位姿信息估計方法中的步驟。

所述計算機程序產品可以以一種或多種程序設計語言的任意組合來編寫用于執(zhí)行本申請實施例操作的程序代碼,所述程序設計語言包括面向對象的程序設計語言,諸如Java、C++等,還包括常規(guī)的過程式程序設計語言,諸如“C”語言或類似的程序設計語言。程序代碼可以完全地在用戶計算設備上執(zhí)行、部分地在用戶設備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設備上部分在遠程計算設備上執(zhí)行、或者完全在遠程計算設備或服務器上執(zhí)行。

此外,本申請的實施例還可以是計算機可讀存儲介質,其上存儲有計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據本申請各種實施例的位姿信息估計方法中的步驟。

所述計算機可讀存儲介質可以采用一個或多個可讀介質的任意組合??勺x介質可以是可讀信號介質或者可讀存儲介質??勺x存儲介質例如可以包括但不限于電、磁、光、電磁、紅外線、或半導體的系統(tǒng)、裝置或器件,或者任意以上的組合??勺x存儲介質的更具體的例子(非窮舉的列表)包括:具有一個或多個導線的電連接、便攜式盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

以上結合具體實施例描述了本申請的基本原理,但是,需要指出的是,在本申請中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制,不能認為這些優(yōu)點、優(yōu)勢、效果等是本申請的各個實施例必須具備的。另外,上述公開的具體細節(jié)僅是為了示例的作用和便于理解的作用,而非限制,上述細節(jié)并不限制本申請為必須采用上述具體的細節(jié)來實現(xiàn)。

本申請中涉及的器件、裝置、設備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的,可以按任意方式連接、布置、配置這些器件、裝置、設備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯,指“包括但不限于”,且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”,且可與其互換使用,除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”,且可與其互換使用。

還需要指出的是,在本申請的設備和方法中,各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本申請的等效方案。

提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本申請。對這些方面的各種修改對于本領域技術人員而言是非常顯而易見的,并且在此定義的一般原理可以應用于其他方面而不脫離本申請的范圍。因此,本申請不意圖被限制到在此示出的方面,而是按照與在此公開的原理和新穎的特征一致的最寬范圍。

為了例示和描述的目的已經給出了以上描述。此外,此描述不意圖將本申請的實施例限制到在此公開的形式。盡管以上已經討論了多個示例方面和實施例,但是本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。

當前第1頁1 2 3 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
花莲市| 丹江口市| 崇仁县| 巴彦淖尔市| 灵石县| 丹江口市| 武鸣县| 阿合奇县| 伊金霍洛旗| 夏邑县| 巫山县| 张北县| 鄂托克旗| 克东县| 北安市| 宁乡县| 潼关县| 邢台市| 精河县| 马公市| 汶川县| 亚东县| 盐边县| 西昌市| 清远市| 县级市| 平顶山市| 唐河县| 高邮市| 鸡西市| 哈密市| 南江县| 灵璧县| 灵丘县| 登封市| 福建省| 阿荣旗| 陆良县| 宁安市| 谢通门县| 东山县|