本申請涉及定位，尤其涉及一種設(shè)備定位的方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著電子信息技術(shù)的發(fā)展，日常生活中已經(jīng)出現(xiàn)了多種能夠在特定環(huán)境(室內(nèi)環(huán)境或室外環(huán)境)中自主移動以實現(xiàn)特定任務(wù)的設(shè)備，例如掃地機器人，送餐機器人等。這些設(shè)備在特定環(huán)境中移動時，有時會出現(xiàn)定位丟失的情況，當(dāng)出現(xiàn)定位丟失時，設(shè)備無法確定自身在所處環(huán)境中的位置，導(dǎo)致設(shè)備無法基于自身所處位置規(guī)劃后續(xù)的移動路線。

2、相關(guān)技術(shù)中，發(fā)生定位丟失后設(shè)備可以使用自身的相機拍攝周圍環(huán)境的圖像，將拍攝到的圖像和預(yù)先建立的所處環(huán)境的地圖進行匹配，基于匹配結(jié)果重新確定自身的位置。這種方式僅基于圖像進行匹配，然而構(gòu)建地圖時所用的圖像視角單一，并且這種方法用于匹配的數(shù)據(jù)僅有圖像這一種模態(tài)，導(dǎo)致匹配成功率較低，有時無法確定出設(shè)備的位置。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┮环N設(shè)備定位的方法、裝置、電子設(shè)備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)定位成功率低的問題。

2、為實現(xiàn)上述目的，本申請?zhí)峁┤缦录夹g(shù)方案：

3、本申請第一方面提供一種設(shè)備定位的方法，包括：

4、獲得和目標(biāo)設(shè)備所處范圍相關(guān)的查詢信息；

5、根據(jù)所述查詢信息和預(yù)先構(gòu)建的特征語義地圖的匹配結(jié)果，確定所述目標(biāo)設(shè)備的第一范圍信息，所述第一范圍信息表征所述目標(biāo)設(shè)備所處范圍；

6、根據(jù)所述第一范圍信息內(nèi)的地圖數(shù)據(jù)處理所述目標(biāo)設(shè)備的目標(biāo)傳感器數(shù)據(jù)，以獲得所述目標(biāo)設(shè)備的第二位置信息，所述第二位置信息表征所述目標(biāo)設(shè)備在所述第一范圍信息所指范圍內(nèi)的位置，所述目標(biāo)傳感器數(shù)據(jù)包括激光雷達數(shù)據(jù)和圖像數(shù)據(jù)中至少一者。

7、可選的，所述特征語義地圖包括多個坐標(biāo)數(shù)據(jù)和所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征，所述坐標(biāo)數(shù)據(jù)表征所述目標(biāo)設(shè)備所處環(huán)境中對象所處位置，所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征為對應(yīng)的對象的視覺特征。

8、可選的，構(gòu)建所述特征語義地圖的方式包括：

9、獲得所述目標(biāo)設(shè)備所處環(huán)境的多個坐標(biāo)數(shù)據(jù)，以及對所處環(huán)境拍攝得到的多幀關(guān)鍵圖像；

10、根據(jù)多模態(tài)大模型處理所述關(guān)鍵圖像，獲得所述關(guān)鍵圖像中每一像素點對應(yīng)的像素特征；

11、針對每一所述坐標(biāo)數(shù)據(jù)，根據(jù)所述關(guān)鍵圖像所含像素點和所述坐標(biāo)數(shù)據(jù)的映射關(guān)系，將所述坐標(biāo)數(shù)據(jù)對應(yīng)的各個像素點的像素特征融合，得到所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征。

12、可選的，所述根據(jù)多模態(tài)大模型處理所述關(guān)鍵圖像，獲得所述關(guān)鍵圖像中每一像素點對應(yīng)的像素特征，包括：

13、根據(jù)多模態(tài)大模型提取所述關(guān)鍵圖像的圖像全局特征和圖像局部特征；

14、將所述圖像全局特征和所述關(guān)鍵圖像中像素點所處局部的圖像局部特征融合，得到所述關(guān)鍵圖像中像素點對應(yīng)的像素特征。

15、可選的，所述將所述坐標(biāo)數(shù)據(jù)對應(yīng)的各個像素點的像素特征融合，得到所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征，包括：

16、從多個所述像素特征中篩選出對應(yīng)的像素點位于圖像關(guān)鍵區(qū)域的關(guān)鍵區(qū)域像素特征；

17、從所述關(guān)鍵區(qū)域像素特征中過濾掉和被遮擋對象相關(guān)的像素特征，獲得過濾后像素特征；

18、將所述坐標(biāo)數(shù)據(jù)對應(yīng)像素點的過濾后像素特征融合，得到所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征。

19、可選的，所述查詢信息包括圖像信息和文本信息中至少一者，所述圖像信息由所述目標(biāo)設(shè)備拍攝所處范圍內(nèi)的對象得到，所述文本信息由所述目標(biāo)設(shè)備的人機交互模組獲得。

20、可選的，所述根據(jù)所述查詢信息和預(yù)先構(gòu)建的特征語義地圖的匹配結(jié)果，確定所述目標(biāo)設(shè)備的第一范圍信息，包括：

21、在所述查詢信息包括所述圖像信息的情況下，根據(jù)多模態(tài)大模型提取所述圖像信息的全局圖像特征和關(guān)鍵對象特征；

22、將所述全局圖像特征和所述關(guān)鍵對象特征融合得到查詢圖像特征；

23、根據(jù)所述查詢圖像特征和所述特征語義地圖的匹配結(jié)果，確定所述目標(biāo)設(shè)備的第一范圍信息。

24、本申請第二方面提供一種設(shè)備定位的裝置，包括：

25、獲得單元，用于獲得和目標(biāo)設(shè)備所處范圍相關(guān)的查詢信息；

26、確定單元，用于根據(jù)所述查詢信息和預(yù)先構(gòu)建的特征語義地圖的匹配結(jié)果，確定所述目標(biāo)設(shè)備的第一范圍信息，所述第一范圍信息表征所述目標(biāo)設(shè)備所處范圍；

27、處理單元，用于根據(jù)所述第一范圍信息內(nèi)的地圖數(shù)據(jù)處理所述目標(biāo)設(shè)備的目標(biāo)傳感器數(shù)據(jù)，以獲得所述目標(biāo)設(shè)備的第二位置信息，所述第二位置信息表征所述目標(biāo)設(shè)備在所述第一范圍信息所指范圍內(nèi)的位置，所述目標(biāo)傳感器數(shù)據(jù)包括激光雷達數(shù)據(jù)和圖像數(shù)據(jù)中至少一者。

28、本申請第三方面提供一種電子設(shè)備，包括：

29、一個或多個處理器；

30、存儲裝置，其上存儲有一個或多個程序；

31、當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行時，使得所述一個或多個處理器實現(xiàn)本申請第一方面任意一項所提供的設(shè)備定位的方法。

32、第三方面中的電子設(shè)備可以是目標(biāo)設(shè)備，目標(biāo)設(shè)備可以獲得查詢信息，將查詢信息上報給用于運行多模態(tài)大模型的服務(wù)器，服務(wù)器根據(jù)查詢信息獲得第一范圍信息并將第一范圍信息發(fā)給目標(biāo)設(shè)備，目標(biāo)設(shè)備獲得第一范圍信息后，根據(jù)第一范圍信息內(nèi)的地圖數(shù)據(jù)和目標(biāo)傳感器數(shù)據(jù)確定出第二位置信息。

33、本申請第四方面提供一種計算機存儲介質(zhì)，其上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)本申請第一方面任意一項所提供的設(shè)備定位的方法。

34、本方案的有益效果在于：

35、首先根據(jù)和目標(biāo)設(shè)備所處范圍相關(guān)的查詢信息和特征語義地圖確定出目標(biāo)設(shè)備的第一范圍信息，然后基于第一范圍信息，根據(jù)對應(yīng)范圍內(nèi)的地圖數(shù)據(jù)，以及目標(biāo)設(shè)備的激光雷達數(shù)據(jù)和圖像數(shù)據(jù)進行精確定位，獲得目標(biāo)設(shè)備在對應(yīng)范圍內(nèi)的第二位置信息，通過上述方式，本方案能夠在目標(biāo)設(shè)備發(fā)生定位丟失后結(jié)合多模態(tài)的數(shù)據(jù)，即目標(biāo)設(shè)備的激光雷達數(shù)據(jù)和圖像數(shù)據(jù)進行定位，從而提高定位的成功率。進一步的，上述查詢信息可以包括圖像信息和文本信息，這種情況下本方案能夠結(jié)合多模態(tài)的查詢信息進一步提高重新定位的成功率。

技術(shù)特征：

1.一種設(shè)備定位的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特征語義地圖包括多個坐標(biāo)數(shù)據(jù)和所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征，所述坐標(biāo)數(shù)據(jù)表征所述目標(biāo)設(shè)備所處環(huán)境中對象所處位置，所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征為對應(yīng)的對象的視覺特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，構(gòu)建所述特征語義地圖的方式包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)多模態(tài)大模型處理所述關(guān)鍵圖像，獲得所述關(guān)鍵圖像中每一像素點對應(yīng)的像素特征，包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述坐標(biāo)數(shù)據(jù)對應(yīng)的各個像素點的像素特征融合，得到所述坐標(biāo)數(shù)據(jù)對應(yīng)的視覺特征，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述查詢信息包括圖像信息和文本信息中至少一者，所述圖像信息由所述目標(biāo)設(shè)備拍攝所處范圍內(nèi)的對象得到，所述文本信息由所述目標(biāo)設(shè)備的人機交互模組獲得。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述查詢信息和預(yù)先構(gòu)建的特征語義地圖的匹配結(jié)果，確定所述目標(biāo)設(shè)備的第一范圍信息，包括：

8.一種設(shè)備定位的裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計算機存儲介質(zhì)，其特征在于，其上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任意一項所述的設(shè)備定位的方法。

技術(shù)總結(jié)
本申請?zhí)峁┮环N設(shè)備定位的方法、裝置、電子設(shè)備及存儲介質(zhì)，方法包括，獲得和目標(biāo)設(shè)備所處范圍相關(guān)的查詢信息；根據(jù)查詢信息和預(yù)先構(gòu)建的特征語義地圖的匹配結(jié)果，確定目標(biāo)設(shè)備的第一范圍信息，第一范圍信息表征目標(biāo)設(shè)備所處范圍；根據(jù)第一范圍信息內(nèi)的地圖數(shù)據(jù)處理目標(biāo)設(shè)備的目標(biāo)傳感器數(shù)據(jù)，以獲得目標(biāo)設(shè)備的第二位置信息，第二位置信息表征目標(biāo)設(shè)備在第一范圍信息所指范圍內(nèi)的位置，目標(biāo)傳感器數(shù)據(jù)包括激光雷達數(shù)據(jù)和圖像數(shù)據(jù)中至少一者。

技術(shù)研發(fā)人員：尹穆楠,李霖
受保護的技術(shù)使用者：上海具身智能設(shè)備有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9