本技術(shù)涉及計算機，特別涉及一種挖掘機的環(huán)境虛擬視角展示方法及裝置。

背景技術(shù)：

1、在工程機械領(lǐng)域，挖掘機作為一種關(guān)鍵的作業(yè)設(shè)備，廣泛應(yīng)用于建筑、采礦和基礎(chǔ)設(shè)施建設(shè)等行業(yè)。目前挖掘機遠程遙控系統(tǒng)通過展示挖掘機周圍環(huán)境，可使得操控者實時觀察到挖掘機的周圍環(huán)境。

2、相關(guān)技術(shù)中，遠程遙控挖掘機系統(tǒng)通常包括多個固定視角的攝像頭，用于捕捉挖掘機周圍的環(huán)境圖像。然而，現(xiàn)有技術(shù)存在以下技術(shù)缺陷：(1)相機視野和屏幕顯示的限制，無法提供足夠廣闊的視野；(2)現(xiàn)有系統(tǒng)的攝像頭視角固定，無法根據(jù)操作員的需求提供動態(tài)調(diào)整，導(dǎo)致操作員在復(fù)雜環(huán)境中難以獲得全方位的周邊視野；(3)現(xiàn)有挖掘機遠程遙控系統(tǒng)的主畫面缺乏深度信息，在展示環(huán)境時，無法準(zhǔn)確地反映物體的遠近關(guān)系，影響駕駛員對環(huán)境的判斷。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種挖掘機的環(huán)境虛擬視角展示方法及裝置。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

2、第一方面，本技術(shù)實施例提供了一種挖掘機的環(huán)境虛擬視角展示方法，方法包括：

3、在對挖掘機的操作過程中，實時讀取預(yù)先設(shè)置于挖掘機上的各類傳感器采集的傳感器數(shù)據(jù)，傳感器數(shù)據(jù)包括原始圖像、原始點云、rtk數(shù)據(jù)和imu數(shù)據(jù)；

4、基于傳感器數(shù)據(jù)和預(yù)先標(biāo)定的傳感器內(nèi)外參，并結(jié)合建圖定位算法slam計算挖掘機的目標(biāo)位姿和構(gòu)建挖掘機周圍場景的實時rgb點云地圖，并將所述實時rgb點云地圖進行表面重建，轉(zhuǎn)換為挖掘機周圍場景實時的三維場景；

5、根據(jù)目標(biāo)位姿和預(yù)先標(biāo)定的傳感器內(nèi)外參，將原始圖像投影到實時三維場景的相應(yīng)位置處，得到挖掘機的全三維場景；

6、根據(jù)挖掘機的全三維場景，實時渲染出預(yù)設(shè)視角下的挖掘機作業(yè)場景。

7、可選的，基于傳感器數(shù)據(jù)和預(yù)先標(biāo)定的傳感器內(nèi)外參，并結(jié)合建圖定位算法slam計算挖掘機的目標(biāo)位姿之前，還包括：

8、根據(jù)傳感器數(shù)據(jù)，對各類傳感器進行內(nèi)參標(biāo)定和外參標(biāo)定，得到將各類傳感器數(shù)據(jù)統(tǒng)一到同一個坐標(biāo)系下的內(nèi)外參數(shù)據(jù)；其中，內(nèi)參標(biāo)定用于確定各類傳感器的自身參數(shù)，外參標(biāo)定用于確定傳感器相對于其他傳感器或世界坐標(biāo)系的精確位置和方向；

9、將內(nèi)外參數(shù)據(jù)作為預(yù)先標(biāo)定的傳感器內(nèi)外參。

10、可選的，各類傳感器包括相機和激光雷達，相機的內(nèi)參標(biāo)定可描述為：

11、

12、其中，u和v是相機采集的圖像中的圖像坐標(biāo)，fx和fy分別是水平和垂直方向的焦距，cx和cy是光軸坐標(biāo)，z是成像平面中水平方向x和垂直方向y到三維點的距離；

13、相機和激光雷達的標(biāo)定過程如下：

14、

15、其中，r是3×3的旋轉(zhuǎn)矩陣，t是一個3×1的平移向量，z是相機歸一化平面對應(yīng)的深度，[x，y，z，1]是齊次表示的點云點，當(dāng)有多對點云和圖像的匹配點對時，方程聯(lián)立即可求解r，t。

16、可選的，傳感器數(shù)據(jù)包括rtk數(shù)據(jù)和imu數(shù)據(jù)，rtk數(shù)據(jù)是基于實時運動測量技術(shù)來實現(xiàn)厘米級的定位數(shù)據(jù)，imu數(shù)據(jù)通過慣性測量單元采集的；

17、基于傳感器數(shù)據(jù)和預(yù)先標(biāo)定的傳感器內(nèi)外參，并結(jié)合建圖定位算法slam計算挖掘機的目標(biāo)位姿，包括：

18、根據(jù)預(yù)先標(biāo)定的傳感器內(nèi)外參，以rtk數(shù)據(jù)為初值，通過slam算法，構(gòu)建激光雷達圖像imu里程計，以獲取挖掘機的目標(biāo)位姿；

19、其中，挖掘機的目標(biāo)位姿計算公式為：

20、其中，

21、min?j(x)為挖掘機的目標(biāo)位姿，x是傳感器數(shù)據(jù)，包含位置、姿態(tài)、速度、偏置信息，n是觀測的數(shù)量，ri(x)是第i個觀測的殘差向量，反映了觀測值和基于當(dāng)前狀態(tài)估計的預(yù)測值之間的差異，wi是第i個觀測的權(quán)重矩陣，由slam算法中觀測噪聲的逆協(xié)方差矩陣來定義，t為傳感器內(nèi)外參。

22、可選的，基于所述傳感器數(shù)據(jù)和預(yù)先標(biāo)定的傳感器內(nèi)外參，并結(jié)合建圖定位算法slam計算所述挖掘機的目標(biāo)位姿和構(gòu)建挖掘機周圍場景的實時rgb點云地圖，包括：

23、根據(jù)實時讀取的所述原始圖像和所述原始點云，提取關(guān)鍵幀；

24、采用slam算法以及所述關(guān)鍵幀，構(gòu)建局部地圖；

25、根據(jù)所述局部地圖與當(dāng)前幀進行匹配，以確定所述挖掘機的目標(biāo)位姿；

26、獲取所述挖掘機上設(shè)置的攝像頭在歷史作業(yè)過程中采集的歷史幀及其觀測；

27、基于所述歷史幀及其觀測，構(gòu)建因子圖，所述因子圖用于表示傳感器觀測與挖掘機位姿之間的關(guān)系，所述因子圖中的節(jié)點代表位姿，邊代表觀測；

28、將所述傳感器數(shù)據(jù)中的原始圖像、原始點云、imu數(shù)據(jù)進行預(yù)積分，得到積分結(jié)果；

29、將所述積分結(jié)果作為因子添加到所述因子圖，得到目標(biāo)因子圖；

30、通過所述目標(biāo)因子圖對多個歷史幀進行全局優(yōu)化，以將所述目標(biāo)位姿優(yōu)化為全局位姿；

31、根據(jù)所述全局位姿調(diào)整局部地圖并構(gòu)建全局地圖，得到構(gòu)建挖掘機周圍場景的實時rgb點云地圖。

32、可選的，所述將所述實時rgb點云地圖進行表面重建，轉(zhuǎn)換為挖掘機周圍場景實時的三維場景，包括：

33、通過tsdf算法對所述全局地圖進行mesh化處理，生成能夠?qū)崟r反映所述挖掘機周邊環(huán)境的三維場景；

34、將所述能夠?qū)崟r反映所述挖掘機周邊環(huán)境的三維場景作為挖掘機周圍場景實時的三維場景。

35、可選的，方法還包括：

36、tsdf算法的更新方程為：

37、tsdfnew(v)＝w·(d(v)-dobs)+(1-w)·tsdfold(v)；

38、其中，tsdfnew(v)為mesh化處理結(jié)果，v是全局地圖中的每個體素，w是融合權(quán)重，d(v)是體素中心到最近表面的真實距離，dobs是觀測到的距離，tsdfold(v)和tsdfnew(v)分別是體素的舊和新tsdf值，體素為三維空間中的一個像素的類似物。

39、可選的，根據(jù)目標(biāo)位姿和預(yù)先標(biāo)定的傳感器內(nèi)外參，將原始圖像投影到實時的三維場景的相應(yīng)位置處，得到挖掘機的全三維場景，包括：

40、通過預(yù)先標(biāo)定的傳感器內(nèi)外參，將目標(biāo)位姿轉(zhuǎn)換到挖掘機的三維坐標(biāo)系，得到挖掘機的最終位姿信息；

41、將原始圖像與最終位姿信息進行關(guān)聯(lián)，以確定出原始圖像中每個像素點在挖掘機的三維坐標(biāo)系中的空間位置；

42、根據(jù)原始圖像中每個像素點在挖掘機的三維坐標(biāo)系中的空間位置，將原始圖像中每個像素點投影到實時的三維場景的同一空間位置上，得到挖掘機的全三維場景。

43、可選的，原始圖像中每個像素點在挖掘機的三維坐標(biāo)系中的空間位置計算公式為：

44、pworld＝r×pcamera+t；

45、其中，pworld是原始圖像中每個像素點在挖掘機的三維坐標(biāo)系中的空間位置，pcamera是原始圖像中相機坐標(biāo)系下的像素點的坐標(biāo)，r和t是預(yù)先標(biāo)定的傳感器內(nèi)外參中圖像點云外參的旋轉(zhuǎn)矩陣和平移向量。

46、第二方面，本技術(shù)實施例提供了一種挖掘機的環(huán)境虛擬視角展示裝置，裝置包括：

47、在對挖掘機的操作過程中，實時讀取預(yù)先設(shè)置于挖掘機上的各類傳感器采集的傳感器數(shù)據(jù)，傳感器數(shù)據(jù)包括原始圖像、原始點云、rtk數(shù)據(jù)和imu數(shù)據(jù)；

48、基于傳感器數(shù)據(jù)和預(yù)先標(biāo)定的傳感器內(nèi)外參，并結(jié)合建圖定位算法slam計算挖掘機的目標(biāo)位姿；

49、根據(jù)目標(biāo)位姿和預(yù)先標(biāo)定的傳感器內(nèi)外參，將原始圖像投影到實時的三維場景的相應(yīng)位置處，得到挖掘機的全三維場景；

50、根據(jù)挖掘機的全三維場景，實時渲染出預(yù)設(shè)視角下的挖掘機作業(yè)場景。

51、本技術(shù)實施例提供的技術(shù)方案可以包括以下有益效果：

52、在本技術(shù)實施例中，一方面，本技術(shù)根據(jù)目標(biāo)位姿和預(yù)先標(biāo)定的傳感器內(nèi)外參，將原始圖像投影到實時的三維場景的相應(yīng)位置處，得到挖掘機的全三維場景，該全三維場景能夠模擬挖掘機所處的周圍實際環(huán)境，可實現(xiàn)對挖掘機周圍環(huán)境的全方位展示；另一方面，根據(jù)挖掘機的全三維場景，可實時渲染出預(yù)設(shè)視角下的挖掘機作業(yè)場景，該預(yù)設(shè)視角可自由設(shè)置，提供了可隨意調(diào)整的視角以及深度信息，從而提高了挖掘機遠程作業(yè)的效率和安全性。

53、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本技術(shù)。