本發(fā)明屬于傳感器設(shè)備標(biāo)定，尤其設(shè)計(jì)一種三維激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的動態(tài)標(biāo)定方法、裝置及存儲介質(zhì)。

背景技術(shù)：

1、融合使用三維激光雷達(dá)和相機(jī)兩類傳感器采集數(shù)據(jù)，能夠克服單一傳感器對三維環(huán)境探測能力不足的問題，在機(jī)載或車載設(shè)備的三維環(huán)境感知領(lǐng)域具有廣泛的應(yīng)用前景，能夠解決避障、定位和識別跟蹤等環(huán)境感知問題。

2、同時使用三維激光雷達(dá)和相機(jī)兩類傳感器的前提條件是對兩類傳感器的外部參數(shù)進(jìn)行精確的聯(lián)合標(biāo)定，獲得三維激光雷達(dá)和相機(jī)的相對位置姿態(tài)參數(shù)。目前，絕大多數(shù)的聯(lián)合標(biāo)定方法需要借助校準(zhǔn)靶標(biāo)物和人工選點(diǎn)的方式處理，導(dǎo)致其無法在動態(tài)的應(yīng)用場景中使用。另外，由于惡劣的天氣條件、傳感器硬件老化、傳感器由于振動產(chǎn)生偏移等原因，三維激光雷達(dá)和相機(jī)在使用一段時間后，原有的聯(lián)合標(biāo)定的相對位置姿態(tài)會發(fā)生改變，需再次標(biāo)定，以此來保證高精度和高性能的異源數(shù)據(jù)融合。

3、因此亟需設(shè)計(jì)一種三維激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的動態(tài)標(biāo)定方法，使作業(yè)人員能夠在飛機(jī)或汽車載體運(yùn)動的過程中，能夠?qū)崟r的根據(jù)動態(tài)采集的數(shù)據(jù)，進(jìn)行兩類傳感器的聯(lián)合標(biāo)定，對于標(biāo)定參數(shù)的校正具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、針對上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出一種三維激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的動態(tài)標(biāo)定方法、裝置及存儲介質(zhì)，以實(shí)現(xiàn)在不需要傳感器靜止采集數(shù)據(jù)和依賴外部的標(biāo)定板的情況下，基于同步采集的三維點(diǎn)云數(shù)據(jù)和二維圖像數(shù)據(jù)，利用深度神經(jīng)網(wǎng)絡(luò)模型計(jì)算標(biāo)定參數(shù)的校正參數(shù)，完成對聯(lián)合標(biāo)定參數(shù)的優(yōu)化校正。

2、為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明提供如下的技術(shù)方案：

3、一種三維激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的動態(tài)標(biāo)定方法，其具體包括以下步驟：

4、s1、點(diǎn)云和圖像數(shù)據(jù)采集；使用三維激光雷達(dá)和相機(jī)同步采集數(shù)據(jù)，獲得共同觀測區(qū)域得三維點(diǎn)云數(shù)據(jù)和可見光二維圖像數(shù)據(jù)；

5、s2、根據(jù)三維激光雷達(dá)和相機(jī)的初始安裝矩陣參數(shù)，將三維激光雷達(dá)掃描得到的三維點(diǎn)云數(shù)據(jù)的坐標(biāo)從在激光雷達(dá)坐標(biāo)系下轉(zhuǎn)換到在相機(jī)坐標(biāo)系下；

6、所述初始安裝矩陣參數(shù)由預(yù)先加工的工裝的設(shè)計(jì)圖提供，其參數(shù)包括：激光雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的相對位置姿態(tài)參數(shù)，即兩個坐標(biāo)系之間的平移向量和旋轉(zhuǎn)矩陣；

7、s3、根據(jù)相機(jī)的內(nèi)參數(shù)和三維點(diǎn)云數(shù)據(jù)在相機(jī)坐標(biāo)系下的坐標(biāo)，把點(diǎn)云投影到相平面坐標(biāo)系，獲得深度圖數(shù)據(jù)；

8、s4、對步驟s3獲得的深度圖數(shù)據(jù)添加標(biāo)定參數(shù)擾動數(shù)據(jù)，并與步驟s1同步采集得到的可見光二維圖像數(shù)據(jù)組成數(shù)據(jù)集；將數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練集用于訓(xùn)練聯(lián)合標(biāo)定深度神經(jīng)網(wǎng)絡(luò)模型；

9、s5、步驟s4訓(xùn)練好聯(lián)合標(biāo)定深度神經(jīng)網(wǎng)絡(luò)模型后，向其輸入測試集中的數(shù)據(jù)，通過模型得到三維激光雷達(dá)和相機(jī)的相對位置姿態(tài)的預(yù)測校正參數(shù)；所述預(yù)測校正參數(shù)包括旋轉(zhuǎn)參數(shù)校正向量和平移參數(shù)校正向量；

10、s6、使用旋轉(zhuǎn)參數(shù)校正向量和平移參數(shù)校正向量，對初始安裝矩陣參數(shù)進(jìn)行校正，獲得最終的三維激光雷達(dá)和相機(jī)的相對位置姿態(tài)的校正參數(shù)，即測試過程得到的預(yù)測轉(zhuǎn)換矩陣。

11、進(jìn)一步地，步驟s1中所述使用三維激光雷達(dá)和相機(jī)同步采集數(shù)據(jù)具體為：

12、將三維激光雷達(dá)和相機(jī)安裝固定在預(yù)先加工的工裝上；所述工裝根據(jù)設(shè)計(jì)圖設(shè)計(jì)，滿足兩類傳感器對相同的觀測區(qū)域進(jìn)行數(shù)據(jù)采集，得到具有重疊觀測區(qū)域的三維點(diǎn)云數(shù)據(jù)和二維圖像數(shù)據(jù)。

13、進(jìn)一步地，步驟s3具體包括：

14、s31、根據(jù)初始安裝矩陣參數(shù)得到激光雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的平移向量和旋轉(zhuǎn)矩陣；

15、s32、以三維點(diǎn)云數(shù)據(jù)為輸入，通過坐標(biāo)轉(zhuǎn)換計(jì)算式將三維點(diǎn)云數(shù)據(jù)中的每個點(diǎn)在激光雷達(dá)坐標(biāo)系下的坐標(biāo)，轉(zhuǎn)換為在相機(jī)坐標(biāo)系下的坐標(biāo)；所述坐標(biāo)轉(zhuǎn)換計(jì)算式為：

16、；

17、s33、將轉(zhuǎn)換后的坐標(biāo)與相機(jī)內(nèi)參數(shù)矩陣相乘，計(jì)算得到深度圖數(shù)據(jù)中的投影像素坐標(biāo)；所述相機(jī)內(nèi)參數(shù)矩陣包括相機(jī)的焦距、主點(diǎn)像素坐標(biāo)；具體計(jì)算過程的公式表達(dá)為：

18、；

19、其中，代表三維點(diǎn)云距離相機(jī)的深度距離。

20、進(jìn)一步地，步驟s4具體包括：

21、s41、使用經(jīng)過高精度的聯(lián)合標(biāo)定的樣本庫數(shù)據(jù)，其本身包含有準(zhǔn)確的標(biāo)定參數(shù)原始數(shù)據(jù)；對標(biāo)定參數(shù)原始數(shù)據(jù)添加噪聲，即一定的旋轉(zhuǎn)和平移擾動，構(gòu)建標(biāo)定參數(shù)擾動數(shù)據(jù)，并分別保留標(biāo)定參數(shù)原始數(shù)據(jù)和標(biāo)定參數(shù)擾動數(shù)據(jù)；所述標(biāo)定參數(shù)原始數(shù)據(jù)作為網(wǎng)絡(luò)模型的標(biāo)定參數(shù)真值，所述標(biāo)定參數(shù)擾動數(shù)據(jù)作為網(wǎng)絡(luò)模型的輸入；

22、s42、為對步驟s3獲得的深度圖數(shù)據(jù)添加標(biāo)定參數(shù)擾動數(shù)據(jù)，將其與同步采集的可見光二維圖像數(shù)據(jù)組成數(shù)據(jù)集，并分為訓(xùn)練集和測試集，將訓(xùn)練集作為聯(lián)合標(biāo)定深度神經(jīng)網(wǎng)絡(luò)模型的輸入，實(shí)現(xiàn)多模態(tài)信息融合；

23、s43、利用adam優(yōu)化器，通過反向梯度算法不斷迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，最小化損失函數(shù)，提高模型的準(zhǔn)確性和魯棒性；

24、s44、在訓(xùn)練過程中，持續(xù)監(jiān)控?fù)p失函數(shù)值，并在其達(dá)到最低值時，自動保存相應(yīng)的網(wǎng)絡(luò)參數(shù)，以保障模型訓(xùn)練的有效性與穩(wěn)定性，最終完成整個訓(xùn)練過程。

25、進(jìn)一步地，步驟s42中所述聯(lián)合標(biāo)定深度神經(jīng)網(wǎng)絡(luò)模型包括特征提取層、連接層以及全局聚合層，具體為：

26、所述特征提取層由兩個不對稱分支組成，包括rgb圖分支和深度圖分支，用于對三維激光雷達(dá)和相機(jī)采集到的數(shù)據(jù)進(jìn)行處理以獲得其特征；對于rgb圖像分支，為加深網(wǎng)絡(luò)提取特征的更深層信息，采用resnet-18網(wǎng)絡(luò)的卷積層再結(jié)合四層額外的卷積層，以此實(shí)現(xiàn)輸出通道為?1024?維；對于深度圖分支，使用與?rgb?分支類似的網(wǎng)絡(luò)結(jié)構(gòu)，但在每個級的過濾器數(shù)量都是上一級的一半；

27、所述連接層將rgb圖分支和深度圖分支的輸出通道數(shù)進(jìn)行合并，用以整合rgb圖和深度圖信息；

28、所述全局聚合層，包括一系列額外的卷積層和全連接層，用以實(shí)現(xiàn)全局特征的聚合；整個網(wǎng)絡(luò)中的每個卷積模塊之后都有一個batchnorm層，用于加快收斂速度；最終全局聚合層解耦出6個維度的參數(shù)，包括旋轉(zhuǎn)和平移的輸出分支。

29、進(jìn)一步地，步驟s43中所述損失函數(shù)由像素?fù)p失、點(diǎn)云距離損失、直接監(jiān)督損失三部分構(gòu)成，分別具體為：

30、所述像素?fù)p失指：利用訓(xùn)練過程中得到的預(yù)測轉(zhuǎn)換矩陣對點(diǎn)云數(shù)據(jù)進(jìn)行投影，得到預(yù)測的深度圖，將其與標(biāo)定參數(shù)原始數(shù)據(jù)投影得到的真實(shí)深度圖進(jìn)行比較，得到的誤差；公式表示為：

31、；

32、其中，是真實(shí)深度圖，是帶有標(biāo)定錯誤的預(yù)測的深度圖，k是相機(jī)內(nèi)參矩陣，是預(yù)測轉(zhuǎn)換矩陣，是深度圖到點(diǎn)云的映射；

33、所述點(diǎn)云距離損失指：通過比較沒有擾動和加入擾動的點(diǎn)云數(shù)據(jù)，并將chamfer?distance倒角距離作為點(diǎn)云距離損失的距離度量；兩組點(diǎn)云和之間的chamfer?distance定義為兩組點(diǎn)云之間最近點(diǎn)的距離的平方和，公式表達(dá)為：

34、；

35、其中，x，y為兩組點(diǎn)云之間的一對最近點(diǎn)；

36、所述直接監(jiān)督損失指：通過使用自監(jiān)督學(xué)習(xí)的訓(xùn)練方法，用于訓(xùn)練的標(biāo)定參數(shù)擾動數(shù)據(jù)包含有對標(biāo)定參數(shù)原始數(shù)據(jù)添加的旋轉(zhuǎn)和平移擾動誤差向量，且聯(lián)合標(biāo)定深度神經(jīng)網(wǎng)絡(luò)的輸出為旋轉(zhuǎn)參數(shù)校正向量和平移參數(shù)校正向量；將校正向量與擾動誤差向量相比較，可得到公式表達(dá)為：

37、；

38、其中，和表示網(wǎng)絡(luò)訓(xùn)練過程中得到的預(yù)測旋轉(zhuǎn)參數(shù)校正向量和平移參數(shù)校正向量，和表示人工加入的旋轉(zhuǎn)參數(shù)擾動向量和平移參數(shù)擾動向量。

39、進(jìn)一步地，步驟s6具體為：

40、使用經(jīng)步驟s5網(wǎng)絡(luò)模型測試過程得到的旋轉(zhuǎn)參數(shù)校正向量和平移參數(shù)校正向量，對初始安裝矩陣參數(shù)進(jìn)行校正，將旋轉(zhuǎn)參數(shù)校正向量和平移參數(shù)校正向量通過se(3)層轉(zhuǎn)換為校正矩陣參數(shù)；所述se(3)層轉(zhuǎn)換的過程為：旋轉(zhuǎn)參數(shù)校正向量通過指數(shù)映射的方法轉(zhuǎn)換為旋轉(zhuǎn)矩陣，再結(jié)合平移參數(shù)校正向量，得到校正矩陣參數(shù)，其公式表達(dá)如下：

41、；

42、將校正矩陣參數(shù)與初始安裝矩陣參數(shù)相乘，獲得最終的三維激光雷達(dá)和相機(jī)的相對位置姿態(tài)的校正參數(shù)，即有預(yù)測轉(zhuǎn)換矩陣。

43、本發(fā)明還提供一種裝置設(shè)備，包括存儲器和處理器，其中：

44、存儲器，用于存儲能夠在處理器上運(yùn)行的計(jì)算機(jī)程序；

45、處理器，用于在運(yùn)行所述計(jì)算機(jī)程序時，執(zhí)行如上所述的三維激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的動態(tài)標(biāo)定方法。

46、此外，根據(jù)上述裝置設(shè)備，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其存儲有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時實(shí)現(xiàn)如上述的三維激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定的動態(tài)標(biāo)定方法。

47、基于上述的技術(shù)方案，本發(fā)明具有以下有益效果：

48、與現(xiàn)有技術(shù)相比，本發(fā)明選擇基于聯(lián)合標(biāo)定深度神經(jīng)網(wǎng)絡(luò)的方式來進(jìn)行聯(lián)合標(biāo)定，具有成本低、速度快、無需人工干預(yù)的特點(diǎn)；同時，所設(shè)計(jì)的方法與傳統(tǒng)聯(lián)合標(biāo)定方法不同，不依賴于場景中的靶標(biāo)物等特殊目標(biāo)，從而可以實(shí)現(xiàn)真正的動態(tài)聯(lián)合標(biāo)定。