本技術(shù)屬于相機，尤其涉及一種矯正itof相機點云數(shù)據(jù)的方法、itof相機、裝置、終端及存儲介質(zhì)。

背景技術(shù)：

1、itof相機，全稱是間接飛行時間(indirect?time?of?flight,itof)相機，它通過測量相位偏移來間接測量光的飛行時間，從而獲取目標物體的深度信息。itof測量技術(shù)屬于一種非接觸的光學(xué)3d測量技術(shù)，相比與其它光學(xué)3d測量技術(shù)，itof具備低成本、測量距離遠、結(jié)構(gòu)緊湊等諸多優(yōu)勢，在消費電子、工業(yè)測量等諸多領(lǐng)域都有著廣泛的應(yīng)用。

2、itof相機主要包括三個核心組件：信號發(fā)射模塊、信號接收模塊以及信號處理模塊。信號發(fā)射模塊負責發(fā)出經(jīng)過周期性調(diào)制的光波信號。這些光波在遇到場景中的物體并反射后，被信號接收模塊中的鏡頭捕獲，并導(dǎo)向至itof圖像傳感器。依據(jù)物體與傳感器的不同距離，光波信號會在抵達傳感器時展現(xiàn)出各異的相位偏移。接下來，圖像傳感器對這些返回的光波信號實施相位偏移的精確測量，這些數(shù)據(jù)隨后被送至信號處理模塊進行計算分析，轉(zhuǎn)化成相應(yīng)的相位信息。最終，這些相位信息會被進一步解碼以確定物體的深度信息。

3、itof相機的測量理論基于以下假設(shè)“圖像傳感器的每個像素僅捕捉到從目標物體直接反射回來的一束光線”來進行相關(guān)測距計算。然而，終端設(shè)備使用itof技術(shù)在具體實際的應(yīng)用中，實際情況比上述假設(shè)的理想情況要復(fù)雜得多，由于被測物體表面的不規(guī)則，傳感器實際上接收到多條經(jīng)由不同路徑反射回來的光線，這一現(xiàn)象稱為多路徑干擾。由于多路徑干擾現(xiàn)象的存在，會引發(fā)測量數(shù)據(jù)的偏差，從而影響到深度計算的準確性。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種矯正itof相機點云數(shù)據(jù)的方法、itof相機、裝置、終端及存儲介質(zhì)，旨在解決由于被測物體表面的不規(guī)則性和散射性質(zhì)，導(dǎo)致itof相機側(cè)拍攝被測物體時得到的點云數(shù)據(jù)存在多路徑干擾的技術(shù)問題。

2、第一方面，本技術(shù)實施例提供了一種矯正itof相機點云數(shù)據(jù)的方法，所述方法包括：

3、控制itof相機處于關(guān)閉狀態(tài)，并獲取激光雷達在開啟狀態(tài)下探測到的稀疏點云，所述稀疏點云表征所述激光雷達掃描的數(shù)據(jù)；

4、控制所述激光雷達處于關(guān)閉狀態(tài)，并獲取所述itof相機在開啟狀態(tài)下采集到的稠密點云，所述稠密點云表征所述itof相機的接收到的反射信號；

5、基于所述稀疏點云和所述稠密點云構(gòu)建目標模型，所述目標模型用于矯正所述itof相機接收到的受多路徑干擾的點云數(shù)據(jù)。

6、在一實施例中，所述稠密點云由所述itof相機拍攝圖像時生成的相機深度圖組成；

7、所述基于所述稀疏點云和所述稠密點云構(gòu)建目標模型，包括：

8、將所述稀疏點云變換到所述itof相機的相機坐標系中，以獲取與所述相機深度圖對齊的參考深度圖；

9、確定所述itof相機拍攝圖像時生成的相機灰度圖；

10、將所述相機灰度圖和所述相機深度圖作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集的輸入，并將所述參考深度圖作為真值，基于所述輸入和所述真值進行訓(xùn)練，以構(gòu)建目標模型。

11、在一實施例中，所述將所述稀疏點云變換到所述itof相機的相機坐標系中，以獲取與所述相機深度圖對齊的參考深度圖，包括：

12、對所述稀疏點云與所述稠密點云進行配準，獲取空間變換矩陣；

13、基于所述空間變換矩陣將所述稀疏點云變換到所述itof相機的相機坐標系中，以獲取與所述相機深度圖對齊的參考深度圖。

14、在一實施例中，在完成構(gòu)建所述目標模型之后，所述方法還包括：

15、獲取所述itof相機在第k時刻拍攝被測物體時采集的待矯正稠密點云，所述待矯正稠密點云表征所述itof相機在第k時刻的接收到的受多路徑干擾的反射信號；

16、確定所述itof相機在第k時刻拍攝被測物體時生成的待測灰度圖和待測深度圖；

17、將所述待測灰度圖和所述待測深度圖輸入至目標模型，由所述目標模型輸出不受多路徑干擾的目標深度圖；

18、基于所述目標深度圖確定不受多路徑干擾的目標稠密點云。

19、在一實施例中，所述基于所述目標深度圖確定不受多路徑干擾的目標稠密點云，包括：

20、確定所述itof相機的內(nèi)參信息；

21、基于所述內(nèi)參信息，將所述目標深度圖轉(zhuǎn)化為不受多路徑干擾的目標稠密點云。

22、在一實施例中，所述目標模型包括編碼器、解碼器以及空間傳播網(wǎng)絡(luò)；

23、所述將所述待測灰度圖和所述待測深度圖輸入至目標模型，由所述目標模型輸出不受多路徑干擾的目標深度圖，包括：

24、將所述待測灰度圖和所述待測深度圖作為輸入數(shù)據(jù)輸入至所述編碼器，使得所述編碼器對所述輸入數(shù)據(jù)編碼，得到編碼結(jié)果；

25、將所述編碼結(jié)果輸入至所述解碼器，使得所述解碼器對所述編碼結(jié)果進行解碼，以獲得初始深度圖預(yù)測數(shù)據(jù)；

26、調(diào)用所述空間傳播網(wǎng)絡(luò)從所述初始深度圖預(yù)測數(shù)據(jù)中確定待消除圖片數(shù)據(jù)，以使得所述目標模型輸出不受多路徑干擾的目標深度圖，其中，所述待消除圖片數(shù)據(jù)表征所述被測物體的邊緣位置。

27、第二方面，本技術(shù)實施例提供了一種itof相機，所述itof相機包括信號發(fā)射模塊、信號接收模塊、信號處理模塊、以及如上第一方面所述的目標模型；

28、所述信號發(fā)射模塊，用于發(fā)出光波信號，其中，所述光波信號射到待測物體后形成反射信號；

29、所述信號接收模塊，用于接收所述反射信號，并將所述反射信號傳輸至所述信號處理模塊；

30、所述信號處理模塊，用于基于所述反射信號確定對應(yīng)的待矯正稠密點云，并調(diào)用所述目標模型對所述待矯正稠密點云進行矯正，以輸出不受多路徑干擾的目標稠密點云。

31、第三方面，本發(fā)明還提出一種構(gòu)建矯正itof相機點云數(shù)據(jù)的目標模型的裝置，所述裝置包括：

32、第一獲取單元，用于控制itof相機處于關(guān)閉狀態(tài)，并獲取激光雷達在開啟狀態(tài)下探測到的稀疏點云，所述稀疏點云表征所述激光雷達掃描的數(shù)據(jù)；

33、第二獲取單元，用于控制所述激光雷達處于關(guān)閉狀態(tài)，獲取所述itof相機在開啟狀態(tài)下采集到的稠密點云，所述稠密點云表征所述itof相機的接收到的反射信號；

34、構(gòu)建單元，用于基于所述稀疏點云和所述稠密點云構(gòu)建目標模型，所述目標模型用于矯正所述itof相機接收到的受多路徑干擾的點云數(shù)據(jù)。

35、第四方面，本發(fā)明還提出一種終端，所述終端包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序；所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上第一方面所述的矯正itof相機點云數(shù)據(jù)的方法的步驟。

36、第五方面，本發(fā)明還提出一種存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上第一方面所述的矯正itof相機點云數(shù)據(jù)的方法的步驟。

37、本技術(shù)的有益效果在于，首先控制itof相機處于關(guān)閉狀態(tài)，并獲取激光雷達在開啟狀態(tài)下探測到的稀疏點云；同時，控制所述激光雷達處于關(guān)閉狀態(tài)，并獲取itof相機在開啟狀態(tài)下采集到的稠密點云；然后基于所述稀疏點云和所述稠密點云構(gòu)建目標模型，最后得到的目標模型用于矯正所述itof相機接收到的受多路徑干擾的點云數(shù)據(jù)。本技術(shù)基于無多路徑干擾的激光雷達的稀疏點云數(shù)據(jù)引導(dǎo)itof相機的受多路徑干擾的稠密點云，得到用于矯正存在多路徑干擾現(xiàn)象的目標模型，通過目標模型來對后續(xù)itof相機運行過程中生成的點云數(shù)據(jù)做出矯正，能夠有效解決itof相機拍攝被測物體時存在多路徑干擾現(xiàn)象。