本發(fā)明屬于深度學(xué)習(xí)與計算機(jī)視覺，尤其涉及一種水下聲光配對數(shù)據(jù)集制備方法、電子設(shè)備、介質(zhì)。

背景技術(shù)：

1、隨著計算機(jī)硬件性能的飛躍、算法理論的不斷創(chuàng)新，計算機(jī)視覺技術(shù)經(jīng)歷了從萌芽到蓬勃發(fā)展的轉(zhuǎn)變，現(xiàn)已廣泛應(yīng)用于自動駕駛、醫(yī)療影像分析、虛擬現(xiàn)實、工業(yè)自動化、安防系統(tǒng)等多個方面，涵蓋了分類、識別、跟蹤等多個任務(wù)類型，深刻改變著人類的生產(chǎn)生活方式。

2、然而想要訓(xùn)練出精準(zhǔn)、快速的網(wǎng)絡(luò)模型，除了需要高效的算法，高質(zhì)量的訓(xùn)練數(shù)據(jù)同樣不可或缺，尤其在特定的任務(wù)場景下，數(shù)據(jù)集資源稀缺、質(zhì)量難以保證。在針對水下目標(biāo)的檢測場景中，使用到的數(shù)據(jù)集將會出現(xiàn)以下問題：

3、1.高質(zhì)量數(shù)據(jù)集稀少。

4、2.水下環(huán)境中的光學(xué)圖像成像質(zhì)量差，只能在距離攝像機(jī)較近的地方拍攝到稍微清晰的圖像，距離一旦太遠(yuǎn)則會導(dǎo)致圖像模糊。

5、3.沒有多信號源的配對數(shù)據(jù)集，水下環(huán)境中聲波信號的衰減速率遠(yuǎn)遠(yuǎn)小于電磁波，但是聲納設(shè)備昂貴、工作環(huán)境要求苛刻，聲納數(shù)據(jù)集的制作難度遠(yuǎn)遠(yuǎn)光學(xué)數(shù)據(jù)集。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)不足，本申請?zhí)峁┝艘环N水下聲光配對數(shù)據(jù)集制備方法、電子設(shè)備、介質(zhì)。

2、第一方面，本發(fā)明實施例提供了一種水下聲光配對數(shù)據(jù)集制備方法，所述方法包括：

3、配置用于拍攝光學(xué)圖像的水下航行器rov、被拍攝模型與水下環(huán)境；

4、調(diào)整水下航行器rov和被拍攝模型的角度、姿態(tài)和距離以采集被拍攝模型的視頻；

5、對視頻以單位幀數(shù)間隔截取，得到原始光學(xué)圖像集；對原始光學(xué)圖像集進(jìn)行預(yù)處理，得到光學(xué)數(shù)據(jù)集；

6、獲取聲納數(shù)據(jù)集；將光學(xué)數(shù)據(jù)集作為內(nèi)容圖像，將聲吶數(shù)據(jù)集作為風(fēng)格圖像；將內(nèi)容圖像與第一風(fēng)格圖像輸入至風(fēng)格遷移網(wǎng)絡(luò)中，得到風(fēng)格遷移中間圖像；將風(fēng)格遷移中間圖像與第二風(fēng)格圖像輸入至風(fēng)格遷移網(wǎng)絡(luò)中，得到最終的風(fēng)格遷移圖像，即與該光學(xué)數(shù)據(jù)匹配的聲吶數(shù)據(jù)；遍歷所有光學(xué)數(shù)據(jù)，得到與之配對的聲納數(shù)據(jù)；

7、對所有光學(xué)數(shù)據(jù)和與之配對的聲納數(shù)據(jù)進(jìn)行標(biāo)注，得到聲光配對數(shù)據(jù)集。

8、第二方面，本發(fā)明實施例提供了一種電子設(shè)備，包括存儲器和處理器，所述存儲器與所述處理器耦接；其中，所述存儲器用于存儲程序數(shù)據(jù)，所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實現(xiàn)上述的水下聲光配對數(shù)據(jù)集制備方法。

9、第三方面，本發(fā)明實施例提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述程序被處理器執(zhí)行時實現(xiàn)上述的水下聲光配對數(shù)據(jù)集制備方法。

10、第四方面，本發(fā)明實施例提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，該計算機(jī)程序/指令被處理器執(zhí)行時實現(xiàn)上述的水下聲光配對數(shù)據(jù)集制備方法。

11、本發(fā)明的有益效果為：本發(fā)明提供了一種水下聲光配對數(shù)據(jù)集制備方法，包括通過采集光學(xué)數(shù)據(jù)集經(jīng)風(fēng)格遷移處理得到與每一光學(xué)數(shù)據(jù)匹配的聲納數(shù)據(jù)，得到高質(zhì)量的聲光配對數(shù)據(jù)集。

技術(shù)特征：

1.一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，所述水下環(huán)境的深度大于水下航行器rov最低潛行深度。

3.根據(jù)權(quán)利要求1所述的一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，被拍攝模型包括若干類別，每一類別包括不同顏色、形狀、姿態(tài)在內(nèi)的若干個體。

4.根據(jù)權(quán)利要求3所述的一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，所述類別包括魚類、珊瑚石、沉船、蛙人和水下機(jī)器人。

5.根據(jù)權(quán)利要求1所述的一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，調(diào)整水下航行器rov和被拍攝模型的角度、姿態(tài)和距離以采集被拍攝模型的視頻的過程包括：

6.根據(jù)權(quán)利要求1所述的一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，風(fēng)格遷移網(wǎng)絡(luò)包括：特征編碼網(wǎng)絡(luò)、自注意力模塊、多尺度風(fēng)格融合模塊、多筆觸風(fēng)格遷移模塊、特征解碼網(wǎng)絡(luò)；

7.根據(jù)權(quán)利要求1所述的一種水下聲光配對數(shù)據(jù)集制備方法，其特征在于，對所有光學(xué)數(shù)據(jù)和與之配對的聲納數(shù)據(jù)進(jìn)行標(biāo)注，得到聲光配對數(shù)據(jù)集的過程包括：

8.一種電子設(shè)備，包括存儲器和處理器，其特征在于，所述存儲器與所述處理器耦接；其中，所述存儲器用于存儲程序數(shù)據(jù)，所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實現(xiàn)上述權(quán)利要求1-7任一項所述的水下聲光配對數(shù)據(jù)集制備方法。

9.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一項所述的水下聲光配對數(shù)據(jù)集制備方法。

10.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，其特征在于，該計算機(jī)程序/指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-7中任一項所述的水下聲光配對數(shù)據(jù)集制備方法。

技術(shù)總結(jié)
本發(fā)明公開了一種水下聲光配對數(shù)據(jù)集制備方法、電子設(shè)備、介質(zhì)，包括：配置用于拍攝光學(xué)圖像的水下航行器ROV、被拍攝模型與水下環(huán)境；分別調(diào)整水下航行器ROV和被拍攝模型的角度、姿態(tài)和距離以采集被拍攝模型的視頻；截取視頻，得到原始光學(xué)圖像集；對原始光學(xué)圖像集進(jìn)行預(yù)處理，得到光學(xué)數(shù)據(jù)集；獲取聲納數(shù)據(jù)集；將光學(xué)數(shù)據(jù)集作為內(nèi)容圖像，將聲吶數(shù)據(jù)集作為風(fēng)格圖像；將內(nèi)容圖像與第一風(fēng)格圖像輸入至風(fēng)格遷移網(wǎng)絡(luò)中，得到風(fēng)格遷移中間圖像；將風(fēng)格遷移中間圖像與第二風(fēng)格圖像輸入至風(fēng)格遷移網(wǎng)絡(luò)中，得到最終的風(fēng)格遷移圖像，即與該光學(xué)數(shù)據(jù)匹配的聲吶數(shù)據(jù)；對所有光學(xué)數(shù)據(jù)和與之配對的聲納數(shù)據(jù)進(jìn)行標(biāo)注，得到聲光配對數(shù)據(jù)集。

技術(shù)研發(fā)人員：董山玲,楊杰林,劉妹琴,張森林,鄭榮濠
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9