本發(fā)明涉及無人系統(tǒng)與機(jī)器人智能感知與控制設(shè)備領(lǐng)域，特別是無人船視覺圖像復(fù)原方法，尤其涉及一種基于自適應(yīng)權(quán)重的無人船視覺圖像局部去模糊方法。

背景技術(shù)：

1、運(yùn)動(dòng)模糊圖像復(fù)原是一種通過算法和技術(shù)手段提高因相機(jī)與拍攝對(duì)象相對(duì)運(yùn)動(dòng)導(dǎo)致模糊圖像的質(zhì)量的技術(shù)。此技術(shù)廣泛應(yīng)用于自主智能無人車、水面無人船、水下救撈裝備、智能無人飛行器、工業(yè)機(jī)器人、特殊作業(yè)機(jī)器人、自動(dòng)導(dǎo)引車(agv)、巷道堆垛機(jī)、無人堆場(chǎng)智能控制系統(tǒng)等無人系統(tǒng)與機(jī)器人為代表的智能感知與控制設(shè)備領(lǐng)域。裝備有視覺設(shè)備的無人船已經(jīng)廣泛應(yīng)用于海上搜救、巡邏等任務(wù)。無人船的續(xù)航能力有限，在作業(yè)完成后需要回到指定地點(diǎn)進(jìn)行補(bǔ)給。但在海面上因多重環(huán)境的干擾，對(duì)于無人船視覺的成像能力造成嚴(yán)重影響，易出現(xiàn)運(yùn)動(dòng)模糊現(xiàn)象，導(dǎo)致后續(xù)機(jī)器視覺任務(wù)處理效率低下。因此，如何將模糊圖像快速?gòu)?fù)原為滿足后續(xù)任務(wù)的清晰圖片成為海上無人船視覺作業(yè)的新挑戰(zhàn)。

2、針對(duì)上述問題，文獻(xiàn)《multi-stage?progressive?image?restoration》提出多階段漸進(jìn)圖像恢復(fù)算法，存在如下問題：

3、(1)mprnet的去模糊模塊是對(duì)于整張圖像進(jìn)行復(fù)原，雖然使用了注意力機(jī)制來提升重要特征的提取，但并沒對(duì)目標(biāo)區(qū)域和背景區(qū)域進(jìn)行區(qū)分。更加注重于全局圖像的模糊復(fù)原質(zhì)量，因此在面對(duì)無人船回收的任務(wù)中，可能會(huì)造成大量的計(jì)算資源浪費(fèi)，使模型復(fù)原圖像的時(shí)間大大延長(zhǎng)。本發(fā)明中，在獲取預(yù)處理之后的圖像后，根據(jù)已知的目標(biāo)信息，使模型著重關(guān)注目標(biāo)區(qū)域，并通過顏色和注意力機(jī)制對(duì)目標(biāo)區(qū)域進(jìn)行增強(qiáng)處理，同時(shí)對(duì)于目標(biāo)區(qū)域的范圍使用膨脹操作，防止目標(biāo)丟失或缺損的現(xiàn)象。此方法使模型在恢復(fù)圖像的過程中更加注重目標(biāo)區(qū)域的細(xì)節(jié)，同時(shí)降低了算法的計(jì)算量。

4、(2)在訓(xùn)練過程中，mprnet使用的邊緣損失和charbonnier損失，著重關(guān)注整體圖像的質(zhì)量和邊緣細(xì)節(jié)的還原。但面對(duì)海洋無人船回收的任務(wù)中，過多的關(guān)注于背景的模糊復(fù)原質(zhì)量更容易降低模型的復(fù)原速度，難以達(dá)到快速提高圖像質(zhì)量以便執(zhí)行后續(xù)任務(wù)的要求。本發(fā)明中，使用了針對(duì)于全局和局部目標(biāo)區(qū)域的復(fù)原損失函數(shù)，并在訓(xùn)練過程中使用了動(dòng)態(tài)調(diào)整的權(quán)重控制二者的占比，使得模型在訓(xùn)練過程中若出現(xiàn)局部目標(biāo)區(qū)域復(fù)原質(zhì)量不佳的情況時(shí)，提高對(duì)于目標(biāo)區(qū)域的關(guān)注度，進(jìn)而有助于在海洋無人船回收?qǐng)鼍跋聦?duì)于特定目標(biāo)的圖像質(zhì)量恢復(fù)。達(dá)到整張圖像在專注于局部目標(biāo)區(qū)域圖像復(fù)原的同時(shí)顧及全局圖像質(zhì)量的效果。

5、(3)雖然mprnet的設(shè)計(jì)和訓(xùn)練過程中并未涉及到模型輕量化的步驟，但此模型在設(shè)計(jì)時(shí)就已經(jīng)考慮了輕量化。但經(jīng)實(shí)際測(cè)試仍然發(fā)現(xiàn)，使用mprnet作者提供的官方權(quán)重恢復(fù)gopro數(shù)據(jù)集中的圖像時(shí)，所需時(shí)間仍然較長(zhǎng)，無法滿足無人船在作業(yè)中對(duì)于圖像復(fù)原速度的要求。本發(fā)明中，在對(duì)于局部目標(biāo)圖像恢復(fù)的同時(shí)考慮的處理時(shí)間的影響，因此本發(fā)明使用蒸餾訓(xùn)練的方式削減模型參數(shù)，提高模型復(fù)原速度。使用修改模型參數(shù)的方式獲取學(xué)生模型，并將原模型訓(xùn)練過程中效果最好的權(quán)重作為教師模型，進(jìn)行蒸餾訓(xùn)練，使得學(xué)生模型在保留大部分教師模型的圖像復(fù)原能力的同時(shí)還具有較高的圖像復(fù)原速度以及降低對(duì)于硬件處理能力的壓力。

6、發(fā)明《一種采用圖像檢測(cè)與區(qū)域提取的局部模糊復(fù)原方法》提出了一種局部模糊復(fù)原的方法，存在問題如下：

7、(1)此發(fā)明中采用對(duì)全圖進(jìn)行模糊檢測(cè)的手段標(biāo)記出大致的模糊區(qū)域，并使用摳圖的方法提取模糊區(qū)域，對(duì)于模糊區(qū)域復(fù)原最后整合得到局部復(fù)原圖像。針對(duì)于全局進(jìn)行模糊檢測(cè)當(dāng)目標(biāo)區(qū)域發(fā)生模糊時(shí)確實(shí)可以針對(duì)于目標(biāo)區(qū)域檢測(cè)，但若目標(biāo)區(qū)域的清晰度較高背景區(qū)域的清晰度較低時(shí)，算法對(duì)背景區(qū)域進(jìn)行復(fù)原會(huì)造成計(jì)算資源浪費(fèi)。而本發(fā)明則直接注意目標(biāo)區(qū)域的模糊復(fù)原，并不會(huì)對(duì)背景區(qū)域進(jìn)行詳細(xì)的質(zhì)量提升，節(jié)省資源提高速度。

8、(2)此發(fā)明中通過迭代估計(jì)結(jié)合快速傅里葉變換恢復(fù)圖像中的模糊區(qū)域。而本發(fā)明中使用深度學(xué)習(xí)進(jìn)行圖像復(fù)原，在訓(xùn)練過程中使用注意力機(jī)制重點(diǎn)關(guān)注目標(biāo)區(qū)域，更有效的復(fù)原此區(qū)域的細(xì)節(jié)。在訓(xùn)練過程中使用動(dòng)態(tài)的綜合損失函數(shù)，對(duì)于目標(biāo)區(qū)域有較好的復(fù)原效果的同時(shí)對(duì)背景區(qū)域有著一定的復(fù)原作用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于自適應(yīng)權(quán)重的無人船視覺圖像局部去模糊方法，對(duì)于海面波動(dòng)造成的相對(duì)運(yùn)動(dòng)造成成像模糊的情況，考慮到海面環(huán)境作為背景在進(jìn)行特征提取時(shí)會(huì)提取不必要的信息增大計(jì)算量，降低實(shí)時(shí)性的缺點(diǎn)。針對(duì)此現(xiàn)象，結(jié)合注意力機(jī)制，提高海面波動(dòng)環(huán)境的運(yùn)動(dòng)模糊復(fù)原算法對(duì)于局部目標(biāo)的處理速度和準(zhǔn)確性。同時(shí)使用聚合損失函數(shù)進(jìn)行訓(xùn)練，使模型在初始條件下就對(duì)目標(biāo)區(qū)域有著一定的重視，若在訓(xùn)練過程中出現(xiàn)局部模糊復(fù)原效果不佳的情況，會(huì)增大目標(biāo)區(qū)域的權(quán)重，使整張圖像在專注于局部目標(biāo)區(qū)域圖像復(fù)原的同時(shí)顧及全局圖像質(zhì)量。最后使用蒸餾訓(xùn)練的方式訓(xùn)練學(xué)生網(wǎng)絡(luò)，縮減模型參數(shù)，提高模型復(fù)原圖像的速度。

2、為達(dá)到上述目的，本發(fā)明提供一種基于自適應(yīng)權(quán)重的無人船視覺圖像局部去模糊方法，包括以下步驟：

3、s1、使用二維簡(jiǎn)諧波模擬海面運(yùn)動(dòng)對(duì)于圖像的影響制作數(shù)據(jù)集，按比例將數(shù)據(jù)集中的圖像分為訓(xùn)練樣本和測(cè)試樣本，訓(xùn)練樣本中包含模糊圖片以及目標(biāo)清晰圖片：

4、s11、使用高清相機(jī)拍攝1000張帶有標(biāo)識(shí)物的清晰圖像集。

5、s12、使用二維簡(jiǎn)諧波模擬海面運(yùn)動(dòng)對(duì)無人船的影響估計(jì)模糊核。二維簡(jiǎn)諧波由以下公式表示：

6、z(x,y,t)＝a·cos(kxx+kyy-ωt+φ)?(1)

7、式中：a是波幅，kx和ky是波數(shù)，分別決定了波在x和y方向上的頻率，ω是角頻率，φ是初始相位。在本次數(shù)據(jù)集制作過程中，模擬二級(jí)海況下的運(yùn)動(dòng)，因此a取值為0.15，波數(shù)k取0.21，ω取1rad/s。

8、相機(jī)在x和y方向上的速度：

9、vx(t)＝-a·kx·sin(kxx+kyy-ωt+φ)?(2)

10、vy(t)＝-a·ky·sin(kxx+kyy-ωt+φ)?(3)

11、相機(jī)在t時(shí)間內(nèi)的運(yùn)動(dòng)軌跡可以通過積分求出：

12、

13、

14、模糊核h(i,j)估計(jì)公式為：

15、

16、式中：t為相機(jī)快門時(shí)間，δ為dirac函數(shù)。

17、s13、通過模糊核將清晰圖片退化成模糊圖片：

18、

19、式中：b為生成模糊圖片，i為采集的清晰圖片，h為模糊核，n為高斯噪聲。

20、s14、將制作的數(shù)據(jù)集按照7:3的比例劃分為訓(xùn)練集和測(cè)試集。

21、s2、使用模型提取多層特征獲取復(fù)原后的清晰圖像：

22、s21、獲取相機(jī)拍攝的圖片，并將圖片進(jìn)行預(yù)處理，調(diào)整至統(tǒng)一的大小。

23、s22、利用預(yù)處理后的圖片進(jìn)行淺層特征提取，同時(shí)，根據(jù)先驗(yàn)?zāi)繕?biāo)的顏色信息進(jìn)行聚類區(qū)分圖像中的目標(biāo)區(qū)域和背景區(qū)域。

24、s23、對(duì)目標(biāo)區(qū)域進(jìn)行膨脹處理，擴(kuò)大區(qū)域的影響范圍，使得邊緣信息更加明顯。提取目標(biāo)區(qū)域圖片的淺層特征，同時(shí)，通過顏色和邊緣注意力機(jī)制生成特征掩碼。將預(yù)處理后的淺層特征通過空間注意力機(jī)制生成增強(qiáng)的特征圖，并將此增強(qiáng)的特征圖與目標(biāo)區(qū)域的淺層特征進(jìn)行特征融合，并結(jié)合顏色與邊緣注意力機(jī)制進(jìn)行特征增強(qiáng)。對(duì)增強(qiáng)后的特征進(jìn)行編碼，生成新的多尺度特征圖。將編碼器編碼的結(jié)果以及顏色和邊緣注意力掩碼一起放入解碼器中得到解碼結(jié)果。將預(yù)處理的淺層特征與增強(qiáng)后的特征進(jìn)行特征融合，獲取綜合特征圖。

25、s24、將綜合特征圖，編碼器獲得的多尺度特征圖，解碼器得到的高分辨率圖片放入orsnet，在保持原始分辨率的情況下，對(duì)特征圖進(jìn)行處理和增強(qiáng)，獲得高維特征圖。

26、s25、使用一個(gè)卷積層將orsnet生成的高維特征圖的通道數(shù)減少到3，輸出rgb圖像。

27、s3、使用針對(duì)于局部目標(biāo)以及全局圖像的聚合損失函數(shù)進(jìn)行模型訓(xùn)練，優(yōu)化本模型針對(duì)于局部目標(biāo)的去模糊效果以及整體圖像的質(zhì)量：

28、s31、局部模糊損失的公式如下：

29、

30、式中：llocal為局部模糊損失，ntarget為目標(biāo)區(qū)域中像素的數(shù)量，ii′為經(jīng)模型復(fù)原圖像中第i個(gè)像素的值，ii為清晰圖片中第i個(gè)像素的值。

31、s32、全局模糊損失函數(shù)如下：

32、

33、式中：lglocal為全局模糊損失，nimage為整張圖片的像素?cái)?shù)量。

34、s33、局部損失和全局損失權(quán)重分配如下：

35、

36、λglobal＝1-λlocal?(11)

37、式中：λlocal為局部損失的權(quán)重，取值范圍為0.6～1，λglobal為全局損失函數(shù)。

38、s34、綜合損失函數(shù)如下：

39、l＝λlocalllocal+λgloballblobal?(12)

40、式中：l為綜合損失。

41、s4、使用知識(shí)蒸餾的方式對(duì)模型輕量化處理，使輕量化模型在擁有原模型大部分圖像復(fù)原質(zhì)量的同時(shí)，還能夠大幅加快圖像復(fù)原的速度。

42、本發(fā)明具有如下有益效果：

43、1.通過殘差結(jié)構(gòu)，將多個(gè)階段的特征圖融合并增強(qiáng)特征，在保持圖像的原始分辨率的同時(shí)，利用多個(gè)階段的特征和注意力機(jī)制，提高圖像的復(fù)原質(zhì)量。最后將融合并增強(qiáng)的特征轉(zhuǎn)換為輸出圖片，使圖片不僅被細(xì)化和增強(qiáng)的同時(shí)也保留的基礎(chǔ)的細(xì)節(jié)。

44、2.通過先驗(yàn)信息的顏色和邊緣注意力機(jī)制，分目標(biāo)區(qū)域和背景區(qū)域并賦予不同的權(quán)重。應(yīng)用此權(quán)重，在目標(biāo)區(qū)域中進(jìn)行更專注的模糊復(fù)原，并使用聚合型損失函數(shù)，在目標(biāo)區(qū)域復(fù)原質(zhì)量較低時(shí)，提高目標(biāo)區(qū)域的損失權(quán)重，降低背景復(fù)原損失的影響，提高目標(biāo)區(qū)域的復(fù)原質(zhì)量。在復(fù)原質(zhì)量上mprnet所得的平均psnr為32.8，本發(fā)明中模糊復(fù)原模型為29.1，因本發(fā)明所復(fù)原的圖片更注重目標(biāo)部分，對(duì)于非目標(biāo)部分的復(fù)原狀況不佳，因此將目標(biāo)區(qū)域單獨(dú)提取出后進(jìn)行psnr測(cè)量的平均結(jié)果為31.7。

45、3.使用知識(shí)蒸餾的方法將模型輕量化，使用降低參數(shù)，減少特征增強(qiáng)模塊的方法，減少模型計(jì)算量，使得縮減后的模型相比于原模型在參數(shù)量上縮減了77％。在保留原模型大部分圖像復(fù)原能力的同時(shí)，提高無人船回收中運(yùn)動(dòng)模糊圖片的復(fù)原速度，相比于原模型，輕量化模型在速度上大約提高了30倍。在經(jīng)過多張圖片復(fù)原實(shí)驗(yàn)，本設(shè)備中mprnet復(fù)原一張圖片所消耗的時(shí)間為75s左右，本發(fā)明輕量化之后的模型復(fù)原一張圖片所消耗的時(shí)間為1.3s；由此證明，本發(fā)明中提到的輕量化方法既在速度上明顯提升，又對(duì)目標(biāo)區(qū)域的復(fù)原質(zhì)量有一定的保證。