本發(fā)明屬于智能識別領(lǐng)域，尤其涉及船舶名稱智能識別方法。

背景技術(shù)：

1、在現(xiàn)代航運業(yè)中，船舶名稱的準(zhǔn)確識別在港口管理、船舶監(jiān)控和航行安全等方面扮演著重要角色。然而，船舶名稱識別的復(fù)雜性和多樣性使其成為一個技術(shù)難題。傳統(tǒng)的船名識別方法主要依賴于人工監(jiān)控和簡單的圖像處理技術(shù)，這些方法在面對不同的船名標(biāo)識風(fēng)格、復(fù)雜的背景、變化的環(huán)境條件和多語言支持等挑戰(zhàn)時，表現(xiàn)出明顯的局限性。具體來說，傳統(tǒng)方法往往在以下幾個方面存在問題：

2、多樣化的船名標(biāo)識風(fēng)格：船舶名稱可能采用各種不同的字體、顏色、大小和排版方式，傳統(tǒng)的圖像處理方法難以適應(yīng)這種多樣性，導(dǎo)致識別率較低。

3、變化的環(huán)境條件：船舶在不同的季節(jié)、時間段、天氣條件下，其名稱標(biāo)識的可見度和清晰度會受到影響。傳統(tǒng)的靜態(tài)圖像處理方法難以應(yīng)對光照、角度和背景變化帶來的挑戰(zhàn)，常常導(dǎo)致誤報和漏報。

4、多語言支持：隨著國際航運的普及，船舶名稱中包含多種語言的字符，如中文、英文和其他語言。傳統(tǒng)方法在多語言識別方面存在顯著不足，難以準(zhǔn)確識別非本地語言的船名。

5、復(fù)雜背景：船名標(biāo)識所在的背景可能包含復(fù)雜的圖案、顏色和污漬等干擾，進(jìn)一步增加了識別的難度。傳統(tǒng)方法在復(fù)雜背景下的識別準(zhǔn)確率較低。

6、實時性要求：在船舶進(jìn)出港口、航行等過程中，實時識別船名對提高港口管理效率和航行安全至關(guān)重要。然而，傳統(tǒng)方法的處理速度往往無法滿足實時性要求。

7、針對上述問題，現(xiàn)有技術(shù)主要通過改進(jìn)圖像處理算法和增強計算能力來提高識別效果，但仍存在明顯不足。這些方法在應(yīng)對復(fù)雜的實際應(yīng)用場景時，仍難以保證高精度和高魯棒性。具體來說，現(xiàn)有技術(shù)主要存在以下缺點：

8、識別精度不足：在面對多樣化的船名標(biāo)識風(fēng)格和復(fù)雜背景時，傳統(tǒng)方法的識別準(zhǔn)確率較低。

9、適應(yīng)性差：對不同環(huán)境條件和多語言支持的適應(yīng)性較差，難以在多變的實際場景中應(yīng)用。

10、實時性不足：傳統(tǒng)方法的處理速度較慢，難以滿足實時識別的需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提出船舶名稱智能識別方法，通過創(chuàng)新性地結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)、transformer和圖神經(jīng)網(wǎng)絡(luò)，并引入自監(jiān)督學(xué)習(xí)、多任務(wù)聯(lián)合訓(xùn)練、attention機制、實時處理與動態(tài)調(diào)整等技術(shù)，不僅解決了現(xiàn)有技術(shù)在船名識別中的識別精度、適應(yīng)性和實時性問題，還顯著提升了系統(tǒng)在復(fù)雜環(huán)境和多語言支持下的魯棒性和準(zhǔn)確性。該方案在實際應(yīng)用中具有廣泛的前景和潛在的商業(yè)價值。

2、為了達(dá)到上述目的，在本發(fā)明提供了船舶名稱智能識別方法，所述方法包括：

3、s1、采集船舶圖像和多種語言的船名標(biāo)識樣本集合和多種語言的船名標(biāo)識樣本集合，然后對船舶圖像和多種語言的船名標(biāo)識樣本集合進(jìn)行數(shù)據(jù)增強，并對增強后船舶圖像數(shù)據(jù)進(jìn)行質(zhì)量控制和標(biāo)注校驗，將校驗船舶圖像數(shù)據(jù)與增強后的多種語言的船名標(biāo)識樣本集合進(jìn)行多模態(tài)數(shù)據(jù)融合，得到最終的數(shù)據(jù)集和標(biāo)簽；

4、s2、在最終的數(shù)據(jù)集中進(jìn)行特征提取，設(shè)計自監(jiān)督學(xué)習(xí)模型，將提取到的特征對自監(jiān)督學(xué)習(xí)模型進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練，然后結(jié)合標(biāo)簽再進(jìn)行多任務(wù)訓(xùn)練，得輸出訓(xùn)練后的高質(zhì)量特征表示數(shù)據(jù)集；

5、s3、構(gòu)建基于深度卷積神經(jīng)網(wǎng)絡(luò)與transformer的混合模型，使用高質(zhì)量特征表示數(shù)據(jù)集對混合模型進(jìn)行訓(xùn)練，得到混合模型輸出特征向量；

6、s4、設(shè)計任務(wù)，所述任務(wù)包括船名檢測子任務(wù)和字符識別子任務(wù)，然后根據(jù)混合模型輸出特征向量構(gòu)建多任務(wù)共享模型，將多任務(wù)共享模型的輸出作為輸入輸入到船名檢測網(wǎng)絡(luò)中進(jìn)行船名區(qū)域特征的提取，然后將船名檢測網(wǎng)絡(luò)中的船名區(qū)域特征輸入到字符識別網(wǎng)絡(luò)進(jìn)行字符特征向量的提取；

7、s5、使用將船名區(qū)域特征和字符特征向量構(gòu)建圖神經(jīng)網(wǎng)絡(luò)，并通過圖神經(jīng)網(wǎng)絡(luò)與多頭自注意力機制對船名區(qū)域特征和字符特征向量的關(guān)系進(jìn)行優(yōu)化；

8、s6、將圖神經(jīng)網(wǎng)絡(luò)輸出的特征表示作為輕量級檢測模型的輸入，通過輕量級檢測模型進(jìn)行實時船名區(qū)域的初步檢測并將初步檢測到的船名區(qū)域添加到圖神經(jīng)網(wǎng)絡(luò)輸出的特征表示，然后根據(jù)環(huán)境條件動態(tài)調(diào)整特征權(quán)重進(jìn)行特征增強，將增強后的特征輸入到字符識別網(wǎng)絡(luò)進(jìn)行字符識別得到識別到的船舶名稱字符。

9、進(jìn)一步地，在所述s1中，所述數(shù)據(jù)增強包括光照變換增強、角度變換增強、背景替換增強；

10、所述多模態(tài)數(shù)據(jù)融合將每張圖像ii和其對應(yīng)的元數(shù)據(jù)mi進(jìn)行融合，表示如下：

11、fi＝concat(φ(ii),ψ(mi))

12、其中，fi表示聯(lián)合特征表示，φ(ii)表示從圖像提取的特征，ψ(mi)表示從元數(shù)據(jù)提取的特征，concat表示拼接操作獲得聯(lián)合特征表示；使用聯(lián)合特征表示fi結(jié)合高質(zhì)量標(biāo)注數(shù)據(jù)集進(jìn)行融合數(shù)據(jù)增強，其中融合公式，表示如下：

13、

14、生成豐富的增強樣本集合

15、進(jìn)一步地，所述將提取到的特征對自監(jiān)督學(xué)習(xí)模型進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練，具體包括：

16、對于每對增強圖像(ii,i′i)，定義對比損失函數(shù)，使得相同樣本的不同增強圖像的特征表示盡可能相似，不同樣本的特征表示盡可能不同。具體公式為：

17、

18、其中，zi和z′i表示相同圖像ii的不同增強版本的特征表示，sim(·,·)表示相似度函數(shù)，τ表示溫度參數(shù)；

19、對于每個原始圖像ii，生成兩種不同的數(shù)據(jù)增強版本ii,a和ii,b，使用基于resnet的編碼器f(·)提取特征表示，得到特征向量，并對特征向量進(jìn)行l(wèi)2歸一化；

20、使用對比損失函數(shù)訓(xùn)練編碼器f(·)，優(yōu)化目標(biāo)為最小化損失函數(shù)，表示如下：

21、

22、對所有增強圖像進(jìn)行特征提取，生成特征表示，并通過k-means聚類算法對特征表示進(jìn)行聚類，生成偽標(biāo)簽；

23、使用多任務(wù)學(xué)習(xí)框架，結(jié)合偽標(biāo)簽分類任務(wù)和船名識別任務(wù)，進(jìn)行聯(lián)合訓(xùn)練，所述多任務(wù)學(xué)習(xí)框架的多任務(wù)損失函數(shù)為：

24、

25、其中，表示偽標(biāo)簽分類損失，表示船名識別損失，λ表示權(quán)重超參數(shù)；

26、其中，偽標(biāo)簽分類損失，表示如下：

27、

28、其中，σk表示分類器的第k類輸出概率，k表示類別總數(shù)，n表示樣本總數(shù)；

29、船名識別損失，表示如下：

30、

31、其中，p(ri|ii)表示給定圖像ii的船名區(qū)域預(yù)測概率。

32、進(jìn)一步地，使用預(yù)訓(xùn)練的resnet50作為深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型，提取圖像的局部特征圖fi，將局部特征圖fi展開為二維矩陣然后進(jìn)行展平操作得到特征序列si，定義位置編碼矩陣p∈r(h×w)×c，通過將位置編碼矩陣p∈r(h×w)×c添加到特征序列si中，得到特征序列s′i，使用多頭自注意力機制和前饋神經(jīng)網(wǎng)絡(luò)構(gòu)建transformer編碼器，對特征序列s′i進(jìn)行處理，得到輸出ti,將transformer編碼器層的輸出ti經(jīng)過全連接層，得到最終的輸出特征向量oi。

33、進(jìn)一步地，所述多任務(wù)共享模型利用步驟s3中訓(xùn)練好的混合模型提取圖像特征，共享特征提取網(wǎng)絡(luò)的輸出為fi，將共享特征fi輸入到船名檢測子網(wǎng)絡(luò)，預(yù)測船名區(qū)域的邊界框坐標(biāo)和類別，再將船名檢測子網(wǎng)絡(luò)預(yù)測的船名區(qū)域特征ri輸入到字符識別子網(wǎng)絡(luò)，預(yù)測船名字符序列。

34、進(jìn)一步地，所述船名檢測子網(wǎng)絡(luò)的輸出di，表示如下：

35、di＝detectionhead(fi)

36、邊界框回歸和類別預(yù)測的損失函數(shù)分別為和表示如下：

37、

38、

39、其中，bj和分別表示真實和預(yù)測的邊界框坐標(biāo)，cj和分別表示真實和預(yù)測的類別概率；

40、所述字符識別子網(wǎng)絡(luò)的輸出ci，表示如下：

41、ci＝recognitionhead(ri))

42、字符識別的損失函數(shù)為連接性時序分類損失表示如下：

43、

44、其中，yi表示真實的字符序列標(biāo)簽，p(yi|ci)表示給定特征ci的字符序列預(yù)測概率。

45、進(jìn)一步地，將船名檢測子網(wǎng)絡(luò)的損失函數(shù)和字符識別子網(wǎng)絡(luò)的損失結(jié)合，得到訓(xùn)練后的多任務(wù)總損失函數(shù)表示如下：

46、

47、其中，α、β和γ表示任務(wù)損失的權(quán)重超參數(shù)，通過超參數(shù)調(diào)優(yōu)確定最優(yōu)值。

48、進(jìn)一步地，將檢測到的船名區(qū)域內(nèi)的字符構(gòu)建成圖神經(jīng)網(wǎng)絡(luò)，字符作為圖的節(jié)點，字符間的關(guān)系作為圖的邊，然后對每個字符節(jié)點vi，使用字符識別子網(wǎng)絡(luò)的輸出特征向量初始化節(jié)點特征，使用圖卷積網(wǎng)絡(luò)進(jìn)行節(jié)點特征更新，通過鄰接節(jié)點的信息傳播更新節(jié)點特征；所述圖卷積網(wǎng)絡(luò)的更新規(guī)則表示如下：

49、

50、其中，表示節(jié)點vi在第1層的特征向量，表示節(jié)點vi的鄰居節(jié)點集合，di和dj分別表示節(jié)點vi和vj的度，w(l)表示第1層的權(quán)重矩陣，σ表示激活函數(shù)；

51、在圖卷積層的基礎(chǔ)上，使用多頭自注意力機制進(jìn)一步融合節(jié)點特征，捕捉字符間的全局關(guān)聯(lián)，其中，定義多頭自注意力機制，表示如下：

52、

53、其中，表示可學(xué)習(xí)的權(quán)重矩陣；

54、其中，注意力計算公式為：

55、

56、將多個頭的輸出拼接并通過線性變換得到最終輸出：

57、

58、其中，wo為輸出權(quán)重矩陣。

59、進(jìn)一步地，使用交叉熵?fù)p失函數(shù)對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最小化預(yù)測輸出與真實標(biāo)簽之間的差異，所述交叉熵?fù)p失函數(shù)表示如下：

60、

61、其中，yi表示圖像ii的真實標(biāo)簽，og表示模型預(yù)測輸出；

62、為了防止模型過擬合，引入l2正則化項表示如下：

63、

64、其中，λ為正則化系數(shù)，wk為模型中的可學(xué)習(xí)參數(shù)。

65、定義圖神經(jīng)網(wǎng)絡(luò)的總損失函數(shù)為：

66、

67、使用adam優(yōu)化器進(jìn)行圖神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化，優(yōu)化目標(biāo)為最小化總損失函數(shù)，表示如下：

68、

69、其中，θ表示圖神經(jīng)網(wǎng)絡(luò)的所有可學(xué)習(xí)參數(shù)。

70、進(jìn)一步地，在進(jìn)行實時識別的時候，設(shè)計動態(tài)權(quán)重調(diào)整機制，根據(jù)實時光照、角度和背景變化調(diào)整特征權(quán)重，定義權(quán)重調(diào)整函數(shù)tadjust：

71、(α,β,γ)＝tadjust(li,j,ai,j,ci,j)

72、其中，tadjust通過一個多層感知機mlp實現(xiàn)，表示如下：

73、tadjust(li,j,ai,j,ci,j)＝mlp(concat(li,j,ai,j,ci,j))

74、其中，α,β,γ表示實時光照、角度和背景變化調(diào)整特征權(quán)重，li,j,ai,j,ci,j表示實時光照、角度和背景變化的特征。

75、本發(fā)明的有益技術(shù)效果至少在于以下：

76、(1)本發(fā)明通過結(jié)合cnn和transformer的混合模型，利用cnn提取局部特征，再通過transformer捕捉全局特征和上下文關(guān)系。這種創(chuàng)新性架構(gòu)不僅能夠處理船名標(biāo)識的細(xì)節(jié)，還能增強對復(fù)雜背景和多樣性船名的識別能力，從而大幅提高識別精度。

77、(2)本發(fā)明利用自監(jiān)督學(xué)習(xí)技術(shù)，在無標(biāo)簽數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，生成偽標(biāo)簽，降低數(shù)據(jù)標(biāo)注成本。同時，設(shè)計多任務(wù)聯(lián)合訓(xùn)練模型，結(jié)合船名檢測、字符識別和背景分割三個任務(wù)，提升模型的泛化能力和準(zhǔn)確性，特別是在不同環(huán)境條件和多語言支持方面具有顯著優(yōu)勢。

78、(3)本發(fā)明利用gnn捕捉字符間的空間關(guān)系和結(jié)構(gòu)信息，通過attention機制增強字符間的關(guān)聯(lián)性和上下文信息。此設(shè)計不僅提高了復(fù)雜背景下的字符檢測精度，還增強了模型在多語言環(huán)境下的適應(yīng)性。

79、(4)為了滿足實時性的需求，本發(fā)明采用輕量級的yolo或ssd進(jìn)行船名區(qū)域的初步檢測，確保識別過程的快速響應(yīng)。同時，設(shè)計自適應(yīng)特征增強模塊，根據(jù)實時光照、角度和背景動態(tài)調(diào)整特征權(quán)重，優(yōu)化識別效果，確保在不同環(huán)境條件下的高精度識別。

80、(5)本發(fā)明設(shè)計多語言字符識別模塊，支持中、英文及其他主要語言的船名識別。通過字符歸一化算法，將多行印刷的船名標(biāo)識字符歸一化到同一行，提高字符的可識別性，從而增強多語言識別的準(zhǔn)確性。