本發(fā)明涉及害蟲識別領(lǐng)域，具體為一種應(yīng)用于害蟲識別領(lǐng)域的視覺和知識多模態(tài)大模型算法。

背景技術(shù)：

1、在傳統(tǒng)的害蟲識別模型中，訓(xùn)練數(shù)據(jù)集主要依賴于人工標注的害蟲圖像樣本。通常的流程是通過采集大量的害蟲圖像樣本，再由領(lǐng)域?qū)＜覍@些樣本進行人工標注，以此形成訓(xùn)練集。在模型訓(xùn)練過程中，利用卷積神經(jīng)網(wǎng)絡(luò)（cnn）等圖像識別算法對圖像進行特征提取和分類?；谶@種訓(xùn)練方法，識別模型能夠逐步學(xué)習不同害蟲的外部特征，從而對輸入的圖像進行分類，判斷圖像中的害蟲種類。此外，現(xiàn)有的一些害蟲識別技術(shù)也開始嘗試引入先驗知識，例如使用知識庫或簡單的規(guī)則系統(tǒng)，將專家的經(jīng)驗引入模型，以提升模型的識別能力。然而，這類方法的知識體系較為靜態(tài)，無法適應(yīng)復(fù)雜、多變的害蟲圖像特征，也難以通過模型學(xué)習動態(tài)優(yōu)化其推理能力。

2、專利公開號為cn113673340b的中國專利文獻公開了一種害蟲種類圖像識別方法及系統(tǒng)，通過引入空間注意力模塊和通道注意力網(wǎng)絡(luò)，對害蟲圖像更加精確的定位和跨通道的交互機制，并使害蟲識別模型更加關(guān)注有效的通道，進而降低了圖像背景對于害蟲分類準確性的影響，提高了分類的精度，實現(xiàn)了對害蟲種類的精準的識別，為農(nóng)業(yè)植物保護領(lǐng)域做出了貢獻；

3、然而現(xiàn)有技術(shù)中存在大規(guī)模害蟲圖像數(shù)據(jù)集的標注需要大量人工參與，既耗時又容易出錯，嚴重影響了模型的訓(xùn)練效率和識別效果；傳統(tǒng)識別模型對圖像特征過于依賴，無法充分利用害蟲知識圖譜中的先驗知識，導(dǎo)致模型在處理復(fù)雜圖像和語義信息時表現(xiàn)不佳。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種應(yīng)用于害蟲識別領(lǐng)域的視覺和知識多模態(tài)大模型算法，通過自動標注生成的第一偽隨機預(yù)測標簽與第二偽隨機預(yù)測標簽經(jīng)過多次迭代優(yōu)化，逐步生成干凈預(yù)測標簽，解決了背景技術(shù)中提出的技術(shù)問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：

3、一種應(yīng)用于害蟲識別領(lǐng)域的視覺和知識多模態(tài)大模型算法，算法用于害蟲識別模型進行害蟲的識別；識別方法，包括：

4、獲取待識別害蟲圖像；

5、將待識別害蟲圖像輸入至訓(xùn)練后的害蟲識別模型；

6、通過特征提取層提取待識別害蟲圖像的圖像特征；

7、將待識別害蟲圖像的圖像特征作為害蟲知識事實的頭實體；

8、若害蟲知識事實的頭實體存在于預(yù)構(gòu)建的害蟲知識圖譜中，則將頭實體及其依賴關(guān)系構(gòu)建為查詢向量，在預(yù)構(gòu)建的害蟲知識圖譜中查詢尾實體作為識別結(jié)果；

9、否則，將頭實體及其依賴關(guān)系作為害蟲識別模型的輸入特征，通過前向傳播輸出待識別害蟲圖像的識別結(jié)果。

10、在其中的一些實施例中，害蟲識別模型的訓(xùn)練流程包括：

11、s1.獲取害蟲圖像訓(xùn)練集，害蟲圖像訓(xùn)練集的訓(xùn)練樣本是具有干凈預(yù)測標簽的害蟲圖像樣本；

12、s2.使用害蟲圖像訓(xùn)練集訓(xùn)練知識圖譜模型；其中，知識圖譜模型嵌入有預(yù)構(gòu)建的害蟲知識圖譜；

13、s3，若訓(xùn)練至收斂條件，停止訓(xùn)練導(dǎo)出具有當前迭代模型參數(shù)的知識圖譜模型作為害蟲識別模型。

14、在其中的一些實施例中，獲取害蟲圖像訓(xùn)練集，包括：

15、s1-1.獲取若干未標注的害蟲圖像樣本并將其構(gòu)建為初始圖像集；

16、s1-2.接收初始圖像集的害蟲圖像樣本作為大模型的輸入特征，輸出第一偽隨機預(yù)測標簽；

17、輸出第一偽隨機預(yù)測標簽的表達式為：

18、表示初始圖像集中第q個害蟲圖像樣本的第一偽隨機預(yù)測標簽，表示激活函數(shù)，表示大模型的權(quán)重矩陣，表示初始圖像集中第q個害蟲圖像樣本的圖像特征，表示大模型的偏置項；

19、s1-3.將帶有第一偽隨機預(yù)測標簽的害蟲圖像樣本構(gòu)建為偽隨機標注集；

20、s1-4.通過偽隨機標注集自訓(xùn)練小模型，得到干凈預(yù)測標簽；

21、s1-5.選擇干凈預(yù)測標簽對應(yīng)的害蟲圖像樣本，構(gòu)建害蟲圖像訓(xùn)練集。

22、在其中的一些實施例中，通過偽隨機標注集自訓(xùn)練小模型，包括：

23、s1-4-1.接收偽隨機標注集的害蟲圖像樣本作為小模型的輸入特征，輸出第二偽隨機預(yù)測標簽；

24、輸出第二偽隨機預(yù)測標簽的表達式為：

25、表示偽隨機標注集中第q個害蟲圖像樣本的第二偽隨機預(yù)測標簽，表示小模型的權(quán)重矩陣，表示偽隨機標注集中第q個害蟲圖像樣本的圖像特征，表示小模型的偏置項；

26、s1-4-2.對第一偽隨機預(yù)測標簽編碼，生成第一偽隨機真實標簽；

27、s1-4-3.計算第二偽隨機預(yù)測標簽和第一偽隨機真實標簽的分類損失；

28、分類損失的表達式為：

29、表示分類損失，n表示害蟲圖像樣本數(shù)量，k表示類別標簽總數(shù)，表示第i個樣本的第一偽隨機真實標簽，表征樣本i屬于類別標簽j的預(yù)測概率，表示第i個樣本的第二偽隨機預(yù)測標簽，表征小模型輸出的樣本i屬于類別標簽j的預(yù)測概率，表示第i個樣本的第二偽隨機預(yù)測標簽的對數(shù)，用于計算交叉熵損失；

30、s1-4-4.根據(jù)預(yù)設(shè)的小損失策略，判定分類損失是否低于預(yù)設(shè)損失值；

31、判定分類損失是否低于預(yù)設(shè)損失值的表達式為：

32、表示預(yù)設(shè)損失值，預(yù)設(shè)損失值表示允許的最大分類損失；

33、s1-4-5.選擇低于預(yù)設(shè)損失值的分類損失對應(yīng)的第二偽隨機預(yù)測標簽，確定為干凈預(yù)測標簽。

34、在其中的一些實施例中，使用害蟲圖像訓(xùn)練集訓(xùn)練知識圖譜模型，包括：

35、s2-1.將害蟲知識圖譜的頭實體定義為知識圖譜模型的輸入特征.尾實體定義為知識圖譜模型的輸出標簽.關(guān)系定義為知識圖譜模型中頭實體和尾實體之間的依賴關(guān)系，構(gòu)建真實的害蟲知識事實；

36、構(gòu)建真實的害蟲知識事實的表達式為：

37、t表示真實的害蟲知識事實，表征在害蟲知識圖譜中的一個關(guān)系實體，表示頭實體，表示依賴關(guān)系，表征頭實體與尾實體之間的關(guān)聯(lián)，表示尾實體，表征與頭實體通過依賴關(guān)系連接的對象；

38、s2-2.接收害蟲圖像訓(xùn)練集中的害蟲圖像樣本作為知識圖譜模型輸入特征，通過圖像特征提取得到害蟲圖像樣本的特征向量；

39、s2-3.給定害蟲圖像樣本的特征向量作為害蟲知識事實的頭實體，基于頭實體與依賴關(guān)系，輸出預(yù)測的尾實體，以得到預(yù)測的害蟲知識事實；

40、得到預(yù)測的害蟲知識事實的表達式為：

41、

42、表示預(yù)測的害蟲知識事實，表示給定的害蟲圖像樣本的特征向量；表示知識圖譜模型預(yù)測的尾實體，表示知識圖譜模型的權(quán)重矩陣，是知識圖譜模型的偏置項；

43、s2-4.計算預(yù)測的害蟲知識事實和真實的害蟲知識事實之間的匹配度；

44、計算預(yù)測的害蟲知識事實和真實的害蟲知識事實之間的匹配度的表達式為：

45、

46、表示預(yù)測的害蟲知識事實和真實的害蟲知識事實之間的匹配度，表示給定的害蟲圖像樣本的特征向量和尾實體向量之間的范數(shù)；

47、s2-5.根據(jù)匹配度計算害蟲知識事實損失；

48、計算害蟲知識事實損失的表達式為：

49、

50、表示害蟲知識事實損失，表示負樣本害蟲知識事實和真實的害蟲知識事實之間的匹配度，表示預(yù)測超參數(shù)，表示非負符號；

51、s2-6.執(zhí)行反向傳播，逐步調(diào)整模型參數(shù)，以得到最小化害蟲知識事實損失。

52、在其中的一些實施例中，執(zhí)行反向傳播，包括：

53、s2-6-1，獲取當前迭代的害蟲知識事實損失，計算當前迭代的害蟲知識事實損失相對于模型參數(shù)的梯度；

54、s2-6-2，根據(jù)模型參數(shù)的梯度，將其反向傳播，得到更新后模型參數(shù)

55、s2-6-3，根據(jù)更新后模型參數(shù)，執(zhí)行下一迭代的前向傳播，輸出預(yù)測尾實體。

56、在其中的一些實施例中，收斂條件包括：害蟲知識事實損失達到預(yù)設(shè)損失閾值或訓(xùn)練輪次達到預(yù)設(shè)最大訓(xùn)練次數(shù)。

57、在其中的一些實施例中，根據(jù)查詢向量在預(yù)構(gòu)建的害蟲知識圖譜中查詢尾實體作為識別結(jié)果，包括：

58、獲取害蟲知識事實（h,r,x）,其中，h是已獲取的頭實體，r是已獲取的頭實體和待識別尾實體x之間的依賴關(guān)系；

59、在預(yù)構(gòu)建的害蟲知識圖譜中，查詢是否存在已獲取頭實體h；若存在，將已獲取的頭實體h和依賴關(guān)系r構(gòu)建為查詢向量q；

60、使用查詢向量在預(yù)構(gòu)建的害蟲知識圖譜中查詢，根據(jù)頭實體和依賴關(guān)系，選擇確定的尾實體作為查詢的識別結(jié)果。

61、本發(fā)明提供了一種應(yīng)用于害蟲識別領(lǐng)域的視覺和知識多模態(tài)大模型算法，通過自動標注生成的第一偽隨機預(yù)測標簽與第二偽隨機預(yù)測標簽經(jīng)過多次迭代優(yōu)化，實現(xiàn)了自動化標簽生成，減少了人工干預(yù)和時間成本，大幅提高了高質(zhì)量訓(xùn)練集構(gòu)建效率；能在標簽不足或標注不全的情況下，依賴知識圖譜提供的背景信息，增強模型的推理能力，從而提高害蟲識別準確性。