本技術(shù)涉及農(nóng)業(yè)生產(chǎn)領(lǐng)域，尤其涉及一種農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法、相應(yīng)的裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著農(nóng)業(yè)現(xiàn)代化的發(fā)展，植保無人機(jī)航空噴施技術(shù)在農(nóng)作物病蟲害防治中得到了廣泛應(yīng)用。該技術(shù)具有作業(yè)效率高、施藥均勻、節(jié)省農(nóng)藥和水源等優(yōu)點(diǎn)，逐漸成為農(nóng)業(yè)植保作業(yè)的首選方式。然而，在噴施過程中，霧滴的數(shù)量、大小、分布率和速度等參數(shù)對(duì)噴施效果有著重要影響，因此需要對(duì)霧滴進(jìn)行檢測(cè)與跟蹤，以優(yōu)化噴施參數(shù)并控制噴施質(zhì)量。

2、水敏紙是一種常用的檢測(cè)霧滴噴施效果的方法，它可以反映出噴霧沉積的分布、覆蓋度和液滴大小。然而，水敏紙的放置位置和角度難以控制，不同的放置方式可能導(dǎo)致霧滴沉積測(cè)量情況的差異，從而影響測(cè)量結(jié)果的可靠性和一致性。此外，水敏紙?jiān)诓煌h(huán)境條件下的反應(yīng)也可能有所不同，增加了測(cè)量的不確定性。熒光染料方法通過在藥液中添加熒光染料，可以清晰地顯示霧滴在冠層和地面的分布情況。然而，熒光染料的選擇和添加比例較為復(fù)雜，熒光染料的成分和濃度會(huì)影響藥液的物理和化學(xué)性質(zhì)，檢測(cè)需要特殊的設(shè)備和條件，且由于熒光物質(zhì)的特殊性，試驗(yàn)結(jié)果易受環(huán)境因素影響。這些傳統(tǒng)方法雖然在一定程度上能夠提供霧滴分布的信息，但其操作復(fù)雜、成本高、受環(huán)境影響大，難以在實(shí)際應(yīng)用中廣泛推廣。

3、在農(nóng)業(yè)噴施場(chǎng)景中，霧滴目標(biāo)通常較小，且在不同光照條件下清晰程度變化較大，增加了檢測(cè)的難度。霧滴在飛行過程中會(huì)相互遮擋和碰撞，這些現(xiàn)象使得檢測(cè)和跟蹤變得更加復(fù)雜。傳統(tǒng)的目標(biāo)檢測(cè)方法基于傳統(tǒng)特征提取器以提取圖像特征，并采用滑動(dòng)窗口來生成大量目標(biāo)候選區(qū)域，無法有效地處理這些困難。

4、現(xiàn)有研究中，雖然有一些方法可以檢測(cè)和跟蹤霧滴，但大多數(shù)方法缺乏對(duì)霧滴運(yùn)動(dòng)軌跡和分布的詳細(xì)分析和計(jì)算方案。霧滴在飛行過程中會(huì)受到風(fēng)速、風(fēng)向、重力等多種因素的影響，其運(yùn)動(dòng)軌跡和分布具有復(fù)雜性和不確定性?，F(xiàn)有的檢測(cè)和跟蹤算法在處理這些復(fù)雜性時(shí)，往往難以提供準(zhǔn)確和詳細(xì)的運(yùn)動(dòng)軌跡和分布信息。

5、綜上所述，適應(yīng)現(xiàn)有技術(shù)中熒光染料的選擇和添加比例較為復(fù)雜，其操作復(fù)雜、成本高、受環(huán)境影響大，難以在實(shí)際應(yīng)用中廣泛推廣，以及基于傳統(tǒng)特征提取器以提取圖像特征，并采用滑動(dòng)窗口來生成大量目標(biāo)候選區(qū)域，無法有效地處理霧滴檢測(cè)和跟蹤變得更加復(fù)雜等問題，本技術(shù)人出于解決該問題的考慮作出相應(yīng)的探索。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的在于解決上述問題而提供一種農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法、相應(yīng)的裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

2、為滿足本技術(shù)的各個(gè)目的，本技術(shù)采用如下技術(shù)方案：

3、適應(yīng)本技術(shù)的目的之一而提出的一種農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法，包括：

4、響應(yīng)對(duì)農(nóng)業(yè)噴施霧滴進(jìn)行檢測(cè)與跟蹤的指令，獲取無人機(jī)在農(nóng)業(yè)噴施作業(yè)過程中的噴施霧滴圖像幀；

5、采用已訓(xùn)練至收斂狀態(tài)的改進(jìn)的yolov5s模型對(duì)所述噴施霧滴圖像幀進(jìn)行目標(biāo)檢測(cè)，以確定所述噴施霧滴圖像幀中每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框，其中，所述改進(jìn)的yolov5s模型的特征融合網(wǎng)絡(luò)中的卷積層為gsconv；

6、采用預(yù)設(shè)的deepsort模型對(duì)每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框進(jìn)行目標(biāo)跟蹤，以確定每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的目標(biāo)跟蹤結(jié)果，其中，所述目標(biāo)跟蹤結(jié)果包括每個(gè)霧滴目標(biāo)的唯一標(biāo)識(shí)符、位置、尺寸以及運(yùn)動(dòng)軌跡；

7、根據(jù)所述每個(gè)霧滴目標(biāo)的唯一標(biāo)識(shí)符、位置、尺寸以及運(yùn)動(dòng)軌跡確定無人機(jī)的霧滴噴灑參數(shù)，將所述霧滴噴灑參數(shù)輸入至無人機(jī)控制系統(tǒng)中，控制無人機(jī)對(duì)農(nóng)作物進(jìn)行精準(zhǔn)噴灑，以完成農(nóng)業(yè)噴施霧滴的檢測(cè)與跟蹤。

8、可選的，采用預(yù)設(shè)的deepsort模型對(duì)每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框進(jìn)行目標(biāo)跟蹤，以確定每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的目標(biāo)跟蹤結(jié)果的步驟,包括：

9、采用deepsort模型中的卡爾曼濾波器對(duì)每個(gè)霧滴目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行建模和預(yù)測(cè)，生成每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的預(yù)測(cè)框；

10、在當(dāng)前噴施霧滴圖像幀中，采用級(jí)聯(lián)匹配策略對(duì)所述預(yù)測(cè)框與所述候選框進(jìn)行匹配，首先采用osnet網(wǎng)絡(luò)提取所述噴施霧滴圖像幀中的所述預(yù)測(cè)框以及所述候選框的外觀特征向量，采用深度關(guān)聯(lián)度量方法根據(jù)所述預(yù)測(cè)框以及所述候選框的外觀特征向量，計(jì)算確定所述預(yù)測(cè)框與所述候選框之間的相似度，以進(jìn)行特征比較；

11、若外觀特征匹配成功，更新所述卡爾曼濾波器的運(yùn)動(dòng)狀態(tài)，若外觀特征匹配失敗，則采用所述預(yù)測(cè)框與所述候選框之間的交并比進(jìn)行二次匹配，以確定所述預(yù)測(cè)框是否與所述候選框關(guān)聯(lián)；

12、對(duì)于匹配成功的霧滴目標(biāo)，更新其相對(duì)應(yīng)的外觀特征和運(yùn)動(dòng)狀態(tài)，并為未匹配的候選框創(chuàng)建新的跟蹤器，初始化其相對(duì)應(yīng)的外觀特征和運(yùn)動(dòng)狀態(tài)；

13、采用所述卡爾曼濾波器，持續(xù)跟蹤在噴施霧滴圖像幀中出現(xiàn)遮擋或丟失的霧滴目標(biāo)，當(dāng)霧滴目標(biāo)在后續(xù)圖像幀中重新被檢測(cè)到時(shí)，根據(jù)之前的狀態(tài)預(yù)測(cè)和深度關(guān)聯(lián)度量，重新識(shí)別并分配正確的唯一標(biāo)識(shí)符給所述霧滴目標(biāo)；

14、輸出每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的唯一標(biāo)識(shí)符、位置、尺寸以及運(yùn)動(dòng)軌跡，以完成對(duì)每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框的目標(biāo)跟蹤。

15、可選的，采用所述卡爾曼濾波器，持續(xù)跟蹤在噴施霧滴圖像幀中出現(xiàn)遮擋或丟失的霧滴目標(biāo)，當(dāng)霧滴目標(biāo)在后續(xù)圖像幀中重新被檢測(cè)到時(shí)，根據(jù)之前的狀態(tài)預(yù)測(cè)和深度關(guān)聯(lián)度量，重新識(shí)別并分配正確的唯一標(biāo)識(shí)符給所述霧滴目標(biāo)的步驟，包括：

16、采用卡爾曼濾波器對(duì)霧滴目標(biāo)的位置和速度進(jìn)行估計(jì)和修正，根據(jù)系統(tǒng)模型和上一時(shí)刻的狀態(tài)估計(jì)，對(duì)當(dāng)前時(shí)刻的狀態(tài)進(jìn)行預(yù)測(cè)，并計(jì)算預(yù)測(cè)誤差的協(xié)方差矩陣，其計(jì)算公式包括：

17、xk+1＝axk+buk+wk，

18、

19、其中，和分別是對(duì)下一個(gè)時(shí)刻的狀態(tài)和誤差協(xié)方差矩陣的預(yù)測(cè)值，和pk-1分別是對(duì)當(dāng)前時(shí)刻的狀態(tài)和誤差協(xié)方差矩陣的最優(yōu)估計(jì)值，qk是過程噪聲的協(xié)方差矩陣；

20、根據(jù)當(dāng)前時(shí)刻的觀測(cè)值和預(yù)測(cè)值，對(duì)狀態(tài)估計(jì)進(jìn)行修正，并更新協(xié)方差矩陣，其計(jì)算公式包括：

21、

22、其中，kk是卡爾曼增益，是狀態(tài)向量的估計(jì)值，pk是狀態(tài)向量的協(xié)方差矩陣，zk是觀測(cè)向量，hk是觀測(cè)矩陣，rk是觀測(cè)噪聲的協(xié)方差矩陣，i是單位矩陣。

23、可選的，采用osnet網(wǎng)絡(luò)提取所述噴施霧滴圖像幀中的所述預(yù)測(cè)框以及所述候選框的外觀特征向量，采用深度關(guān)聯(lián)度量方法根據(jù)所述預(yù)測(cè)框以及所述候選框的外觀特征向量，計(jì)算確定所述預(yù)測(cè)框與所述候選框之間的相似度，以進(jìn)行特征比較的步驟之后，包括：

24、響應(yīng)數(shù)據(jù)關(guān)聯(lián)指令，調(diào)用deepsort模型中的匈牙利算法最小化所述霧滴目標(biāo)相對(duì)應(yīng)的預(yù)測(cè)框與所述候選框之間的總匹配成本。

25、可選的，采用已訓(xùn)練至收斂狀態(tài)的改進(jìn)的yolov5s模型對(duì)所述噴施霧滴圖像幀進(jìn)行目標(biāo)檢測(cè)，以確定所述噴施霧滴圖像幀中每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框的步驟，包括：

26、所述改進(jìn)的yolov5s模型的主干特征提取網(wǎng)絡(luò)為cspdarknet53網(wǎng)絡(luò)，特征融合網(wǎng)絡(luò)采用特征金字塔網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)，所述特征金字塔網(wǎng)絡(luò)以及路徑聚合網(wǎng)絡(luò)包括多個(gè)gsconv。

27、可選的，采用已訓(xùn)練至收斂狀態(tài)的改進(jìn)的yolov5s模型對(duì)所述噴施霧滴圖像幀進(jìn)行目標(biāo)檢測(cè)，以確定所述噴施霧滴圖像幀中每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框的步驟，包括：

28、將所述噴施霧滴圖像幀輸入至所述改進(jìn)的yolov5s模型的cspdarknet53主干網(wǎng)絡(luò)，以提取多層次特征；

29、在特征融合階段，采用gsconv替代傳統(tǒng)卷積，將輸入特征圖進(jìn)行并行的兩步操作，一部分先進(jìn)行普通卷積，再進(jìn)行批量歸一化，另一部分先進(jìn)行深度卷積后，進(jìn)行批量歸一化，然后通過連接操作把兩個(gè)部分的輸出結(jié)果連接起來，再將連接的結(jié)果打亂，以避免特征按照某種順序進(jìn)行排列導(dǎo)致過擬合現(xiàn)象；

30、在特征金字塔網(wǎng)絡(luò)中將來自不同層的特征圖進(jìn)行上采樣與融合，形成豐富的高層語義信息，在路徑聚合網(wǎng)絡(luò)中進(jìn)一步增強(qiáng)特征融合，通過自下而上的路徑傳遞低層特征，以提升對(duì)霧滴小目標(biāo)的檢測(cè)能力；

31、將融合后的特征圖輸入改進(jìn)的yolov5s模型的檢測(cè)頭，預(yù)測(cè)每個(gè)候選框的邊界框坐標(biāo)、置信度和類別概率；

32、計(jì)算確定每個(gè)霧滴目標(biāo)的候選框與真實(shí)框之間的交并比，根據(jù)所述交并比以及非極大值抑制算法確定所述霧滴目標(biāo)的最終候選框。

33、可選的，所述霧滴噴灑參數(shù)包括噴灑量、噴灑時(shí)間、噴灑角度、噴灑速度以及霧滴分布；所述霧滴目標(biāo)包括農(nóng)藥霧滴或肥料霧滴。

34、適應(yīng)本技術(shù)的另一目的而提供的一種農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤裝置，包括：

35、圖像幀獲取模塊，設(shè)置為響應(yīng)對(duì)農(nóng)業(yè)噴施霧滴進(jìn)行檢測(cè)與跟蹤的指令，獲取無人機(jī)在農(nóng)業(yè)噴施作業(yè)過程中的噴施霧滴圖像幀；

36、目標(biāo)檢測(cè)模塊，設(shè)置為采用已訓(xùn)練至收斂狀態(tài)的改進(jìn)的yolov5s模型對(duì)所述噴施霧滴圖像幀進(jìn)行目標(biāo)檢測(cè)，以確定所述噴施霧滴圖像幀中每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框，其中，所述改進(jìn)的yolov5s模型的特征融合網(wǎng)絡(luò)中的卷積層為gsconv；

37、目標(biāo)跟蹤模塊，設(shè)置為采用預(yù)設(shè)的deepsort模型對(duì)每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的候選框進(jìn)行目標(biāo)跟蹤，以確定每個(gè)霧滴目標(biāo)相對(duì)應(yīng)的目標(biāo)跟蹤結(jié)果，其中，所述目標(biāo)跟蹤結(jié)果包括每個(gè)霧滴目標(biāo)的唯一標(biāo)識(shí)符、位置、尺寸以及運(yùn)動(dòng)軌跡；

38、噴灑控制模塊，設(shè)置為根據(jù)所述每個(gè)霧滴目標(biāo)的唯一標(biāo)識(shí)符、位置、尺寸以及運(yùn)動(dòng)軌跡確定無人機(jī)的霧滴噴灑參數(shù)，將所述霧滴噴灑參數(shù)輸入至無人機(jī)控制系統(tǒng)中，控制無人機(jī)對(duì)農(nóng)作物進(jìn)行精準(zhǔn)噴灑，以完成農(nóng)業(yè)噴施霧滴的檢測(cè)與跟蹤。

39、適應(yīng)本技術(shù)的另一目的而提供的一種電子設(shè)備，包括中央處理器和存儲(chǔ)器，所述中央處理器用于調(diào)用運(yùn)行存儲(chǔ)于所述存儲(chǔ)器中的計(jì)算機(jī)程序以執(zhí)行本技術(shù)所述農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法的步驟。

40、適應(yīng)本技術(shù)的另一目的而提供的一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其以計(jì)算機(jī)可讀指令的形式存儲(chǔ)有依據(jù)所述農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法所實(shí)現(xiàn)的計(jì)算機(jī)程序，該計(jì)算機(jī)程序被計(jì)算機(jī)調(diào)用運(yùn)行時(shí)，執(zhí)行相應(yīng)的方法所包括的步驟。

41、相對(duì)于現(xiàn)有技術(shù)，本技術(shù)針對(duì)現(xiàn)有技術(shù)中熒光染料的選擇和添加比例較為復(fù)雜，其操作復(fù)雜、成本高、受環(huán)境影響大，難以在實(shí)際應(yīng)用中廣泛推廣，以及基于傳統(tǒng)特征提取器以提取圖像特征，并采用滑動(dòng)窗口來生成大量目標(biāo)候選區(qū)域，無法有效地處理霧滴檢測(cè)和跟蹤變得更加復(fù)雜等問題，本技術(shù)包括但不限于如下有益效果：

42、本技術(shù)的農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法，霧滴的檢測(cè)與跟蹤通過基于深度學(xué)習(xí)的改進(jìn)的yolov5s模型以及deepsort模型所實(shí)現(xiàn)，改進(jìn)的yolov5s模型在復(fù)雜環(huán)境中具有較高的檢測(cè)準(zhǔn)確率，能夠顯著提高霧滴的檢測(cè)速度和實(shí)時(shí)性，以滿足農(nóng)業(yè)噴施場(chǎng)景中對(duì)實(shí)時(shí)檢測(cè)的需求；deepsort多目標(biāo)跟蹤算法通過引入深度關(guān)聯(lián)度量，能夠更好地處理遮擋和不同視角的問題，大大提高了霧滴目標(biāo)的跟蹤性能；它還具有實(shí)時(shí)性能，能夠在近實(shí)時(shí)的情況下進(jìn)行高效的特征提取和關(guān)聯(lián)；

43、進(jìn)一步的，本技術(shù)的農(nóng)業(yè)噴施霧滴檢測(cè)跟蹤方法，通過霧滴目標(biāo)的運(yùn)動(dòng)狀態(tài)動(dòng)態(tài)調(diào)整霧滴噴灑參數(shù)，確保在霧滴目標(biāo)移動(dòng)時(shí)仍能精準(zhǔn)噴灑至對(duì)應(yīng)的農(nóng)作物中；通過傳感器監(jiān)測(cè)噴灑效果，實(shí)時(shí)反饋給無人機(jī)的控制系統(tǒng)，根據(jù)噴灑效果調(diào)整后續(xù)霧滴噴灑參數(shù)，優(yōu)化整體噴施效率；通過記錄噴灑過程中每個(gè)霧滴目標(biāo)的目標(biāo)跟蹤結(jié)果，為后續(xù)的農(nóng)業(yè)管理提供數(shù)據(jù)支持，定期分析噴灑效果，調(diào)用預(yù)設(shè)的噴灑策略以提高作物產(chǎn)量和噴施效率；這種實(shí)施方式能夠有效地結(jié)合改進(jìn)的yolov5s模型以及deepsort模型，顯著優(yōu)化無人機(jī)的噴灑性能，確保農(nóng)業(yè)噴施的準(zhǔn)確性和有效性。