本發(fā)明涉及圖像識別，特別是一種基于深度學習方法的無人機森林火災煙霧檢測方法。

背景技術(shù)：

1、如今基于計算機視覺的火災煙霧識別技術(shù)在森林防火以及森林滅火活動中穩(wěn)步推進。無人機、執(zhí)法儀、監(jiān)控攝像頭等視頻監(jiān)控設備，已經(jīng)在森林公安及森林管理系統(tǒng)的智能化試點中逐步得到應用，為實現(xiàn)基于深度學習的無人機森林火災煙霧識別系統(tǒng)提供了相關基礎。雖然基于計算機視覺的智能火災監(jiān)護技術(shù)得到了發(fā)展，但在目前基于深度學習的無人機森林火災煙霧檢測落地應用實踐中，還存在以下問題需要解決，主要包括：(1)需要人工對后臺視頻進行審核。目前火災的視頻監(jiān)控負責輔佐警報以及提出告警，采集到的視頻影像需要依賴人工審核，監(jiān)察人員的工作量大、重復以及由于受到人為因素的影響會導致漏看，審核效率較低。

2、(2)管控效果具有很強的個人主觀性，且實時性差?；馂牡某醢l(fā)生的階段明火不明顯，大部分情況需要人工干預，對于火災災情的尋找還停留在線下模式，尤其是火災初發(fā)難以判斷火災災情的起源點，由于人的主觀性和復雜性，很多操作無法指標化、模塊化。效果完全取決于后臺人員的個人經(jīng)驗及主觀，經(jīng)常會出現(xiàn)誤報和漏報情況?，F(xiàn)今部分基于神經(jīng)網(wǎng)絡的系統(tǒng)已經(jīng)在云端實現(xiàn)森林火災檢測，但檢測方法多數(shù)采用視頻監(jiān)控等方法實現(xiàn)，且針對火焰進行識別，而火災初發(fā)期間火焰通常較為微弱，此時煙霧的特征反而會比火焰特征更為明顯。這就導致了現(xiàn)有的森林火災檢測系統(tǒng)更為偏向于對茂密叢林中的大火災情進行檢測，這樣會導致火災難以撲滅，往往導致火災在變得嚴重時才會被重視。

3、(3)火災識別過程中只針對火焰和濃煙進行檢測，而忽視了火災初起階段的白色煙霧，在實際檢測中白色煙霧常常會被識別為正常的云霧，這就導致了對火災初期的情況判斷不足。

技術(shù)實現(xiàn)思路

1、針對上述缺陷，本發(fā)明的目的在于提出一種基于深度學習方法的無人機森林火災煙霧檢測方法，減少人工參與量，以提高森林火災檢測的智能化。

2、為達此目的，本發(fā)明采用以下技術(shù)方案：一種基于深度學習方法的無人機森林火災煙霧檢測方法，包括如下步驟：

3、獲取森林火災的場景圖像；

4、構(gòu)架出火焰煙霧識別網(wǎng)絡模型，并將場景圖像輸入到火焰煙霧識別網(wǎng)絡模型中進行訓練，得到第一模型；

5、將第一模型存儲于無人機中；

6、驅(qū)使無人機于森林的上方獲取森林圖像，并將森林圖像輸入到無人機的第一模型中進行識別，若檢測到有火焰或者煙霧時，獲取無人機的坐標位置以及煙霧或火焰在像素坐標系的坐標位置，分別標記為第一坐標與第二坐標，根據(jù)第一坐標第二坐標計算預測火焰或煙霧的位置，以作為火焰或煙霧的位置第三坐標，向后臺發(fā)送第三坐標以及報警信號。

7、優(yōu)選的，在執(zhí)行火焰煙霧識別網(wǎng)絡模型前，還需要對場景圖像進行數(shù)據(jù)增強操作，

8、其中數(shù)據(jù)增強操作具體如下：

9、構(gòu)建四個標記矩陣，標記矩陣用于分別對四張場景圖像需要裁剪與保留的位置進行標記，其中保留的位置設置為1，裁剪的位置設置為0；

10、對每一個場景圖像進行標簽值賦予；

11、創(chuàng)建一個新的圖像，并按照標記矩陣以及四張場景圖像對新的圖像進行像素填充以及標簽值融合，以生成新的場景圖像。

12、優(yōu)選的，進行像素填充公式如下：

13、p＝ma*xa+mb*xb+mc*xc+md*xd；

14、其中ma、mb、mc、md分別為第一張場景圖像的標記矩陣、第二張場景圖像的標記矩陣、第三張場景圖像的標記矩陣、第張四場景圖像的標記矩陣、xa、xb、xc、xd分別為第一張場景圖像的圖像數(shù)據(jù)、第二張場景圖像的像數(shù)據(jù)、第三張場景圖像的像數(shù)據(jù)、第張四場景圖像的像數(shù)據(jù)、*表示矩陣的像素相乘；

15、進行標簽值融合的公式如下：

16、q＝λa*ya+λb*yb+λc*yc+λd*yd；

17、λa、λb、λc、λd分別表示第一張場景圖像的權(quán)重值、第二張場景圖像的權(quán)重值、第三張場景圖像的權(quán)重值、第張四場景圖像的權(quán)重值，ya、yb、yc、yd分別為第一張場景圖像的標簽值、第二張場景圖像的標簽值、第三張場景圖像的標簽值、第張四場景圖像的標簽值。

18、優(yōu)選的，所述火焰煙霧識別網(wǎng)絡模型由于依次連接骨干網(wǎng)絡、頸部神經(jīng)網(wǎng)絡以及預測頭網(wǎng)絡組成；

19、其中火焰煙霧識別網(wǎng)絡模型識別過程如下：

20、將場景圖像輸入到骨干網(wǎng)絡中，進行場景圖像的目標多尺度特征提取，得到特征圖像；

21、特征圖像輸入值頸部神經(jīng)網(wǎng)絡中，進行金字塔池化的方法向上采樣，對不同特征圖像進行融合；

22、預測頭網(wǎng)絡對融合后的的特征圖像進行結(jié)果預測。

23、優(yōu)選的，所述骨干網(wǎng)絡包括依次連接的卷積層、mp層以及殘差elan模塊；

24、其中所述卷積層設置3個，且卷積層設置有3x3的卷積核；

25、所述mp層執(zhí)行如下操作：對卷積層處理后的場景圖像進行最大值池化然后經(jīng)過卷積核激活函數(shù)，實現(xiàn)第一特征的提?。?/p>

26、對卷積層處理后的場景圖像采用卷積核加激活函數(shù)的方法提取圖像特征，實現(xiàn)第二特征的提??；

27、對第一特征與第二特征進行加權(quán)融合，得到融合后的特征圖像；

28、所述殘差elan模塊執(zhí)行如下操作：

29、采用4個cbs模塊對特征圖像進行細顆粒特征提??；

30、采用單個cbs模塊對特征圖像進行粗顆粒特征提?。?/p>

31、對細顆粒特征與粗顆粒特征進行加權(quán)融合；

32、采用全局平均池化將特征圖像的特征尺寸大小設置為1x1；

33、使用1維卷積計算特征圖像的通道權(quán)重，然后使用sigmoid函數(shù)實現(xiàn)權(quán)重映射，得到處理結(jié)果；

34、將處理結(jié)果與原場景圖像進行乘法運算，得到最終特征圖像。

35、優(yōu)選的，將第一模型存儲于無人機中的步驟如下：

36、根據(jù)第一模型的網(wǎng)絡結(jié)構(gòu)，在onnx模型中定義相應的網(wǎng)絡模型結(jié)構(gòu)；

37、根據(jù)第一模型的的計算邏輯以及帶有參數(shù)的節(jié)點，組成有向圖結(jié)構(gòu)；

38、修改有向圖結(jié)構(gòu)中的每個節(jié)點的信息，使每個節(jié)點的尺寸大小信息與第一模型中的層數(shù)相對應；

39、將第一模型訓練過程中的權(quán)重信息傳送到onnx模型中；

40、將onnx模型布置于無人機所自帶的fpga嵌入式設備。

41、優(yōu)選的，所述根據(jù)第一坐標計算預測火焰或煙霧的位置的步驟如下：

42、獲取無人機的世界坐標(x，y，z)，設定相機光心坐標系(xc,yc,zc)與無人機的世界坐標系(x，y，z)為1，得到相機光心坐標系與無人機的世界坐標系的第一轉(zhuǎn)化關系，其中第一轉(zhuǎn)化關系如下所示：

43、

44、其中r為3*3矩陣表示相機可以有3個不同維度方向的變化，t為3*1矩陣表示在固定距離下相機坐標系與無人機坐標系的距離變化，t為無人機經(jīng)過的森林的樹木平均高度值；

45、根據(jù)相機與圖像之間的成像關系，將得到圖像平面坐標系(x，y)與相機光心坐標系(xc,yc,zc)的第二轉(zhuǎn)化關系，其中第二轉(zhuǎn)化關系如下所示：

46、

47、其中，f的取值為z-t，z為無人機的高度坐標；

48、將所拍攝的圖像像素坐標系(u,v)與像平面坐標系(x，y)進行轉(zhuǎn)換，得到第三轉(zhuǎn)化關系，其中第三轉(zhuǎn)化關系如下所示：

49、

50、綜合第一轉(zhuǎn)化關系、第二轉(zhuǎn)化關系以及第三轉(zhuǎn)化關系，得到第四轉(zhuǎn)化關系：

51、

52、將第一坐標代入到第四轉(zhuǎn)化關系的(x，y，z)，將第二坐標代入到第四轉(zhuǎn)化關系的(u，v)，得到第三坐標(x，y)。

53、上述技術(shù)方案中的一個技術(shù)方案具有如下優(yōu)點或有益效果：在本發(fā)明中，通過所述包含有森林火災的場景圖像對模型進行識別訓練，得到第一模型，并將第一模型存儲于無人機上，通過無人機進行巡檢時可以通過相機對森林進行拍攝，拍攝后的圖像直接輸入到第一模型中，通過第一模型實時檢測是否存在有火災或出現(xiàn)煙霧。實現(xiàn)火災的自動識別，無需人工進行檢查，提高了檢測智能化。同時由于相機所拍攝圖像與無人機之間存在有位置差距，為此本發(fā)明還通過不同的坐標進行轉(zhuǎn)化，從而快速預測出火焰與煙霧的具體位置，從而實現(xiàn)火災點的快速報備，提高救災效率。