本發(fā)明屬于計算機視覺和深度學習領域，具體涉及一種新型智慧煤礦典型三違行為的智能視頻識別方法。

背景技術：

1、在當今快速發(fā)展的工業(yè)自動化和智能化時代，深度學習技術在多個領域展現(xiàn)出了巨大的潛力和應用價值，特別是在煤礦生產(chǎn)環(huán)境中，由于工作條件復雜、安全要求極高，傳統(tǒng)的監(jiān)控手段已無法滿足實時、準確的安全監(jiān)控需求。因此，開發(fā)一種能夠適應煤礦特殊環(huán)境、實現(xiàn)高效目標檢測與追蹤的算法成為了迫切需求。

2、煤礦生產(chǎn)環(huán)境具有高風險、高復雜性的特點，對工人的安全帽佩戴、皮帶機運行狀態(tài)監(jiān)控、車輛運行時的安全行為等都有著嚴格的要求。傳統(tǒng)的監(jiān)控方法往往依賴于人工巡查，效率低下且容易出現(xiàn)疏漏。因此，開發(fā)一種能夠自動識別“三違”行為的智能監(jiān)控系統(tǒng)，對于提升煤礦安全生產(chǎn)水平具有重要意義。

3、深度學習技術具有強大的特征提取和分類能力；目標檢測和追蹤技術使得算法能夠實時監(jiān)控和追蹤視頻中的目標對象；圖像增強技術提高了復雜環(huán)境下的識別準確率；背景差分法則用于檢測視頻中的運動物體，特別適用于靜態(tài)攝像機監(jiān)控場景。

4、現(xiàn)有技術中，將目標檢測和追蹤算法在處理煤礦生產(chǎn)環(huán)境中的視頻數(shù)據(jù)，面臨著小目標檢測能力有限、對超參數(shù)調(diào)整敏感、以及定位精度略低等問題。此外，由于煤礦環(huán)境的特殊性，如光線變化大、礦燈干擾嚴重和監(jiān)控角度多樣等，現(xiàn)有的算法往往難以適應這些復雜條件，導致檢測和追蹤的準確率不高。

5、現(xiàn)有方法如yolov8算法，雖然在目標檢測方面表現(xiàn)出色，但在處理煤礦生產(chǎn)環(huán)境中的特殊情況時，仍存在一些技術上的問題和缺陷：例如，對于小目標的檢測能力不足，難以在復雜的背景中準確識別小尺寸的安全帽；對于礦燈等強光源的干擾處理不夠有效，容易導致誤檢或漏檢；對于監(jiān)控角度的變化適應性不強，難以在不同角度下保持穩(wěn)定的檢測性能。

技術實現(xiàn)思路

1、針對上述問題，本發(fā)明提出了一種新型智慧煤礦典型三違行為的智能視頻識別方法，通過引入little-spd模塊和圖像增強技術，有效提升了小目標檢測能力，增強了算法對礦燈干擾的魯棒性，提高了在不同監(jiān)控角度下的適應性。同時，結合背景差分法和目標追蹤算法，能夠實現(xiàn)對煤礦生產(chǎn)環(huán)境中“三違”行為的實時監(jiān)控和準確識別，填補了現(xiàn)有技術在煤礦特殊環(huán)境下的應用空白。

2、所述新型智慧煤礦典型三違行為的智能視頻識別方法，具體步驟在于：

3、步驟一、在煤礦的關鍵區(qū)域分布攝像頭，實時監(jiān)控和采集視頻數(shù)據(jù)，篩選包含三違行為的視頻數(shù)據(jù)，并進行預處理；

4、預處理包括視頻流的解碼、圖像的初步校正和質(zhì)量檢查；

5、步驟二、將連續(xù)的預處理完成后的視頻流分割成單個圖像幀，進入圖像增強模塊生成數(shù)據(jù)集。

6、圖像增強模塊采用：隨機組合亮度和對比度調(diào)整、色彩校正、銳化和降噪，以及針對特定光源的自適應濾波，對抽幀生成的圖像進行處理；

7、步驟三、將圖像增強模塊生成的數(shù)據(jù)集劃分為訓練集、測試集和驗證集；

8、步驟四、在yolov8網(wǎng)絡的主干網(wǎng)絡和頸部網(wǎng)絡的卷積層后引入little-spd模塊，協(xié)同搭建神經(jīng)網(wǎng)絡，并進行訓練和測試。

9、所述搭建的神經(jīng)網(wǎng)絡具體結構為：

10、1)、將little-spd模塊加入yolov8網(wǎng)絡，將yolov8中卷積層的步幅減少至stride＝1，同時保持核大小為3，將輸入的c1通道特征圖轉化為c2通道特征圖，其中c2小于c1。

11、2)、little-spd模塊利用spd模塊對c2通道的特征圖進行切片操作，生成兩個子特征圖：x[1::2,::2],x[::2,1::2]，同時保留通道維度信息。

12、具體為：首先，基于2的尺度，對尺寸為(s×s×c2)的特征圖應用python的切片操作。從(s×s)平面上，通過選取奇數(shù)行偶數(shù)列以及偶數(shù)行奇數(shù)列進行切片，生成2個子特征圖：f1,0和f0,1；

13、計算方式如下：

14、f0,1＝x[0:s:scale,1:s:scale]

15、f1,0＝x[1:s:scale,0:s:scale]

16、s是切片操作的步長，scale是特征圖除通道維度的平面的長寬，0:s:scale是從0開始，scale結束，將其中的元素取出；

17、x[0:s:scale,1:s:scale]是使用python切片操作，取出特征圖除通道維度的平面的奇數(shù)行偶數(shù)列；x[1:s:scale,0:s:scale]是使用python切片操作，取出特征圖除通道維度的平面的偶數(shù)行奇數(shù)列。

18、3)沿著通道維度將這兩個子特征圖進行拼接，得到下采樣后的形狀為(s2×s2×2c2,其中s2＝s/2)的特征圖，并將其傳遞至下一個卷積層，下一個卷積操作的輸入通道數(shù)應是原來的兩倍。

19、步驟五、利用訓練完后的神經(jīng)網(wǎng)絡，實時處理來自煤礦現(xiàn)場的視頻流，進行目標檢測。

20、快速識別出視頻中的多個目標，包括但不限于工人、設備、車輛等，同時提供目標的精確位置信息。

21、步驟六、在目標檢測結果的基礎上，進入三違行為判定階段，根據(jù)數(shù)量匹配判定局扇安全帽是否合規(guī)，根據(jù)行車下人和皮帶再結合神經(jīng)網(wǎng)絡判定車、人和皮帶的運行狀態(tài)。

22、采用背景差分法監(jiān)測固定背景下的運動目標，如通過檢測皮帶機范圍內(nèi)的運動目標來判斷皮帶機的運行狀態(tài)，結合三違行為判斷規(guī)則判斷是否有異常情況發(fā)生。

23、采用botsort算法專注于連續(xù)視頻幀中目標的運動軌跡，通過分析目標的移動方向、速度和位置變化，識別出潛在的違規(guī)行為，如工人未佩戴安全帽進入危險區(qū)域、設備操作不當?shù)取?/p>

24、本發(fā)明的優(yōu)點在于：

25、1)、本發(fā)明一種新型智慧煤礦典型三違行為的智能視頻識別方法，泛用性廣；通過與目標追蹤、背景差分算法的組合，可以實現(xiàn)多種典型三違行為的檢測，并具備推廣到更多應用場景的潛力。

26、2)、本發(fā)明一種新型智慧煤礦典型三違行為的智能視頻識別方法，檢測準確度高；通過對煤礦生產(chǎn)環(huán)境的研究，優(yōu)化了神經(jīng)網(wǎng)絡結構，并針對數(shù)據(jù)集特點對數(shù)據(jù)預處理、算法融合做出了改進，提高了煤礦三違行為視頻識別方法的準確率。

27、3)、本發(fā)明一種新型智慧煤礦典型三違行為的智能視頻識別方法，通過監(jiān)測和識別煤礦中的三違行為，可以及時發(fā)現(xiàn)安全隱患，減少事故發(fā)生的可能性，對員工起到警示作用；有助于減少人力資源消耗和時間成本，提升煤礦的整體管理水平。

技術特征：

1.一種新型智慧煤礦典型三違行為的智能視頻識別方法，其特征在于，具體步驟如下：

2.如權利要求1所述的一種新型智慧煤礦典型三違行為的智能視頻識別方法，其特征在于，所述步驟一中，預處理包括視頻流的解碼、圖像的初步校正和質(zhì)量檢查。

3.如權利要求1所述的一種新型智慧煤礦典型三違行為的智能視頻識別方法，其特征在于，所述步驟二中，圖像增強模塊采用：隨機組合亮度和對比度調(diào)整、色彩校正、銳化和降噪，以及針對特定光源的自適應濾波，對抽幀生成的圖像進行處理。

4.如權利要求1所述的一種新型智慧煤礦典型三違行為的智能視頻識別方法，其特征在于，所述步驟五中，目標檢測是指快速識別出視頻中的多個目標，包括但不限于工人、設備、車輛，同時提供目標的精確位置信息。

5.如權利要求1所述的一種新型智慧煤礦典型三違行為的智能視頻識別方法，其特征在于，所述步驟六中，采用背景差分法監(jiān)測固定背景下的運動目標，通過檢測皮帶機范圍內(nèi)的運動目標來判斷皮帶機的運行狀態(tài)，結合三違行為判斷規(guī)則判斷是否有異常情況發(fā)生；

技術總結
本發(fā)明公開了一種新型智慧煤礦典型三違行為的智能視頻識別方法，屬于計算機視覺和深度學習領域；具體為：首先根據(jù)煤礦分布的攝像頭，篩選包含三違行為的視頻數(shù)據(jù)進行預處理，并分割成單個圖像幀，利用圖像增強生成數(shù)據(jù)集劃分為訓練集、測試集和驗證集；然后，在YOLOv8網(wǎng)絡的主干網(wǎng)絡和頸部網(wǎng)絡的卷積層后引入Little?SPD模塊，協(xié)同搭建神經(jīng)網(wǎng)絡，進行訓練和測試；最后，利用測試完后的神經(jīng)網(wǎng)絡，處理來自煤礦現(xiàn)場的實時視頻流，進行目標檢測和三違行為判定階段，根據(jù)數(shù)量匹配判定局扇安全帽是否合規(guī)，根據(jù)行車下人和皮帶再結合神經(jīng)網(wǎng)絡判定車、人和皮帶的運行狀態(tài)。本發(fā)明檢測準確度高；通過對數(shù)據(jù)預處理、算法融合做出改進，提高了煤礦三違行為識別的準確率。

技術研發(fā)人員：姚磊,雷雨,殷鵬,王繼偉,張明泉
受保護的技術使用者：淮北礦業(yè)股份有限公司
技術研發(fā)日：
技術公布日：2025/1/9