本發(fā)明涉及計算機(jī)視覺領(lǐng)域，特別地，涉及一種基于快速注意力的脈沖圖像目標(biāo)檢測方法。

背景技術(shù)：

1、在未來圖像視頻技術(shù)的發(fā)展中，脈沖相機(jī)將會是一個全新的發(fā)展方向，超高速脈沖相機(jī)模擬靈長類視網(wǎng)膜編碼原理，機(jī)器的速度和生物視覺的機(jī)制相結(jié)合，目前可實現(xiàn)以40khz的頻率將光信號轉(zhuǎn)化為脈沖比特流，實現(xiàn)了比人類視覺快1000倍的高速目標(biāo)檢測和跟蹤，較常見數(shù)碼相機(jī)記錄的視覺時空變化更為完整，有望從根本上改變圖像和視頻概念及相關(guān)行業(yè)。而在這個背景下，對脈沖圖像的識別處理也急需進(jìn)行研究。

2、與此同時，大部分基于卷積神經(jīng)網(wǎng)絡(luò)機(jī)制（cnn）的目標(biāo)檢測模型，模型內(nèi)部并沒有使用注意力機(jī)制，或僅使用輕量化的傳統(tǒng)注意力機(jī)制。模型的表達(dá)和泛化能力較弱，訓(xùn)練速度和收斂速度也有較大提升空間，對于長序列和大圖像的處理能力仍然有難度。在開源目標(biāo)檢測模型例如“you?only?look?once?v8”(以下簡稱yolov8)中，其僅有輕量化的傳統(tǒng)注意力機(jī)制，如“se”、“cbam”等。使用傳統(tǒng)注意力機(jī)制的目標(biāo)檢測模型對于高速脈沖圖像在極端光照環(huán)境下的識別處理能力較弱，較難檢測到正確的目標(biāo)物體，且訓(xùn)練識別速度及資源利用率較低，難以完成在未來脈沖相機(jī)應(yīng)用中的圖像檢測作用。

3、現(xiàn)有技術(shù)中存在的主要問題是：在現(xiàn)有技術(shù)中，一般的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型缺少注意力機(jī)制的引用或僅有傳統(tǒng)注意力機(jī)制，這樣會導(dǎo)致模型的表達(dá)和泛化能力較弱，難以識別長序列或大圖像，對噪聲的魯棒性較低，最終導(dǎo)致在脈沖圖像的物體識別上丟失目標(biāo)或錯誤識別。

4、若要解決以上現(xiàn)有技術(shù)存在的問題及缺陷，需要對模型主干神經(jīng)網(wǎng)絡(luò)進(jìn)行完全重新設(shè)計，其重新設(shè)計的難度在于需要構(gòu)建快速注意力機(jī)制層，在模型主干神經(jīng)網(wǎng)絡(luò)中進(jìn)行替換或添加，為模型添加具有自適應(yīng)引用和多尺度特征提取的快速注意力機(jī)制，實現(xiàn)對目標(biāo)檢測模型的改進(jìn)?？焖僮⒁饬C(jī)制作為一個新型技術(shù)出現(xiàn)不久，對其應(yīng)用的研究仍然有限，本發(fā)明在目標(biāo)檢測模型中對其進(jìn)行了成功試驗，既實現(xiàn)了快速注意力機(jī)制的現(xiàn)實應(yīng)用，提高了模型的檢測效果，也填補了脈沖圖像物體識別領(lǐng)域的空缺。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于快速注意力的脈沖圖像目標(biāo)檢測方法，有效解決了舊有方法因脈沖圖像在極端光照環(huán)境下識別效率不佳，模型訓(xùn)練速度慢的問題。

2、本發(fā)明的技術(shù)方案如下：

3、本發(fā)明的基于快速注意力的脈沖圖像目標(biāo)檢測方法，包含以下步驟：s1.準(zhǔn)備脈沖相機(jī)圖像數(shù)據(jù)集；s2.構(gòu)建快速注意力機(jī)制定義層；s3.設(shè)計主干神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；s4.自適應(yīng)調(diào)用快速注意力機(jī)制；以及s5.使用脈沖相機(jī)圖像數(shù)據(jù)集訓(xùn)練驗證。

4、可選地，在上述基于快速注意力的脈沖圖像目標(biāo)檢測方法中，在步驟s1中，將輸入圖像統(tǒng)一調(diào)整為相同分辨率圖像，然后對圖像中待檢測的物體進(jìn)行標(biāo)注，標(biāo)注格式需符合模型要求，一張圖像對應(yīng)一個標(biāo)注文件，分別得到圖像和圖像標(biāo)注標(biāo)簽，按照訓(xùn)練集、測試集和評估集將數(shù)據(jù)分類并按模型格式要求存儲。

5、可選地，在上述基于快速注意力的脈沖圖像目標(biāo)檢測方法中，在步驟s2中，構(gòu)建快速注意力機(jī)制定義層，使其可以在主干神經(jīng)網(wǎng)絡(luò)中被自適應(yīng)引用，修改模型代碼使快速注意力機(jī)制定義層與模型兼容適配。

6、可選地，在上述基于快速注意力的脈沖圖像目標(biāo)檢測方法中，在步驟s3中，設(shè)計模型的主干神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在不同卷積層（c2f層）前都可插入引用構(gòu)建的快速注意力機(jī)制定義層，并在快速空間金字塔池化層前再次插入引用快速注意力機(jī)制層時時添加卷積層，以實現(xiàn)多尺度特征提取的效果。

7、可選地，在上述基于快速注意力的脈沖圖像目標(biāo)檢測方法中，在步驟s4中，在主干神經(jīng)網(wǎng)絡(luò)中調(diào)用時，構(gòu)建的快速注意力機(jī)制定義層中的自適應(yīng)程序會判斷當(dāng)前是否屬于可以改進(jìn)效率的非重要層，實現(xiàn)自適應(yīng)調(diào)用注意力機(jī)制以在保持原模型效果的前提下更進(jìn)一步提高新模型的精度和效率。

8、可選地，在上述基于快速注意力的脈沖圖像目標(biāo)檢測方法中，在步驟s5中，在訓(xùn)練文件中引用脈沖相機(jī)圖像數(shù)據(jù)集，并在訓(xùn)練前后修改調(diào)試參數(shù)以達(dá)到最佳訓(xùn)練效果，通過其模型的訓(xùn)練，得到最終訓(xùn)練完成的最佳權(quán)重和過程記錄，并檢查結(jié)果是否符合完成實驗條件。

9、根據(jù)本發(fā)明的技術(shù)方案，產(chǎn)生的有益效果是：

10、本發(fā)明實現(xiàn)了一種基于“快速注意力（flash?attention）”的脈沖圖像目標(biāo)檢測方法，針對當(dāng)今計算機(jī)視覺領(lǐng)域?qū)τ诿}沖圖像的研究缺位和傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型缺少更為先進(jìn)的自注意力機(jī)制的問題，構(gòu)建了基于“快速注意力”的脈沖圖像識別模型，有效解決了舊有方法因脈沖圖像在極端光照環(huán)境下識別效率不佳，模型訓(xùn)練速度慢的問題。本發(fā)明方法，根據(jù)“快速注意力”機(jī)制的輸入分塊和并行計算的計算特性，應(yīng)用于多頭注意力將大圖像分塊計算，并通過其對圖形處理器（gpu）的獨特優(yōu)化和內(nèi)存訪問，可以在提高精度的同時大幅度降低計算成本和內(nèi)存開銷，且在主干網(wǎng)絡(luò)中設(shè)計自適應(yīng)引用，以在保證模型原本效率的同時實現(xiàn)多尺度特征提取，以此提高了模型在復(fù)雜的現(xiàn)實場景中的魯棒性，從而避免了舊有方法中脈沖圖像識別率不佳且計算過程慢的問題，綜上最終實現(xiàn)對脈沖圖像目標(biāo)的高效識別。

11、為了更好地理解和說明本發(fā)明的構(gòu)思、工作原理和發(fā)明效果，下面結(jié)合附圖，通過具體實施例，對本發(fā)明進(jìn)行詳細(xì)說明如下：

技術(shù)特征：

1.一種基于快速注意力的脈沖圖像目標(biāo)檢測方法，其特征在于，包含以下步驟：

2.根據(jù)權(quán)利要求1所述的基于快速注意力的脈沖圖像目標(biāo)檢測方法，其特征在于，在步驟s1中，將輸入圖像統(tǒng)一調(diào)整為相同分辨率圖像，然后對圖像中待檢測的物體進(jìn)行標(biāo)注，標(biāo)注格式需符合模型要求，一張圖像對應(yīng)一個標(biāo)注文件，分別得到圖像和圖像標(biāo)注標(biāo)簽，按照訓(xùn)練集、測試集和評估集將數(shù)據(jù)分類并按模型格式要求存儲。

3.根據(jù)權(quán)利要求1所述的基于快速注意力的脈沖圖像目標(biāo)檢測方法，其特征在于，在步驟s2中，構(gòu)建所述快速注意力機(jī)制定義層，使其可以在所述主干神經(jīng)網(wǎng)絡(luò)中被自適應(yīng)引用，修改模型代碼使所述快速注意力機(jī)制定義層與模型兼容適配。

4.根據(jù)權(quán)利要求1所述的基于快速注意力的脈沖圖像目標(biāo)檢測方法，其特征在于，在步驟s3中，設(shè)計模型的所述主干神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在不同卷積層（c2f層）前都可插入引用構(gòu)建的所述快速注意力機(jī)制定義層，并在快速空間金字塔池化層前再次插入引用所述快速注意力機(jī)制層時時添加卷積層，以實現(xiàn)多尺度特征提取的效果。

5.根據(jù)權(quán)利要求1所述的基于快速注意力的脈沖圖像目標(biāo)檢測方法，其特征在于，在步驟s4中，在所述主干神經(jīng)網(wǎng)絡(luò)中調(diào)用時，構(gòu)建的所述快速注意力機(jī)制定義層中的自適應(yīng)程序會判斷當(dāng)前是否屬于可以改進(jìn)效率的非重要層，實現(xiàn)自適應(yīng)調(diào)用注意力機(jī)制以在保持原模型效果的前提下更進(jìn)一步提高新模型的精度和效率。

6.根據(jù)權(quán)利要求1所述的基于快速注意力的脈沖圖像目標(biāo)檢測方法，其特征在于，在步驟s5中，在訓(xùn)練文件中引用所述脈沖相機(jī)圖像數(shù)據(jù)集，并在訓(xùn)練前后修改調(diào)試參數(shù)以達(dá)到最佳訓(xùn)練效果，通過其模型的訓(xùn)練，得到最終訓(xùn)練完成的最佳權(quán)重和過程記錄，并檢查結(jié)果是否符合完成實驗條件。

技術(shù)總結(jié)
本發(fā)明提供了一種基于快速注意力的脈沖圖像目標(biāo)檢測方法，包含以下步驟：S1.準(zhǔn)備脈沖相機(jī)圖像數(shù)據(jù)集；S2.構(gòu)建快速注意力機(jī)制定義層；S3.設(shè)計主干神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；S4.自適應(yīng)調(diào)用注意力機(jī)制；以及S5.使用脈沖相機(jī)圖像數(shù)據(jù)集訓(xùn)練驗證。本發(fā)明的基于快速注意力的脈沖圖像目標(biāo)檢測方法有效解決了舊有方法因脈沖圖像在極端光照環(huán)境下識別效率不佳，模型訓(xùn)練速度慢的問題。

技術(shù)研發(fā)人員：李廣煜,張世雄,魏文應(yīng),黎俊良,李若塵
受保護(hù)的技術(shù)使用者：廣東博華超高清創(chuàng)新中心有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2