本發(fā)明涉及自動(dòng)駕駛行人檢測(cè)，尤其涉及一種夜間行人紅外檢測(cè)方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、自動(dòng)駕駛已逐漸成為汽車行業(yè)繞不開的發(fā)展方向，越來越多的車企投入更多的資金到自動(dòng)駕駛的研發(fā)當(dāng)中。在夜間條件下，紅外成像系統(tǒng)能實(shí)現(xiàn)無障礙夜視，但同時(shí)紅外圖像存在著色彩信息缺乏，空間和紋理細(xì)節(jié)信息不夠豐富等問題，導(dǎo)致夜間紅外行人檢測(cè)率較低；同時(shí)紅外行人檢測(cè)算法通常部署在移動(dòng)開發(fā)平臺(tái)，在此類平臺(tái)部署精度與速度兼?zhèn)涞木W(wǎng)絡(luò)模型對(duì)它的計(jì)算能力和內(nèi)存資源是一個(gè)巨大的挑戰(zhàn)。因此，面向夜間輔助駕駛的紅外行人檢測(cè)方法的研究具有實(shí)際意義。紅外行人檢測(cè)算法都根植于現(xiàn)有的目標(biāo)檢測(cè)算法，其中現(xiàn)有的目標(biāo)檢測(cè)算法又由兩個(gè)分支組成。一個(gè)分支是傳統(tǒng)的機(jī)器學(xué)習(xí)算法，傳統(tǒng)算法只能針對(duì)特定場(chǎng)景進(jìn)行檢測(cè)，存在著泛化能力弱、檢測(cè)速度慢、精度低的問題；另一分支是深度學(xué)習(xí)，這種方法相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法檢測(cè)效果得到了顯著的提升。

2、基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法與傳統(tǒng)算法相比，具有精度高、泛化能力強(qiáng)、可遷移性強(qiáng)等優(yōu)點(diǎn)。目前廣泛使用的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法可分為兩類。一類是基于候選框生成的兩階段目標(biāo)檢測(cè)方法，另一類是一階段目標(biāo)檢測(cè)算法，此類算法不需要生成候選目標(biāo)，單階段目標(biāo)檢測(cè)技術(shù)將所有的目標(biāo)建議、特征提取、分類和回歸步驟都統(tǒng)一到單一的網(wǎng)絡(luò)中，直接通過網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的位置和類別，具有比兩階段目標(biāo)檢測(cè)算法更快，有利于汽車輔助駕駛系統(tǒng)的響應(yīng)。對(duì)于移動(dòng)端設(shè)備，上述目標(biāo)檢測(cè)算法網(wǎng)絡(luò)時(shí)空復(fù)雜度較高，參數(shù)量較大，嚴(yán)重依賴高性能計(jì)算機(jī)，因此mobilenet、shufflenet等輕量級(jí)目標(biāo)檢測(cè)算法被提出，應(yīng)用在行人目標(biāo)檢測(cè)領(lǐng)域。輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)憑借其模型低參數(shù)量的優(yōu)勢(shì)，更能適用于輔助駕駛系統(tǒng)等移動(dòng)端開發(fā)設(shè)備。

3、但是，針對(duì)計(jì)算資源緊張的移動(dòng)端設(shè)備，shufflenet等輕量級(jí)目標(biāo)檢測(cè)算法雖然提高了檢測(cè)速度，但其檢測(cè)精度也大幅下降，目前基于深度學(xué)習(xí)的紅外行人目標(biāo)檢測(cè)算法精度不理想。其主要原因網(wǎng)絡(luò)結(jié)構(gòu)過于簡(jiǎn)單，對(duì)于圖像信息的特征提取不夠深入，雖然網(wǎng)絡(luò)時(shí)空復(fù)雜度較高、參數(shù)量較大的目標(biāo)檢測(cè)模型檢測(cè)精度高，但是嚴(yán)重依賴高性能計(jì)算機(jī)，難以部署至移動(dòng)端開發(fā)平臺(tái)；同時(shí)紅外圖像與傳統(tǒng)可見光圖像的差別主要在于缺乏色彩信息，空間和紋理細(xì)節(jié)信息不夠豐富，夜間紅外圖像中行人目標(biāo)尺寸、位置差異較大，各個(gè)目標(biāo)具有不同的特征；淺層網(wǎng)絡(luò)提取的特征以紋理、邊緣、棱角等像素點(diǎn)信息為主，隨著網(wǎng)絡(luò)層次的加深，圖像細(xì)節(jié)信息可能會(huì)完全消失，紅外圖像在深層網(wǎng)絡(luò)被壓縮，導(dǎo)致深層特征呈現(xiàn)為低尺度、抽象的語(yǔ)義信息。紅外圖像相較于傳統(tǒng)可見光圖像，缺乏色彩信息，并且空間和紋理細(xì)節(jié)信息不夠豐富，因此，如何減少了原始紅外圖像信息丟失、豐富檢測(cè)網(wǎng)絡(luò)提取的空域稀疏特征及有效利用上下文相關(guān)語(yǔ)義信息顯得尤為重要。由于不同距離處的行人普遍具有尺度縮放、拓?fù)湫巫兊奶攸c(diǎn)且行人之間，或與其它物體之間經(jīng)常存在遮擋現(xiàn)象，因此如何將行人不同貢獻(xiàn)的多尺度特征進(jìn)行有效的激勵(lì)和抑制是一個(gè)關(guān)鍵問題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中所存在的不足，本發(fā)明提供了一種夜間行人紅外檢測(cè)方法、裝置及存儲(chǔ)介質(zhì)，通過強(qiáng)化紅外圖像信息中行人位置和通道特征的表達(dá)，實(shí)現(xiàn)行人目標(biāo)的檢測(cè)結(jié)果。

2、本發(fā)明通過實(shí)施例公開了一種夜間行人紅外檢測(cè)方法，包括：

3、獲取紅外圖像，通過混洗切片下采樣方法獲得紅外圖像的低維度圖像；

4、通過輕量級(jí)目標(biāo)檢測(cè)算法提取低維度圖像中的行人特征信息；

5、將行人特征信息通過精煉空間池化得到精煉融合信息；

6、以行人特征信息和精煉融合信息為輸入，通過自適應(yīng)特征強(qiáng)化連接結(jié)構(gòu)強(qiáng)化紅外行人位置信息和通道特征信息，得到檢測(cè)結(jié)果。

7、進(jìn)一步地，通過混洗切片下采樣方法獲得紅外圖像的低維度圖像包括：

8、通過下采樣操作將紅外圖像拆分為4張低分辨率紅外圖像；將4張低分辨率紅外圖像分為兩組進(jìn)行通道混洗操作，獲得紅外圖像二倍下采樣的低維度圖像。值得說明的是，輕量級(jí)目標(biāo)檢測(cè)算法的主干網(wǎng)絡(luò)采用的卷積下采樣操作，雖然獲得了圖像像素之間的特征相關(guān)性，但同時(shí)也造成了紅外圖像相鄰像素點(diǎn)特征丟失，是以損失紅外圖像邊緣信息為代價(jià)，實(shí)現(xiàn)參數(shù)量的減少。因此本發(fā)明設(shè)計(jì)了混洗切片下采樣模塊替代卷積下采樣操作，減少了原始紅外圖像信息丟失。將4張低分辨率圖像進(jìn)行拼接操作，使得紅外圖像信息集中到了通道空間，并且輸入通道擴(kuò)充了4倍，得到通道維度為4的二倍下采樣低分辨率圖像，因?yàn)橹会槍?duì)紅外圖像像素進(jìn)行切片操作而實(shí)現(xiàn)的下采樣，避免了卷積計(jì)算造成的紅外圖像相鄰像素點(diǎn)特征丟失、損失紅外圖像邊緣信息等問題，所以切片操作所得的下采樣紅外圖像信息幾乎沒有丟失；最后將4通道的低分辨率紅外行人圖像分為兩組，分別進(jìn)行通道混洗操作，混合原圖像通道順序，讓不同通道的特征信息建立聯(lián)系，促進(jìn)通道之間信息的融合，最終獲得幾乎沒有信息丟失且增強(qiáng)圖像特征表達(dá)后的二倍下采樣特征圖，即文中所述的低維度圖像。紅外圖像γ∈rh×w×c拆分為4張低分辨率紅外圖像并獲得低維度圖像的計(jì)算方法如下：

9、ζ(x,y)＝{(xi,yi)|i,j＝2n-1}

10、0<i<h,0<j<w,i,j∈z

11、γ＝concat[ζ(x,y),ζ(x+1,y),ζ(x,y+1),ζ(x+1,y+1),]

12、其中，xi和yi表示水平軸和垂直軸上像素的索引。

13、進(jìn)一步地，將所述行人特征信息通過精煉空間池化得到精煉融合信息包括：將行人特征信息通過avgpool平均池化計(jì)算提取第一通道特征信息，使用一維卷積建立第一通道特征信息的通道信息聯(lián)系，通過sigmoid函數(shù)將通道信息聯(lián)系歸一化，得到第一通道特征信息的權(quán)重信息；將所述行人特征信息通過maxpool最大池化計(jì)算提取不同感受野下的第二通道特征信息；將所述第一通道特征信息的權(quán)重信息分別與所述不同感受野下的第二通道特征信息分別融合，得到不同感受野下的融合信息；將所述不同感受野下的融合信息相加，得到精煉融合信息。由于輕量級(jí)主干網(wǎng)絡(luò)相較于普通主干網(wǎng)絡(luò)層數(shù)較少、深度較淺，特征提取能力有限；并且神經(jīng)網(wǎng)絡(luò)不同感受野所蘊(yùn)含的語(yǔ)義特征不同，感受野值越大表示其能接觸到的原始圖像范圍就越大，也意味著它可能蘊(yùn)含更為全局、語(yǔ)義層次更高的特征；相反，值越小則表示其所包含的特征越趨向局部和細(xì)節(jié)。因此本發(fā)明設(shè)計(jì)精煉空間池化結(jié)構(gòu)，在主干網(wǎng)絡(luò)尾端插入精煉空間池化結(jié)構(gòu)，利用不同感受野語(yǔ)義特征，實(shí)現(xiàn)多細(xì)粒度的局部特征在像素級(jí)的精煉融合，豐富最終特征圖的表達(dá)能力，豐富檢測(cè)網(wǎng)絡(luò)提取的空域稀疏特征及有效利用上下文相關(guān)語(yǔ)義信息，從而增強(qiáng)檢測(cè)效果。

14、進(jìn)一步地，不同感受野的數(shù)量包括三個(gè)。

15、進(jìn)一步地，以行人特征信息和所述精煉融合信息為輸入，通過自適應(yīng)特征強(qiáng)化連接結(jié)構(gòu)強(qiáng)化紅外行人位置信息和通道特征信息，得到檢測(cè)結(jié)果包括：將行人特征信息乘以第一自學(xué)習(xí)權(quán)重參數(shù)得到第一行人特征信息，將精煉融合信息上采樣后、乘以第二自學(xué)習(xí)權(quán)重參數(shù)得到第二精煉融合信息；將第一行人特征信息和所述第二精煉融合信息相加后再通過relu函數(shù)修正,得到修正信息；通過深度可分離卷積將所述修正信息輕量化得到融合特征信息；將融合特征信息分別通過位置校準(zhǔn)分支和通道校準(zhǔn)分支進(jìn)行校準(zhǔn)；最后將位置校準(zhǔn)分支和通道校準(zhǔn)分支的校準(zhǔn)結(jié)果相加得到檢測(cè)結(jié)果。

16、其中融合特征信息的計(jì)算方法如下：

17、

18、其中，w1和w2是可學(xué)習(xí)權(quán)重參數(shù)，u代表上采樣計(jì)算，為行人特征信息，

19、為精煉融合信息。

20、進(jìn)一步地，位置校準(zhǔn)分支包括：采用水平方向和垂直方向的自適應(yīng)池化來聚合融合特征信息，得到聚合特征信息；將聚合特征信息沿空間維度分割為高度聚合特征信息和寬度聚合特征信息；分別將高度聚合特征信息和寬度聚合特征信息經(jīng)sigmoid函數(shù)激活后，再與融合特征信息進(jìn)行融合，得到位置校準(zhǔn)分支的校準(zhǔn)結(jié)果。

21、進(jìn)一步地，通道校準(zhǔn)分支包括：將融合特征信息依次通過全局平均池化和兩個(gè)1×1的卷積算子，得到壓縮特征信息；將壓縮特征信息經(jīng)sigmoid函數(shù)激活后，再與融合特征信息進(jìn)行融合，得到通道校準(zhǔn)分支的校準(zhǔn)結(jié)果。

22、進(jìn)一步地，輕量級(jí)目標(biāo)檢測(cè)算法包括shufflenetv2算法或anchor-free的目標(biāo)檢測(cè)算法。

23、為了實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種夜間行人紅外檢測(cè)裝置，包括紅外成像儀，用于獲取紅外圖像；混洗切片下采樣模塊，用于通過混洗切片下采樣方法獲得紅外圖像的低維度圖像；行人特征信息提取模塊，用于提取低維度圖像中的行人特征信息；精煉空間池化模塊，用于將行人特征信息通過精煉空間池化得到精煉融合信息；自適應(yīng)特征強(qiáng)化連接結(jié)構(gòu)，用于以行人特征信息和所述精煉融合信息為輸入，強(qiáng)化紅外行人位置信息和通道特征信息，得到檢測(cè)結(jié)果。

24、為了實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種存儲(chǔ)介質(zhì)，其存儲(chǔ)有若干計(jì)算機(jī)指令，用于執(zhí)行上述的夜間行人紅外檢測(cè)方法。

25、本發(fā)明的技術(shù)原理為：在輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計(jì)混洗切片下采樣代替?zhèn)鹘y(tǒng)卷積下采樣，通過切片減少了原始紅外圖像信息丟失，接著進(jìn)行通道混洗，強(qiáng)化紅外圖像的通道特征信息；同時(shí)設(shè)計(jì)了精煉空間池化模塊，利用一維卷積建立不同感受野下局部特征與通道特征權(quán)重映射，實(shí)現(xiàn)多重感受野局部特征在像素級(jí)的精煉融合，豐富檢測(cè)網(wǎng)絡(luò)在紅外圖像中提取的空域稀疏特征及有效利用上下文相關(guān)語(yǔ)義信息；最后設(shè)計(jì)自適應(yīng)特征強(qiáng)化連接結(jié)構(gòu)，在不同尺度特征融入可學(xué)習(xí)權(quán)重因子，實(shí)現(xiàn)多尺度特征間的自適應(yīng)連接，將行人不同貢獻(xiàn)的多尺度特征進(jìn)行有效的激勵(lì)和抑制。提升了距離處的行人普遍具有尺度縮放、拓?fù)湫巫兊奶攸c(diǎn)且行人之間，或與其它物體之間經(jīng)常存在遮擋現(xiàn)象下的檢測(cè)精度。

26、相比于現(xiàn)有技術(shù)，本發(fā)明具有如下有益效果：通過網(wǎng)絡(luò)訓(xùn)練時(shí)的反向傳播，不斷調(diào)整參數(shù)值，自動(dòng)判斷來自紅外圖像不同尺度特征對(duì)最終預(yù)測(cè)結(jié)果的貢獻(xiàn)程度，實(shí)現(xiàn)紅外行人目標(biāo)多尺度特征間的自適應(yīng)連接，從而有效地利用了多尺度特征。并且不同尺度的輸入特征經(jīng)過通道信息和位置特征校準(zhǔn)分支得到了互補(bǔ)，豐富了紅外行人圖像信息特征；增強(qiáng)了紅外行人特征信息的表達(dá)能力，提升檢測(cè)效，保證了輕量級(jí)目標(biāo)檢測(cè)模型在移動(dòng)端設(shè)備的檢測(cè)實(shí)時(shí)性，同時(shí)在有限的模型空間復(fù)雜度以及較小的參數(shù)量的基礎(chǔ)上，充分利用了紅外圖像有限的色彩、空間和紋理信息，較大的提升了夜間環(huán)境下，行人目標(biāo)檢測(cè)的準(zhǔn)確性，更有利于汽車輔助駕駛系統(tǒng)的響應(yīng)，同時(shí)對(duì)開發(fā)汽車輔助駕駛系統(tǒng)以降低夜間交通事故發(fā)生率提供了算法依據(jù)和系統(tǒng)部署的實(shí)際工程應(yīng)用策略。