本發(fā)明涉及缺陷圖像處理，更具體地說(shuō)，涉及基于改進(jìn)yolov10網(wǎng)絡(luò)的道路缺陷檢測(cè)方法。

背景技術(shù)：

1、在20世紀(jì)中期，一些機(jī)械設(shè)備開始應(yīng)用于道路檢測(cè)。例如，路面平整度測(cè)量?jī)x和表面摩擦系數(shù)測(cè)量?jī)x等設(shè)備被用于檢測(cè)道路表面的狀況。這些機(jī)械檢測(cè)方法比人工檢測(cè)更高效，但仍存在一定的局限性，如覆蓋范圍有限，檢測(cè)速度較慢等。進(jìn)入21世紀(jì)后，圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)迅速發(fā)展，為道路缺陷檢測(cè)提供了新的手段。通過(guò)安裝在車輛或無(wú)人機(jī)上的高分辨率攝像頭，實(shí)時(shí)捕捉道路圖像和視頻，結(jié)合圖像處理算法，可以自動(dòng)檢測(cè)并分類道路缺陷，圖像預(yù)處理技術(shù)如灰度化、濾波、邊緣檢測(cè)和形態(tài)學(xué)處理等，被廣泛應(yīng)用于提高圖像質(zhì)量和突出道路缺陷特征。這些技術(shù)幫助解決了圖像中的噪聲和光照變化問(wèn)題，使得后續(xù)的檢測(cè)算法能夠更準(zhǔn)確地識(shí)別缺陷。

2、近年來(lái)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法在圖像分類和目標(biāo)檢測(cè)中的成功應(yīng)用，極大地推動(dòng)了道路缺陷檢測(cè)技術(shù)的發(fā)展。傳統(tǒng)的機(jī)器學(xué)習(xí)方法如支持向量機(jī)(svm)和隨機(jī)森林等，被用于從預(yù)處理后的圖像中提取特征并進(jìn)行分類。而深度學(xué)習(xí)方法如卷積神經(jīng)網(wǎng)絡(luò)(cnn)，則能夠在大量數(shù)據(jù)訓(xùn)練下自動(dòng)學(xué)習(xí)和提取特征，提高檢測(cè)精度。隨著計(jì)算能力的提升和大規(guī)模數(shù)據(jù)的產(chǎn)生，基于數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)算法在道路缺陷檢測(cè)中表現(xiàn)出優(yōu)異的性能，實(shí)時(shí)檢測(cè)和處理技術(shù)通過(guò)開發(fā)高效的算法和硬件加速技術(shù)，實(shí)現(xiàn)了實(shí)時(shí)的道路缺陷檢測(cè)。例如，基于深度學(xué)習(xí)的cnn可以在gpu等硬件加速設(shè)備上運(yùn)行，顯著提高檢測(cè)速度，滿足實(shí)時(shí)應(yīng)用的需求，深度學(xué)習(xí)技術(shù)，尤其是生成對(duì)抗網(wǎng)絡(luò)(gan)，在道路缺陷檢測(cè)中表現(xiàn)出了巨大的潛力。gan可以用于數(shù)據(jù)增強(qiáng)和圖像生成，提高模型的魯棒性和泛化能力。此外，遷移學(xué)習(xí)技術(shù)也被廣泛應(yīng)用，通過(guò)利用預(yù)訓(xùn)練的模型，在小樣本數(shù)據(jù)集上進(jìn)行微調(diào)，提高檢測(cè)效果，而且道路缺陷檢測(cè)技術(shù)可以與自動(dòng)駕駛和智能交通系統(tǒng)的結(jié)合，進(jìn)一步提高了交通系統(tǒng)的安全性和效率。自動(dòng)駕駛車輛配備的高精度傳感器和先進(jìn)的檢測(cè)算法，可以實(shí)時(shí)監(jiān)控道路狀況，及時(shí)避讓或減速，減少交通事故的發(fā)生。

3、在眾多的深度學(xué)習(xí)目標(biāo)檢測(cè)算法中，yolo系列網(wǎng)絡(luò)因其獨(dú)特的設(shè)計(jì)和優(yōu)異的性能在道路缺陷檢測(cè)中表現(xiàn)出眾，yolo的一個(gè)顯著優(yōu)點(diǎn)是其檢測(cè)速度非常快，與傳統(tǒng)的區(qū)域提取后再進(jìn)行分類的方法不同，yolo直接在整個(gè)圖像上進(jìn)行檢測(cè)和分類，避免了多次冗余的計(jì)算。yolo采用端到端的訓(xùn)練方式，即從輸入圖像到輸出檢測(cè)結(jié)果的整個(gè)過(guò)程由一個(gè)神經(jīng)網(wǎng)絡(luò)完成，由于yolo的模型結(jié)構(gòu)相對(duì)簡(jiǎn)單，參數(shù)量較少，計(jì)算效率高，因此在實(shí)際部署中非常方便。但在道路缺陷檢測(cè)任務(wù)中，由于缺陷目標(biāo)小、道路背景復(fù)雜、光線復(fù)雜、類別不均衡等因素，直接使用基礎(chǔ)版本的yolo網(wǎng)絡(luò)會(huì)導(dǎo)致檢測(cè)精度低、漏檢誤檢率高、泛化能力欠佳等問(wèn)題。

4、經(jīng)檢索，中國(guó)專利申請(qǐng)?zhí)枮?02410617362.9的申請(qǐng)案公開了一種結(jié)合yolov8和rtdetr的道路缺陷檢測(cè)方法，該方法采用yolov8特征提取網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)道路雷達(dá)圖像的多尺度特征提取，采用rtdetr缺陷檢測(cè)網(wǎng)絡(luò)對(duì)提取出的特征進(jìn)行缺陷區(qū)域的識(shí)別與分割，并在yolov8特征提取網(wǎng)絡(luò)的backbone網(wǎng)絡(luò)中，利用cagm模塊對(duì)conv層以及gfnet層獲取的特征信息進(jìn)行多次交互從而豐富梯度流信息，從而提升了準(zhǔn)確率和召回率。但是由于激光雷達(dá)設(shè)備昂貴，相對(duì)于純圖像檢測(cè)，成本較高，并且激光雷達(dá)生成的數(shù)據(jù)量大，處理數(shù)據(jù)困難，但可以避免天氣對(duì)檢測(cè)精度的影響和視角的限制。中國(guó)專利申請(qǐng)?zhí)枮?02410279380.0的申請(qǐng)案公開了一種基于無(wú)監(jiān)督全注意力識(shí)別的道路缺陷檢測(cè)技術(shù)，添加了全注意力網(wǎng)絡(luò)和引入了無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，正確直觀的體現(xiàn)道路裂紋缺陷部位，不需要人為的標(biāo)注數(shù)據(jù)，大大節(jié)省了人力和時(shí)間成本，但是如果數(shù)據(jù)集過(guò)大，需要很高要求的計(jì)算和存儲(chǔ)資源。

5、公開于該背景技術(shù)部分的信息僅僅旨在增加對(duì)本發(fā)明的總體背景的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域一般技術(shù)人員所公知的現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、1.發(fā)明要解決的技術(shù)問(wèn)題

2、為克服道路缺陷檢測(cè)任務(wù)中檢測(cè)精度不高、漏檢誤檢率高、泛化能力欠佳的問(wèn)題，本發(fā)明在現(xiàn)有的yolov10網(wǎng)絡(luò)基礎(chǔ)上加以改進(jìn)，并提供一種專用于道路缺陷檢測(cè)的方法，稱之為基于改進(jìn)yolov10網(wǎng)絡(luò)的道路缺陷檢測(cè)方法。本發(fā)明網(wǎng)絡(luò)是在原結(jié)構(gòu)的基礎(chǔ)上，在主干網(wǎng)絡(luò)的c2f模塊添加mca注意力機(jī)制，使用sdi結(jié)合雙向特征融合的思想代替原先的特征鏈接concat層，加入了slideloss損失函數(shù)，在提升性能的同時(shí)幾乎沒(méi)有額外的計(jì)算負(fù)擔(dān)，更有效地結(jié)合不同尺度的特征，改善樣品不平衡的問(wèn)題，提高了圖像的檢測(cè)精度。

3、2.技術(shù)方案

4、為達(dá)到上述目的，本發(fā)明提供的技術(shù)方案為：

5、本發(fā)明的基于改進(jìn)yolov10網(wǎng)絡(luò)的道路缺陷檢測(cè)方法，包括以下步驟：

6、步驟1、收集高質(zhì)量道路缺陷圖像數(shù)據(jù)，對(duì)收集到的數(shù)據(jù)進(jìn)行缺陷標(biāo)記，并隨機(jī)抽取部分作為測(cè)試集，然后將剩余的圖像按照道路缺陷的數(shù)據(jù)類別劃分訓(xùn)練集和驗(yàn)證集；

7、步驟2、在yolov10網(wǎng)絡(luò)主干部分使用c2f-mca模塊替換c2f模塊，c2f-mca模塊是在原有的c2f模塊中的bottleneck層中添加mca自注意力機(jī)制得到，以實(shí)現(xiàn)多維度協(xié)同注意力；

8、步驟3、在yolov10網(wǎng)絡(luò)主干部分引入bdi模塊，以替換原網(wǎng)絡(luò)中的concat層，bdi模塊為多層次特征融合模塊，以增強(qiáng)圖像中的語(yǔ)義信息和細(xì)節(jié)信息；

9、步驟4、構(gòu)造slideloss損失函數(shù)，使用slideloss損失函數(shù)，來(lái)改善樣本不平衡的困難樣本關(guān)注度，提高邊界框回歸更加準(zhǔn)確；

10、步驟5、使用訓(xùn)練集和驗(yàn)證集對(duì)改進(jìn)后的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得優(yōu)化后的模型參數(shù)，以確保模型在道路缺陷檢測(cè)中的有效性和實(shí)用性；

11、步驟6、使用訓(xùn)練好的模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，輸出檢測(cè)后的道路圖像。

12、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟2中，c2f-mca模塊中首先包括第一個(gè)卷積層cv1，以接收數(shù)據(jù)；隨后將cv1的輸出按照通道維度分成相等的兩部分，其中一個(gè)部分直接傳遞給concat層，另一個(gè)部分傳給split，split的輸出也按照通道維度分成相等的兩部分，一部分直接傳遞給concat層，另一部分經(jīng)過(guò)2個(gè)bottleneck模塊的處理；c2f-mca在網(wǎng)絡(luò)中每重復(fù)3次，使用1個(gè)bottleneck模塊，共重復(fù)6次使用c2f-mca模塊；bottleneck模塊接收數(shù)據(jù)后，按照通道維度分成相等的兩部分，一部分直接傳遞給concat層，另一部分經(jīng)過(guò)兩個(gè)卷積層的卷積后，將數(shù)據(jù)傳給mca模塊進(jìn)行計(jì)算，后傳遞給concat層；接下來(lái)，concat層將接收到的結(jié)果進(jìn)行通道維度上的拼接；最后再經(jīng)過(guò)第二個(gè)卷積層cv2得到輸出。此部分改進(jìn)可使拼接后的特征來(lái)自不同分支的信息，以豐富并提高特征的表達(dá)能力。

13、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟2中，mca模塊包括：首先對(duì)輸入數(shù)據(jù)進(jìn)行殘差提??；然后對(duì)殘差提取數(shù)據(jù)進(jìn)行三分支處理，三分支分別對(duì)高度、寬度和通道數(shù)三個(gè)維度的注意力進(jìn)行建模，建模過(guò)程先后包括維度變換操作，擠壓變換，平均池化和標(biāo)準(zhǔn)差池化、卷積、激勵(lì)變換、卷積、維度變換、權(quán)重相乘操作；接下來(lái)，對(duì)不同分支數(shù)據(jù)進(jìn)行維度變換，使得維度統(tǒng)一；最后，對(duì)分支輸出的數(shù)據(jù)進(jìn)行加權(quán)求和并獲得最終mca模塊的輸出。

14、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟3中，bdi模塊是使用多層次特征融合模塊sdi替代原模型的concat層，并在其中加入雙向特征融合；具體地：首先，接收一個(gè)包含各層通道的列表channels，根據(jù)channels的元素個(gè)數(shù)確定卷積層個(gè)數(shù)，并初始化融合權(quán)重、swish激活函數(shù)和卷積層convs；然后，接收一個(gè)特征圖列表xs，計(jì)算權(quán)重，并進(jìn)行前向特征融合和后向特征融合，將前向特征融合得到的特征圖序列進(jìn)行逐元素相乘及后向特征融合處理后的特征圖系列進(jìn)行逐元素相乘；最后，將兩個(gè)相乘后的特征圖進(jìn)行加權(quán)累計(jì)，得到最終的特征圖。

15、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟3中，前向特征融合的過(guò)程包括：前向特征融合是從低層到高層的過(guò)程，即從第二個(gè)特征圖開始逐層處理，首先將每個(gè)特征圖調(diào)整為目標(biāo)尺寸；如果當(dāng)前特征圖的尺寸大于目標(biāo)尺寸，使用自適應(yīng)平均池化層將其下采樣到目標(biāo)尺寸；如果當(dāng)前特征圖的尺寸小于目標(biāo)尺寸，使用雙線性插值方法將其上采樣到目標(biāo)尺寸；然后將每個(gè)特征圖與對(duì)應(yīng)的權(quán)重相乘，最后將乘積結(jié)果輸入到對(duì)應(yīng)的卷積層中，得到最終的高層特征圖；這樣做的目的是將不同層次的特征圖進(jìn)行融合，獲得更豐富的特征表示。

16、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟3中，后向特征融合的過(guò)程包括：后向特征融合是從高層到低層的過(guò)程，即從倒數(shù)第二個(gè)特征圖開始，逐層處理；首先對(duì)特征圖大小進(jìn)行調(diào)整，并與對(duì)應(yīng)的權(quán)重相乘；然后通過(guò)卷積層進(jìn)行轉(zhuǎn)換，可在整個(gè)特征圖金字塔中進(jìn)一步融合高層信息；最后對(duì)所有經(jīng)過(guò)卷積操作的特征圖進(jìn)行逐元素相乘的累計(jì)操作，得到最終的低層特征圖。

17、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟4中，針對(duì)困難的樣本的稀疏性，設(shè)計(jì)了slideloss損失函數(shù)，以提高困難樣本分配的權(quán)重，slideloss損失函數(shù)計(jì)算包括：首先使用bcewithlogitsloss計(jì)算二元交叉熵?fù)p失，然后將計(jì)算的損失結(jié)果傳給slideloss損失函數(shù)中，slideloss損失函數(shù)通過(guò)加權(quán)機(jī)制，調(diào)整每個(gè)樣本的損失值，最后輸出聚合后的損失值。

18、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟5中，網(wǎng)絡(luò)訓(xùn)練時(shí)采用adam算法來(lái)迭代更新網(wǎng)絡(luò)模型參數(shù)，訓(xùn)練周期為300個(gè)epoch。

19、作為本發(fā)明更進(jìn)一步的改進(jìn)，所述步驟6中，測(cè)試數(shù)據(jù)輸出的圖像中包括數(shù)據(jù)的類別、邊界框和預(yù)測(cè)的精確度。

20、3.有益效果

21、采用本發(fā)明提供的技術(shù)方案，與現(xiàn)有技術(shù)相比，具有如下有益效果：

22、(1)本發(fā)明的基于改進(jìn)yolov10網(wǎng)絡(luò)的道路缺陷檢測(cè)方法，在主干網(wǎng)絡(luò)的c2f模塊引入了mca多維協(xié)作注意力機(jī)制，使用三分支架構(gòu)同時(shí)推斷通道、高度和寬度維度注意力的新方法，幾乎沒(méi)有額外的開銷，在提升性能的同時(shí)幾乎沒(méi)有額外的計(jì)算負(fù)擔(dān)，相較于原模型map50提升了0.6％。

23、(2)本發(fā)明的基于改進(jìn)yolov10網(wǎng)絡(luò)的道路缺陷檢測(cè)方法，使用多層次特征融合模塊sdi替代原模型的concat層來(lái)增強(qiáng)圖像中的語(yǔ)義信息和細(xì)節(jié)信息，并在其中加入了雙向特征融合，通過(guò)雙向特征融合來(lái)更有效地結(jié)合不同尺度的特征從而提高精度，相較于原模型map50提升了2.5％，精度提升了1.7％。

24、(3)本發(fā)明的基于改進(jìn)yolov10網(wǎng)絡(luò)的道路缺陷檢測(cè)方法，在原有的分類損失基礎(chǔ)上添加了slideloss損失函數(shù)，嘗試為困難樣本分配更高的權(quán)重來(lái)改善樣本不平衡的問(wèn)題，使分類更加準(zhǔn)確。