本發(fā)明涉及圖像處理，尤其涉及一種基于enet語義分割的esrgan超分方法。

背景技術(shù)：

1、生成對抗網(wǎng)絡(luò)(gan)：生成對抗網(wǎng)絡(luò)是一種特殊的深度學(xué)習(xí)模型，由一個(gè)生成器和一個(gè)判別器組成，兩者進(jìn)行對抗訓(xùn)練。生成器的目標(biāo)是生成盡可能接近真實(shí)的數(shù)據(jù)，而判別器的目標(biāo)是盡可能區(qū)分真實(shí)數(shù)據(jù)和生成的數(shù)據(jù)。

2、增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)(enhanced?super-resolution?generativeadversarial?network)：esrgan是一種用于圖像超分辨率的深度學(xué)習(xí)模型。esrgan的目標(biāo)是通過訓(xùn)練一個(gè)生成對抗網(wǎng)絡(luò)(gan)來提高圖像的分辨率，使其更清晰和更細(xì)致。

3、增強(qiáng)型多尺度注意力超分辨率生成對抗網(wǎng)絡(luò)(enhanced?multi-scaleattentionsuper-resolution?generative?adversarial?network,ema-srgan)：一種集成了多尺度特征提取、自適應(yīng)注意力機(jī)制、改進(jìn)的對抗訓(xùn)練策略和動(dòng)態(tài)殘差學(xué)習(xí)的增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)。

4、注意力機(jī)制(attention)：注意力機(jī)制是一種在模型訓(xùn)練過程中，讓模型更加關(guān)注于輸入數(shù)據(jù)中重要部分的機(jī)制，模仿人類視覺的注意力聚焦行為。

5、特征融合(feature?fusion)：是將來自不同源的數(shù)據(jù)或特征合并到一起，以便于算法更有效地進(jìn)行學(xué)習(xí)和預(yù)測。利用不同特征之間的互補(bǔ)信息，提高模型的性能。在超分辨率領(lǐng)域，特征融合可以用于合并來自多個(gè)低分辨率圖像的信息，以生成單一的高分辨率圖像。

6、enet(efficient?neural?network):一種輕量級(jí)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，主要用于實(shí)時(shí)圖像語義分割任務(wù)，可以做到對圖像進(jìn)行像素級(jí)別的處理。

7、隨著安全和監(jiān)控的需求日益增長，監(jiān)控視頻的畫質(zhì)對于提高事件識(shí)別率、細(xì)節(jié)捕捉以及后期分析等方面變得尤為重要。然而，由于成本、存儲(chǔ)和傳輸帶寬的限制，許多監(jiān)控系統(tǒng)采集的視頻往往分辨率較低，畫質(zhì)不佳，這嚴(yán)重影響了視頻內(nèi)容的可用性和有效性。

8、傳統(tǒng)的圖像和視頻增強(qiáng)技術(shù)包括插值法(如雙線性插值、雙三次插值等)和傳統(tǒng)的圖像處理技術(shù)(如銳化、去噪等)。這些方法雖然在一定程度上能夠改善畫質(zhì)，但往往會(huì)引入模糊、鋸齒等問題，無法在保持圖像自然度的同時(shí)有效提升細(xì)節(jié)的清晰度。

9、近年來，深度學(xué)習(xí)在圖像處理領(lǐng)域的成功應(yīng)用，尤其是生成對抗網(wǎng)絡(luò)(gan)在圖像超分辨率(super-resolution,sr)方面的突破，為解決上述問題提供了新的思路。esrgan(enhanced?super-resolution?generative?adversarial?networks)作為一種先進(jìn)的深度學(xué)習(xí)模型，通過競爭學(xué)習(xí)機(jī)制，在提高圖像分辨率的同時(shí)保持了圖像的細(xì)節(jié)和紋理，顯示出優(yōu)于傳統(tǒng)方法的性能。

10、然而傳統(tǒng)的esrgan算法在圖像超分辨率重建方面已顯示出優(yōu)異的性能，但在處理高復(fù)雜度紋理和保持圖像自然感方面仍存在一定局限性。為了解決該技術(shù)問題現(xiàn)提出一種基于enet語義分割的esrgan超分方法。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供了一種基于enet語義分割的esrgan超分方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了如下的技術(shù)方案：

3、第一方面，在本發(fā)明提供的一個(gè)實(shí)施例中，提供了一種基于enet語義分割的esrgan超分方法，該方法包括以下步驟：

4、對輸入的訓(xùn)練圖像進(jìn)行多尺度特征提取，以獲得多尺度特征數(shù)據(jù)；

5、利用組特征融合將多尺度特征數(shù)據(jù)進(jìn)行融合，以獲得融合特征；

6、利用輕量化語義分割enet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)對訓(xùn)練圖像和融合特征進(jìn)行判斷，判斷融合特征是否為真，若判別為假則enet網(wǎng)絡(luò)繼續(xù)訓(xùn)練；若判別為真則生成網(wǎng)絡(luò)停止訓(xùn)練，此時(shí)enet網(wǎng)絡(luò)即為改進(jìn)的超分辨率模型；

7、利用改進(jìn)的超分辨率模型對待處理圖像進(jìn)行處理。

8、作為本發(fā)明的進(jìn)一步方案，所述對輸入的訓(xùn)練圖像進(jìn)行多尺度特征提取，以獲得多尺度特征數(shù)據(jù)，包括：

9、獲取訓(xùn)練圖像的淺層特征；

10、淺層特征輸入至多個(gè)輕量級(jí)的多尺度特征提取塊終以獲得fb；

11、通過不同的2×,3×,4×上采樣操作得到最終圖像。

12、作為本發(fā)明的進(jìn)一步方案，所述利用組特征融合將多尺度特征數(shù)據(jù)進(jìn)行融合，以獲得融合特征，包括：

13、得到三種不同尺度的融合特征，最后將三種不同尺度的特征在下一次分割的相同比例下，在第三次分離中獲得特征融合的結(jié)果。

14、作為本發(fā)明的進(jìn)一步方案，所述利用組特征融合將多尺度特征數(shù)據(jù)進(jìn)行融合，以獲得融合特征的計(jì)算公式如下：

15、flout(t+1)＝cat(shuffle(flout(t),flout(t-1))),

16、fmout(t+1)＝cat(shuffle(fmout(t),fmout(t-1))),

17、fhout(t+1)＝cat(shuffle(fhout(t),fhout(t-1))),

18、fbgroup＝cat(shuffle(flout(t),fmout(t),fhout(t)))，

19、式中，flout(t)，fmout(t)，fhout(t)，分別為低中高尺度特征值，shuffle為混淆操作，cat為拼接操作，t+1，t，t-1為時(shí)間，前三個(gè)操作是為了增強(qiáng)模型的魯棒性和泛化功能，fbgroup為最終的組特征集合，通過將flout(t)，fmout(t)，fhout(t)進(jìn)行混淆和拼接得來。

20、作為本發(fā)明的進(jìn)一步方案，所述利用組特征融合將多尺度特征數(shù)據(jù)進(jìn)行融合，包括：

21、在組特征融合時(shí)使用注意力機(jī)制層。

22、作為本發(fā)明的進(jìn)一步方案，所述enet網(wǎng)絡(luò)的生成器判別器使用相對損失函數(shù)來判斷預(yù)測真實(shí)圖像相對生成圖像更加真實(shí)的概率。

23、作為本發(fā)明的進(jìn)一步方案，所述生成器損失函數(shù)：

24、

25、作為本發(fā)明的進(jìn)一步方案，判別器損失函數(shù)：

26、

27、本發(fā)明提供的技術(shù)方案，具有如下有益效果：

28、本發(fā)明提供的一種基于enet語義分割的esrgan超分方法，對輸入的訓(xùn)練圖像進(jìn)行多尺度特征提取，以獲得多尺度特征數(shù)據(jù)；利用組特征融合將多尺度特征數(shù)據(jù)進(jìn)行融合，以獲得融合特征；利用輕量化語義分割enet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)對訓(xùn)練圖像和融合特征進(jìn)行判斷，判斷融合特征是否為真，若判別為假則enet網(wǎng)絡(luò)繼續(xù)訓(xùn)練；若判別為真則生成網(wǎng)絡(luò)停止訓(xùn)練，此時(shí)enet網(wǎng)絡(luò)即為改進(jìn)的超分辨率模型；利用改進(jìn)的超分辨率模型對待處理圖像進(jìn)行處理。

29、本發(fā)明采樣過程中多尺度特征提取結(jié)合注意力機(jī)制的特征融合技術(shù)應(yīng)用在傳統(tǒng)的esrgan中，捕獲圖像在不同尺度上的細(xì)節(jié)和紋理信息，提升模型提取特征能力；通過將帶有殘差塊的enet語義分割網(wǎng)絡(luò)替換原本判別器的vgg主干網(wǎng)絡(luò)，不僅做到能讓圖像在像素級(jí)別上分類，提高了圖像超分辨率的效果，還由于輕量型網(wǎng)絡(luò)的優(yōu)勢，大幅度提升了算法的運(yùn)行效率和實(shí)用性。

30、本發(fā)明的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡明易懂。應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。