本發(fā)明涉及圖像處理領域，具體地講，涉及一種基于先驗知識的頻率正則化可逆灰度技術。

背景技術：

1、在計算機視覺領域，將灰度圖像轉(zhuǎn)換回其原始彩色版本是一個具有挑戰(zhàn)性且嚴重不適定的問題，即使是現(xiàn)有的最先進的彩色化方法也不能完全恢復原始彩色圖像的顏色信息。為了解決這個顏色信息的可逆損失問題，可逆灰度應運而生?，F(xiàn)實生活中，很多的應用場景都需要將彩色圖像轉(zhuǎn)換為灰度圖像，比如黑白印刷、美學攝影、圖像壓縮以及信息傳輸?shù)阮I域。然而，在對彩色圖像進行灰度化的過程中難以避免會造成顏色信息的丟失。雖然可以使用現(xiàn)有的著色方法對生成的灰度圖像進行著色，但是利用現(xiàn)有著色技術重新給生成的灰度圖像引入的顏色極大可能不是原來的顏色信息。

2、可逆灰度其實涵蓋了兩種技術手段：圖像去色技術（image?decolorization）和圖像著色技術（image?colorization）。圖像去色就是將彩色圖像轉(zhuǎn)換為具有對比度、結(jié)構和光照信息的灰度圖像。圖像去色一般可分為兩類：全局去色和局部去色。局部去色方法著重于增強具有色度邊緣的灰度圖像的對比度，而全局去色方法則強調(diào)同時關注圖像的局部和非局部對比度、結(jié)構和光照信息來對顏色進行壓縮。不論是局部還是全局去色都是不可逆的，因此使顏色信息得到恢復非常困難。圖像著色技術則正好和圖像去色技術相反，旨在從灰度觀測值中恢復顏色信息。近年來，隨著深度神經(jīng)網(wǎng)絡的快速發(fā)展，特別是生成對抗網(wǎng)絡(?generative?adversarial?networks，gans?)，越來越多的基于gans的著色網(wǎng)絡被設計來應用到各種彩色化任務中。例如自動彩色化，這是第一次嘗試對灰度圖像進行彩色化。但是由于著色問題的不適定性，用戶主導著色方法被提出來，即利用用戶的提示和需求完成不同的著色任務。近年來基于流的生成模型也逐漸被應用到了圖像著色領域。一個條件歸一化著色方案，利用灰度作為指導來進行多樣化的圖像著色。盡管如此，上述彩色化方法并不具備灰度圖像在生成過程中恢復原始顏色信息的能力，這對于可逆灰度來說是不可取的著色技術?？赡婊叶戎荚趶牟噬珗D像中生成可逆的灰度圖像，目前還處于研究的初始階段?？赡婊叶鹊母拍?，它利用一個自動編碼器將原始顏色信息在生成可逆的灰度圖像中隱式隱藏。在可逆灰度的基礎上，一種基于特征集成和自注意力機制的擴展方案。然而，其主要思想是將顏色信息編碼到灰度圖中的一些模式中，以便解碼器可以通過查看這些模式對原始顏色信息進行重建。換句話說，這些方法的顏色壓縮和重建原始顏色圖像的質(zhì)量高度依賴于它們的編碼器和解碼器的網(wǎng)絡深度和參數(shù)信息，并且最主要的問題是目前的可逆灰度方法主要集中在如何提升生成灰度圖像的視覺質(zhì)量而忽略了原始顏色圖像的重建質(zhì)量。

技術實現(xiàn)思路

1、本發(fā)明要解決的技術問題是提供一種基于先驗知識的頻率正則化可逆灰度技術，旨在提升重建彩色圖像的視覺質(zhì)量。

2、本發(fā)明采用如下技術方案實現(xiàn)發(fā)明目的：

3、一種基于先驗知識的頻率正則化可逆灰度技術，其特征在于，包括以下步驟：

4、s1：原始彩色圖像首先作為基于unet框架的去色網(wǎng)絡的輸入，進而得到生成的灰度圖像；

5、s2：引入高頻信息提取模塊，分別對原始彩色圖像進行灰度轉(zhuǎn)換以及高斯模糊后再灰度轉(zhuǎn)換，得到高頻信息；

6、s3：生成的灰度圖像以及高頻信息共同作為著色網(wǎng)絡的輸入；

7、；

8、其中：表示著色網(wǎng)絡，將高頻信息和生成的灰度圖像使用concat操作合并作為的輸入得到重建的彩色圖像；

9、s4：去色網(wǎng)絡和著色網(wǎng)絡是以端到端的形式進行訓練。

10、作為本技術方案的進一步限定，所述s1的過程可描述為：

11、（1）；

12、其中：為生成的灰度圖像；

13、為：基于unet框架的去色網(wǎng)絡；

14、為原始彩色圖像。

15、作為本技術方案的進一步限定，所述s2的過程可描述為：

16、（2）

17、（3）

18、（4）

19、（5）

20、（6）

21、其中：分別表示原始彩色圖像的r、g、b三個單通道圖像；

22、表示由通用浮點算法得到的灰度圖像；

23、表示的是高斯模糊的高斯核，其中表示的是圖像像素點的坐標；

24、為的標準差；

25、 k則代表的是核的尺寸；

26、表示的是使用高斯核對原始彩色圖像進行高斯濾波后得到的模糊圖像；

27、分別表示濾波圖像的r、g、b三個單通道圖像；

28、則表示的是得到的高頻信息。

29、作為本技術方案的進一步限定，高頻信息和生成的灰度圖像的大小和維度一樣。

30、作為本技術方案的進一步限定，所述s4的訓練過程如下：

31、s41：交叉熵損失函數(shù) lmse被用來減小原始彩色圖像和重建的彩色圖像之間的像素值差異，交叉熵損失的定義如下：

32、（7）

33、其中，?||?||2為l2范數(shù)；

34、s42：利用三種不同的損失函數(shù)來訓練去色網(wǎng)絡，即亮度損失 llum、對比度損失 lcon和局部結(jié)構損失 lloc，其定義如下：

35、（8）

36、（9）

37、（10）

38、其中： l表示的是cie?rgb色彩空間中的l通道；

39、用于計算圖像局部變化均值的函數(shù)；

40、用于提取圖像的特征以表示感知損失；

41、表示l1范數(shù)；

42、s43：為了控制量化誤差，將生成灰度圖像的像素值限制在8位無符號整數(shù)精度的范圍，設計量化損失函數(shù)：

43、（11）

44、其中：表示元素最小算子；

45、在此視為一個常數(shù)矩陣，其大小和生成灰度圖像的大小相同，最小化該損失其實就是使生成灰度圖像的像素值盡可能為整數(shù)；

46、s44：以利用以下整體損失函數(shù)對著色網(wǎng)絡和去色網(wǎng)絡以端到端的形式進行優(yōu)化：

47、（12）

48、其中：在此分別表示各種損失函數(shù)在訓練過程中對應的權重值。

49、與現(xiàn)有技術相比，本發(fā)明的優(yōu)點和積極效果是：

50、傳統(tǒng)的可逆灰度可以將顏色信息編碼到生成的灰度圖像中完成重建任務，但不能以隱式的方式有效隱藏高頻信息，限制了顏色信息重建的能力。我們將這一點視為先驗知識，并將高頻提取模塊引入到可逆灰度的框架中，從而迫使解碼器專注于融合顏色信息的高頻模式。高頻提取模塊可以減輕編碼器的生成壓力（其基本思想是減少顏色信息中難以隱式編碼到生成的灰度中的高頻分量），既可以保證生成的灰度的視覺質(zhì)量，又可以提高解碼器的重建能力。本發(fā)明將高頻提取模塊引入到傳統(tǒng)可逆灰度的框架中，迫使解碼器專注于融合顏色信息的高頻模式，從而在不影響生成灰度圖像質(zhì)量的同時提升了重建的彩色圖像的視覺效果。充分的實驗結(jié)果驗證了基于先驗知識的頻率正則化可逆灰度技術是可行的。與傳統(tǒng)的可逆灰度技術相比，重建的彩色圖像的的視覺質(zhì)量（ssim和psnr）都有了明顯的提高。