專利名稱：一種基于梯度學(xué)習(xí)的超分辨率圖像放大方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字家庭技術(shù)領(lǐng)域，尤其涉及一種基于梯度學(xué)習(xí)的超分辨率圖像放大方法。
背景技術(shù)：
在大量的電子圖像應(yīng)用領(lǐng)域，人們經(jīng)常期望得到高分辨率(簡稱HR)圖像。高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實際應(yīng)用中不可或缺。例如，高分辨率醫(yī)療圖像對于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就很容易從相似物中區(qū)別相似的對象；如果能夠提供高分辨的圖像，計算機(jī)視覺中的模式識別的性能就會大大提高。自從上世紀(jì)七十年代以來，電荷耦合器件(CXD)、CMOS圖像傳感器已被廣泛用來 捕獲數(shù)字圖像。盡管對于大多數(shù)的圖像應(yīng)用來說這些傳感器是合適的，但是當(dāng)前的分辨率水平和消費(fèi)價格不能滿足今后的需求。因此，尋找ー種增強(qiáng)當(dāng)前分辨率水平的方法是非常必須的。圖像放大是圖像處理領(lǐng)域重要且基礎(chǔ)的操作之一，該技術(shù)指利用一幅或多幅同一場景的圖像來提高描述該場景圖像的分辨率，得到一幅更為清晰的分辨率更大的圖像。為了提高圖像的分辨率，最常見的方法是插值法，包括最近鄰插值、雙線性插值和立方卷積插值等。近年來，通過使用超分辨率技術(shù)獲取高分辨率圖像已成為圖像復(fù)原的熱門研究方向之一。超分辨率技術(shù)是指通過一定的技術(shù)手段，由低分辨率圖像生成高分辨率圖像的技木。到目前為止超分辨率(簡稱SR)圖像放大主要有兩種主要的方法I、基于重建的圖像放大；2、基于樣本學(xué)習(xí)方法的圖像放大。圖像插值算法原理簡單，復(fù)雜度低，易于實現(xiàn)，但這種方法只是考察周圍像素點和待插像素點的相關(guān)性進(jìn)行插值[1，2]，在邊緣、紋理等人眼敏感的位置不可避免的會出現(xiàn)模糊、偽影等現(xiàn)象。插值法會導(dǎo)致放大后的圖像輪廓模糊，高頻成分受損，因而效果不是很好?；谥亟ǖ膱D像放大方法把尋找放大了的圖像看成ー個求解逆問題的過程，通過引入一系列的先驗知識來做逆問題的約束條件，壓縮解空間，使之得到符合一定條件的圖像。但先驗知識的獲取需要做大量的前期統(tǒng)計工作，同時待放大圖像應(yīng)和統(tǒng)計工作中分析的圖像類別一致才能有較為理想的效果。基于樣本學(xué)習(xí)的圖像放大方法是近幾年來的ー個熱點，它通過外在的圖像數(shù)據(jù)庫尋找不同分辨率圖像間的關(guān)系以試圖恢復(fù)出待放大圖像的高頻成分。由于該方需要用到外界信息，因此算法的計算量很大，同時存在著庫中的圖像片和待放大圖像片的“距離”很小，但視覺差別卻很大的情況，降低了放大圖像的質(zhì)量。

發(fā)明內(nèi)容
基于現(xiàn)有技術(shù)存在的問題，本發(fā)明采用了ー種平滑的、保存高頻并能對未知高頻進(jìn)行預(yù)測的超分辨圖像技木，為了達(dá)到上述目的，本發(fā)明采用了一種基于梯度學(xué)習(xí)的超分辨率圖像放大方法。本發(fā)明實施例提供了一種基于梯度學(xué)習(xí)的超分辨率圖像放大方法，所述方法包括輸入待放大的RGB色彩模式的圖像；將RGB色彩模式的圖像轉(zhuǎn)到Y(jié)UV色彩模式的圖像；將YUV色彩模式的圖像進(jìn)行通道分離處理，分離出明亮度通道和色度飽和度通道；
對分離出的色度飽和度通道基于插值方法放大所需的倍數(shù)；對分離出的明亮度通道基于梯度學(xué)習(xí)放大所需的倍數(shù)；將放大倍數(shù)后的色度飽和度通道和放大倍數(shù)后的明亮度通道進(jìn)行空間聯(lián)結(jié)，轉(zhuǎn)換到RGB空間，獲得放大倍數(shù)下的RGB色彩模式的圖像；輸出放大后的RGB色彩模式的圖像。所述對分離出的色度飽和度通道基于圖像插值方法放大所需的倍數(shù)包括首先對分理處的色度飽和度通道進(jìn)行預(yù)處理，然后基于插值方法對分離出的色度飽和度通道進(jìn)行倍數(shù)的放大。所述對分離出的明亮度通道基于梯度學(xué)習(xí)放大所需的倍數(shù)包括對分離出的明亮度通道上的圖像進(jìn)行分塊處理；并基于圖像塊進(jìn)行特征提取獲得特征向量，求出與待放大圖像塊的特征向量最近的向量，計算出向量系數(shù)；根據(jù)向量系數(shù)的線性組合，將低分辨率梯度圖像用高分辨率梯度圖像塊線性表示出來，直到遍歷完成待放大梯度圖像。綜上，通過實施本發(fā)明實施例，本發(fā)明將圖像放大處理過程轉(zhuǎn)換到亮度域中進(jìn)行處理，摒除了圖像顏色在圖像處理過程的干擾，放大后的圖像沒有亮斑。對亮度域圖像求其梯度，明確的保留了圖像的高頻信息，避免了高頻信息的丟失，對于其后的學(xué)習(xí)過程大有裨益。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。圖I是本發(fā)明實施例中的基于梯度學(xué)習(xí)的超分辨率圖像放大方法流程圖；圖2是本發(fā)明實施例中的低分辨率梯度圖像分塊規(guī)則示意圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明的實施提供的基于梯度學(xué)習(xí)的超分辨圖像放大方法，其首先將RGB色彩模 式的圖像轉(zhuǎn)換成YUV色彩模式的圖像，井分別基于明亮度通道即Y通道和色度飽和度通道 即UV通道的方分離處理，對分離出的UV通道通過插值方法放大所需的倍數(shù)，對Y通道基于 梯度學(xué)習(xí)放大的方法放大所需的倍數(shù)，讓后再進(jìn)行空間聯(lián)結(jié)，轉(zhuǎn)換成RGB空間完成了 RGB圖 像的放大處理。具體的，圖I示出了本發(fā)明實施例中的基于梯度學(xué)習(xí)的超分辨率圖像放大方法的 流程圖，包括如下步驟SlOl :輸入待放大的RGB圖像；S102 :將RGB圖像轉(zhuǎn)成YUV圖像，并進(jìn)行Y通道與UV通道的分離；利用函數(shù)rgb2ntsc ()將RGB色彩模式的圖像轉(zhuǎn)換到Y(jié)UV色彩模式，YUV色彩模式 有三個通道，提取出Y通道即明亮度通道，則剩余部分為UV通道即色度飽和度通道，達(dá)到分 離出UV通道的目的。RGB色彩模式是エ業(yè)界的ー種顏色標(biāo)準(zhǔn)，是通過對紅(R)、綠(G)、藍(lán) (B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代 表紅、緑、藍(lán)三個通道的顔色，這個標(biāo)準(zhǔn)幾乎包括了人類視カ所能感知的所有顔色，是目前 運(yùn)用最廣的顏色系統(tǒng)之一。將RGB色彩模式的圖像轉(zhuǎn)換到Y(jié)UV色彩模式。YUV色彩模式在計算機(jī)里的表示形 式是ー個MXNX3的三維矩陣，用YUV(ai，aj，ak)表示，其中ai和aj的取值范圍為0 255，ak的取值為1，2，3。YUV色彩模式下，YUV(ai, aj，l)就表示明亮度Y通道，YUV(ai, aj，2)和YUV(ai，aj，3)就表示色度U和飽和度V通道。在明亮度Y通道上對圖像求其梯 度圖，可以將圖像的高頻信息很好的保存下來，對于后續(xù)的梯度學(xué)習(xí)提供信息基礎(chǔ)。S103 :將圖像分塊 P(L);將給定的給定輸入的低分辨率梯度圖像，按照下述規(guī)則分塊，具體可參閱圖2，圖 中藍(lán)色部分為圖像塊，每個圖像塊為3X3像素的，紅色部分為相鄰圖像塊之間的重疊部分， 重疊的像素個數(shù)為I個。將學(xué)習(xí)庫中的低分辨率圖像Ls、學(xué)習(xí)庫中的高分辨率圖像Hs、待放 大圖像Lt進(jìn)行如上圖所示分塊，所對應(yīng)的圖像塊集合分別記為P(Ls)、p(Hs)、p(Lt)。p(Ls) 和P(Hs)中的圖像塊的個數(shù)相同，并且集合p(Ls)、p(Hs) —一對應(yīng)。對于訓(xùn)練圖像塊集合 P(Ls)和p (Hs)，其大小為Ns，即為集合中元素的個數(shù)。Nt的大小與圖像自身的大小有關(guān)以及 圖像塊的大小和相鄰圖像塊之間重疊部分的大小有夫。待放大圖像塊集合P (Lt)，其大小為 Nt。S104:圖像特征提??；由于矩陣的表示形式?jīng)Q定了其只能進(jìn)行幾種簡單的運(yùn)算，因此在實際操作中，一 般將其轉(zhuǎn)換成向量的形式，而轉(zhuǎn)換的方法也多種多樣，通常將矩陣的所有行元素放到同一 行中，從而達(dá)到將矩陣轉(zhuǎn)換成行向量的目的。這種方法簡單且容易實現(xiàn)，但這種方法并不能 反映出圖像塊的邊緣等特征信息。本文則是提取圖像的特征向量，這種方法在一定程度上 能反映出原矩陣的特征信息。
權(quán)利要求
1.ー種基于圖像傳輸?shù)募用芊椒ǎ涮卣髟谟?，包? 根據(jù)消息摘要算法第五版MD5算法計算得到待加密圖片中數(shù)字圖像的MD5值； 解析所述數(shù)字圖像的像素矩陣； 根據(jù)像素的分塊順序，以16個像素為分塊形成的像素矩陣與MD5值進(jìn)行異或運(yùn)算，形成加密圖片； 將所述加密圖片傳輸?shù)浇饷芏恕?br> 2.如權(quán)利要求I所述的基于圖像傳輸?shù)募用芊椒?，其特征在于，所述方法還包括 檢測加密圖片的加密效果，如果加密效果達(dá)不到預(yù)先設(shè)置的門限值，則基于D5算法對加密圖片再次加密，直到所述加密效果達(dá)到預(yù)先設(shè)置的門限值。
3.如權(quán)利要求I或2所述的基于圖像傳輸?shù)募用芊椒ǎ涮卣髟谟?，所述根?jù)像素的分塊順序，以16個像素為分塊形成的像素矩陣與MD5值進(jìn)行異或運(yùn)算，形成加密圖片具體包括 在加密過程中采取行像素矩陣從左到右，列像素從上到下的順序，先行后列與MD5至進(jìn)行異或運(yùn)算；和/或 在加密過程中采取行像素矩陣從右到左，列像素從上到下的順序，先行后列與MD5值進(jìn)行異或運(yùn)算；和/或 在加密過程中采取行像素從左到右，列像素從下到上，先行后列與MD5至進(jìn)行異或運(yùn)算；和/或 在加密的過程中采取行像素從右到左，列像素從下到上，先行后列與MD5至進(jìn)行異或運(yùn)算。
4.ー種基于圖像傳輸?shù)慕饷芊椒?，其特征在于，包? 接收加密端發(fā)送的加密圖片； 解析加密圖片中的像素矩陣； 根據(jù)像素的分塊順序，以16個像素為分塊形成的像素矩陣與MD5值進(jìn)行異或運(yùn)算，形成解密圖片。
5.如權(quán)利要求4所述的基于圖像傳輸?shù)慕饷芊椒?，其特征在于，所述方法之后還包括 計算所述解密圖像MD5值判斷所述加密圖像是否經(jīng)過篡改，如果經(jīng)過篡改，則終止操作，如果沒經(jīng)過篡改，則根據(jù)已知的加密次數(shù)對解密圖片進(jìn)行相應(yīng)的解密操作。
6.ー種基于圖像傳輸?shù)募用芙饷芟到y(tǒng)，其特征在于，所述系統(tǒng)包括加密端和解密端，其中 加密端用于根據(jù)消息摘要算法第五版MD5算法計算得到待加密圖片中數(shù)字圖像的MD5值；解析所述數(shù)字圖像的像素矩陣；根據(jù)像素的分塊順序，以16個像素為分塊形成的像素矩陣與MD5值進(jìn)行異或運(yùn)算，形成加密圖片；將所述加密圖片傳輸?shù)浇饷芏耍? 解密端用于接收加密端發(fā)送的加密圖片；解析加密圖片中的像素矩陣；根據(jù)像素的分塊順序，以16個像素為分塊形成的像素矩陣與MD5值進(jìn)行異或運(yùn)算，形成解密圖片。
7.如權(quán)利要求6所述的基于圖像傳輸?shù)募用芙饷芟到y(tǒng)，其特征在干， 所述加密端還用于檢測加密圖片的加密效果，如果加密效果達(dá)不到預(yù)先設(shè)置的門限值，則給予D5算法對加密圖片再次加密，直到所述加密效果達(dá)到預(yù)先設(shè)置的門限值。
8.如權(quán)利要求7所述的基于圖像傳輸?shù)募用芙饷芟到y(tǒng)，其特征在于，在多次加密情況下，所述解密端還用于計算所述解密圖像MD5值判斷所述加密圖像是否經(jīng)過篡改，如果經(jīng)過篡改，則終止操作；如果沒經(jīng)過篡改，則根據(jù)已知的加密次數(shù)對解密圖像進(jìn)行相應(yīng)的解密操作。
9.如權(quán)利要求6至8任一項所述的基于圖像傳輸?shù)募用芙饷芟到y(tǒng)，其特征在于，所述加密端加密的方式包括 在加密過程中采取行像素矩陣從左到右，列像素從上到下的順序，先行后列與MD5至進(jìn)行異或運(yùn)算；和/或 在加密過程中采取行像素矩陣從右到左，列像素從上到下的順序，先行后列與MD5值進(jìn)行異或運(yùn)算；和/或 在加密過程中采取行像素從左到右，列像素從下到上，先行后列與MD5至進(jìn)行異或運(yùn)算；和/或 在加密的過程中采取行像素從右到左，列像素從下到上，先行后列與MD5至進(jìn)行異或運(yùn)算。
10.如權(quán)利要求9所述的基于圖像傳輸?shù)募用芙饷芟到y(tǒng)，其特征在于，所述加密端在多次加密過程中，采用同一種加密方式加密或者四種加密方式相互間的組合。
全文摘要
本發(fā)明實施例公開了一種基于梯度學(xué)習(xí)的超分辨率圖像放大方法，所述方法包括輸入待放大的RGB色彩模式的圖像；將RGB色彩模式的圖像轉(zhuǎn)到Y(jié)UV色彩模式的圖像；將YUV色彩模式的圖像進(jìn)行通道分離處理，分離出明亮度通道和色度飽和度通道；對分離出的色度飽和度通道基于插值方法放大所需的倍數(shù)；對分離出的明亮度通道基于梯度學(xué)習(xí)放大所需的倍數(shù)；將放大倍數(shù)后的色度飽和度通道和放大倍數(shù)后的明亮度通道進(jìn)行空間聯(lián)結(jié)，轉(zhuǎn)換到RGB空間，獲得放大倍數(shù)下的RGB色彩模式的圖像；輸出放大后的RGB色彩模式的圖像。通過實施本發(fā)明實施例，對亮度域圖像求其梯度，明確的保留了圖像的高頻信息，避免了高頻信息的丟失。
文檔編號G06T5/00GK102665029SQ20121008917
公開日2012年9月12日 申請日期2012年3月29日 優(yōu)先權(quán)日2012年3月29日
發(fā)明者彭曉翠, 林格, 王若梅, 羅笑南, 譚劉源 申請人:中山大學(xué)