專利名稱：一種基于樣本的圖像修復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像修復(fù)及紋理合成方法，特別是關(guān)于一種適用于對缺損圖像進行修復(fù)的基于樣本的圖像修復(fù)方法。
背景技術(shù)：
隨著科學(xué)技術(shù)的不斷進步和發(fā)展，計算機網(wǎng)絡(luò)的普及和人們對數(shù)字圖像信息需求的增加，圖像修復(fù)技術(shù)受到人們越來越多地關(guān)注，在恢復(fù)舊照片中丟失的信息、去除視頻文字及隱藏視頻錯誤等問題上得到廣泛應(yīng)用，因此研究圖像修復(fù)方法具有重大的理論價值和應(yīng)用價值。圖像修復(fù)方法主要是結(jié)合退化圖像中待修復(fù)區(qū)域周圍的信息復(fù)原待修復(fù)區(qū)域的未知圖像信息，從而達到人的視覺心理要求。視覺心理的修復(fù)規(guī)律主要為結(jié)構(gòu)性、相似性、結(jié)構(gòu)優(yōu)先和紋理一致等。圖像修復(fù)方法主要包括兩大類一類是小尺度缺損(結(jié)構(gòu)信息)的圖像修復(fù)，主要思路是建立有關(guān)退化圖像和真實圖像的數(shù)學(xué)模型，將修復(fù)問題轉(zhuǎn)化為一個 泛函求極值的變分問題來解決；另一類是填充圖像內(nèi)部大塊丟失信息(紋理信息)的圖像修復(fù)，主要思路是利用待修復(fù)區(qū)域周圍的圖像信息，基于塊匹配的方法填充待修復(fù)區(qū)域，此類方法主要利用圖像分解技術(shù)和紋理合成技術(shù)實現(xiàn)對圖像修復(fù)。完整的圖像修復(fù)需要同時兼顧結(jié)構(gòu)和紋理修復(fù)，才能保持圖像結(jié)構(gòu)信息的連貫性、紋理信息的一致性以及結(jié)構(gòu)修復(fù)和紋理修復(fù)的統(tǒng)一性。然而，在現(xiàn)有的圖像修復(fù)過程中，上述兩類方法均不能對圖像缺損區(qū)域中的結(jié)構(gòu)信息及紋理信息實現(xiàn)同步修復(fù)?，F(xiàn)有技術(shù)中，基于樣本的圖像修復(fù)方法通過在已知區(qū)域中搜索待修復(fù)目標(biāo)的最優(yōu)匹配塊完成待修復(fù)區(qū)域的填充，該方法是首先通過計算待修復(fù)區(qū)域的塊填充優(yōu)先順序，確定待修復(fù)區(qū)域邊界上具有最高優(yōu)先權(quán)的待修復(fù)塊，然后在樣例區(qū)窮盡搜索最優(yōu)匹配塊，最后將最優(yōu)匹配塊對應(yīng)位置的像素值復(fù)制到待修復(fù)塊的對應(yīng)位置，由于此方法考慮了結(jié)構(gòu)修復(fù)和紋理修復(fù)的統(tǒng)一性及修復(fù)模型構(gòu)造上的合理性，使得此方法在刮痕修復(fù)及對象去除上得到了很不錯的結(jié)果，但是上述方法存在一個普遍的問題，即不能夠智能地生成破損區(qū)域所需信息。換言之，當(dāng)破損區(qū)域所需要信息無法在圖像已知信息內(nèi)找到，那么破損區(qū)便得不到令人滿意的修復(fù)結(jié)果。

發(fā)明內(nèi)容
針對上述問題，本發(fā)明的目的是提供一種能夠智能地生成破損區(qū)域所需信息且圖片修復(fù)精度高的基于樣本的圖像修復(fù)方法。為實現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案一種基于樣本的圖像修復(fù)方法，包括以下步驟1)計算待修復(fù)圖像的待修復(fù)區(qū)域邊界上任一像素點P的優(yōu)先權(quán)，包括以下步驟
①將待修復(fù)圖像分成已知區(qū)域Φ和待修復(fù)區(qū)域Ω兩部分，δΩ為待修復(fù)區(qū)域Ω的邊界；
②計算待修復(fù)區(qū)域邊界δΩ上任一像素點P的置信度值Re(p)Rc (P) = (1- ω ) C (P) + ω
C^) =式中，ω為調(diào) 算子，Ψρ為待修復(fù)塊，q為Ψρ與Φ相交區(qū)域的任一像素點計算像素點P的數(shù)據(jù)項D(p);④計算像素點P的優(yōu)先權(quán)P (P) =Rc (P) D (P) ;2)根據(jù)所述步驟I)計算像素點P的優(yōu)先權(quán)，確定最先修復(fù)的待修復(fù)目標(biāo)塊；3)搜索已知區(qū)域內(nèi)的所有匹配塊，根據(jù)設(shè)定的匹配條件，尋找待修復(fù)目標(biāo)塊的最佳匹配塊；4)提取最佳匹配塊的像素值，并計算最佳匹配塊中心像素點的置信度值；5)將最佳匹配塊對應(yīng)的像素值復(fù)制到待修復(fù)目標(biāo)塊的相應(yīng)位置，并將P點的置信度更新成最佳匹配塊中心像素點的置信度值，形成新的待修復(fù)區(qū)域；6)執(zhí)行上述步驟I) 5)，直到待修復(fù)區(qū)域全部填充完畢。所述步驟I)中ω的取值范圍為[O. 1，O. 7]。所述步驟I)③計算像素點P的數(shù)據(jù)項D(p)
toon] Dip) JVIp'n^ a式中,V/土表示像素點P處的等照度線向量，np表示點P處的單位法向量，α表示歸一化因子。所述步驟3)搜索已知區(qū)域內(nèi)的所有匹配塊，根據(jù)設(shè)定的匹配條件，尋找待修復(fù)目標(biāo)塊的最佳匹配塊，包括以下步驟①計算待修復(fù)目標(biāo)塊與已知區(qū)域內(nèi)每一匹配塊的均值SSD距離，如果計算得到的均值SSD距離的最小值是唯一的，將此最優(yōu)匹配塊作為待修復(fù)目標(biāo)塊Ψρ的最佳匹配塊，如果計算得到的均值SSD距離的最小值不是唯一的，則進入步驟2)進行再匹配；②計算待修復(fù)目標(biāo)塊Ψρ與每一最優(yōu)匹配快的簡化的NCC距離，選擇距離最小的簡化的NCC距離的最優(yōu)匹配塊作為待修復(fù)目標(biāo)塊Ψρ的最佳匹配塊。所述待修復(fù)目標(biāo)塊Ψρ與任一匹配塊的均值SSD距離的計算公式為('，') = [ (ΛΨ -RvJ1+ (GWf -G-Vgi)2 +(Βψρ-Bvei)2式中，及、G , 5分別表示待修復(fù)目標(biāo)塊和匹配塊中各個像素點中不同顏色通道亮度的均值，此公式中的所描述的匹配塊是在已知區(qū)域內(nèi)以某一像素點qi為中心點的矩形塊。所述簡化的NCC距離計算公式為
, 、 \Υθψ -Gip ,TdNCC (ψρψ,,) = —^-7 2
Σ _ ' Σ _式中，G表示圖像中各個像素點的灰度值。本發(fā)明由于采取以上技術(shù)方案，其具有以下優(yōu)點1、由于本發(fā)明在計算像素點的置信度時引入調(diào)節(jié)算子，通過周期性的計算當(dāng)前迭代的置信度值與先前迭代中最小的置信度值之間的差值，如果該差值大于事先設(shè)定的閾值，說明置信度值曲線發(fā)生“droppingeffect”，則可以重新選擇調(diào)節(jié)算子的取值，從而可以使計算得到的優(yōu)先權(quán)值能夠代表正確的塊填充次序，使得在有限的迭代次數(shù)內(nèi)，達到更加準(zhǔn)確的修復(fù)效果，與現(xiàn)有技術(shù)相比，不僅能夠智能地生成破損區(qū)域所需信息，而且有效地避免“dropping effect”的效果,使得計算得到的像素點的優(yōu)先權(quán)更符合實際修復(fù)順序，保證了圖片修復(fù)的準(zhǔn)確性。2、本發(fā)明在已知區(qū)域內(nèi)尋找待修復(fù)目標(biāo)快的匹配塊時采用了兩種匹配條件，首先采用均值SSD距離作為首次匹配條件來尋找待修復(fù)目標(biāo)塊的最優(yōu)匹配塊，由于采用最小的均值SSD距離作為匹配條件可能出現(xiàn)多個待修復(fù)目標(biāo)塊的最優(yōu)匹配塊，此時采用簡化的NCC距離作為此匹配條件，在最優(yōu)匹配塊中尋找最佳匹配塊，進一步保證了圖像修復(fù)的精度和準(zhǔn)確性。3、本發(fā)明由于設(shè)定了大小合適的待匹配塊區(qū)域，能夠快速有效地生成并填充破損區(qū)域所需的信息。本發(fā)明可以廣泛應(yīng)用于圖像修復(fù)過程中。


圖1是本發(fā)明的圖像修復(fù)原理示意圖；圖2是圖1的修復(fù)結(jié)果示意圖；圖3是本發(fā)明的圖像修復(fù)方法的流程示意·
圖4 (a)是本發(fā)明的實施例圖像示意圖；圖4 (b)是本發(fā)明的實施例修復(fù)區(qū)域邊界δ Ω上任一像素點P的示意圖；圖5是本發(fā)明實施例的待修復(fù)目標(biāo)塊修復(fù)完成形成的新的待修復(fù)區(qū)域；圖6是采用本發(fā)明的修復(fù)效果示意圖，圖6 (a)是修復(fù)前的圖形示意圖；圖6 (b)是修復(fù)后的效果不意圖；圖7 Ca)是現(xiàn)有技術(shù)的置信度曲線示意圖，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為置信度；圖7 (b)是采用本發(fā)明的方法計算的置信度曲線示意圖，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為置信度；圖8 (a)是現(xiàn)有技術(shù)的塊填充優(yōu)先權(quán)示意圖，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為塊填充優(yōu)先權(quán)；圖8 (b)是采用本發(fā)明的方法計算的填充優(yōu)先權(quán)示意圖，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為塊填充優(yōu)先權(quán)。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明進行詳細的描述。目標(biāo)去除是圖形修復(fù)技術(shù)領(lǐng)域的一個典型應(yīng)用，其任務(wù)是盡量自然地修復(fù)圖像中指定區(qū)域的丟失圖形信息，本發(fā)明以目標(biāo)去除為實施例對圖像修復(fù)方法的具體過程進行說明，目標(biāo)去除是針對圖像中的信息缺損區(qū)域，利用圖像中其它已知區(qū)域的結(jié)構(gòu)或紋理信息進行填充，使修復(fù)后的圖像自然、真實，符合人的視覺心理要求。如圖1所示，I是待修復(fù)圖像，Ω是指定的缺損區(qū)域(待修復(fù)區(qū)域)，Φ是圖像中信息完好的區(qū)域。如圖2所示，從目標(biāo)去除的角度來說，圖像修復(fù)的目標(biāo)就是利用信息完好區(qū)域Φ對缺損區(qū)域Ω反復(fù)進行修補，從而待修復(fù)圖像I。如圖3所示，本發(fā)明的基于樣本的圖像修復(fù)方法，包括以下步驟1、計算待修復(fù)圖像的待修復(fù)區(qū)域邊界δ Ω上任一像素點P的優(yōu)先權(quán)(待修復(fù)圖像的待修復(fù)區(qū)域在不斷修復(fù)的過程中會逐漸縮小)，包括以下步驟I)如圖4 (a)所示，將待修復(fù)圖像分成已知區(qū)域Φ和待修復(fù)區(qū)域Ω兩部分，δ Ω表示待修復(fù)區(qū)域Ω的邊界；
2)如圖4 (b)所示，計算待修復(fù)區(qū)域邊界δ Ω上任一像素點ρ的置信度Rc(P)Rc(p) = (1-ω) C(p)+ ω(I)C(P)=-白η-式中，ω為調(diào)節(jié)算子，用于控制置信度的光滑程度，ω可以根據(jù)實際需要在[O. 1,0. 7]內(nèi)靈活選擇以控制置信度值的變化，通過周期性的計算當(dāng)前迭代的置信度值與先前迭代中最小的置信度值之間的差值，如果該差值大于事先設(shè)定的閾值(本發(fā)明實施例的閾值設(shè)為O. 02，可以根據(jù)實際需要進行選擇，在此不作限定)，則重新選擇調(diào)節(jié)算子的ω取值，Ψρ是以P點為中心，大小為nXn的區(qū)域，n可以根據(jù)實際需要進行選取，在此不作限定，本發(fā)明實施例選取n=9的，則Ψρ待修復(fù)塊的大小是9個像素Χ9個像素的矩形塊，q為ψρ與φ相交區(qū)域的任一像素點，在初始化時，C(/ ) = 0 ( VpeO ), C(^ 1=( Vs εΦ )o3)計算像素點ρ的數(shù)據(jù)項D (ρ)
▽/丄D(/ ) = p p(3)
a式中，D(p)用于衡量像素點P處的邊緣強度，表示P點處的等照度線方向和強度，▽7'表示像素點P處的等照度線向量，np表示點P處的單位法向量，α表示歸一化因子。4)根據(jù)像素點P的置信度Re(P)和數(shù)據(jù)項D(p)的乘積計算像素點P的優(yōu)先權(quán)P(P)P(p)=Re(p)D(p)⑷2、根據(jù)上述步驟I計算待修復(fù)區(qū)域邊界δ Ω上像素點ρ的優(yōu)先權(quán)，確定最先修復(fù)的待修復(fù)目標(biāo)塊。對于待修復(fù)區(qū)域邊界上的任一像素點p，Rc(p)越大說明像素點P周圍具有高置信度的像素點越多，點P的置信度也越高，應(yīng)該優(yōu)先進行修復(fù)，D(P)值越大說明像素點P處是圖像已知區(qū)域的等照度線與待修復(fù)區(qū)域邊界的交匯處，為了保持圖像中的邊緣結(jié)構(gòu)，ΨΡΕ該優(yōu)先修復(fù)，因此像素點P的優(yōu)先權(quán)P (P)越大則代表需要先行進行修復(fù)。3、搜索已知區(qū)域內(nèi)的所有匹配塊，根據(jù)設(shè)定的匹配條件，尋找待修復(fù)目標(biāo)塊的最佳匹配塊，包括以下步驟I)計算待修復(fù)目標(biāo)塊與已知區(qū)域內(nèi)每一匹配塊(Wql Ψ&…Ψ-)的均值SSD距離(Sum of Squared Differences,差方和)，以此均值SSD距離作為測量待修復(fù)目標(biāo)塊Ψρ與每一匹配塊之間的相似度，選擇與待修復(fù)目標(biāo)塊的均值SSD距離最小的匹配塊作為與待修復(fù)目標(biāo)塊Ψρ的最優(yōu)匹配快，如果計算得到的均值SSD距離的最小值是唯一的，將此個最優(yōu)匹配塊作為待修復(fù)目標(biāo)塊Ψρ的最佳匹配塊，如果計算得到的均值SSD距離的最小值不是唯一的，即存在一個以上的最優(yōu)匹配塊，則進入步驟2)再次進行匹配。其中，均值SSD距離是采用各顏色通道亮度的均值反映待修復(fù)目標(biāo)塊與匹配塊之間的平均相似度，待修復(fù)目標(biāo)塊Ψρ與任一匹配塊Wqi (i=L···!!!)的均值SSD距離為^(ψ,,ψ 71) = χ[(^ -RvJ + (GVp-G^f+(B^- )2](5)式中，及、G, 5分別表示待修復(fù)目標(biāo)塊和匹配塊中各個像素點中不同顏色通道亮度的均值，此公式中的所描述的匹配塊是在已知區(qū)域內(nèi)以某一像素點qi為中心點，大小為9個像素X9個像素的矩形塊，可以根據(jù)公式(5)分別計算待修復(fù)目標(biāo)塊屯。與其它任一匹配塊的均值SSD距離。2)計算待修復(fù)目標(biāo)塊Ψρ與每一最優(yōu)匹配快的簡化的NCC(Normalized CrossCorrelation)距離，選擇與待修復(fù)目標(biāo)塊的簡化的NCC距離最小的最優(yōu)匹配塊作為待修復(fù)目標(biāo)塊▽。的最佳匹配塊。NCC是一種基于像素灰度的圖像匹配方法，該方法抗白噪聲干擾能力強，且在灰度變化及幾何畸變不大的情況下精度很高，但是計算復(fù)雜度較高，NCC距離是利用圖像中待修復(fù)目標(biāo)塊#1)與最優(yōu)匹配塊灰度信息之間的相關(guān)性測量彼此之間的相似程度。本發(fā)明采用NCC的簡化形式，去掉了傳統(tǒng)的NCC方法中的減均值部分，降低了計算復(fù)雜度，簡化的NCC距離為
權(quán)利要求
1.一種基于樣本的圖像修復(fù)方法，包括以下步驟O計算待修復(fù)圖像的待修復(fù)區(qū)域邊界上任一像素點P的優(yōu)先權(quán)，包括以下步驟①將待修復(fù)圖像分成已知區(qū)域Φ和待修復(fù)區(qū)域Ω兩部分，δΩ為待修復(fù)區(qū)域Ω的邊界；②計算待修復(fù)區(qū)域邊界SΩ上任一像素點P的置信度值Re(P)
2.如權(quán)利要求1所述的一種基于樣本的圖像修復(fù)方法，其特征在于所述步驟I)中ω 的取值范圍為[O. 1,0. 7]。
3.如權(quán)利要求1所述的一種基于樣本的圖像修復(fù)方法，其特征在于所述步驟I)③計算像素點P的數(shù)據(jù)項D(p)
4.如權(quán)利要求2所述的一種基于樣本的圖像修復(fù)方法，其特征在于所述步驟I)③計算像素點P的數(shù)據(jù)項D (P)
5.如權(quán)利要求1或2或3或4所述的一種基于樣本的圖像修復(fù)方法，其特征在于所述步驟3)搜索已知區(qū)域內(nèi)的所有匹配塊，根據(jù)設(shè)定的匹配條件，尋找待修復(fù)目標(biāo)塊的最佳匹配塊，包括以下步驟①計算待修復(fù)目標(biāo)塊與已知區(qū)域內(nèi)每一匹配塊的均值SSD距離，如果計算得到的均值 SSD距離的最小值是唯一的，將此最優(yōu)匹配塊作為待修復(fù)目標(biāo)塊Ψρ的最佳匹配塊，如果計算得到的均值SSD距離的最小值不是唯一的，則進入步驟2)進行再匹配；②計算待修復(fù)目標(biāo)塊Ψρ與每一最優(yōu)匹配快的簡化的NCC距離，選擇距離最小的簡化的NCC距離的最優(yōu)匹配塊作為待修復(fù)目標(biāo)塊Ψρ的最佳匹配塊。
6.如權(quán)利要求5所述的一種基于樣本的圖像修復(fù)方法,其特征在于所述待修復(fù)目標(biāo)塊Ψρ與任一匹配塊的均值SSD距離的計算公式為孑·(，Ψ ) = [ (R'￥f -Κψ^Υ+ (Οψρ-Gf^y + (Βψρ -ΒΨφ)2式中，3、G, 5分別表示待修復(fù)目標(biāo)塊和匹配塊中各個像素點中不同顏色通道亮度的均值，此公式中的所描述的匹配塊是在已知區(qū)域內(nèi)以某一像素點qi為中心點的矩形塊。
7.如權(quán)利要求5所述的一種基于樣本的圖像修復(fù)方法，其特征在于所述簡化的NCC 距離計算公式為機，Μ、!)式中，G表示圖像中各個像素點的灰度值。
全文摘要
本發(fā)明涉及一種基于樣本的圖像修復(fù)方法，包括以下步驟1)計算待修復(fù)區(qū)域邊界上任一像素點p的優(yōu)先權(quán)；2)根據(jù)所述步驟1)計算像素點p的優(yōu)先權(quán)，確定最先修復(fù)的待修復(fù)目標(biāo)塊；3)搜索已知區(qū)域內(nèi)的所有匹配塊，根據(jù)匹配條件，尋找待修復(fù)目標(biāo)塊的最佳匹配塊；4)提取最佳匹配塊的像素值，并計算最佳匹配塊中心像素點的置信度值；5)將最佳匹配塊對應(yīng)的像素值復(fù)制到待修復(fù)目標(biāo)塊的相應(yīng)位置，并將p點的置信度更新成最佳匹配塊中心像素點的置信度值，形成新的待修復(fù)區(qū)域；6)執(zhí)行上述步驟1)～5)，直到待修復(fù)區(qū)域全部填充完畢。本發(fā)明可以廣泛應(yīng)用在圖像修復(fù)過程中。
文檔編號G06T5/00GK102999887SQ20121045090
公開日2013年3月27日 申請日期2012年11月12日 優(yōu)先權(quán)日2012年11月12日
發(fā)明者呂科, 王靜, 潘衛(wèi)國 申請人:中國科學(xué)院研究生院