專利名稱：數(shù)字圖像處理中基于hvs的自然圖像摳圖方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法。
背景技術(shù)：
摳圖技術(shù)是一種把任意圖像中的前景部分從背景中分離出來的一種圖像處理技術(shù)。它在電影電視特效特技制作等方面有著廣泛而深入的應(yīng)用。根據(jù)對圖像背景的有無限制，摳圖技術(shù)大致可以分為兩大類對圖像前景或背景有限制一類又可分為藍屏摳圖(blue screen matting)和差異摳圖(difference matting)。藍屏摳圖技術(shù)對圖像的背景有一定限制，背景通常是固定顏色，一般為藍色或者綠色，或者是準備多張有相同前景的圖像，利用這些圖像中的背景顏色的不同，來達到準確摳取前景的目的。差異摳圖技術(shù)需要另外準備一張背景圖像，通過比較背景圖像和原圖中相應(yīng)點的顏色差異來估計alpha值。
對圖像背景無限制一類自然圖像摳圖(natural image matting)。它對圖像的背景不做要求，且只需一張圖像。
摳圖問題可以定義為對給定圖像上任一點c，求c點的顏色C所含的前景色F和alpha值α。摳圖問題的困難在于對圖像上的任一點c，它的F和α的解并不是唯一的，我們要從無數(shù)對的解中找出最合理的解。
藍屏摳圖技術(shù)簡單，計算量小，且摳圖效果好。但是它有其致命的弱點，就是它對圖像的背景的顏色有一定限制。一般情況下背景要求是藍色或者綠色，應(yīng)用該技術(shù)時需要一個人拿著塊藍色的背景到處跑，同時它一般還要求前景的顏色的RGB分量按某種比例分布，這些使藍屏摳圖技術(shù)在具體應(yīng)用當中帶來了很大的不便。
自然圖像摳圖技術(shù)有Knockout方法、Ruzon&Tomasi方法、Hillman方法和Chuang方法。自然圖像摳圖一般可以分為三個步驟1.區(qū)域分割。一般情況下以手工分割為主。由于區(qū)域分割的精確程度對摳圖效果有很大的影響。手工分割區(qū)域可以有更好的精確度，一般一張圖像的區(qū)域分割耗時2-3分鐘左右。
2.前景和背景顏色估計。Knockout方法利用鄰近區(qū)域的點的加權(quán)平均來估計，方法簡單，計算量較?。籖uzon&Tomasi方法、Hillman方法和Chuang方法都利用了統(tǒng)計學(xué)的規(guī)律，方法復(fù)雜，計算量大。
3.Alpha值估計。利用估計出的前景和背景顏色來估計alpha值。根據(jù)HVS原理，把一個顏色矢量分為對應(yīng)于顏色矢量的方向的色度和對應(yīng)于顏色矢量長度的亮度，并根據(jù)不同情況下，色度和亮度對alpha估計的重要性的不同，通過施加不同的權(quán)值對它們區(qū)別對待，最后把求得的色度alpha和亮度alpha做加權(quán)平均，做為最終的alpha。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法。其步驟為1)手工對圖像進行區(qū)域劃分，把它劃分成三個部分前景區(qū)域，未知區(qū)域和背景區(qū)域；2)根據(jù)分割的區(qū)域，對未知區(qū)域中的任意一點c，設(shè)其顏色為C，計算出其前景和背景顏色分量F和B；3)根據(jù)估計出的前景和背景顏色分量F和B，基于HVS的原理，對顏色的亮度和色度做不同處理，最后估計出c點的alpha值。
本發(fā)明具有速度快，效果好的優(yōu)點。以前的自然圖像摳圖技術(shù)都把大部分的精力放在了第二個步驟，也即如何估計前景和背景顏色，而忽略了第三個步驟，也即alpha的估計。關(guān)注步驟2忽略步驟3的結(jié)果導(dǎo)致出現(xiàn)了各種復(fù)雜的顏色估計模型，雖然在一定程度上改進了摳圖效果，但同時也大大增加了計算量，這使得自然圖像摳圖技術(shù)在實際中的應(yīng)用受到了很大的限制。
本發(fā)明突破了這個框架，設(shè)計了一種計算量小，摳圖效果好的摳圖技術(shù)來滿足實際的需要。它的顏色估計模型非常簡單，alpha值的估計方案則利用了HVS的原理。
表1列出了不同摳圖例子在不同的機器上所需的處理時間。與當今國際上摳圖效果最好的Chuang方法相比，本發(fā)明的速度比它提高了10～12倍，而摳圖效果卻沒有降低。Chuang方法在CPU為P3 1.0G，RAM為512M的環(huán)境下，處理Syringe圖像需要120秒左右。使用本發(fā)明的方法在機器條件比Chuang方法略差的條件下，速度是Chuang方法的11倍左右。
表格1不同摳圖例子在不同環(huán)境下的摳圖時間


應(yīng)用本發(fā)明可以快速有效地摳出任意圖像中的前景部分。大量的例子證明，本發(fā)明很好地解決了摳圖中存在的速度和效果之間的矛盾，充分利用顏色的不同信息，具有很好的普遍實用價值。


圖1是本發(fā)明流程示意圖；圖2(a)(b)描述的是區(qū)域劃分和前景背景顏色分量的估計示意圖；圖3(a)(b)是顏色F、B和C在顏色空間中的兩種相對位置示意圖；圖4(a)(b)是顏色F、B和C的色度F′、B′和C′和亮度LF、LB和LC，以及δ的示意圖；圖5是本發(fā)明與其他摳圖方法的關(guān)于例子Syringe圖像的效果比較示意圖；圖6是本發(fā)明與Chuang方法的關(guān)于例子Feather_edge圖像的效果比較示意圖；圖7是本發(fā)明的其他一些效果示意圖。
具體實施例方式
數(shù)字圖像處理中基于HVS的自然圖像摳圖方法的原理是對于前景和背景之間的過渡區(qū)域(也即區(qū)域分割中的未知區(qū)域)中的任意一點c，以圖像空間中離該點最近的一些前景點和背景點的顏色加權(quán)平均值F和B做為c點顏色的前景和背景顏色分量，然后基于HVS的原理，對顏色的色度和亮度分開并分別求得色度alpha和亮度alpha，以色度alpha和亮度alpha的加權(quán)平均值做為c點最終的alpha值α。本方法無需建立復(fù)雜的模型來求前景和背景顏色，alpha估計方法簡單實用，因此，本方法是一種快速的摳圖方法。
首先，在本摳圖方法的第二個步驟中，計算前景顏色分量F和背景顏色分量B的模型簡單實用。本方法只計算包含在兩個圓區(qū)域內(nèi)部的輪廓線上的點，且權(quán)重的計算和這些點與c點的距離成線性關(guān)系，距離最近的點的權(quán)重最大，隨著距離的增大權(quán)重線性減小。本發(fā)明的摳圖方法在第二步的顏色估計模型盡可能地做了簡化。
其次，在第三個步驟中，本方法的顏色調(diào)整方案簡單直觀。該方案保持顏色的RGB分量的比例不變，利用人眼對顏色亮度的微小變化不甚敏感的特點，在最小程度上調(diào)整前景和背景顏色的亮度，最后利用調(diào)整后的前景和背景顏色估計出C點的alpha值。該方案具體如下在三維RGB顏色空間中，一點的顏色可以表示為一個點或者一個向量。在顏色三維坐標中，點O為坐標原點，它表示黑色。給定顏色空間中的任意兩點P1，P2，|P1P2|表示線段P1P2的長度。設(shè)未知區(qū)域內(nèi)任一點c，其顏色為C＝(RC，GC，BC)，估計出來的初始前景和背景顏色分量為F＝(RF，GF，BF)、B＝(RB，GB，BB)。在顏色空間中，它們的色度分別為C′＝(rC，gC，bC)、F′＝(rF，gF，bF)和B′＝(rB，gB，bB)，并用顏色矢量的長度LC、LF和LB代表它們的亮度。分別計算出色度alpha值αCH和亮度alpha值αIN為αCH=(C′-B′)·(F′-B′)||F′-B′||2]]>和αIN=LC-LBLF-LB,]]>其中αCH∈
，αIN∈
。
現(xiàn)在分析αCH和αIN的權(quán)值WCH和WIN推導(dǎo)?？紤]顏色空間中顏色F′和B′的距離δ，易知δ∈
.]]>當δ趨向于0時，也就是說顏色F、B的色度越來越接近時，此時顏色F、B和C的亮度的差異在alpha求值中占的比重越大；當δ趨向于 時，也就是說顏色F、B的色度相差越來越大時，此時顏色F、B和C的色度差異在alpha求值中占的比重越來越大。同時，考慮顏色F、B的亮度LF和LB對alpha求值的影響。令ρ為LF和LB中較小者與較大者的比值，易知ρ∈(0，1]，當ρ趨向于0時，顏色F、B和C的亮度的差異在alpha求值中占的比重越大；當ρ趨向于1時，顏色F、B和C的色度的差異在alpha求值中占的比重將越來越大。根據(jù)以上的分析，我們用三次方來強調(diào)這種變化趨勢，可以推導(dǎo)出WCH和WIN與δ和ρ的關(guān)系WCH＝sδ3+tρ3，WIN＝u/δ3+v/ρ3，其中u，v，s，t為常數(shù)。
最后，C點的alpha值α為αCH和αIN的加權(quán)平均α=WCHαCH+WINαINWCH+WIN.]]>HVS的主要特點就是對結(jié)果施加不同影響的因素加以區(qū)別對待。在摳圖中，顏色的色度和亮度在不同情況下對最終的α的求值的影響是不同的。RGB顏色表示法把顏色的色度和亮度緊緊的捆綁在一齊。直接使用RGB顏色求alpha值，并不能保證正確地摳圖。本發(fā)明首次把HVS的原理應(yīng)用到摳圖領(lǐng)域當中，對顏色的色度和亮度加以區(qū)別對待，根據(jù)圖像中色度和亮度對摳圖的影響的不同，通過調(diào)節(jié)常數(shù)u，v，s，t對αCH和αIN的權(quán)值WCH和WIN進行調(diào)整，從而得到準確的摳圖結(jié)果。
圖1是本發(fā)明的詳細流程圖。首先，對輸入圖像進行區(qū)域劃分，共分為三個部分前景區(qū)域、背景區(qū)域和未知區(qū)域；其次，根據(jù)劃分的區(qū)域，對未知區(qū)域中的每一點，初步估計出它的前景和背景顏色分量；最后，本發(fā)明根據(jù)HVS原理，估計出它的alpha值。
圖2(a)是本發(fā)明中區(qū)域劃分的一個例子；圖2(b)描述了在本發(fā)明中如何估計未知區(qū)域中的點的前景和背景顏色分量。其中較小的圓C1內(nèi)部包含的那段紅色的前景輪廓線上的點就是計算前景分量所需的所有點，較大的圓C2內(nèi)部所包含的那段綠色的背景輪廓線上的點就是計算背景分量所需的所有點。
圖3(a)中點C恰好在線段BF上；圖3(b)中點C在線段BF之外。
圖4是顏色F、B和C的色度F′、B′和C′和亮度LF、LB和LC，以及δ的示意圖。
本說明書共舉了6個實施例子。圖5，圖6為實施例子1、2，圖7包含實施例子3～6。在圖5中u＝1/8000，v＝1，s＝8000，t＝1，其余圖中u＝1/8000，v＝3，s＝8000，t＝3。
實施例1圖5中放大圖1是由三部分組合而成，其中左邊是原圖，中間是灰度圖，右邊是背景為黑色的合成圖。Knockout方法在放大圖1中沒有把一些頭發(fā)絲摳出來，另外放大圖1上有一些點的結(jié)果失真。Ruzon&Tomasi方法則有一些頭發(fā)絲出現(xiàn)比較嚴重的斷裂現(xiàn)象，另外合成圖中有明顯的不連續(xù)的現(xiàn)象。Chuang方法的效果較好，但仔細觀察，可以發(fā)現(xiàn)放大圖2的底部有輕微的不連續(xù)現(xiàn)象，在放大圖1中也有些微的不連續(xù)。本發(fā)明的方法在本例子中則沒有上述的缺點，總體效果比Chuang方法略好。
實施例2圖6中Chuang方法在放大圖1中的兩個橢圓內(nèi)部的區(qū)域中摳圖結(jié)果錯誤或者出現(xiàn)雜質(zhì)。在上部的小橢圓內(nèi)部，一部分發(fā)絲被強行割掉，這里的摳圖結(jié)果是錯誤的，而在下面的大橢圓內(nèi)部，則出現(xiàn)了一片雜質(zhì)。本發(fā)明的方法很好的處理了這兩個橢圓內(nèi)Chuang方法存在的問題，但是在放大圖1的右邊，本方法的一些地方則不如Chuang方法。
實施例3～6圖7中(a)圖是Gandalf例子，(b)圖是Galadriel例子，(c)圖是Tiger例子，(d)圖是Water例子。
數(shù)字圖像處理中以任意圖像為背景的快速摳圖方法的要點是1.手工進行區(qū)域劃分，確保輪廓線經(jīng)過合適的區(qū)域，并具有足夠的精度；2.顏色估計中用到的樣本點為圓內(nèi)部的輪廓線上的點，兩個圓的半徑的長度一般為最短距離的1.5～3.0倍；3.根據(jù)HVS原理，對顏色的色度和亮度分開進行不同處理；區(qū)域劃分的精確與否對自然圖像摳圖的精度有很大的影響。摳圖時應(yīng)注意以下幾點①保證前景輪廓線內(nèi)的點全部為前景點，背景輪廓線外的點全部為背景點，不能允許有交叉，否則將大大影響交叉區(qū)域的摳圖精確度；②由于光照和空氣的影響，人眼中物體的邊界處總是有一點模糊。前景和背景輪廓線不要太靠近物體的邊界，要留有一定的余地，保證過渡區(qū)域不劃入前景或者背景區(qū)域。邊界到兩條輪廓線的距離大致相等；③盡量使輪廓線不穿過顏色突變劇烈的區(qū)域。
本發(fā)明中前景和背景顏色的估計用到的樣本點僅為輪廓線上的點，這使樣本點的個數(shù)大大減小，提高了計算速度。本發(fā)明中alpha求值方法是其中的重點。它的核心就是把顏色的色度和亮度分開考慮，根據(jù)在不同圖像中的它們的影響的不同，給色度alpha分量和亮度alpha分量以不同的權(quán)重來求得更合理的alpha值。
權(quán)利要求
1.一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于其步驟為1)手工對圖像進行區(qū)域劃分，把它劃分成三個部分前景區(qū)域，未知區(qū)域和背景區(qū)域；2)根據(jù)分割的區(qū)域，對未知區(qū)域中的任意一點c，設(shè)其顏色為C，計算出其初始的前景和背景顏色分量F和B；3)據(jù)估計出的初始前景和背景顏色分量F和B，基于HVS的原理，對顏色的亮度和色度做不同處理，最后估計出c點的alpha值。
2.根據(jù)權(quán)利要求1所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的區(qū)域分割是手工在圖像的前景邊緣畫兩條輪廓線，一條是前景輪廓線，處于這條輪廓線內(nèi)部的點都是前景區(qū)域的點，另一條輪廓線為背景輪廓線，處于這條輪廓線之外的點都是背景區(qū)域的點，位于這兩條輪廓線之內(nèi)的點為未知區(qū)域的點。手工畫輪廓線時，盡量使未知區(qū)域內(nèi)不包含前景區(qū)域或背景區(qū)域的點。
3.根據(jù)權(quán)利要求1所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的前景和背景顏色分量F和B的計算是對于未知區(qū)域中的任意一點c，找出前景輪廓線和背景輪廓線上離c點距離最近的點f′和b′。假設(shè)點f′和b′離c點的距離分別為d1和d2，給定一個正實數(shù)θ(1.0＜θ≤10.0)，以點c為圓心，分別以θd1和θd2長為半徑，做兩個同心圓C1和C2。設(shè)在圓C1內(nèi)部且位于前景輪廓線上的所有點為f1、f2、……、fk，這些點離c點的距離為d11、d12、……、d1k，在圓C2內(nèi)部且位于背景輪廓線上的所有點為b1、b2、……、bl，這些點離c點的距離為d21、d22、……、d21，計算出f1(i＝1，2，...，k)點顏色的加權(quán)平均值F‾=Σl=1kw1lfl,bj(j=1,2,...,l)]]>點顏色的加權(quán)平均值B‾=Σj=1lw2jbj,]]>其中w1i=θθ-1-1θ-1·d1id1(i=1,2,...k),]]>w2j=θθ-1-1θ-1·d2jd2(j=1,2,...l).]]>在本發(fā)明中，F(xiàn)和B就是所估計的前景和背景顏色分量F和B。
4.根據(jù)權(quán)利要求1或3所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的alpha值估計是其步驟為1)計算給定點顏色C、前景和背景顏色F和B的色度C′、F′和B′，以及它們的亮度LC、LF和LB；2)分別計算色度的灰度值αCH和亮度的灰度值αIN；3)計算αCH和αIN的權(quán)重WCH和WIN；4)以αCH和αIN的加權(quán)平均做為c點的alpha值α。
5.根據(jù)權(quán)利要求1或3所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的色度C′、F′和B′及亮度LC、LF和LB的求值為設(shè)給定的未知區(qū)域點的顏色C＝(RC，GC，BC)，前景顏色F＝(RF，GF，BF)，背景顏色B＝(RB，GB，BB)，C的色度C′＝(rC，gC，bC)，前景色度F′＝(rF，gF，bF)，背景色度B′＝(rB，gB，bB)，則它們的三個分量為rl＝Rl/(Rl+Gl+Bi)，gl＝Gl/(Rl+Gl+Bl)，bl＝Bl/(Rl+Gl+Bl)，亮度Li=Ri2+Gi2+Bi2,]]>其中i＝C，F(xiàn)，B。
6.根據(jù)權(quán)利要求1或3所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的色度的灰度值αCH=(C′-B′)·(F′-B′)||F′-B′||2,]]>亮度的灰度值αIN=LC-LBLF-LB,]]>αCH∈
，αIN∈
。
7.根據(jù)權(quán)利要求1或3所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的αCH和αIN的權(quán)重WCH和WIN求值過程為令ρ(ρ∈(0，1])為LB和LF中較短者與較長者的比值，令δ(δ∈
]]>)為F′和B′在顏色空間中的距離，則WCH＝sδ3+tρ3，WIN＝u/δ3+v/ρ3，其中u，v，s，t為常數(shù)。
8.根據(jù)權(quán)利要求1或3所述的一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法，其特征在于所說的alpha值估計是根據(jù)αCH和αIN和它們的權(quán)重WCH和WIN，可以計算出α=WCHαCH+WINαINWCH+WIN.]]>
全文摘要
本發(fā)明公開了一種數(shù)字圖像處理中基于HVS的自然圖像摳圖方法。其步驟為1)手工對圖像進行區(qū)域分割，把它劃分成三個部分前景區(qū)域，未知區(qū)域和背景區(qū)域；2)根據(jù)分割的區(qū)域，對未知區(qū)域中的任意一點c，設(shè)其顏色為C，計算出其前景和背景顏色分量F和B；3)根據(jù)估計出的前景和背景顏色分量F和B，基于HVS的原理，對顏色的亮度和色度做不同處理，最后估計出c點的alpha值。應(yīng)用本摳圖方法可以有效地對圖像做摳圖處理，同時，能極大提高摳圖速度，計算開銷小，具有很好的實用價值。
文檔編號G06T15/10GK1479254SQ0311707
公開日2004年3月3日 申請日期2003年5月18日 優(yōu)先權(quán)日2003年5月18日
發(fā)明者林生佑, 石教英 申請人:浙江大學(xué)