專利名稱：基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機圖像處理方法，具體涉及一種基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法。
背景技術(shù)：
意大利畫家朱塞佩·阿爾欽博托(1527-1593)的代表作品《四季》別出心裁地用水果、蔬菜等拼合而成，產(chǎn)生了別具一格的藝術(shù)效果，對后來的超現(xiàn)實主義產(chǎn)生了重要的影響。從計算機圖形學(xué)的角度來看，阿爾欽博托的作品與圖像合成有著密不可分的關(guān)系。圖像合成是指將兩個或兩個以上的圖像進行加工處理，疊加或組合成一幅具有特殊效果的圖像的過程。這方面的工作已經(jīng)有很多，比如圖像馬賽克(A.HaUSner. Simulating decorative mosaics， Proceedings of the 28thannual conference on Computer graphics and interactive techniques，2001)禾口數(shù)字照片合成(A. Agarwala, Μ. Dontcheva,Μ. Agrawala,et al. Interactive digital photomontage. ACM Transactions on Graphics (TOG) ,23 (3) :294_302，2004)，Gal等甚至提出了基于3D模型的拼圖設(shè)計系統(tǒng) (R. Gal, 0.Sorkine, T.Popa, et al. 3D collage :Expressive non-realistic modeling， ACM，2007)。以上圖像合成工作生成了較具吸引力的合成結(jié)果，但是由于其數(shù)據(jù)庫中的元素有限，其系統(tǒng)的表現(xiàn)能力受到了很大的限制。隨著電子設(shè)備的普及以及互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上數(shù)字圖像的數(shù)量急劇增加國外著名社交網(wǎng)站!^acebook的圖片數(shù)量已經(jīng)突破150億，國內(nèi)著名社交網(wǎng)站51. com的用戶上傳的圖片數(shù)量也超過110億。如果能利用互聯(lián)網(wǎng)上海量圖像數(shù)據(jù)庫來輔助圖像合成工作，定能解決當(dāng)前多數(shù)圖像合成系統(tǒng)的表現(xiàn)能力過低的問題。但是，如何對如此大規(guī)模的圖像進行有效的管理和利用是一個十分重要的課題。 目前，搜索引擎是對互聯(lián)網(wǎng)信息進行有效管理和利用的有效手段，但是對于圖像來說，當(dāng)前的搜索引擎多是基于圖像的文本注釋進行搜索，由于圖像的文本注釋完全依靠人工完成，而且不同的人對同一幅圖像有著不同的理解，隨意性較大，不夠客觀，同時隨著多媒體技術(shù)的注入，圖像數(shù)量急劇增加，對實現(xiàn)圖像庫自動檢索的需求更加迫切，單純依靠手工注釋是不現(xiàn)實的，所以從九十年代開始，基于內(nèi)容的圖像檢索CB^(Content-based Image Retrieval)技術(shù)受到人們越來越多的關(guān)注?；趦?nèi)容的圖像檢索，就是把圖像的視覺特征作為圖像的內(nèi)容表示，進行匹配、查找。迄今，已有許多基于內(nèi)容的圖像檢索系統(tǒng)問世，比如 IBM的QBIC和MIT的Wwtobook等。盡管如此，基于內(nèi)容的圖像檢索技術(shù)仍然處于研究階段，根據(jù)具體的應(yīng)用范圍設(shè)計具體的檢索規(guī)則仍是使用該方法的常用方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，該方法能夠利用互聯(lián)網(wǎng)上的海量圖像，根據(jù)輸入圖像，生成具有藝術(shù)特質(zhì)的拼接圖像。
為達到上述目的，本發(fā)明采用的技術(shù)方案是1)對輸入的圖像進行分割得到分塊圖像，并提供交互工具對分塊圖像進行調(diào)整和修正；2)根據(jù)用戶輸入的替代物的類別標簽在互聯(lián)網(wǎng)上進行搜索，并去除內(nèi)容不相關(guān)以及前景復(fù)雜的圖像，然后采用前景提取算法進行前景分割，得到前景物體和對應(yīng)的掩碼圖像；3)構(gòu)造能量函數(shù)，保證所選用的替代圖像和步驟1)中得到的對應(yīng)分塊圖像在形狀和顏色特征方面盡可能地保持一致；4)求取各分塊的層次關(guān)系，并提供交互工具對得到的層次關(guān)系進行調(diào)整；5)對輸入圖像進行對稱性檢測，找到對稱的分塊；6)采用高斯融合算法對拼接圖像的邊界進行處理，并提供交互工具對替代圖像的位置、大小和旋轉(zhuǎn)角度進行調(diào)整；7)對拼接圖像進行亮度調(diào)整。所述步驟1)對于輸入的圖像，采用經(jīng)典的均值偏移算法進行分割，在圖像分割階段引入用戶交互工具，通過鼠標在分割結(jié)果圖像上畫一筆，即將該筆畫覆蓋的分塊合并成一個分塊，或?qū)⒁粋€分塊進一步分割成兩個分塊，且該交互工具實現(xiàn)像素級的操作，用來對分割邊界進行修正，即分塊的合并是指將待合并分塊中的所有像素合并到一個分塊中；分塊的進一步分割是指根據(jù)用戶的交互，采用圖割算法將指定分塊分成兩塊。所述步驟2~)在圖像搜索之前要求用戶輸入該拼接圖像所用替代圖像的物體所屬的分類標簽在互聯(lián)網(wǎng)上進行搜索，對于搜索到的圖像，僅需要包含相關(guān)物體的前景區(qū)域，用以作為各分塊的替代圖像，采用基于內(nèi)容的圖像過濾方法對互聯(lián)網(wǎng)上得到的圖像進行內(nèi)容相關(guān)的過濾去除不易進行前景分割的圖像，采用Grabcut (C. Rother, V. Kolmogorov, and A.Blake. Grabcut Interactive foreground extraction using iterated graph cuts, ACM, 2004)方法進行前景分割，得到前景物體和對應(yīng)的掩碼圖像。所述步驟幻所選用的替代圖像Si和對應(yīng)分塊圖像Pi在形狀和顏色特征方面保持一致；其中替代圖像Si通過最小化下面的能量函數(shù)得到[式1]E(Qj) = G(QJ; Pi)+ λ COlj，Pi), Qj e I其中，G(QpPi)表示從互聯(lián)網(wǎng)上下載的并進行了前景分割的圖像％與分塊圖像Pi 在形狀特征方面的相似性，cPi)表示％與Pi在顏色特征方面的相似性，λ用來調(diào)節(jié)形狀和顏色特征之間的相對重要性，I表示前景分割之后的圖像數(shù)據(jù)庫；選取仿射變換對步驟2)得到的前景圖像進行處理，即對前景圖像進行平移、縮放、旋轉(zhuǎn)、切變等仿射變換，再采用基于矩分布的仿射注冊方法(J.Ho，A. Peter, A. Rangarajan,et al. An algebraic approach to affine registration of point sets, IEEE 12th International Conference on Computer Vision, 2009)得到上述仿射變換， 所得仿射變換包括一個2X2的仿射矩陣Au和一個1X2的平移矩陣ν…通過最小化G
Pi)得到與分塊圖像匹配的前景圖像，GO^Pi)定義如下[式2]G{QpPl) = \jlla2-\f+d[Q]QP)ld[Q]^p)其中，σ i和σ 2是矩陣Aij的奇異值，且Q1^o ,,Qj=Ap(Qj)+^.，表示變換之后的圖像，d ( ·)表示區(qū)域面積，用像素數(shù)表示，么Θ P1 = Qj ^P1-Qj O1Za2越接近于1，表明仿射變換中切變以及X、Y方向的不等比例縮放變換的成分越少；顏色相似性定義為前景圖像與分塊圖像之間的顏色分布之間的差異，首先將RGB 彩色圖像轉(zhuǎn)換到Y(jié)UV空間，定義顏色相似性如下[式3]C (Qj, Pi) = Dqc (Hu (Qj)，Hu (Pi)) +Dqc (Hv (Qj)，Hv (Pi))其中，Hu和Hv分表表示U通道和V通道的顏色直方圖，Dqc (·)表示直方圖之間的QC 距離(0. Pele and Μ. fferman. The Quadratic-Chi Histogram Distance Family. Computer Vision-ECCV :749-762,2010)，該距離對量化帶來的影響比較穩(wěn)定；通過最小化[式1]所示的能量函數(shù)，得到在形狀和顏色特征方面與分塊圖像比較一致的替代圖像集{Si;i = 1，2，...，N}，N表示分塊圖像的數(shù)目。所述步驟4)在將步驟幻得到的替代圖像集拼接成最終的圖像之前，需要確定各分塊之間的層次關(guān)系，即恢復(fù)圖像的深度信息，采用三個用以判斷各分塊之間遮擋關(guān)系的線索——包含關(guān)系、“T”點信息和陰影分布，并通過投票方式將這三個線索得到的結(jié)果綜合起來，得到相鄰分塊之間的層次關(guān)系，將各相鄰分塊之間的層次關(guān)系綜合起來，得到一個全局的層次關(guān)系，用Pi < Pj表示分塊圖像Pi位于分塊圖像Pj的上面，1)包含關(guān)系如果分塊圖像P」的邊界完全包含分塊圖像Pi的邊界，那么Pi < Pj ；2) “T” 點信息當(dāng)兩個分塊圖像的邊界相交的時候會出現(xiàn)“T”點，假設(shè)在“T”點t周圍存在一系列分塊圖像IPkIk = 1，2，. . .，m}，Ω t,r是以t點為圓心，r為半徑的圓，t點周圍的分塊圖像的層次關(guān)系依據(jù)各分塊圖像與Ω t,r相交部分的面積來確定，面積越大，層次在上面的可能性越大，即，如果d(Pk η Qt,r) <(!( ! η ωt,》，則判斷P1SPk,為了去除分割不準確帶
來的影響，用一系列半徑不同的圓1^^/ = 1,2,...力1來重復(fù)上述操作，對于每一個圓，得到該
圖像分塊系列IPkIk = 1，2，. . .，m}的一個相對層次關(guān)系；3)陰影信息陰影是判斷分塊圖像層次關(guān)系的一個重要因素，如果分塊圖像上有陰影分布，那么該分塊圖像位于周圍分塊圖像下面的可能性更大一些，給定兩個相鄰分塊圖像Pi和Pp 記其相交邊界為S，可能存在陰影的區(qū)域R= (Pi U Pj) η dia(s)，其中dia(s)表示對邊界s進行形態(tài)學(xué)膨脹操作得到的區(qū)域，區(qū)域R在亮度通道中對應(yīng)像素值的分布通過一個雙高斯分布組成的高斯混合模型來近似表示，這兩個高斯分布表示為{gjy^” O1) ;g2(y ； μ 2，σ 2)}，其中μ μ2(μ ！ < μ 2)分別表示g1; g2的均值，O^o2分別表示gl，g2的標準差，如果μ 2_ μ i大于一給定的閾值，則認為在區(qū)域R中包含陰影區(qū)域，對于區(qū)域R中的像素 Pi，其亮度值為Yi，如果& (Yi) < g2 (Yi)，則認為該像素為陰影像素；最后通過比較兩分塊圖像中包含的陰影像素的數(shù)目，來判斷其層次關(guān)系，包含陰影像素的數(shù)目多的分塊圖像位于下方；
通過上面的三個線索，得到一系列用來表示相鄰分塊間層次關(guān)系的不等式，根據(jù)上述不等式對相鄰兩分塊之間的層次關(guān)系進行投票，具體投票方法如下對于由包含關(guān)系和陰影關(guān)系得到的不等式，投票算法為對應(yīng)分塊間的層次關(guān)系投1票；對于由“T”點確定的不等式，投票算法為對應(yīng)分塊間的層次關(guān)系投Ι/h票，其中h表示在該“T”點周圍取的圓的數(shù)目，通過投票算法，得到一個不等式集合Σ，在該集合中可能存在互相矛盾的不等式，為了得到一個全局一致的層次關(guān)系，采用拓撲排序算法(D. Sykora, D. Sedlacek, S. Jinchao, et al. Adding Depth to Cartoons Using Sparse Depth (In)equalities, John Wiley & Sons Computer Graphics Forum, 2010)對該不等式集合Σ進行處理。所述步驟幻對于具有明顯對稱性的輸入圖像，先進行對稱性檢測采用三維模型的對稱性檢測算法(N. Mitra, L. Guibas, and Μ. Pauly. Partial and approximate symmetry detection for 3D geometry. ACM Transactions on Graphics(TOG),25(3) :560-568, 2006)應(yīng)用在二維圖像上，對于輸入圖像先進行對稱性檢測，得到分塊圖像之間的對稱關(guān)系。所述步驟6)根據(jù)步驟4)中確定的各分塊之間的層次關(guān)系，先后擺放替代圖像，組合形成拼接圖像，并采用高斯融合算法對拼接圖像的邊界進行處理，高斯融合算法如下假設(shè)拼接系統(tǒng)已經(jīng)按照各分塊之間的層次關(guān)系拼接完成了前k個分塊，得到臨時拼接圖像忑，需要將第k+1個替代圖像sk+1和臨時拼接圖像忑進行融合，記替代圖像sk+1與臨時拼接圖像Λ相交的邊界為 = as’t+1 η3,，通過對該邊界進行形態(tài)學(xué)膨脹操作，得到一個與替代圖像Sk+1相交的寬度為w的二值帶狀區(qū)域及=，然后，用窗口寬度為w/2 的高斯濾波器對為區(qū)域進行濾波，并結(jié)合原掩碼圖像，得到一個邊緣模糊的掩碼圖像α，用前k+Ι個替代圖像合成的臨時拼接圖像上位于(i，j)位置的像素值(ζ+,7+)通過下式計算得到[式4]
權(quán)利要求
1.一種基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于包含以下步驟1)對輸入的圖像進行分割得到分塊圖像，并提供交互工具對分塊圖像進行調(diào)整和修正；2)根據(jù)用戶輸入的替代物的類別標簽在互聯(lián)網(wǎng)上進行搜索，并去除內(nèi)容不相關(guān)以及前景復(fù)雜的圖像，然后采用前景提取算法進行前景分割，得到前景物體和對應(yīng)的掩碼圖像；3)構(gòu)造能量函數(shù)，保證所選用的替代圖像和步驟1)中得到的對應(yīng)分塊圖像在形狀和顏色特征方面盡可能地保持一致；4)求取各分塊的層次關(guān)系，并提供交互工具對得到的層次關(guān)系進行調(diào)整；5)對輸入圖像進行對稱性檢測，找到對稱的分塊；6)采用高斯融合算法對拼接圖像的邊界進行處理，并提供交互工具對替代圖像的位置、大小和旋轉(zhuǎn)角度進行調(diào)整；7)對拼接圖像進行亮度調(diào)整。
2.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟1)對于輸入的圖像，采用經(jīng)典的均值偏移算法進行分割，在圖像分割階段引入用戶交互工具，通過鼠標在分割結(jié)果圖像上畫一筆，即將該筆畫覆蓋的分塊合并成一個分塊，或?qū)⒁粋€分塊進一步分割成兩個分塊，且該交互工具實現(xiàn)像素級的操作，用來對分割邊界進行修正，即分塊的合并是指將待合并分塊中的所有像素合并到一個分塊中；分塊的進一步分割是指根據(jù)用戶的交互，采用圖割算法將指定分塊分成兩塊。
3.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟2)在圖像搜索之前要求用戶輸入該拼接圖像所用替代圖像的物體所屬的分類標簽在互聯(lián)網(wǎng)上進行搜索，對于搜索到的圖像，僅需要包含相關(guān)物體的前景區(qū)域，用以作為各分塊的替代圖像，采用基于內(nèi)容的圖像過濾方法對互聯(lián)網(wǎng)上得到的圖像進行內(nèi)容相關(guān)的過濾去除不易進行前景分割的圖像，采用 Grabcut (C. Rother, V. KoImogorov，and A. Blake. Grabcut Interactive foreground extraction using iterated graph cuts, ACM, 2004)方法進 前景分割，得到前景物體和對應(yīng)的掩碼圖像。
4.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟3)所選用的替代圖像Si和對應(yīng)分塊圖像Pi在形狀和顏色特征方面保持一致；其中替代圖像Si通過最小化下面的能量函數(shù)得到[式1]E (Qj) = G (Qj, Pi) + λ C (Qj, Pi)，Qj e I其中，GO^Pi)表示從互聯(lián)網(wǎng)上下載的并進行了前景分割的圖像％與分塊圖像Pi在形狀特征方面的相似性，CPi)表示％與Pi在顏色特征方面的相似性，λ用來調(diào)節(jié)形狀和顏色特征之間的相對重要性，I表示前景分割之后的圖像數(shù)據(jù)庫；選取仿射變換對步驟2、得到的前景圖像進行處理，即對前景圖像進行平移、縮放、旋轉(zhuǎn)、切變等仿射變換，再采用基于矩分布的仿射注冊方法(J.Ho，A. Peter, A. Rangarajan, et al. An algebraic approach to affine registration of point sets, IEEE 12th International Conference on Computer Vision，2009)得到上述仿射變換，所得仿射變換包括一個2X2的仿射矩陣Au和一個1X2的平移矩陣、，通過最小化GPi)得到與分塊圖像匹配的前景圖像，G(Qj; Pi)定義如下[式2]
5.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟4)在將步驟幻得到的替代圖像集拼接成最終的圖像之前，需要確定各分塊之間的層次關(guān)系，即恢復(fù)圖像的深度信息，采用三個用以判斷各分塊之間遮擋關(guān)系的線索——包含關(guān)系、“T”點信息和陰影分布，并通過投票方式將這三個線索得到的結(jié)果綜合起來，得到相鄰分塊之間的層次關(guān)系，將各相鄰分塊之間的層次關(guān)系綜合起來，得到一個全局的層次關(guān)系， 用Pi < Pj表示分塊圖像Pi位于分塊圖像P」的上面，1)包含關(guān)系如果分塊圖像Pj的邊界完全包含分塊圖像Pi的邊界，那么Pi < Pj ；2)“T”點信息當(dāng)兩個分塊圖像的邊界相交的時候會出現(xiàn)“T”點，假設(shè)在“T”點t周圍存在一系列分塊圖像{Pk|k = 1，2，. . .，m}，Ω^是以t點為圓心，r為半徑的圓，t點周圍的分塊圖像的層次關(guān)系依據(jù)各分塊圖像與Ω t, r相交部分的面積來確定，面積越大，層次在上面的可能性越大，即，如果d(pkn Qt,r) <(!( ! η Qt,》，則判斷P1CPk,為了去除分割不準確帶來的影響，用一系列半徑不同的圓
6.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟5)對于具有明顯對稱性的輸入圖像，先進行對稱性檢測采用三維模型的對稱性檢測算法(N. Mitra,L. Guibas,and Μ. Pauly. Partial and approximate symmetry detection for 3D geometry. ACM Transactions on Graphics (TOG), 25 (3) :560-568, 2006)應(yīng)用在二維圖像上，對于輸入圖像先進行對稱性檢測，得到分塊圖像之間的對稱關(guān)系。
7.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟6)根據(jù)步驟4)中確定的各分塊之間的層次關(guān)系，先后擺放替代圖像，組合形成拼接圖像，并采用高斯融合算法對拼接圖像的邊界進行處理，高斯融合算法如下假設(shè)拼接系統(tǒng)已經(jīng)按照各分塊之間的層次關(guān)系拼接完成了前k個分塊，得到臨時拼接圖像^，需要將第k+Ι個替代圖像Sk+1和臨時拼接圖像忑進行融合，記替代圖像Sk+1與臨時拼接圖像忑相交的邊界為 = SS^1ASit，通過對該邊界進行形態(tài)學(xué)膨脹操作，得到一個與替代圖像Sk+1相交的寬度為w的二值帶狀區(qū)域及=，然后，用窗口寬度為w/2的高斯濾波器對及區(qū)域進行濾波，并結(jié)合原掩碼圖像，得到一個邊緣模糊的掩碼圖像α，用前 k+Ι個替代圖像合成的臨時拼接圖像上位于(i，j)位置的像素值(A J+)通過下式計算得到[式4]3M (h j) = 0', j).民+1 0', j) + (ι - α (/·, j)). (/, j)其中，α (i，j)、Sk+1(i，j)和忑(i，j)分別表示掩碼圖像α、替代圖像Sm和臨時拼接圖像^位于(i，j)處的像素值。
8.根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法，其特征在于所述步驟7)在進行亮度調(diào)整的時候以輸入圖像的亮度分布為目標，亮度調(diào)整是通過在替代圖像Si 與分塊圖像Pi之間進行直方圖匹配實現(xiàn)的，假設(shè)AHp和AHs分別表示分塊圖像Pi和替代圖像31的亮度通道歸一化累積直方圖分布，對于替代圖像中的每一個像素ρ e Si,其亮度值 y0用y'來替換，即[式5]y0 — y' , s. t. AHs(y0) = AHp(y')。
全文摘要
本發(fā)明提出了一種基于互聯(lián)網(wǎng)的藝術(shù)拼圖系統(tǒng)設(shè)計方法。該方法參考了圖像檢索領(lǐng)域中基于內(nèi)容的圖像檢索技術(shù)以及計算機圖形學(xué)中有關(guān)圖像合成的相關(guān)方法，根據(jù)輸入圖像，將從互聯(lián)網(wǎng)上搜索到的若干圖像拼接成一幅具有藝術(shù)特質(zhì)的拼接圖像。與傳統(tǒng)的基于內(nèi)容的圖像檢索方法不同，本發(fā)明提出了一個全新的、基于形狀和顏色進行檢索的能量函數(shù)，得到了比較理想的檢索結(jié)果；在確定各分快之間層次順序時，提出了三個重要的用于判斷相鄰分塊間層次關(guān)系的線索，并引入拓撲排序，有效地將所有的局部層次關(guān)系綜合起來，得到合理的全局層次關(guān)系。本發(fā)明根據(jù)輸入圖像得到一幅具有藝術(shù)特質(zhì)的拼接圖，在娛樂和藝術(shù)領(lǐng)域是一個全新的嘗試。
文檔編號G06T11/00GK102194241SQ201110107810
公開日2011年9月21日 申請日期2011年4月28日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者張洪超, 張磊, 黃華 申請人:西安交通大學(xué)