專利名稱：前景區(qū)提取程序、前景區(qū)提取裝置以及前景區(qū)提取方法
技術(shù)領域：
本發(fā)明涉及從圖像中裁剪物體區(qū)的技術(shù)鄰域。
背景技術(shù)：
在像照片或運動圖像處理那樣的許多情況下都使用從圖像中提取物體區(qū)(前景區(qū))。作為這樣物體區(qū)的提取技術(shù)，例如，像根據(jù)用戶所畫的物體區(qū)的提示線(cue line)和用戶所畫的背景區(qū)的提示線提取物體區(qū)的Lazy Snapping(懶人摳圖)(參見非專利文獻1) 的邏輯那樣的技術(shù)是眾所周知的。LazySnapping的特征在于只通過在區(qū)域中畫幾條提示線就實現(xiàn)了物體區(qū)的提取，并且每當加入一條線時，就接著重新提取物體區(qū)，以便用戶可以一邊觀看提取結(jié)果一邊加入或刪除一條線?，F(xiàn)有技術(shù)文獻非專利文獻[非專利文獻 1]Y. Li, J. Sun, C. K. Tang and H. Y. Shum, "Lazy Snapping, ” ACM Transactions on Graphics(TOG), Vol. 23, Issue. 3,pp.303-308, Aug. 2004.

發(fā)明內(nèi)容
本發(fā)明要解決的問題但是，按照上述物體區(qū)的傳統(tǒng)提取技術(shù)，雖然最終可以通過，例如，加入一條提示線裁剪用戶所希望的物體區(qū)，但在正確裁剪出物體區(qū)之前可能要花費一些時間。本發(fā)明就是在考慮了上述問題等之后作出的，本發(fā)明的目的是提供能夠高速裁剪物體區(qū)(前景區(qū))的前景區(qū)提取程序、前景區(qū)提取裝置以及前景區(qū)提取方法。解決問題的手段為了解決上述問題，按照權(quán)利要求1的發(fā)明涉及使計算機起如下作用的前景區(qū)提取程序顯示控制部件，用于使圖像得到顯示；接受部件，用于接受來自用戶的包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定；分色彩空間識別部件，用于進行分色彩空間識別處理，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別所指定前景像素和所指定背景像素每一個被設置成基準像素之后、每個基準像素所屬的分色彩空間，作為基準分色彩空間；色彩距離計算部件，用于進行色彩距離計算處理，以便計算出色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離；從屬判斷部件，用于進行從屬判斷處理，以便判斷每個相鄰像素是否屬于每個基準分色彩空間；成本計算部件，用于進行成本計算處理，以便根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，計算每個相鄰像素的成本；以及確定部件，用于進行確定處理，以便將具有最低計算成本的相鄰像素確定為前景像素或背景像素，其中，將所確定相鄰像素設置成基準像素，以使計算機重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理，以便使計算機起從圖像中提取前景區(qū)的作用。按照本發(fā)明，可以高速裁剪用戶所希望的物體區(qū)(前景區(qū))。按照權(quán)利要求2的發(fā)明涉及按照權(quán)利要求1的前景區(qū)提取程序，其中，如果與基準像素相鄰的相鄰像素屬于基準分色彩空間，則使權(quán)重較小。按照權(quán)利要求3的發(fā)明涉及按照權(quán)利要求1或2的前景區(qū)提取程序，其中，用戶指定的前景像素是與構(gòu)成出現(xiàn)在前景區(qū)中的紋理圖案的至少兩種相互不同色彩的每一種相對應的前景像素。按照本發(fā)明，即使在圖像中存在紋理圖案，也可以正確地劃分前景和背景。按照權(quán)利要求4的發(fā)明涉及按照權(quán)利要求1到3的任何一項的前景區(qū)提取程序， 其中，如果與基準像素相鄰的相鄰像素不屬于基準分色彩空間，則累計成本，并且，如果累計成本超過閾值，則顛倒前景和背景。按照本發(fā)明，即使在飛地的輪廓部分中存在反混疊(anti-aliasing)，也可以在飛地中正確地將前景和背景顛倒過來。按照權(quán)利要求5的發(fā)明涉及前景區(qū)提取裝置，其包含顯示控制部件，用于使圖像得到顯示；接受部件，用于接受來自用戶的包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定；分色彩空間識別部件，用于進行分色彩空間識別處理，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別所指定前景像素和所指定背景像素每一個被設置成基準像素之后、每個基準像素所屬的分色彩空間，作為基準分色彩空間；色彩距離計算部件，用于進行色彩距離計算處理，以便計算出色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離；從屬判斷部件，用于進行從屬判斷處理，以便判斷每個相鄰像素是否屬于每個基準分色彩空間；成本計算部件，用于進行成本計算處理，以便根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，計算每個相鄰像素的成本；以及確定部件，用于進行確定處理，以便將具有最低計算成本的相鄰像素確定為前景像素或背景像素，其中，將所確定相鄰像素設置成基準像素，以重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理，以便從圖像中提取前景區(qū)。按照權(quán)利要求6的發(fā)明涉及由計算機執(zhí)行的前景區(qū)提取方法，其包含顯示控制過程，用于使圖像得到顯示；
接受過程，用于接受來自用戶的包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定；分色彩空間識別過程，用于進行分色彩空間識別處理，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別所指定前景像素和所指定背景像素每一個被設置成基準像素之后、每個基準像素所屬的分色彩空間，作為基準分色彩空間；色彩距離計算過程，用于進行色彩距離計算處理，以便計算出色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離；從屬判斷過程，用于進行從屬判斷處理，以便判斷每個相鄰像素是否屬于每個基準分色彩空間；成本計算過程，用于進行成本計算處理，以便根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，計算每個相鄰像素的成本；以及確定過程，用于進行確定處理，以便將具有最低計算成本的相鄰像素確定為前景像素或背景像素，其中，將所確定相鄰像素設置成基準像素，以重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理，以便從圖像中提取前景區(qū)。發(fā)明效果按照本發(fā)明，將用戶指定的前景像素和從而指定的背景像素的每一個設置成基準像素，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別每個基準像素所屬的分色彩空間，作為基準分色彩空間，進行計算色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離的色彩距離計算處理、和判斷每個相鄰像素是否屬于每個基準分色彩空間的從屬判斷處理，然后，根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，進行計算每個相鄰像素的成本的成本計算處理， 進一步進行將具有最低計算成本的相鄰像素確定為前景像素或背景像素的確定處理，以及通過將所確定相鄰像素用作基準像素，以重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理從圖像中提取前景區(qū)，因此，可以高速裁剪用戶所希望的物體區(qū) (前景區(qū))。


圖1是示出按照本實施例的圖像編輯裝置S的大概配置例子的圖形；圖2是示出系統(tǒng)控制單元6的前景區(qū)提取處理的例子的流程圖；圖3是示出畫在前景區(qū)和背景區(qū)中的提示線的例子的圖形；圖4是示出用劃分數(shù)是s的格網(wǎng)劃分RGB色彩空間產(chǎn)生的水桶的圖形；圖5是示出紋理圖案的例子的圖形；圖6是示出在前景區(qū)中出現(xiàn)紋理圖案時的登記前景色集群和背景色集群的圖形；圖7A、圖7B和圖7C是示出如何將圖像中的像素確定為前景或背景的圖形；圖8是示出在圖像中存在紋理圖案時擴大選取成本(grow cost)的幅度的圖形； 以及圖9A和圖9B是示出在圖像中存在反混疊時不累計擴大選取成本(圖9A)和累計擴大選取成本(圖9B)的比較例子的圖形。
具體實施例方式下面參考附圖詳細描述本發(fā)明的優(yōu)選實施例。下面所述的實施例是本發(fā)明應用于通過將用戶所畫的提示線(手繪線)用作提示，將圖像劃分成前景和背景，從圖像中裁剪出物體區(qū)的圖像編輯裝置。這里，“前景”指的是顯示像人物和物品那樣的搜索目標的圖像，而 “背景”指的是除了搜索目標之外的圖像。圖1是示出按照本實施例的圖像編輯裝置S的大概配置例子的圖形。如圖1所示，圖像編輯裝置S包括操作單元1、顯示單元2、驅(qū)動單元3、存儲單元 4、輸入/輸出接口單元5、和系統(tǒng)控制單元6，并且系統(tǒng)控制單元6和輸入/輸出接口單元 5經(jīng)由系統(tǒng)總線7被連接。順便提一下，個人計算機可以用作圖像編輯裝置S。操作單元1由例如鍵盤和鼠標組成，并接受來自用戶的操作指令，并將指令的內(nèi)容輸出到系統(tǒng)控制單元6作為指令信號。顯示單元2由例如CRT(陰極射線管)顯示器、液晶顯示器等組成，并顯示像字符和圖像那樣的信息。驅(qū)動單元3從像軟盤、⑶(致密盤)和DVD (數(shù)字多功能盤)那樣的盤狀DK (記錄媒介)中讀出數(shù)據(jù)等，同時，將數(shù)據(jù)等記錄在盤狀DK(記錄媒介)上。輸入/輸出接口單元5進行操作單元1或存儲單元4與系統(tǒng)控制單元6之間的接口處理。存儲單元4由例如硬盤驅(qū)動器組成，并存儲操作系統(tǒng)(0/S)、各種程序和數(shù)據(jù)。這里，存儲在存儲單元4中的程序包括動態(tài)圖像編輯應用程序(含有本發(fā)明的前景區(qū)提取程序)。動態(tài)圖像編輯應用程序通過記錄在像⑶-R0M(只讀光盤存儲器)那樣的盤狀DK 上或在安裝使用之前從與網(wǎng)絡NW連接的服務器下載來提供。系統(tǒng)控制單元6包括CPU(中央處理單元)6a、R0M(只讀存儲器)6b、和用作主存儲器和圖像存儲器的RAM(隨機訪問存儲器)6c。系統(tǒng)控制單元6通過執(zhí)行進行前景區(qū)提取處理的動態(tài)圖像編輯應用程序，用作顯示控制部件、接受部件、分色彩空間識別部件、色彩距離計算部件、從屬判斷部件、成本計算部件、和確定部件。這里，將參照圖2描述前景區(qū)提取處理。圖2是示出系統(tǒng)控制單元6的前景區(qū)提取處理的例子的流程圖。顯示在圖2中的處理從例如激活動態(tài)圖像編輯應用程序開始。當開始處理時，系統(tǒng)控制單元6使顯示單元2顯示運動圖像中通過操作單元1指示的靜止圖像(步驟Si)。接著，系統(tǒng)控制單元6接受包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定(步驟S》，并且將像素登記成確定前景像素和確定背景像素(存儲在RAM的登記區(qū)中)。例如，前景像素可以通過用戶用鼠標在所希望前景區(qū)(物體區(qū))中畫出的提示線來指定，而背景像素可以通過用戶用鼠標在所希望背景區(qū)中畫出的提示線來指定。圖3是示出畫在照片圖像的前景區(qū)和背景區(qū)中的提示線的例子的圖形。在圖3中的例子中，將與提示線51重疊的多個像素指定成前景像素，而將與提示線52重疊的多個像素指定成背景像素。順便提一下，在圖3中的例子中，狗的物體區(qū)是用戶所希望的前景區(qū)。 如果在圖3中樹是用戶所希望的前景區(qū)，則樹的物體區(qū)變成前景區(qū)，而包括狗的其它區(qū)域變成背景區(qū)。接著，系統(tǒng)控制單元6進行分色彩空間識別處理(步驟S3)。在分色彩空間識別處理中，將上面指定的至少一個前景像素和至少一個指定背景像素的每一個設置成基準像素，并且從通過劃分三維RGB色彩空間產(chǎn)生的多個分色彩空間中識別每個基準像素所屬的基準水桶(下文稱為“水桶”)。圖4是示出用劃分數(shù)是s的格網(wǎng)劃分RGB色彩空間產(chǎn)生的水桶的圖形。在圖4中的例子中，示出了每種色彩的亮度從0到255的具有R(紅色)、G(綠色)、和B (藍色)三軸的RGB色彩空間，并且將R，G和B的每一種都劃分成四段(s = 4)。于是，RGB色彩空間被劃分成64個水桶。雖然在本例中將RGB色彩空間劃分成64個水桶，但劃分水桶的數(shù)量可以更多或更少。這里，基準像素p( = pr，pg，pb)所屬的水桶b(p)可以按照下面的公式⑴計算[數(shù)學1]
權(quán)利要求
1.一種使計算機起如下作用的前景區(qū)提取程序 顯示控制部件，用于使圖像得到顯示；接受部件，用于接受來自用戶的包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定；分色彩空間識別部件，用于進行分色彩空間識別處理，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別所指定前景像素和所指定背景像素每一個被設置成基準像素之后、每個基準像素所屬的分色彩空間，作為基準分色彩空間；色彩距離計算部件，用于進行色彩距離計算處理，以便計算出色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離；從屬判斷部件，用于進行從屬判斷處理，以便判斷每個相鄰像素是否屬于每個基準分色彩空間；成本計算部件，用于進行成本計算處理，以便根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，計算每個相鄰像素的成本； 以及確定部件，用于進行確定處理，以便將具有最低計算成本的相鄰像素確定為前景像素或背景像素，其中，將所確定相鄰像素設置成基準像素，使計算機重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理，以便使計算機起從圖像中提取前景區(qū)的作用。
2.按照權(quán)利要求1所述的前景區(qū)提取程序，其中，如果與基準像素相鄰的相鄰像素屬于基準分色彩空間，則使權(quán)重較小。
3.按照權(quán)利要求1或2所述的前景區(qū)提取程序，其中，用戶指定的前景像素是與構(gòu)成出現(xiàn)在前景區(qū)中的紋理圖案的至少兩種相互不同色彩的每一種相對應的前景像素。
4.按照權(quán)利要求1到3的任何一項所述的前景區(qū)提取程序，其中，如果與基準像素相鄰的相鄰像素不屬于基準分色彩空間，則累計成本，并且，如果累計成本超過閾值，則顛倒前景和背景。
5.一種前景區(qū)提取裝置，包含顯示控制部件，用于使圖像得到顯示；接受部件，用于接受來自用戶的包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定；分色彩空間識別部件，用于進行分色彩空間識別處理，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別所指定前景像素和所指定背景像素每一個被設置成基準像素之后、每個基準像素所屬的分色彩空間，作為基準分色彩空間；色彩距離計算部件，用于進行色彩距離計算處理，以便計算出色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離；從屬判斷部件，用于進行從屬判斷處理，以便判斷每個相鄰像素是否屬于每個基準分色彩空間；成本計算部件，用于進行成本計算處理，以便根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，計算每個相鄰像素的成本；以及確定部件，用于進行確定處理，以便將具有最低計算成本的相鄰像素確定為前景像素或背景像素，其中，將所確定相鄰像素設置成基準像素，以重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理，以便從圖像中提取前景區(qū)。
6.一種由計算機執(zhí)行的前景區(qū)提取方法，包含顯示控制過程，用于使圖像得到顯示；接受過程，用于接受來自用戶的包含在顯示圖像中的前景區(qū)中的至少一個前景像素和包含在該圖像中的背景區(qū)中的至少一個背景像素的指定；分色彩空間識別過程，用于進行分色彩空間識別處理，以便從通過劃分三維色彩空間產(chǎn)生的多個分色彩空間當中識別所指定前景像素和所指定背景像素每一個被設置成基準像素之后、每個基準像素所屬的分色彩空間，作為基準分色彩空間；色彩距離計算過程，用于進行色彩距離計算處理，以便計算出色彩空間中每個基準像素和與之相鄰的相鄰像素之間的色彩距離；從屬判斷過程，用于進行從屬判斷處理，以便判斷每個相鄰像素是否屬于每個基準分色彩空間；成本計算過程，用于進行成本計算處理，以便根據(jù)為每個相鄰像素計算的色彩距離、和基于是否屬于為每個相鄰像素判斷的基準分色彩空間的權(quán)重，計算每個相鄰像素的成本; 以及確定過程，用于進行確定處理，以便將具有最低計算成本的相鄰像素確定為前景像素或背景像素，其中，將所確定相鄰像素設置成基準像素，以重復地進行色彩距離計算處理、從屬判斷處理、成本計算處理、和確定處理，以便從圖像中提取前景區(qū)。
7.一種計算機可讀地記錄按照權(quán)利要求1到4的任何一項所述的前景區(qū)提取程序的記錄媒介。
全文摘要
將用戶指定的前景和背景像素用作基準像素?；鶞氏袼厮鶎俚娜S分色彩空間的任何用作基準分色彩空間。計算每個基準像素和相鄰像素的各個之間的色彩距離，并進一步確定相鄰像素是否屬于基準分色彩空間。根據(jù)前述計算的色彩距離并且還根據(jù)基于屬于基準分色彩空間的確定的權(quán)重，計算相鄰像素的成本。展現(xiàn)最小成本的相鄰像素之一被限定為前景或背景像素。利用限定的相鄰像素用作基準像素，重復色彩距離計算、從屬的判斷、成本計算、和限定，從而從圖像快速提取前景區(qū)。
文檔編號G06T7/00GK102165487SQ200980137340
公開日2011年8月24日 申請日期2009年9月17日 優(yōu)先權(quán)日2008年9月25日
發(fā)明者三條正裕, 尾內(nèi)理紀夫, 林貴宏, 森正彌, 清野達也 申請人:樂天株式會社, 國立大學法人電氣通信大學