專利名稱：調(diào)節(jié)立體圖像對中的透視性和差異的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及調(diào)節(jié)數(shù)字圖像，并且更具體地涉及一種用于使用范圍(range)信息調(diào)節(jié)立體圖像對中的透視性(perspective)和差異(disparity)的方法。
背景技術(shù)：
立體相機或多視角相機通常使用功能類似于人眼的兩個或兩個以上的相機捕獲左右圖像，并且由于兩個圖像之間的差異使得觀看者感受到立體效果。具體地，在將不同的圖像呈現(xiàn)到每只眼睛時，由于由立體相機捕獲的兩個圖像之間的差異，用戶觀察到視差 (parallax)，并且該雙眼視差使用戶體驗到立體效果。然而，由于透視性或視差，立體圖像常常并不令人愉快。已有許多參考文獻描述如何捕獲立體圖像對以及如何調(diào)節(jié)立體圖像對的視差。這些方法中的大多數(shù)改變整個場景(scene)而并不調(diào)節(jié)具體目標。例如，在美國專利申請公開No. 2008/0112616中，基于差異的直方圖來調(diào)節(jié)立體圖像的差異。需要存在一種方法，該方法通過修改與場景中的視點具有不同距離的目標的不同差異來調(diào)節(jié)立體圖像對的透視性。

發(fā)明內(nèi)容
本發(fā)明提出一種用于調(diào)節(jié)立體圖像對中的透視性和差異的方法，并且所述方法至少部分由數(shù)據(jù)處理系統(tǒng)實施并且包括以下步驟接收表示場景的立體圖像對；識別與所述立體圖像對相關(guān)聯(lián)的范圍信息并且所述范圍信息包括所述場景中的像素與參考位置的距離；至少基于對所述范圍信息和所述立體圖像的分析來產(chǎn)生聚類圖(cluster map), 所述聚類圖通過所述立體圖像的像素與視點的距離來對所述立體圖像的像素進行分組；至少基于對所述聚類圖和所述立體圖像的分析來識別所述立體圖像中的目標和背景；至少通過調(diào)節(jié)所述立體圖像對中的所述目標和所述背景的透視性和差異性，來產(chǎn)生新的立體圖像對，至少基于對所述范圍信息的分析進行所述調(diào)節(jié)；以及將新產(chǎn)生的立體圖像對存儲在處理器可訪問的存儲器系統(tǒng)中。本發(fā)明的優(yōu)點在于通過使用范圍信息，可以以提高的精度來檢測和分割目標和背景。而且，可以有效地調(diào)節(jié)立體圖像對中的透視性和差異。除了上述實施例外，通過參照附圖以及研究以下詳細描述，進一步實施例將變得明顯。


根據(jù)結(jié)合以下附圖所提供的示例性實施例的詳細描述，本發(fā)明將更容易理解，其中
圖1是示出根據(jù)本發(fā)明實施例的用于調(diào)節(jié)立體圖像對中的透視性和差異的系統(tǒng)的組件的高級別框圖；圖2是示出根據(jù)本發(fā)明實施例的用于調(diào)節(jié)立體圖像對中的透視性和差異的方法的流程圖；圖3是示出圖2中所示的識別目標和背景的步驟的附加細節(jié)的流程圖；以及圖4是示出圖3中所示的產(chǎn)生聚類圖的步驟的附加細節(jié)的流程圖。
具體實施例方式本發(fā)明包含在此描述的實施例的組合。所提及的“一個具體實施例”等涉及在本發(fā)明的至少一個實施例中提出的特征。個別提及的“一個實施例”或“多個具體實施例”等并不必然涉及相同的一個或多個實施例；然而，這樣的實施例并非相互排斥，除非已這樣表示或?qū)τ诒绢I(lǐng)域技術(shù)人員是顯見的。使用單數(shù)或復(fù)數(shù)表示“一個方法”或“多個方法”等并不在于限制。作為在此使用的短語“數(shù)字內(nèi)容記錄”表示任何數(shù)字內(nèi)容記錄，諸如數(shù)字靜止圖像、數(shù)字音頻文件、數(shù)字視頻文件等。應(yīng)該理解，除非明確地指出或由上下文要求，在該公開中使用的單詞“或”并非是排他性的含義。圖1是示出根據(jù)本發(fā)明實施例的用于檢測數(shù)字圖像中的目標和背景的系統(tǒng)的組件的高級別框圖。該系統(tǒng)包括數(shù)據(jù)處理系統(tǒng)10、外圍系統(tǒng)20、用戶界面系統(tǒng)30以及數(shù)據(jù)存儲系統(tǒng)40。將外圍系統(tǒng)20、用戶界面系統(tǒng)30以及數(shù)據(jù)存儲系統(tǒng)40通信地連接到數(shù)據(jù)處理系統(tǒng)10。數(shù)據(jù)處理系統(tǒng)10包括一個或多個數(shù)據(jù)處理設(shè)備，該數(shù)據(jù)處理設(shè)備實施本發(fā)明的各種實施例的處理，包括在此描述的圖2和圖3的示例處理。短語“數(shù)據(jù)處理設(shè)備”或 “數(shù)據(jù)處理器”旨在包括無論采用電、磁、光、生物組件等均可以實現(xiàn)的諸如中央處理單元 (“CPU”)、臺式計算機、膝上型計算機、大型計算機、個人數(shù)字助理、Blackberry 、數(shù)字相機、 蜂窩式電話的任何數(shù)據(jù)處理設(shè)備，或用于處理數(shù)據(jù)、管理數(shù)據(jù)或操作數(shù)據(jù)的任何其他設(shè)備。數(shù)據(jù)存儲系統(tǒng)40包括一個或多個配置成存儲信息的處理器可訪問的存儲器，該信息包括需要執(zhí)行包括在此描述的圖2和圖3的示例處理的本發(fā)明各種實施例的處理的信息。該數(shù)據(jù)存儲系統(tǒng)40可以是分布式處理器可訪問的存儲器系統(tǒng)，該分布式處理器可訪問的存儲器系統(tǒng)包括經(jīng)由多個計算機和/或設(shè)備通信地連接到數(shù)據(jù)處理系統(tǒng)10的多個處理器可訪問的存儲器。在另一方面，數(shù)據(jù)存儲系統(tǒng)40并不需要是分布式處理器可訪問的存儲器，并且由此，可以包括位于單個數(shù)據(jù)處理器或設(shè)備中的一個或多個處理器可訪問的存儲器。短語“處理器可訪問的存儲器”旨在包括任何處理器可訪問的數(shù)據(jù)存儲設(shè)備，無論是易失性還是非易失性，無論是電、磁、光還是其他方式，其包括但不限于寄存器、軟盤、硬盤、密致盤、DVD、閃存、ROM以及RAM。短語“通信地連接”旨在包括設(shè)備、數(shù)據(jù)處理器或程序之間數(shù)據(jù)可以被傳輸?shù)娜魏晤愋偷倪B接，無論是有線還是無線。而且，短語“通信地連接”旨在包括單個數(shù)據(jù)處理器中的設(shè)備或程序之間的連接；位于不同數(shù)據(jù)處理器中的設(shè)備或程序之間的連接；以及根本沒有位于數(shù)據(jù)處理器中的設(shè)備之間的連接。在此，盡管數(shù)據(jù)存儲系統(tǒng)40所示為與數(shù)據(jù)處理系統(tǒng)10分開，然而本領(lǐng)域技術(shù)人員應(yīng)當理解，數(shù)據(jù)存儲系統(tǒng)40可以完全或部分地包含在數(shù)據(jù)處理系統(tǒng)10中。并且在此，盡管外圍系統(tǒng)20、用戶界面系統(tǒng)30所示為與數(shù)據(jù)處理系統(tǒng)10 分開，然而本領(lǐng)域技術(shù)人員應(yīng)當理解，這樣的系統(tǒng)中的一個或兩者可以完全或部分地存儲在數(shù)據(jù)處理系統(tǒng)10中。外圍系統(tǒng)20可以包括配置為將數(shù)字內(nèi)容記錄提供給數(shù)據(jù)處理系統(tǒng)10的一個或多個設(shè)備。例如，外圍系統(tǒng)20可以包括數(shù)碼相機、數(shù)字視頻相機、蜂窩電話或其他數(shù)據(jù)處理器。數(shù)據(jù)處理系統(tǒng)10在從外圍系統(tǒng)20中的設(shè)備接收到數(shù)字內(nèi)容記錄時，可以將這樣的數(shù)字內(nèi)容記錄存儲在數(shù)據(jù)存儲系統(tǒng)40中。用戶界面系統(tǒng)30可以包括鼠標、鍵盤、另一計算機或?qū)?shù)據(jù)從其輸入到數(shù)據(jù)處理系統(tǒng)10的任何設(shè)備或設(shè)備的組合。在這方面，盡管外圍系統(tǒng)20所示為與用戶界面系統(tǒng)30 分開，然而外圍系統(tǒng)20可以被包含作為用戶界面系統(tǒng)30的一部分。用戶界面系統(tǒng)30還可以包括顯示設(shè)備、處理器可訪問的存儲器或由數(shù)據(jù)處理系統(tǒng)10向其輸出數(shù)據(jù)的任何設(shè)備和設(shè)備的組合。在這方面，如果用戶界面系統(tǒng)30包括處理器可訪問的存儲器，這樣的存儲器可以是數(shù)據(jù)存儲系統(tǒng)40的一部分，盡管在圖1中分開示出了用戶界面系統(tǒng)30和數(shù)據(jù)存儲系統(tǒng)40。圖2是示出根據(jù)本發(fā)明實施例的用于調(diào)節(jié)立體圖像對中的透視性和差異的方法的流程圖。在接收立體圖像對步驟102中接收表示場景的立體圖像對103。立體圖像對103 可以由立體圖像捕獲設(shè)備來捕獲。立體圖像捕獲設(shè)備可以是并行相機、多視角相機、單鏡頭相機或混合立體圖像相機。可替換地，立體圖像對103可以是由立體圖像捕獲設(shè)備捕獲的兩個立體視頻序列的幀對(frame pair)。在識別范圍信息步驟104中識別與數(shù)字圖像103相關(guān)聯(lián)的范圍信息105。范圍信息105包括場景中的像素與已知參考位置的距離。需要識別相對于給定范圍信息的視點位置。通常，視點位置是參考位置。范圍信息105優(yōu)選以由測距相機提供的范圍圖的形式提供范圍信息，該測距相機使用可見光、紅外光、激光或超聲波以確定至場景中像素的距離?？商鎿Q地，可以使用包括從多個視點捕獲場景的圖像并且通過評價場景中的目標的相對位置來確定范圍信息的立體圖像處理技術(shù)，來提供范圍圖。對于范圍圖具有與數(shù)字圖像103不同的維數(shù)(即，行數(shù)和列數(shù))的情況，范圍圖優(yōu)選被插值以使得其具有相同的維數(shù)。在識別目標和背景步驟106中，基于范圍信息105和立體圖像對103的分析來識別場景中的目標和背景107。在產(chǎn)生新的立體圖像對步驟108中，通過基于范圍信息105的分析調(diào)節(jié)立體圖像對103中目標和背景107的透視性和差異來產(chǎn)生新的立體圖像對109。 由于不同人具有不同的立體體驗，因此在本發(fā)明的一個實施例中可選地基于用戶偏好輸入 111(圖2中虛線表示可選的特征)進行透視性和差異調(diào)節(jié)。例如，如果差異太大，特定用戶會難以在視覺上融合立體圖像對。在這種情況下，用戶偏好輸入111可以表示特定用戶偏好較低的差異級別?？梢蕴峁┯脩艚缑嬉栽试S用戶指定用戶偏好輸入111。例如，可以提供滑動條以輸入對于整個差異級別的比例因子。用戶可以僅將滑動條滑至較低的級別，以減少差異。隨后，產(chǎn)生新的立體圖像對步驟107能夠針對每個目標以該比例因子來減少差異， 并且產(chǎn)生具有較低差異級別的新的立體圖像對108。因為立體圖像中的目標和背景被檢測，所以也能夠調(diào)節(jié)特定目標的透視性和差異。例如，如果期望產(chǎn)生一個特定目標被修改以使得它看起來遠離視點的修改立體圖像對， 必須減小新的立體圖像對109中該目標的尺寸和改變差異。目標的尺寸和差異的改變應(yīng)該與目標與視點的距離的改變成比例。隨著立體圖像對中的目標的尺寸和位置被調(diào)節(jié)時，可以暴露出背景或目標中先前被遮蔽的部分。為了填充立體圖像對109的圖像之一中的這些區(qū)域的像素值，可以從立體圖像對109的另一個圖像中的對應(yīng)目標或背景區(qū)域復(fù)制像素。 在立體圖像對109的兩個圖像中目標區(qū)域均被遮蔽的情況下，必須通過對該目標中未遮蔽的部分進行外插來確定像素值。在本發(fā)明的一個實施例中，可以將用于執(zhí)行透視性和差異調(diào)節(jié)操作的處理器嵌入在諸如并行相機、多視角相機、單鏡頭相機或混合立體圖像相機的立體圖像捕獲設(shè)備中。這使得能夠在圖像捕獲時調(diào)節(jié)透視性和差異。在存儲新的立體圖像對步驟110中，將新的立體圖像對109存儲在包括處理器可訪問的存儲器系統(tǒng)的數(shù)據(jù)存儲系統(tǒng)40(圖1)中。處理器可訪問的存儲器系統(tǒng)可以是本領(lǐng)域中通常使用的任意類型的數(shù)字存儲器，包括諸如硬盤的磁存儲介質(zhì)；諸如光盤的光存儲介質(zhì)或諸如隨機存取存儲器(RAM)或只讀存儲器(ROM)的固態(tài)存儲設(shè)備。圖3是示出根據(jù)本發(fā)明實施例的圖2中所示的識別目標和背景步驟106的附加細節(jié)的流程圖。如前面所討論的提供立體圖像對103和包含范圍圖的范圍信息105。在產(chǎn)生聚類圖步驟202中，基于對范圍信息105以及立體圖像對103的分析來產(chǎn)生聚類圖203，這將相對于圖4的討論更加詳細地描述。在檢測目標和背景步驟204中，通過將聚類圖203 和立體圖像對103結(jié)合為目標=f (聚類圖，I)來檢測立體圖像103中的目標和背景205，其中函數(shù)f()是使用聚類圖203應(yīng)用于數(shù)字圖像I的目標分割操作。數(shù)字圖像I將是立體圖像對103中的圖像之一。函數(shù)f()的作用在于識別聚類圖203中具有相同距離的像素，隨后將數(shù)字圖像I中對應(yīng)的像素分配給對應(yīng)的目標。圖4是示出根據(jù)本發(fā)明實施例的圖3中所示的產(chǎn)生聚類圖步驟202的附加細節(jié)的流程圖。如前面所討論的提供立體圖像對103和包含范圍圖的范圍信息105。在聚類像素步驟 304 中，通過使用諸如在 IEEE Transactions on Pattern Analysis & Machine Intelligence, 2007 年 1 月，第 29 卷，第 1 期，第 167-172 頁的 “Dominant Sets and Pairwise Clustering”中所描述方法的聚類算法來聚類范圍圖中的像素。以這一方式產(chǎn)生的聚類組通常具有許多噪聲。減少聚類噪聲步驟306用于使用形態(tài)學(xué)(morphological)方法以來填充小孔并且去除小的聚類區(qū)域，從而減小聚類噪聲。使用識別邊緣步驟308來檢測立體圖像中的邊緣。在本發(fā)明的優(yōu)選實施例中，使
用梯度操作來識別邊緣。將圖像的梯度定義為
dl dlV/ = [(^] = [H]
ox oy其中I(x，y)是位置(x，y)處的像素的強度。梯度向量的大小為G = [GX2+G;]1/2。基于每個像素中梯度的大小來檢測立體圖像中的邊緣。接下來，使用濾波器邊緣步驟以對所檢測的邊緣進行濾波，從而去除不顯著的邊
7緣并保留顯著的邊緣。數(shù)學(xué)上，濾波操作可以表示為E = TXe,/ = !,0 SSSS ‘其中e是所檢測的邊緣之一，S (e)是該邊緣中每個像素的梯度大小之和，f是濾波器掩模以及T是閾值。因為范圍圖中的噪聲，由減少聚類噪聲步驟306產(chǎn)生的像素聚類在邊界區(qū)域中通常仍然會具有誤差。使用細化聚類步驟312以細化聚類組并且產(chǎn)生聚類圖203。通過使用在濾波器邊緣步驟310中計算的顯著邊緣來細化聚類組的邊界。如果像素位于每個聚類組中所檢測的顯著邊緣的外部，將把它們?nèi)コ?。這將使得聚類組的邊界更加精確。接下來，將每個所細化的聚類組中的平均距離η計算為
n = — ^ dis(i)
m ie聚類w其中m是聚類組w中像素的數(shù)量，dis(i)是第i個像素到視點位置的距離。通過將平均距離賦予聚類組中的每個像素，來產(chǎn)生聚類圖。應(yīng)當理解，示例性實施例對于本發(fā)明僅是說明性的，并且本領(lǐng)域技術(shù)人員在未偏離本發(fā)明的范圍的情況下能夠設(shè)計出上述實施例的多種變型。因此，所有這樣的變型均包含在所附權(quán)利要求或其等同物的范圍內(nèi)。部件列表10、數(shù)據(jù)處理系統(tǒng)20、外圍系統(tǒng)30、用戶界面系統(tǒng)40、數(shù)據(jù)存儲系統(tǒng)102、接收立體圖像對步驟103、立體圖像對104、識別范圍信息步驟105、范圍信息106、識別目標和背景步驟IO7、目標和背景108、產(chǎn)生新的立體圖像對步驟109、新的立體圖像對110、存儲新的立體圖像對的步驟111、用戶偏好輸入202、產(chǎn)生聚類圖203、聚類圖204、檢測目標和背景步驟304、聚類像素步驟306、減少聚類噪聲步驟308、識別邊緣步驟310、濾波器邊緣步驟
312、細化聚類步驟
權(quán)利要求
1.一種用于調(diào)節(jié)立體圖像對中的透視性和差異的方法，所述方法至少部分由數(shù)據(jù)處理系統(tǒng)實施并且包括接收表示場景的所述立體圖像對；識別與所述立體圖像對相關(guān)聯(lián)的范圍信息，所述范圍信息包括所述場景中的像素與參考位置的距離；至少基于對所述范圍信息和所述立體圖像對的分析來產(chǎn)生聚類圖，所述聚類圖通過所述立體圖像的像素與視點的距離來對所述立體圖像的像素進行分組；至少基于對所述聚類圖和所述立體圖像對的分析來識別所述立體圖像對中的目標和曲旦冃足；通過針對所述立體圖像對中至少一個所識別的目標或所述背景調(diào)節(jié)透視性和差異，來產(chǎn)生新的立體圖像對，至少基于所述范圍信息進行所述調(diào)節(jié)；以及將所述新的立體圖像對存儲在處理器可訪問的存儲器系統(tǒng)中。
2.根據(jù)權(quán)利要求1所述的方法，其中響應(yīng)于所述目標與視點位置的距離來調(diào)節(jié)所述透視性和差異的大小。
3.根據(jù)權(quán)利要求2所述的方法，其中所述視點位置是所述參考位置。
4.根據(jù)權(quán)利要求1所述的方法，其中響應(yīng)于用戶偏好輸入來調(diào)節(jié)所述透視性和差異。
5.根據(jù)權(quán)利要求1所述的方法，其中對所述聚類圖的分析包括減少來自所述聚類圖的噪聲。
6.根據(jù)權(quán)利要求5所述的方法，其中所述減少來自所述聚類圖的噪聲包括填充小孔并且從所述聚類圖中去除小聚類區(qū)域。
7.根據(jù)權(quán)利要求1所述的方法，其中對所述聚類圖和所述立體圖像對的分析包括 識別所述立體圖像對中的邊緣；以及至少通過將所識別的邊緣與所述像素分組的邊界進行比較，來細化所述聚類圖中的所述像素分組。
8.根據(jù)權(quán)利要求7所述的方法，其中在所識別的邊緣與所述像素分組的邊界進行比較之前，對所識別的邊緣進行濾波處理以去除不顯著的邊緣。
9.根據(jù)權(quán)利要求1所述的方法，其中至少根據(jù)對所述立體圖像對的分析來識別所述范圍信息。
10.一種計算機程序產(chǎn)品，用于執(zhí)行根據(jù)權(quán)利要求1所述的方法。
11.一種系統(tǒng)，包括 數(shù)據(jù)處理系統(tǒng)；以及存儲器系統(tǒng)，所述存儲器系統(tǒng)通信地連接到所述數(shù)據(jù)處理系統(tǒng)并且存儲指令，所述指令配置為使所述數(shù)據(jù)處理系統(tǒng)執(zhí)行用于調(diào)節(jié)立體圖像對中的透視性和差異的方法，其中所述指令包括接收表示場景的所述立體圖像對；識別與所述立體圖像對相關(guān)聯(lián)的范圍信息，所述范圍信息包括所述場景中的像素與參考位置的距離；至少基于對所述范圍信息和所述立體圖像對的分析來產(chǎn)生聚類圖，所述聚類圖通過所述立體圖像的像素與視點的距離來對所述立體圖像的像素進行分組；至少基于對所述聚類圖和所述立體圖像對的分析來識別所述立體圖像對中的目標和曲旦冃足；通過針對所述立體圖像對中至少一個所識別的目標或所述背景調(diào)節(jié)透視性和差異，來產(chǎn)生新的立體圖像對，至少基于所述范圍信息進行所述調(diào)節(jié)；以及將所述新的立體圖像對存儲在處理器可訪問的存儲器系統(tǒng)中。
12.根據(jù)權(quán)利要求11所述的方法，其中所述立體圖像對接收自立體圖像捕獲設(shè)備。
13.根據(jù)權(quán)利要求12所述的方法，其中至少根據(jù)對所述立體圖像對的分析來識別所述范圍信息。
14.根據(jù)權(quán)利要求11所述的方法，其中在立體圖像捕獲設(shè)備中執(zhí)行產(chǎn)生新的立體圖像對的步驟。
15.根據(jù)權(quán)利要求14所述的方法，其中所述立體圖像捕獲設(shè)備是并行相機、多視角相機、單鏡頭相機或混合立體圖像相機。
全文摘要
一種用于使用范圍信息來調(diào)節(jié)立體圖像對中的透視性和差異的系統(tǒng)和方法，包括接收表示場景的立體圖像對；識別與所述立體圖像對相關(guān)聯(lián)的范圍信息并且所述范圍信息包括所述場景中的像素與參考位置的距離；至少基于對所述范圍信息和所述立體圖像的分析來產(chǎn)生聚類圖，所述聚類圖通過立體圖像的像素與視點的距離來對立體圖像的像素進行分組；至少基于對所述聚類圖和所述立體圖像的分析來識別所述立體圖像中的目標和背景；至少通過調(diào)節(jié)立體圖像對中的目標和背景的透視性和差異性，來產(chǎn)生新的立體圖像對，至少基于對所述范圍信息的分析進行所述調(diào)節(jié)；以及將新產(chǎn)生的立體圖像對存儲在處理器可訪問的存儲器系統(tǒng)中。
文檔編號H04N13/00GK102474636SQ201080032595
公開日2012年5月23日 申請日期2010年7月12日 優(yōu)先權(quán)日2009年7月29日
發(fā)明者S·王 申請人:伊斯曼柯達公司