專利名稱：利用正向和反向深度預測進行圖像的深度提取的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開一般地涉及計算機圖形處理和顯示系統(tǒng)，并更具體地涉及一種利用正向和 反向深度預測進行圖像的深度提取的系統(tǒng)和方法。
背景技術(shù)：
立體成像是在視覺上組合一個場景的從稍微不同的視點取得的至少兩個圖像以 便產(chǎn)生三維(“3D”)深度的錯覺的處理。該技術(shù)依賴于如下事實人眼間隔一定距離，并 且因此沒有觀看完全相同的場景。通過為每只眼睛提供來自不同觀察點(perspective)的 圖像，欺騙觀看者的眼睛感覺到深度。典型地，在提供兩個有區(qū)別的觀察點的情況下，分別 將組成圖像稱為“左側(cè)”和“右側(cè)”圖像，也分別將其已知為基準圖像和補充圖像。然而，本 領(lǐng)域技術(shù)人員將認識到，可以組合多于兩個視點來形成立體圖像。在3D后期制作、視覺效果(VFX)工作流程和3D顯示應用中，一項重要的處理是從 由左眼視像和右眼視像組成的立體圖像中推斷深度圖。例如，最近商業(yè)化的自動 立體3D顯示器要求圖像加深度圖(image-plus-d印th-map)輸入格式，使得該顯示器可以 生成不同的3D視圖來支持多個視角。根據(jù)立體圖像對推斷深度圖的處理在計算機視覺研究的領(lǐng)域中被稱為立體匹配， 因為使用像素或塊匹配以發(fā)現(xiàn)左眼和右眼視像中的對應點。新近，推斷深度圖的處理 在3D顯示團體中也通常被已知為深度提取。根據(jù)各圖像中與場景中的相同點對應的兩個 像素之間的相對距離推斷深度值。在眾多計算機視覺應用(諸如，例如用于計算機輔助繪圖(CAD)的快速對象建 模和原型成型、用于人機交互(HCI)的對象分割和檢測、視頻壓縮和視覺監(jiān)控(visual surveillance))中廣泛使用數(shù)字圖像的立體匹配，以便提供三維(3D)深度信息。立體匹配 從場景中位于不同位置和朝向的兩個或多個相機獲得場景的圖像。在大約相同的時間從每 個相機獲得這些數(shù)字圖像，并且對應于空間中的3D點匹配每個圖像中的點。通常，通過搜 索一部分圖像和使用約束(諸如核線約束)來匹配來自不同圖像的點，以便使一個圖像中 的點與另一圖像中的點相關(guān)聯(lián)。關(guān)于深度圖提取已經(jīng)進行了實質(zhì)性的工作。關(guān)于深度提取的大部分工作集中在單 個立體圖像對上而不是在視頻上。然而，視頻取代圖像成為消費電子界的主導媒體。對于 視頻而言，采用立體圖像對的序列而不是單個圖像對。在常規(guī)技術(shù)中，向每個幀對應用靜止 深度提取算法。在大多數(shù)情形下，輸出深度圖的質(zhì)量對于3D回放是足夠的。然而，對于具 有大量紋理的幀而言，可以看見時間性的(temporal)抖動偽像，這是因為深度圖在時間方 向上(即，在圖像對序列的時間段中)未精確地對齊。因此，存在對于使深度圖提取處理沿時間方向穩(wěn)定以減少時間性的抖動偽像的技 術(shù)的需求。

發(fā)明內(nèi)容
根據(jù)本公開的一方面，提供了一種利用正向和反向深度預測進行圖像的時空深度 提取的系統(tǒng)和方法。本公開的系統(tǒng)和方法提供了 獲取多個幀、基于多個幀中的前一幀的深 度圖來生成多個幀中的當前幀的第一深度圖，基于多個幀中的后一幀的深度圖來生成多個 幀中的當前幀的第二深度圖，以及處理第一深度圖和第二深度圖以產(chǎn)生當前幀的第三深度 圖。


將對本公開的這些以及其他方面、特征和優(yōu)點進行描述，或者根據(jù)要連同附圖一 起閱讀的優(yōu)選實施例的以下詳細描述，本公開的這些以及其他方面、特征和優(yōu)點將變得清林 疋。在附圖中，貫穿各視圖，相同的參考標記表示類似的元件圖1是根據(jù)本公開的一方面的將至少兩個圖像進行立體匹配的系統(tǒng)的示例性圖 示；圖2是根據(jù)本公開的一方面的將至少兩個圖像進行立體匹配的示例性方法的流 程圖；圖3圖示在對場景中感興趣的點拍攝的兩個圖像之間的核線(印ipolarline)幾 何關(guān)系；圖4圖示在視差和深度之間的關(guān)系；圖5是根據(jù)本公開的一方面的用于估計至少兩個圖像的視差的示例性方法的流 程圖；圖6是根據(jù)本公開的一方面的時空深度提取的示例性方法的流程圖；圖7圖示用于增強立體圖像的連續(xù)幀序列的深度圖的正向和反向預測處理；以及圖8是根據(jù)本公開的一方面的生成深度圖的示例性方法的流程圖。應理解，(各)附圖用于例示本公開的構(gòu)思的目的并且不一定是用于例示本公開 的唯一可能的配置。
具體實施例方式應理解可以以各種形式的硬件、軟件或其組合來實施附圖中所示的元件。優(yōu)選 地，在一個或多個被適當編程的通用設(shè)備上以硬件和軟件的組合來實施這些元件，所述通 用設(shè)備可以包括處理器、存儲器以及輸入/輸出接口。本描述例示了本公開的原理。因此本領(lǐng)域技術(shù)人員應理解將能夠設(shè)計出雖然未在 此被明確描述或示出、但是體現(xiàn)本公開的原理并且被包括在本公開的精神和范圍內(nèi)的各種布置。在此所敘述的所有示例和條件性語言意在教導性的目的，以幫助讀者理解本公開 的原理和由發(fā)明人為促進本領(lǐng)域技術(shù)而貢獻的構(gòu)思，并且要被解釋為不限于這種具體敘述 的示例和條件。另外，在此敘述的本公開的原理、方面、以及實施例的所有陳述、以及本公開的具 體示例，意在包含本公開的結(jié)構(gòu)的和功能的兩者的等效物。此外，這種等效物意在包括當前已知的等效物以及將來開發(fā)的等效物這兩者，即，所開發(fā)的無論結(jié)構(gòu)如何、執(zhí)行相同功能的 任何元件。因此，例如，本領(lǐng)域技術(shù)人員應理解在此呈現(xiàn)的框圖表示體現(xiàn)本公開的原理的例 示性的電路的概念性視圖。類似地，應理解任何流程圖示、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等 等表示實質(zhì)上可以在計算機可讀介質(zhì)中表示的、并因此通過計算機或處理器執(zhí)行的各種處 理，無論這種計算機或處理器是否被明確示出?？梢允褂脤Ｓ糜布约巴ㄟ^與適合的軟件相關(guān)聯(lián)而能夠執(zhí)行軟件的硬件來提供 附圖中所示的各種元件的功能。當由處理器提供時，可以由單個專用處理器、單個共享處理 器、或其中一些可以被共享的多個獨立處理器提供所述功能。另外，術(shù)語“處理器”或“控制 器”的明確使用不應被解釋為排他性地指代能夠執(zhí)行軟件的硬件，其可以隱含地包括、而不 限于數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲 器(“RAM”)、以及非易失性存儲裝置。還可以包括其它的常規(guī)的和/或定制的硬件。類似地，附圖中所示的任何開關(guān)只 是概念性的?？梢酝ㄟ^程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互作 用、或甚至手動地執(zhí)行它們的功能，如從上下文中具體理解的，具體技術(shù)可由實施者選擇。在其權(quán)利要求中，被表達為用于執(zhí)行所指定的功能的部件的任何元件意在包含執(zhí) 行該功能的任何方式，所述任何方式例如包括a)執(zhí)行該功能的電路元件的組合或b)與 用于執(zhí)行軟件的適當?shù)碾娐方M合以執(zhí)行該功能的任何形式的軟件(因此包括固件、微代碼 等)。由這樣的權(quán)利要求所限定的本公開在于以下事實以權(quán)利要求所請求保護的方式將 所敘述的各種部件所提供的功能組合并放在一起。因此，可以提供這些功能的任何部件被 認為等效于與在此所示出的那些部件。立體匹配是用于從立體圖像(例如，左眼視像和右眼視像)推斷深度圖 的標準方法。在常規(guī)的自動立體顯示器上進行的3D回放已經(jīng)表明深度圖的平滑度顯著影 響作為結(jié)果的3D回放的外觀。不平滑的深度圖經(jīng)常導致3D回放中的之字形邊緣，這在視 覺上比具有不太準確的深度值的平滑的深度圖的回放更糟糕。因此，對于3D顯示和回放應 用而言，深度圖的平滑度比深度準確度更重要。此外，基于全局優(yōu)化的方法對于3D顯示應 用中的深度估計而言是必須的。本公開提出了一種結(jié)合時間信息以提高深度圖的平滑度的 深度提取技術(shù)。眾多立體技術(shù)優(yōu)化了以下成本函數(shù)(cost function)，該成本函數(shù)用于強制 空間相干性以及與數(shù)據(jù)的一致性。針對圖像序列，時間分量對于提高所提取的深度圖的準 確度是重要的。提供了一種利用正向和反向深度預測進行圖像的時空深度提取的系統(tǒng)和方法。本 公開的系統(tǒng)和方法提供了一種結(jié)合時間信息以提高深度圖的平滑度的深度提取技術(shù)。本公 開的技術(shù)結(jié)合正向和反向通道(pass)，其中使用圖像序列的當前幀的前一幀的深度圖來初 始化當前幀處的深度提取，這使得計算更快并且更準確。然后可以利用深度圖或視差圖與 立體圖像對一起進行3D回放。本公開的技術(shù)在解決由深度圖的不穩(wěn)定造成的、2D+深度顯 示中3D回放的時間性抖動偽像的問題時是有效的?，F(xiàn)在參照附圖，圖1示出了根據(jù)本公開的實施例的示例性系統(tǒng)組件。可以提供掃 描設(shè)備103用于將膠片印片(film print) 104(例如相機原始的膠片底片)掃描為數(shù)字格式 (例如，Cineon-格式或者運動畫面和電視工程師協(xié)會(“SMPTE”)數(shù)字畫面交換(“DPX”)文件)。掃描設(shè)備103可以包括例如電視電影裝置(telecine)或者將根據(jù)膠片生成視頻輸 出的任何設(shè)備(諸如例如具有視頻輸出的Arri LocPro )?？商鎿Q地，可以直接使用來自 后期制作處理或者數(shù)字電影的文件106 (例如，已經(jīng)是計算機可讀形式的文件)。計算機可 讀文件的潛在來源是AVID 編輯器、DPX文件、D5磁帶等。所掃描的膠片印片被輸入給后期處理設(shè)備102(例如，計算機)。該計算機在各 種已知的計算機平臺中的任一種上實現(xiàn)，所述計算機平臺具有諸如以下硬件一個或多個 中央處理單元(CPU)、諸如隨機存取存儲器(RAM)和/或只讀存儲器(ROM)之類的存儲器 110，以及諸如鍵盤、光標控制設(shè)備(例如，鼠標或操縱桿)和顯示設(shè)備之類的(多個)輸 入/輸出(I/O)用戶接口。該計算機平臺還包括操作系統(tǒng)和微指令代碼。在此描述的各 種處理和功能可以是經(jīng)由操作系統(tǒng)執(zhí)行的微指令代碼的一部分或者軟件應用程序的一部 分(或者是其組合)。在一個實施例中，軟件應用程序有形地體現(xiàn)在程序存儲設(shè)備中，其可 以被上載到諸如后期處理設(shè)備102之類的任何合適的機器并且由該機器執(zhí)行。另外，可以 通過諸如并行端口、串行端口或者通用串行總線(USB)之類的各種接口和總線結(jié)構(gòu)將各種 其他外圍設(shè)備連接到該計算機平臺。其他外圍設(shè)備可以包括附加的存儲設(shè)備1 和印片機 (printer) 128?？梢圆捎糜∑瑱C128來印制膠片的修改版本126，例如膠片的立體版本，其 中可以使用作為以下描述的技術(shù)的結(jié)果的3D建模的對象來更改或者取代一個場景或多個 場景?？商鎿Q的，可以將已經(jīng)是計算機可讀形式的文件/膠片印片106(例如數(shù)字電影， 其例如可以存儲在外部硬盤驅(qū)動器124中)直接輸入到計算機102中。注意，在此使用的 用語“膠片”可以指膠片印片或者數(shù)字電影。軟件程序包括在存儲器110中存儲的立體匹配模塊114，其用于將第一圖像中的 至少一個點與第二圖像中的至少一個對應點進行匹配。該立體匹配模塊114還包括圖像偏 轉(zhuǎn)器(image warper) 116，其被配置為調(diào)整立體圖像對的核線使得核線精確地成為圖像的 水平掃描線。該立體匹配模塊114還包括視差(disparity)估計器118，其被配置為估計第一圖 像中的至少一個點與第二圖像中的至少一個對應點的視差，并且根據(jù)所估計的視差對于第 一圖像中的至少一個點中的每一個點與第二圖像中的至少一個對應點來生成視差圖。該視 差估計器118包括像素匹配成本函數(shù)132，被配置為對第一圖像和第二圖像中的像素進行 匹配；平滑度成本函數(shù)134，向視差估計應用平滑度約束；以及時間成本函數(shù)136，被配置為 使所生成的視差圖的序列在時間上對齊。視差估計器118還包括置信傳播算法或置信傳 播函數(shù)138，用于使所估算的視差最小化；以及動態(tài)編程算法或動態(tài)編程函數(shù)140，利用被 應用到第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來初始化置信傳播函數(shù)138以加速 置信傳播函數(shù)138。立體匹配模塊114還包括深度圖生成器120，用于通過對視差圖的視差值進行反 轉(zhuǎn)(invert)而將視差圖轉(zhuǎn)換為深度圖。圖2是根據(jù)本公開的一方面的對至少兩個二維OD)圖像進行立體匹配的示例性 方法的流程圖。初始地，后期處理設(shè)備102獲取至少兩個二維QD)圖像，例如，具有左眼視 圖和右眼視圖的立體圖像對(步驟20 。后期處理設(shè)備102可以通過獲得計算機可讀格式 的數(shù)字母版圖像(master image)文件而獲取至少兩個2D圖像?？梢酝ㄟ^利用數(shù)字相機來捕捉移動圖像的時間序列而獲取數(shù)字視頻文件?？商鎿Q的，可以通過常規(guī)的膠片類型的相 機來攝制視頻序列。在該情境下，經(jīng)由掃描設(shè)備103掃描該膠片。應理解，無論膠片是被掃描還是已經(jīng)是數(shù)字格式，膠片的數(shù)字文件都將包括關(guān)于 各個幀的位置的指示或信息(例如幀號、自膠片的起始起的時間等)?？梢酝ㄟ^具有相同設(shè)置的兩個相機來攝制立體圖像。對相機進行標定以使其具 有相同焦距、焦點高度和平行焦平面；或者，必須基于已知的相機參數(shù)對圖像進行偏轉(zhuǎn)使 得仿佛它們是被具有平行焦平面的相機所拍攝的(步驟204)。該偏轉(zhuǎn)處理包括相機標定 (calibration)(步驟206)和相機調(diào)校(rectification)(步驟208)。標定和調(diào)校處理調(diào) 整立體圖像的核線使得核線精確地成為圖像的水平掃描線。參照圖3，Ol和Ok表示兩個相 機的焦點，P表示兩個相機感興趣的點，而&和Pk表示點P被投影到成像平面的何處。每 個焦平面上的交叉點被稱作核點(印ipole)(由&和&表示)。右核線(例如，ER-PR)是 連接聚焦中心和左側(cè)圖像上的點的射線(ray)在右側(cè)圖像上的投影，因此左側(cè)圖像上的像 素在右側(cè)圖像上的對應點應位于右側(cè)圖像上的核線上，同樣的情況適用于左側(cè)核線，例如 El-Plo由于對應點發(fā)現(xiàn)沿著核線進行，調(diào)校處理將對應搜索簡化為僅僅沿掃描線搜索，這極 大地減少了計算成本。對應點是圖像中與同一場景點對應的像素。接著，在步驟210，對場景中的每個點估計視差圖。一旦發(fā)現(xiàn)對應點，則計算每個場 景點的視差作為左眼圖像和右眼圖像中匹配點的相對距離。例如，參照圖4，如果左眼圖像 402中的點的水平坐標為X，而其在右眼圖像404中的對應點的水平坐標為χ’，則視差d = χ' -χ 然后，在步驟212，使用以下公式ζ = Bf/d將場景點406的視差值d轉(zhuǎn)換為深度值 ζ (從場景點406 (也被稱為收斂點)到相機408,410的距離)，其中B是兩個相機408,410 之間的距離(也被稱作基線)，而f是相機的焦距，在圖4中示出對此的證明。參照圖5，提供了根據(jù)本公開的如上面步驟210所標識的用于估計視差圖的方法。 初始地，獲取立體圖像對(步驟50幻。計算視差成本函數(shù)，包括計算像素成本函數(shù)(步驟 504)、計算平滑度成本函數(shù)(步驟506)和計算時間成本函數(shù)(步驟508)。執(zhí)行低成本的 立體匹配優(yōu)化(例如，動態(tài)編程)來得到立體匹配兩個圖像的初始的確定性的結(jié)果(步驟 510)。然后將該低成本優(yōu)化的結(jié)果用于初始化置信傳播函數(shù)以加速用于使序列的第一幀的 視差成本函數(shù)最小化的置信傳播函數(shù)(512)。然后將使用預測深度圖來初始化用于該序列 的后一幀的置信傳播函數(shù)?，F(xiàn)在將詳細地描述圖5中所示的視差估計及其公式表示。視差估計是上述的工作 流程中重要的步驟。該問題包括使得左眼圖像和右眼圖像中的像素進行匹配，即發(fā)現(xiàn)右側(cè) 圖像和左側(cè)圖像中對應于同一場景點的像素。通過考慮視差圖是平滑的，可以如下對立體 匹配的問題在數(shù)學上進行公式表示C(d(·)) = Cp(d(.)) + ACs(d(.)) (1)其中d(.)是視差域(disparity f ield), d (χ, y)給出左眼圖像中具有坐標(x，y) 的點的視差值，C是總的成本函數(shù)，Cp是像素匹配成本函數(shù)，而Cs是平滑度成本函數(shù)。平滑 度成本函數(shù)是用于強制視差圖的平滑度的函數(shù)。在優(yōu)化處理期間，對所有的視差域使得上 述成本函數(shù)最小化。對于局部優(yōu)化，丟棄平滑度項Cs ；因此，在該優(yōu)化處理期間不考慮平滑 度。除此之外，可以將Cp建模為像素亮度(intensity)的均方差
權(quán)利要求
1.一種對至少兩個圖像進行匹配的方法，該方法包括 獲取(802)多個幀；基于所述多個幀中的前一幀的深度圖來生成(806)所述多個幀中的當前幀的第一深 度圖；基于所述多個幀中的后一幀的深度圖來生成(808)所述多個幀中的當前幀的第二深 度圖；以及處理(810)所述第一深度圖和所述第二深度圖以產(chǎn)生所述當前幀的第三深度圖。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第一深度圖包含基于所述前一幀的深度圖的 誤差，而所述第二深度圖包含用于減少該誤差的校正。
3.根據(jù)權(quán)利要求1所述的方法，其中所述多個幀中的每個幀包括第一圖像和第二圖像。
4.根據(jù)權(quán)利要求3所述的方法，其中生成第一和第二深度圖的步驟還包括以下步驟 估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的視差；基于所估計的視差生成視差圖；以及 將所估計的視差圖轉(zhuǎn)換為深度圖。
5.根據(jù)權(quán)利要求4所述的方法，其中估計視差的步驟包括計算像素匹配成本函數(shù) (504)。
6.根據(jù)權(quán)利要求4所述的方法，其中估計視差的步驟包括計算平滑度成本函數(shù)(506)。
7.根據(jù)權(quán)利要求4所述的方法，其中估計視差的步驟包括計算時間成本函數(shù)(508)。
8.根據(jù)權(quán)利要求4所述的方法，其中估計視差的步驟包括執(zhí)行低成本優(yōu)化函數(shù)(510)。
9.根據(jù)權(quán)利要求8所述的方法，其中估計視差的步驟包括基于低成本優(yōu)化函數(shù)(510) 的結(jié)果來計算置信傳播函數(shù)(512)。
10.根據(jù)權(quán)利要求3所述的方法，其中第一圖像是立體對的左眼視圖，第二圖像是立體 對的右眼視圖。
11.一種對至少兩個圖像進行匹配的系統(tǒng)，該系統(tǒng)包括 用于獲取(802)多個幀的部件；用于基于所述多個幀中的前一幀的深度圖來生成(806)所述多個幀中的當前幀的第 一深度圖的部件；用于基于所述多個幀中的后一幀的深度圖來生成(808)所述多個幀中的當前幀的第 二深度圖的部件；以及用于處理(810)所述第一深度圖和所述第二深度圖以產(chǎn)生所述當前幀的第三深度圖 的部件。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述第一深度圖包含基于所述前一幀的深度圖 的誤差，而所述第二深度圖包含用于減少該誤差的校正。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述多個幀中的每個幀包括第一圖像和第二圖像。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中用于生成第一和第二深度圖的部件還包括 用于估計第一圖像中的至少一個點與第二圖像中的至少一個對應點的視差的部件； 用于基于所估計的視差生成視差圖的部件；以及用于將所估計的視差圖轉(zhuǎn)換為深度圖的部件。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計視差的部件包括用于計算像素匹配成 本函數(shù)(504)的部件。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計視差的部件包括用于計算平滑度成本 函數(shù)(506)的部件。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計視差的部件包括計算時間成本函數(shù) (508)。
18.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計視差的部件包括用于執(zhí)行低成本優(yōu)化 函數(shù)(510)的部件。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中用于估計視差的部件包括用于基于執(zhí)行低成本 優(yōu)化函數(shù)(510)的部件的輸出來計算置信傳播函數(shù)(512)的部件。
20.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中第一圖像是立體對的左眼視圖，第二圖像是立 體對的右眼視圖。
全文摘要
提供了一種利用正向和反向深度預測進行圖像的時空深度提取的系統(tǒng)和方法。本公開的系統(tǒng)和方法提供了獲取(802)多個幀、基于多個幀中的前一幀的深度圖來生成(806)多個幀中的當前幀的第一深度圖，基于多個幀中的后一幀的深度圖來生成(808)多個幀中的當前幀的第二深度圖，以及處理(810)第一深度圖和第二深度圖以產(chǎn)生當前幀的第三深度圖。
文檔編號G06T7/00GK102047288SQ200880129526
公開日2011年5月4日 申請日期2008年5月28日 優(yōu)先權(quán)日2008年5月28日
發(fā)明者伊扎特·伊扎特, 尹永實, 張冬青 申請人:湯姆森特許公司