專(zhuān)利名稱(chēng)：將二維圖像轉(zhuǎn)換為三維圖像的轉(zhuǎn)換裝置及方法
技術(shù)領(lǐng)域：
一個(gè)或多個(gè)實(shí)施例涉及一種將二維(2D)圖像轉(zhuǎn)換為三維(3D)圖像的圖像轉(zhuǎn)換裝 置和方法。
背景技術(shù)：
最近，3D顯示裝置得到了發(fā)展并提供了具有真實(shí)的3D效果和真實(shí)性的3D圖像。 因此，對(duì)3D內(nèi)容的需求在持續(xù)增長(zhǎng)。一般來(lái)說(shuō)，通常需要基于多種視點(diǎn)的2D圖像來(lái)提供3D圖像。然而，這種方案不適 用于先前基于單一視點(diǎn)制作的2D圖像。因此，2D圖像到3D圖像的轉(zhuǎn)換可使下一代顯示裝 置能夠利用先前生成的僅用一個(gè)視點(diǎn)制作的內(nèi)容。用于將2D圖像數(shù)據(jù)轉(zhuǎn)換為3D圖像數(shù)據(jù)的技術(shù)先前涉及視差圖的使用，所述視差 圖表示相關(guān)圖像(例如，從有相同視野的各自的左2D相機(jī)和右2D相機(jī)捕獲的圖像)之間 的視差。當(dāng)圖像之間的視差低時(shí)，能夠推斷出查看的對(duì)象/點(diǎn)接近查看位置，但當(dāng)視差大 時(shí)，能夠推斷出查看的對(duì)象/點(diǎn)遠(yuǎn)離查看位置。這里，例如，可只依賴(lài)左圖像或右圖像中的 一個(gè)圖像，從而能夠參考映射兩幅圖像之間的差別的視差圖而從那個(gè)圖像生成3D圖像。同 樣，能夠從參考視差圖中對(duì)應(yīng)的/相關(guān)的位置獲得選擇的圖像內(nèi)的各個(gè)像素或參考像素的 深度。視差圖與對(duì)應(yīng)的深度圖之間的關(guān)系可因此是線(xiàn)性的。因此，用已知的視差圖和對(duì)應(yīng) 的2D圖像，就可將2D圖像轉(zhuǎn)換為3D圖像。當(dāng)僅有單一視點(diǎn)圖像可用時(shí)，也可為單一的2D 圖像執(zhí)行視差估計(jì)，其中，從單一的2D圖像的分析估計(jì)視差圖。

發(fā)明內(nèi)容
根據(jù)一個(gè)或多個(gè)實(shí)施例，可提供一種圖像轉(zhuǎn)換裝置，包括光照調(diào)整單元，選擇性 地調(diào)整二維(2D)圖像內(nèi)的光照；視差圖生成單元，生成用于將調(diào)整的2D圖像轉(zhuǎn)換為三維 (3D)圖像的視差圖。根據(jù)一個(gè)或多個(gè)實(shí)施例，可提供一種圖像轉(zhuǎn)換裝置，包括視差圖生成單元，生成 用于將2D圖像轉(zhuǎn)換為3D圖像的視差圖；深度銳化單元，選擇性地調(diào)整視差圖內(nèi)的深度值來(lái) 銳化由視差圖的深度值表示的對(duì)象或區(qū)域的邊界。根據(jù)一個(gè)或多個(gè)實(shí)施例，可提供一種圖像轉(zhuǎn)換裝置，包括光照調(diào)整單元，選擇性 地調(diào)整2D圖像內(nèi)的光照；視差圖生成單元，生成用于將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像的視 差圖；深度銳化單元，選擇性地調(diào)整視差圖內(nèi)的深度值以銳化由視差圖的深度值表示的對(duì) 象或區(qū)域的邊界。根據(jù)一個(gè)或多個(gè)實(shí)施例，可提供一種圖像轉(zhuǎn)換方法，包括選擇性地調(diào)整2D圖像 內(nèi)的光照；生成用于將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像的視差圖。
根據(jù)一個(gè)或多個(gè)實(shí)施例，可提供一種圖像轉(zhuǎn)換方法，包括生成用于將2D圖像轉(zhuǎn) 換為3D圖像的視差圖；選擇性地調(diào)整視差圖內(nèi)的深度值來(lái)銳化由視差圖的深度值表示的 對(duì)象或區(qū)域的邊界。根據(jù)一個(gè)或多個(gè)實(shí)施例，可提供一種圖像轉(zhuǎn)換方法，包括選擇性地調(diào)整2D圖像 內(nèi)的光照；生成用于將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像的視差圖；選擇性地調(diào)整視差圖內(nèi)的 深度值以銳化由視差圖的深度值表示的對(duì)象或區(qū)域的邊界。將在接下來(lái)的描述中部分闡述另外的方面和/或優(yōu)點(diǎn)，還有一部分通過(guò)描述將是 清楚的，或者可以經(jīng)過(guò)實(shí)施例的實(shí)施而得知。


通過(guò)下面結(jié)合附圖進(jìn)行的實(shí)施例的描述，這些和/或其他方面和優(yōu)點(diǎn)將會(huì)變得清 楚并更容易理解，其中圖1示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用光照調(diào)整來(lái)將二維(2D)圖像轉(zhuǎn)換為三維 (3D)圖像的圖像轉(zhuǎn)換裝置；圖2示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用深度銳化來(lái)將2D圖像轉(zhuǎn)換為3D圖像的圖像
轉(zhuǎn)換裝置；圖3示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用光照調(diào)整和深度銳化來(lái)將2D圖像轉(zhuǎn)換為3D 圖像的圖像轉(zhuǎn)換裝置；圖4是根據(jù)一個(gè)或多個(gè)實(shí)施例的用于執(zhí)行色調(diào)映射的曲線(xiàn)圖；圖5示出根據(jù)一個(gè)或多個(gè)實(shí)施例的通過(guò)使用特征信息來(lái)執(zhí)行平滑濾波的處理；圖6示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用光照調(diào)整來(lái)將2D圖像轉(zhuǎn)換為3D圖像的圖像 轉(zhuǎn)換方法；圖7示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用深度銳化來(lái)將2D圖像轉(zhuǎn)換為3D圖像的圖像 轉(zhuǎn)換方法；圖8示出根據(jù)一個(gè)或多個(gè)實(shí)施例的調(diào)整深度值的過(guò)程(例如，圖7的深度值調(diào)整 過(guò)程)；圖9示出根據(jù)一個(gè)或多個(gè)實(shí)施例的調(diào)整深度值的另一過(guò)程(例如，圖7的深度值 調(diào)整過(guò)程)；圖10示出根據(jù)一個(gè)或多個(gè)實(shí)施例的調(diào)整深度值的另一過(guò)程(例如，圖7的深度值 調(diào)整過(guò)程)。
具體實(shí)施例方式現(xiàn)在將詳細(xì)參考實(shí)施例，其示例在附圖中被示出，其中，相同的標(biāo)號(hào)始終表示相同 的部件。在這點(diǎn)上，本發(fā)明的實(shí)施例可按多種不同的形式被實(shí)施并不應(yīng)被解釋為僅限于在 此闡述的實(shí)施例，因此，通過(guò)參考附圖，僅在下面描述實(shí)施例以解釋本發(fā)明的多個(gè)方面。簡(jiǎn)要地講，圖3示出根據(jù)一個(gè)或多個(gè)實(shí)施例的將2D圖像轉(zhuǎn)換為3D圖像的圖像轉(zhuǎn) 換裝置300。參照?qǐng)D3，將2D圖像轉(zhuǎn)換為3D圖像的圖像轉(zhuǎn)換裝置300可包括例如，光照調(diào) 整單元310、視差圖生成單元320和深度銳化單元330。通過(guò)對(duì)顯示光照調(diào)整單元的圖1和 顯示深度銳化單元的圖2的討論，將在下面更詳細(xì)地闡述圖3的進(jìn)一步描述及對(duì)應(yīng)的實(shí)施例，應(yīng)該注意，可替代的實(shí)施例也是可用的。這里，可通過(guò)用于視差估計(jì)的一種或多種公知 技術(shù)來(lái)實(shí)現(xiàn)例如通過(guò)視差圖生成單元320的視差估計(jì)。因此，圖1示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用光照調(diào)整來(lái)將二維(2D)圖像轉(zhuǎn)換為三 維(3D)圖像的圖像轉(zhuǎn)換裝置100。如上所述，圖1示出例如用光照調(diào)整單元110和視差圖 生成單元120來(lái)將2D圖像轉(zhuǎn)換為3D圖像的圖像轉(zhuǎn)換裝置100。例如，關(guān)于上述傳統(tǒng)的視差估計(jì)，發(fā)明人發(fā)現(xiàn)，當(dāng)通過(guò)這樣的視差估計(jì)來(lái)生成2D 圖像的視差圖時(shí)，由于深度在亮區(qū)域或暗區(qū)域中被錯(cuò)誤地平滑，對(duì)象之間的區(qū)別可能削弱。 因此，基于此視差估計(jì)的稍后渲染的3D效果可能比預(yù)期表現(xiàn)出更低質(zhì)量的圖像。例如，視 差圖可能不能準(zhǔn)確地區(qū)分出2D圖像內(nèi)的點(diǎn)之間的視差/深度的差別。為防止所述區(qū)別的 削弱，可調(diào)整2D圖像的光照。因此，光照調(diào)整單元110可選擇性地調(diào)整將被轉(zhuǎn)換為3D圖像的2D圖像內(nèi)的光照。 在一個(gè)實(shí)施例中，僅作為示例，通過(guò)這樣的光照調(diào)整，原始輸出圖像的暗區(qū)域中的對(duì)比度可 被增強(qiáng)，并且過(guò)亮的區(qū)域中的高對(duì)比度可被降低。在實(shí)施例中，可在視差估計(jì)期間通過(guò)最大 地排除光照影響來(lái)反映對(duì)象的原始顏色。在實(shí)施例中，光照調(diào)整單元110可通過(guò)使用存儲(chǔ)與原始光照值對(duì)應(yīng)的調(diào)整光照值 的查找表來(lái)執(zhí)行2D圖像的色調(diào)映射。所述色調(diào)映射可以是執(zhí)行針對(duì)整個(gè)2D圖像的映射的 全局色調(diào)映射或者是執(zhí)行對(duì)2D圖像的各個(gè)部分的映射的局部色調(diào)映射。盡管全局色調(diào)映 射在橫跨場(chǎng)景的光照特征(描述性的統(tǒng)計(jì)數(shù)字，例如平均值和偏差)是恒定的情況下會(huì)是 足夠的，但如果具有不同特征的區(qū)域同時(shí)在場(chǎng)景中出現(xiàn)，則這樣的局部色調(diào)映射會(huì)產(chǎn)生更 好的結(jié)果。這里，局部色調(diào)映射可通過(guò)在不同的區(qū)域中使用不同的映射曲線(xiàn)來(lái)自適應(yīng)地處 理所有的區(qū)域。在實(shí)施例中，局部區(qū)域的范圍可以是固定大小的窗口，也可以是可變窗口， 并且區(qū)域還可被定義為可變大小的圓塊，其中，各圓塊具有相似的光照特征，并且相鄰的圓 塊不共享相同的屬性。此外，僅作為示例，所述查找表可以是伽馬校正表或?qū)?shù)校正表中的 至少一個(gè)，其中，光照被降低到它的對(duì)數(shù)。將參照?qǐng)D4詳細(xì)描述所述查找表。圖4示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用于執(zhí)行色調(diào)映射的曲線(xiàn)圖。如圖4所述，伽馬校正曲線(xiàn)圖的X-軸可表示原始值，伽馬校正曲線(xiàn)圖的Y-軸可表 示校正值，可提供如圖4中給出的調(diào)整值關(guān)于原始值的曲線(xiàn)410。再次參照?qǐng)D1，在實(shí)施例中，當(dāng)2D圖像是RGB圖像時(shí)，可通過(guò)使用用于RGB圖像的 各通道的單獨(dú)查找表來(lái)執(zhí)行色調(diào)映射。此外，可將單一的查找表應(yīng)用于所有通道。此外，光照調(diào)整單元110可通過(guò)使用2D圖像的強(qiáng)度的平均值和2D圖像的強(qiáng)度的 分散度的至少一個(gè)來(lái)執(zhí)行2D圖像的強(qiáng)度值的歸一化。所述歸一化可針對(duì)例如2D圖像的 各個(gè)部分、整個(gè)2D圖像或兩者的結(jié)合被執(zhí)行，并可通過(guò)使用歸一化的強(qiáng)度值來(lái)調(diào)整強(qiáng)度范 圍。在實(shí)施例中，用于歸一化的強(qiáng)度值的示例可以是亮度強(qiáng)度值。視差圖生成單元120可生成用于將2D圖像轉(zhuǎn)換為3D圖像的視差圖。在本實(shí)例中， 可在視差圖的生成的同時(shí)或在視差圖的生成之前執(zhí)行上述光照的調(diào)整。如上所述，可在視 差圖的生成的時(shí)間或在視差圖的生成之前調(diào)整2D圖像的光照，因而，可提供將2D圖像轉(zhuǎn)換 為3D圖像并且即使在亮區(qū)域或暗區(qū)域也能增加對(duì)象之間的區(qū)別的圖像轉(zhuǎn)換裝置。如上所述，圖2示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用深度銳化將2D圖像轉(zhuǎn)換為3D圖 像的圖像轉(zhuǎn)換裝置200。參照?qǐng)D2，圖像轉(zhuǎn)換裝置200可包括例如，視差圖生成單元210和
8深度銳化單元220。視差圖生成單元210可生成用于將2D圖像轉(zhuǎn)換為3D圖像的視差圖。與目前使用視差圖的2D到3D轉(zhuǎn)換的上述問(wèn)題類(lèi)似，發(fā)明人還發(fā)現(xiàn)，在圖像邊緣區(qū) 域和對(duì)應(yīng)的視差圖的邊緣區(qū)域之間會(huì)發(fā)生不一致。例如，當(dāng)對(duì)象和背景在圖像中存在時(shí)，視 差圖中對(duì)應(yīng)于對(duì)象的區(qū)域和對(duì)應(yīng)于背景的區(qū)域之間的視差差別可能需要是明顯的不同以 最大化3D效果。然而，圖像和視差圖之間的相關(guān)性可能不足，因此，3D效果可能經(jīng)常被削 弱。因此，在一個(gè)或多個(gè)實(shí)施例中，深度銳化單元220可選擇性地調(diào)整視差圖內(nèi)的深 度值。即，深度銳化單元220可執(zhí)行視差圖的深度之間的邊界的銳化，從而當(dāng)用戶(hù)查看3D 圖像時(shí)，用戶(hù)能夠感受最大的3D效果。深度銳化濾波器可被用于調(diào)整深度值。此外，要求 使用為執(zhí)行邊緣保留設(shè)計(jì)的深度銳化濾波器，以清楚地表現(xiàn)對(duì)象之間的邊界。當(dāng)邊緣被適 當(dāng)?shù)乇Ａ魰r(shí)，對(duì)象之間的邊界會(huì)是明顯的。用于深度銳化的調(diào)整可使用將視差圖的深度值分組為至少一組并平滑所述至少 一組的深度值的方法。即，在視差圖中具有相似深度的區(qū)域可被分組為相同組，并針對(duì)所 述相同組執(zhí)行平滑來(lái)獲得相似深度值，反之在具有不同深度的區(qū)域可不執(zhí)行平滑，從而清 楚地表現(xiàn)對(duì)象之間的邊界、對(duì)象和背景之間的邊界等。這樣的相似性可由閾值化處理確定 (例如，如果深度值之間的差別高于一些選擇的閾值，則兩個(gè)區(qū)域不相似)。這里，這樣的閾 值可用實(shí)驗(yàn)的方法確定或由用戶(hù)定義。用于深度銳化的調(diào)整可通過(guò)使用雙邊濾波器來(lái)執(zhí)行深度圖的相似區(qū)域的深度值 的平滑。這里，所述雙邊濾波器可以是使圖像的線(xiàn)條保持清楚并平滑相似區(qū)域的深度值的 濾波器。所述相似區(qū)域可以是具有相似深度值的區(qū)域，并且被包括在圖像中的各個(gè)對(duì)象可 以是單一的相似區(qū)域。用于深度銳化的調(diào)整可將2D圖像與視差圖比較并可調(diào)整所述視差圖的深度值。 為實(shí)現(xiàn)這個(gè)目的，將2D圖像與視差圖比較并將所述2D圖像的區(qū)域分類(lèi)為邊界區(qū)域和非邊 界區(qū)域?？赏ㄟ^(guò)使用例如交叉(聯(lián)合)雙邊濾波器來(lái)平滑與非邊界區(qū)域?qū)?yīng)的視差圖的深 度值。BP, 2D圖像可被用作基本圖像，并可基于所述2D圖像，清楚地保持視差圖的線(xiàn)條之間 的邊界并可同時(shí)平滑相似區(qū)域。換句話(huà)說(shuō)，例如，可使2D圖像中的相似區(qū)域在視差圖中具 有相似的深度值，不同的區(qū)域(對(duì)象之間的邊界或?qū)ο笈c背景之間的邊界)可不被平滑，或 被盡可能多的被平滑。深度銳化單元220可包括特征信息提取器221和平滑濾波單元222。特征信息 提取器221可從2D圖像提取至少一個(gè)特征信息。特征圖像信息可包括例如顏色、光照、方 位、紋理和動(dòng)作中的至少一個(gè)的信息。平滑濾波單元222可通過(guò)使用視差圖的深度值和從特征信息提取器提取的至少 一個(gè)特征信息來(lái)執(zhí)行濾波并同時(shí)保留高頻邊緣。作為示例，可從提取的特征信息中提取關(guān) 于2D圖像的邊界的信息，并可通過(guò)使用關(guān)于邊界的信息保留2D圖像的邊緣。當(dāng)兩個(gè)這樣的 明顯的影響被建立時(shí)，這樣的平滑濾波單元222還可被稱(chēng)為交叉(聯(lián)合)雙邊濾波器。這 里，將參照?qǐng)D5更詳細(xì)地描述通過(guò)使用特征信息執(zhí)行深度值的調(diào)整。圖5示出根據(jù)一個(gè)或多個(gè)實(shí)施例的通過(guò)使用特征信息來(lái)執(zhí)行平滑濾波的處理。參照?qǐng)D5，特征提取器520可提取與將被濾波的對(duì)應(yīng)視差圖530的區(qū)域?qū)?yīng)的2D圖像510的至少一個(gè)特征信息，以執(zhí)行視差圖的區(qū)域的濾波。隨后，基于與現(xiàn)有視差圖530 的深度值相關(guān)的至少一個(gè)特征信息521、522、523、524和525，可通過(guò)平滑濾波器來(lái)計(jì)算填 充新視差圖550的像素值。這里，僅作為示例，這樣的特征信息可包括顏色信息521、亮度 信息522、方位信息523、紋理信息524和/或動(dòng)作信息525，應(yīng)該注意，可替代的特征同樣會(huì) 是可用的。如注意到的，所述平滑濾波器可以是非線(xiàn)性邊緣保留平滑濾波器。所述平滑濾波 器可通過(guò)將高斯核(Gaussian Kernel)同時(shí)地應(yīng)用到現(xiàn)有視差圖的像素值和至少一個(gè)特征 信息來(lái)執(zhí)行平滑以保留高頻區(qū)域。再次參照?qǐng)D2，可在新的視差被生成之后或在新的視差圖被生成的同時(shí)執(zhí)行深度 值的調(diào)整。如上所述，視差圖被調(diào)整用于將2D圖像轉(zhuǎn)換為3D圖像，從而清楚地銳化對(duì)象之間 的邊界。如注意到的，圖3示出根據(jù)一個(gè)或多個(gè)實(shí)施例的將2D圖像轉(zhuǎn)換為3D圖像的圖像 轉(zhuǎn)換裝置300。這里，將2D圖像轉(zhuǎn)換為3D圖像的圖像轉(zhuǎn)換裝置300可包括例如，光照調(diào)整單元 310、視差圖生成單元320和深度銳化單元330。例如，在實(shí)施例中，可將RGB幀輸入到圖像 轉(zhuǎn)換裝置300，由光照調(diào)整單元310對(duì)RGB幀執(zhí)行光照調(diào)整，然后基于經(jīng)光照調(diào)整的RGB幀 由視差圖生成單元320執(zhí)行視差估計(jì)，并可將RGB幀加上估計(jì)的視差提供給用于深度銳化 的深度銳化單元330，導(dǎo)致深度銳化之后的最終的視差圖的生成。在一個(gè)或多個(gè)實(shí)施例中， 最終的視差圖和2D圖像可隨后被輸出作為3D數(shù)據(jù)和/或用來(lái)生成3D圖像。因此，光照調(diào) 整單元310可選擇性地調(diào)整2D圖像內(nèi)的光照。即，可選擇性地調(diào)整2D圖像的光照來(lái)補(bǔ)償 在一個(gè)或多個(gè)亮區(qū)域或暗區(qū)域中的對(duì)象之間的區(qū)別的弱化。視差圖生成單元320可生成用 于將2D圖像轉(zhuǎn)換為3D圖像的視差圖。深度銳化單元330可選擇性地調(diào)整視差圖內(nèi)的深度 值。即，可選擇性地調(diào)整視差圖的深度值來(lái)更清楚地表現(xiàn)邊緣。當(dāng)視差圖被生成時(shí)，可執(zhí)行光照的調(diào)整和深度值的調(diào)整。作為另一示例，可在視差 圖被生成之前執(zhí)行光照的調(diào)整，并還可在視差被生成之后執(zhí)行深度值的調(diào)整。與參照?qǐng)D1和圖2描述的光照調(diào)整單元110、視差圖生成單元120和深度銳化單元 220的描述相似的光照調(diào)整單元310、視差圖生成單元320和深度銳化單元330的描述將被
進(jìn)一步省略。執(zhí)行2D圖像到3D圖像的轉(zhuǎn)換并執(zhí)行光照的調(diào)整和深度值的調(diào)整中的至少一個(gè)的 圖像轉(zhuǎn)換裝置還可是3D立體顯示器、3D立體TV、3D多視圖(multi-view)顯示器、3D多視 圖TV、3D立體廣播裝置、3D媒體播放器、游戲機(jī)、TV機(jī)頂盒、PC軟件、PC圖形卡等。此外， 圖像轉(zhuǎn)換裝置可以是包括硬件的設(shè)備(例如，實(shí)現(xiàn)所描述的方面中的一個(gè)或多個(gè)方面的一 個(gè)或多個(gè)處理裝置)。圖6示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用光照調(diào)整來(lái)將2D圖像轉(zhuǎn)換為3D圖像的圖像 轉(zhuǎn)換方法。參照?qǐng)D6，在操作610，可選擇性地調(diào)整2D圖像內(nèi)的光照。即，如上所述，例如，由 于視差圖被生成時(shí)的低對(duì)比度，在暗區(qū)域中多個(gè)對(duì)象之間的常見(jiàn)的區(qū)別會(huì)被弱化，并且暗 區(qū)域的深度會(huì)被平滑，從而可能降低3D效果。因此，為避免這種情況，可選擇性地調(diào)整2D圖像內(nèi)的至少一個(gè)區(qū)域的光照。可通過(guò)針對(duì)所述至少一個(gè)區(qū)域追蹤光的方向和光的強(qiáng)度的 至少一個(gè)來(lái)做出調(diào)整。可通過(guò)使用查找表色調(diào)映射2D圖像來(lái)調(diào)整光照，所述色調(diào)映射可以是全局色調(diào) 映射也可以是局部色調(diào)映射。此外，當(dāng)2D圖像是RGB圖像時(shí)，可通過(guò)使用用于所述RGB圖 像的各通道的單獨(dú)查找表來(lái)執(zhí)行色調(diào)映射。此外，當(dāng)光照被調(diào)整時(shí)，可用過(guò)使用2D圖像的 強(qiáng)度值的平均值和2D圖像的強(qiáng)度的分散度中的至少一個(gè)來(lái)歸一化2D圖像的強(qiáng)度值，所述 歸一化被執(zhí)行用于2D圖像的各個(gè)部分或用于整個(gè)2D圖像。在操作620，視差圖可被生成以將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像。圖7示出根據(jù)一個(gè)或多個(gè)實(shí)施例的用深度銳化來(lái)將2D圖像轉(zhuǎn)換為3D圖像的圖像 轉(zhuǎn)換方法。參照?qǐng)D7，在操作710，視差圖被生成用于將2D圖像轉(zhuǎn)換為3D圖像。在操作720，可選擇性地調(diào)整視差圖內(nèi)的深度值以銳化由視差圖的深度值表示的 對(duì)象或區(qū)域的邊界。可保持圖像的線(xiàn)條清楚并同時(shí)平滑相似區(qū)域的深度值的雙邊濾波器或 交叉雙邊濾波器可被用于調(diào)整深度值。當(dāng)使用雙邊濾波器或交叉雙邊濾波器時(shí)，可執(zhí)行精 確計(jì)算。然而，為了減少運(yùn)算速度或存儲(chǔ)器的使用量，可執(zhí)行近似而不是精確計(jì)算。圖8示出根據(jù)一個(gè)或多個(gè)實(shí)施例的調(diào)整深度值的過(guò)程(例如，圖7的深度值調(diào)整 過(guò)程)。參照?qǐng)D8，在操作810，視差圖的深度值可被分組為至少一組。即，可通過(guò)對(duì)具有相 似深度值的視差圖內(nèi)的區(qū)域分組來(lái)生成所述至少一組。在操作820，可在操作820中選擇性地平滑所述至少一組的深度值。即，所述至少 一組的深度值被平滑，從而清楚地區(qū)別多個(gè)組之間的深度值。因此，對(duì)象之間的邊界、對(duì)象 與背景之間的邊界等會(huì)變的清楚。圖9示出根據(jù)一個(gè)或多個(gè)實(shí)施例的調(diào)整深度值的另一過(guò)程(例如，圖7的深度值 調(diào)整過(guò)程)。參照?qǐng)D9，2D圖像可被分類(lèi)為邊界區(qū)域和非邊界區(qū)域。即，包括對(duì)象之間的邊界區(qū) 域、對(duì)象與背景之間的邊界等的2D圖像的區(qū)域可被分類(lèi)為邊界區(qū)域，并且2D圖像的剩余區(qū) 域可被分類(lèi)為非邊界區(qū)域。在操作920，可通過(guò)使用不能平滑邊界區(qū)域的交叉雙邊濾波器來(lái)選擇性地平滑與 非邊界區(qū)域?qū)?yīng)的視差圖的深度值。因此，非邊界區(qū)域的深度值被平滑并且邊界區(qū)域的深 度值沒(méi)有被平滑，從而，邊界會(huì)是清楚的。即，通過(guò)將2D圖像作為基本圖像使用，視差圖的 線(xiàn)條邊界會(huì)是清楚的。圖10示出根據(jù)一個(gè)或多個(gè)實(shí)施例的調(diào)整深度值的另一過(guò)程(例如，圖7的深度值 調(diào)整過(guò)程)。參照?qǐng)D10，在操作1010，可從2D圖像提取至少一個(gè)特征信息。這里，特征信息可 包括例如顏色信息、亮度信息、方位信息、紋理信息和動(dòng)作信息中的至少一個(gè)。在操作1020，基于視差圖的深度值和至少一個(gè)特征信息可選擇性地執(zhí)行用于保留 高頻邊緣的濾波。即，可從特征信息提取邊界信息，并可基于邊界信息來(lái)平滑具有相似深度 值的區(qū)域。此外，可不平滑具有不同深度值的區(qū)域。在本實(shí)例中，具有相似深度值的一個(gè)或 多個(gè)區(qū)域可以是例如單一的對(duì)象或單一的背景。
11
如上所述，2D圖像內(nèi)的光照可被選擇性地調(diào)整以將2D圖像轉(zhuǎn)換為3D圖像，因此， 無(wú)論2D圖像的光的方向或2D圖像的光的強(qiáng)度如何，關(guān)于對(duì)象的區(qū)別會(huì)增加。此外，視差圖 內(nèi)的深度值可被選擇性地調(diào)整以將2D圖像轉(zhuǎn)換為3D圖像，并且對(duì)象之間的邊界、對(duì)象與背 景之間的邊界等會(huì)變的清楚。因此，可提供3D效果。此外，如上所述，選擇性的光照調(diào)整和 選擇性的深度值調(diào)整均可被執(zhí)行，并且還能夠同時(shí)在例如圖像的一邊掃描中執(zhí)行所述的兩 個(gè)調(diào)整，而不用執(zhí)行對(duì)各任務(wù)的單獨(dú)的掃描。除上述實(shí)施例之外，還能夠通過(guò)永久性的介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))中/上的 計(jì)算機(jī)可讀代碼/指令控制實(shí)現(xiàn)任何上述實(shí)施例的至少一個(gè)處理裝置(例如，處理器或計(jì) 算機(jī))來(lái)實(shí)現(xiàn)實(shí)施例。所述介質(zhì)可與允許存儲(chǔ)和/或發(fā)送計(jì)算機(jī)可讀代碼的任何定義的、 可測(cè)量的、有形的結(jié)構(gòu)對(duì)應(yīng)。因此，在一個(gè)或多個(gè)實(shí)施例中，計(jì)算機(jī)可讀介質(zhì)可包括計(jì)算機(jī) 可讀代碼以控制實(shí)現(xiàn)將2D圖像轉(zhuǎn)換為3D圖像的圖像轉(zhuǎn)換方法的至少一個(gè)處理裝置。作為 另一示例，所述處理裝置可以是可編程的計(jì)算機(jī)。所述介質(zhì)還可包括例如計(jì)算機(jī)可讀代碼、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等或者它們的組合。 計(jì)算機(jī)可讀介質(zhì)的示例包括磁性介質(zhì)(例如，硬盤(pán)、軟盤(pán)、磁帶等)、光介質(zhì)(例如，CD ROM 盤(pán)和DVD)、光磁介質(zhì)(例如，光盤(pán))以及專(zhuān)門(mén)構(gòu)造用于存儲(chǔ)和執(zhí)行程序指令的硬件裝置(例 如，只讀存儲(chǔ)器(ROM)和隨機(jī)存取存儲(chǔ)器(RAM)、閃存等)。計(jì)算機(jī)可讀代碼的示例包括機(jī) 器代碼(例如，由編譯器產(chǎn)生的機(jī)器代碼)和包含例如通過(guò)使用翻譯器的計(jì)算機(jī)可被執(zhí)行 的高層代碼的文件。所述介質(zhì)也可以是分布的網(wǎng)絡(luò)，從而計(jì)算機(jī)可讀代碼以分布式存儲(chǔ)和 執(zhí)行。此外，僅作為示例，處理元件能夠包括處理器或計(jì)算機(jī)處理器，并且處理元件可被分 布并/或包括在單個(gè)裝置中。盡管已經(jīng)參照本發(fā)明的不同實(shí)施例具體顯示和描述了本發(fā)明的多個(gè)方面，但是應(yīng) 該理解，這些實(shí)施例應(yīng)該僅被考慮為描述性的理解而非限制的目的。各個(gè)實(shí)施例內(nèi)的特點(diǎn) 或方面的描述通常應(yīng)該被認(rèn)為是可用于剩余實(shí)施例中的其他相似的特點(diǎn)或方面。因此，盡管已顯示和描述了一些實(shí)施例，另外的實(shí)施例同樣是可用的，但是本領(lǐng)域 的技術(shù)人員應(yīng)該理解，在不脫離發(fā)明的原理和精神的情況下可以對(duì)這些示例實(shí)施例進(jìn)行改 變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
一種圖像轉(zhuǎn)換裝置，包括光照調(diào)整單元，選擇性地調(diào)整二維(2D)圖像內(nèi)的光照；視差圖生成單元，生成用于將調(diào)整的2D圖像轉(zhuǎn)換為三維(3D)圖像的視差圖。
2.如權(quán)利要求1所述的裝置，其中，光照調(diào)整單元通過(guò)使用存儲(chǔ)與原始光照值對(duì)應(yīng)的 調(diào)整光照值的查找表來(lái)執(zhí)行2D圖像的色調(diào)映射，所述色調(diào)映射針對(duì)2D圖像的各個(gè)部分或 整個(gè)2D圖像被執(zhí)行。
3.如權(quán)利要求2所述的裝置，其中，光照調(diào)整單元通過(guò)使用用于2D圖像的RGB圖像的 各個(gè)通道的單獨(dú)查找表來(lái)執(zhí)行所述2D圖像的RGB圖像的色調(diào)映射。
4.如權(quán)利要求2所述的裝置，其中，查找表包括伽馬校正表和對(duì)數(shù)校正表的中至少一個(gè)。
5.如權(quán)利要求1所述的裝置，其中，光照調(diào)整單元通過(guò)使用2D圖像的亮度強(qiáng)度值的平 均值和2D圖像的亮度強(qiáng)度值的分散度中的至少一個(gè)，來(lái)執(zhí)行所述2D圖像的至少一個(gè)亮度 強(qiáng)度值的歸一化，所述歸一化針對(duì)2D圖像的各個(gè)部分或整個(gè)2D圖像被執(zhí)行。
6.一種圖像轉(zhuǎn)換裝置，包括視差圖生成單元，生成用于將2D圖像轉(zhuǎn)換為3D圖像的視差圖；深度銳化單元，選擇性地調(diào)整視差圖內(nèi)的深度值來(lái)銳化由視差圖的深度值表示的對(duì)象 或區(qū)域的邊界。
7.如權(quán)利要求6所述的裝置，其中，深度銳化單元通過(guò)使用雙邊濾波器來(lái)平滑與由視 差圖的深度值表示的對(duì)象或區(qū)域?qū)?yīng)的深度值。
8.如權(quán)利要求6所述的裝置，其中，深度銳化單元將2D圖像與視差圖比較并基于比較 調(diào)整所述視差圖的深度值。
9.如權(quán)利要求6所述的裝置，其中，深度銳化單元將2D圖像分類(lèi)為邊界區(qū)域和非邊界 區(qū)域，并通過(guò)使用交叉雙邊濾波器來(lái)選擇性地平滑與相對(duì)于邊界區(qū)域的非邊界區(qū)域?qū)?yīng)的 視差圖的深度值。
10.如權(quán)利要求6所述的裝置，其中，深度銳化單元還包括特征信息提取器，從2D圖像中提取關(guān)于2D圖像的特征信息，所述特征信息包括顏色、 亮度、方位、紋理和動(dòng)作中的至少一個(gè)的信息；平滑濾波器，通過(guò)使用視差圖的深度值和至少一個(gè)提取的特征信息來(lái)在視差圖內(nèi)執(zhí)行 選擇性地濾波以保留高頻邊緣。
11.一種圖像轉(zhuǎn)換裝置，包括光照調(diào)整單元，選擇性地調(diào)整2D圖像內(nèi)的光照；視差圖生成單元，生成用于將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像的視差圖；深度銳化單元，選擇性地調(diào)整視差圖內(nèi)的深度值以銳化由視差圖的深度值表示的對(duì)象 或區(qū)域的邊界的視差圖。
12.如權(quán)利要求11所述的裝置，其中，光照調(diào)整單元通過(guò)使用存儲(chǔ)與原始光照值對(duì)應(yīng) 的調(diào)整光照值的查找表來(lái)執(zhí)行2D圖像的色調(diào)映射，所述色調(diào)映射針對(duì)2D圖像的各個(gè)部分 或整個(gè)2D圖像被執(zhí)行。
13.如權(quán)利要求12所述的裝置，其中，光照調(diào)整單元通過(guò)使用用于2D圖像的RGB圖像 的各個(gè)通道的單獨(dú)查找表來(lái)執(zhí)行所述2D圖像的RGB圖像的色調(diào)映射。
14.如權(quán)利要求12所述的裝置，其中，查找表包括伽馬校正表和對(duì)數(shù)校正表中的至少一個(gè)。
15.如權(quán)利要求11所述的裝置，其中，光照調(diào)整單元通過(guò)使用2D圖像的亮度強(qiáng)度值的 平均值和2D圖像的亮度強(qiáng)度值的分散度中的至少一個(gè)，來(lái)執(zhí)行所述2D圖像的至少一個(gè)亮 度強(qiáng)度值的歸一化，所述歸一化針對(duì)2D圖像的各個(gè)部分或整個(gè)2D圖像被執(zhí)行。
16.如權(quán)利要求11所述的裝置，其中，深度銳化單元通過(guò)使用雙邊濾波器來(lái)平滑與由 視差圖的深度值表示的對(duì)象或區(qū)域?qū)?yīng)的深度值。
17.如權(quán)利要求11所述的裝置，其中，深度銳化單元將2D圖像與視差圖比較并基于比 較調(diào)整所述視差圖的深度值。
18.如權(quán)利要求11所述的裝置，其中，深度銳化單元將2D圖像分類(lèi)為邊界區(qū)域和非邊 界區(qū)域，并通過(guò)使用交叉雙邊濾波器來(lái)選擇性地平滑與相對(duì)于邊界區(qū)域的非邊界區(qū)域?qū)?yīng) 的視差圖的深度值。
19.如權(quán)利要求11所述的裝置，其中，深度銳化單元包括特征信息提取器，從2D圖像中提取關(guān)于2D圖像的特征信息，所述特征信息包括顏色、 亮度、方位、紋理和動(dòng)作中的至少一個(gè)的信息；平滑濾波器，通過(guò)使用視差圖的深度值和至少一個(gè)提取的特征信息來(lái)在視差圖內(nèi)選擇 性地執(zhí)行濾波以保留高頻邊緣。
20.一種圖像轉(zhuǎn)換方法，包括選擇性地調(diào)整2D圖像內(nèi)的光照；生成用于將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像的視差圖。
21.如權(quán)利要求20所述的方法，其中，選擇性地調(diào)整光照的步驟通過(guò)使用存儲(chǔ)與原始 光照值對(duì)應(yīng)的調(diào)整光照值的查找表來(lái)執(zhí)行2D圖像的色調(diào)映射，所述色調(diào)映射針對(duì)2D圖像 的各個(gè)部分或整個(gè)2D圖像被執(zhí)行。
22.如權(quán)利要求21所述的方法，其中，選擇性地調(diào)整光照的步驟通過(guò)使用用于2D圖像 的RGB圖像的各個(gè)通道的單獨(dú)查找表來(lái)執(zhí)行所述2D圖像的RGB圖像的色調(diào)映射。
23.如權(quán)利要求21所述的方法，其中，查找表包括伽馬校正表和對(duì)數(shù)校正表中的至少 一個(gè)。
24.如權(quán)利要求20所述的方法，其中，選擇性地調(diào)整光照的步驟通過(guò)使用2D圖像的亮 度強(qiáng)度值的平均值和2D圖像的亮度強(qiáng)度值的分散度中的至少一個(gè)來(lái)執(zhí)行所述2D圖像的至 少一個(gè)亮度強(qiáng)度值的歸一化，所述歸一化針對(duì)2D圖像的各個(gè)部分或整個(gè)2D圖像被執(zhí)行。
25.一種圖像轉(zhuǎn)換方法，包括生成用于將2D圖像轉(zhuǎn)換為3D圖像的視差圖；選擇性地調(diào)整視差圖內(nèi)的深度值來(lái)銳化由視差圖的深度值表示的對(duì)象或區(qū)域的邊界。
26.如權(quán)利要求25所述的方法，其中，選擇性地調(diào)整深度值的步驟包括將視差圖的至少一個(gè)深度值分組為至少一組；基于分組，選擇性地平滑所述至少一組的深度值。
27.如權(quán)利要求25所述的方法，其中，選擇性地調(diào)整深度值的步驟通過(guò)使用雙邊濾波 器來(lái)平滑與由視差圖的深度值表示的對(duì)象或區(qū)域?qū)?yīng)的深度值。
28.如權(quán)利要求25所述的方法，其中，選擇性地調(diào)整深度值的步驟將2D圖像與視差圖比較并基于比較調(diào)整所述視差圖的深度值。
29.如權(quán)利要求25所述的方法，其中，選擇性地調(diào)整深度值的步驟包括將2D圖像分類(lèi)為邊界區(qū)域和非邊界區(qū)域；通過(guò)使用交叉雙邊濾波器來(lái)選擇性地平滑與相對(duì)于邊界區(qū)域的非邊界區(qū)域?qū)?yīng)的視 差圖的深度值。
30.如權(quán)利要求25所述的方法，其中，選擇性地調(diào)整深度值的步驟包括從2D圖像提取關(guān)于2D圖像的特征信息，所述特征信息包括顏色、亮度、方位、紋理和動(dòng) 作中的至少一個(gè)的信息；通過(guò)使用視差圖的深度值和至少一個(gè)提取的特征信息來(lái)在視差圖內(nèi)執(zhí)行選擇性地濾 波以保留高頻邊緣。
31.一種圖像轉(zhuǎn)換方法，包括；選擇性地調(diào)整2D圖像內(nèi)的光照；生成用于將調(diào)整的2D圖像轉(zhuǎn)換為3D圖像的視差圖；選擇性地調(diào)整視差圖內(nèi)的深度值以銳化由視差圖的深度值表示的對(duì)象或區(qū)域的邊界。
32.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整光照的步驟通過(guò)使用存儲(chǔ)與原始 光照值對(duì)應(yīng)的調(diào)整光照值的查找表來(lái)執(zhí)行2D圖像的色調(diào)映射，所述色調(diào)映射針對(duì)2D圖像 的各個(gè)部分或整個(gè)2D圖像被執(zhí)行。
33.如權(quán)利要求32所述的方法，其中，選擇性地調(diào)整光照的步驟通過(guò)使用用于2D圖像 的RGB圖像的各個(gè)通道的單獨(dú)查找表來(lái)執(zhí)行所述2D圖像的RGB圖像的色調(diào)映射。
34.如權(quán)利要求32所述的方法，其中，查找表包括伽馬校正表和對(duì)數(shù)校正表中的至少 一個(gè)。
35.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整光照的步驟通過(guò)使用2D圖像的亮 度強(qiáng)度值的平均值和2D圖像的亮度強(qiáng)度值的分散度中的至少一個(gè)來(lái)執(zhí)行所述2D圖像的至 少一個(gè)亮度強(qiáng)度值的歸一化，所述歸一化針對(duì)2D圖像的各個(gè)部分或整個(gè)2D圖像被執(zhí)行。
36.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整深度值的步驟包括將視差圖的至少一個(gè)深度值分組為至少一組；基于分組，選擇性地平滑所述至少一組的深度值。
37.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整深度值的步驟通過(guò)使用雙邊濾波 器來(lái)平滑與由視差圖的深度值表示的對(duì)象或區(qū)域?qū)?yīng)的深度值。
38.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整深度值的步驟將2D圖像與視差圖 比較并基于比較調(diào)整所述視差圖的深度值。
39.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整深度值的步驟包括將2D圖像分類(lèi)為邊界區(qū)域和非邊界區(qū)域；通過(guò)使用交叉雙邊濾波器來(lái)選擇性地平滑與相對(duì)于邊界區(qū)域的非邊界區(qū)域?qū)?yīng)的視 差圖的深度值。
40.如權(quán)利要求31所述的方法，其中，選擇性地調(diào)整深度值的步驟包括從2D圖像提取關(guān)于2D圖像的特征信息，所述特征信息包括顏色、亮度、方位、紋理和動(dòng) 作中的至少一個(gè)的信息；通過(guò)使用視差圖的深度值和至少一個(gè)提取的特征信息來(lái)在視差圖內(nèi)執(zhí)行選擇性地濾波以保留高頻邊緣。
41. 一種包括控制實(shí)現(xiàn)權(quán)利要求20的方法的至少一個(gè)處理裝置的計(jì)算機(jī)可讀代碼的 永久性的計(jì)算機(jī)可讀記錄介質(zhì)。
全文摘要
公開(kāi)了一種將二維(2D)圖像轉(zhuǎn)換為三維(3D)圖像的圖像轉(zhuǎn)換裝置及方法。所述圖像轉(zhuǎn)換裝置可選擇性地調(diào)整2D圖像內(nèi)的光照，生成經(jīng)光照調(diào)整的圖像的視差圖，并基于邊緣區(qū)別選擇性地調(diào)整視差圖的深度值。
文檔編號(hào)G06T17/00GK101923728SQ20101020586
公開(kāi)日2010年12月22日 申請(qǐng)日期2010年6月17日 優(yōu)先權(quán)日2009年6月16日
發(fā)明者樸斗植, 白艾倫, 鄭用柱, 鄭英珠, 金智元 申請(qǐng)人:三星電子株式會(huì)社