專利名稱：生成三維圖像數(shù)據(jù)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
與示范性實(shí)施例一致的裝置和方法涉及用于生成三維(3D)圖像數(shù)據(jù)的方法和裝 置，并且更加具體來說，涉及通過使用將啞分量(dummy component)添加到與輸入圖像有關(guān) 的圖像分量中的二維圖像數(shù)據(jù)來生成三維圖像數(shù)據(jù)的方法和裝置，其中該 分量用來調(diào)整 輸入圖像的分辨率。
背景技術(shù)：
三維(3D)圖像技術(shù)由于數(shù)字技術(shù)的發(fā)展而得以迅速發(fā)展。通過三維圖像技術(shù)，可 以利用添加關(guān)于二維OD)圖像的深度的信息來表示更加逼真的圖像。人的雙眼在水平方向上相互間隔開一定距離。因而，左眼看到的二維圖像與右眼 看到的二維圖像之間存在差異，被稱為雙目視差。兩個(gè)不同的二維圖像在大腦中合成，生成 透視且逼真的三維圖像。三維圖像技術(shù)包括生成視頻數(shù)據(jù)作為三維圖像的技術(shù)以及將生成為二維圖像的 視頻數(shù)據(jù)轉(zhuǎn)換為三維圖像的技術(shù)，并且正在進(jìn)行對(duì)這兩種技術(shù)的研究。

發(fā)明內(nèi)容
根據(jù)示范性實(shí)施例的一個(gè)方面，提供一種通過使用包括啞分量以及與輸入圖像有 關(guān)的圖像分量的二維圖像數(shù)據(jù)生成三維(3D)圖像數(shù)據(jù)的方法，其中，所述 分量用來調(diào)整 所述輸入圖像的分辨率，該方法包括生成對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖；從所述二 維圖像數(shù)據(jù)中檢測(cè)包括所述啞分量的啞區(qū)域；以及校正所述深度圖中與啞區(qū)域相對(duì)應(yīng)的像 素的深度值。所述方法還可以包括通過基于校正后的深度圖移動(dòng)所述二維圖像數(shù)據(jù)中的像素 的位置，來生成三維圖像數(shù)據(jù)。所述生成三維圖像數(shù)據(jù)可以包括控制所述啞分量使其不位于所述三維圖像數(shù)據(jù) 中包括圖像分量的圖像區(qū)域。所述生成三維圖像數(shù)據(jù)可以包括控制所述三維圖像數(shù)據(jù)中的啞區(qū)域使其位于與 所述二維圖像數(shù)據(jù)的啞區(qū)域相同坐標(biāo)的區(qū)域。在校正所述深度值中，所述啞區(qū)域中的像素的深度值可以被校正為相等。在校正所述深度值中，所述啞區(qū)域中的像素的深度值可以被校正為等于代表顯示 設(shè)備的屏幕的值。在校正所述深度值中，所述啞區(qū)域中的像素的深度值可以被校正為等于代表最接 近于所述啞區(qū)域的邊界的圖像分量的深度值。
所述檢測(cè)所述啞區(qū)域可以包括接收關(guān)于所述啞區(qū)域的位置信息。所述啞分量可以包括上下邊框和左右邊框中的至少一個(gè)。所述方法還可以包括放大或者縮小所述輸入圖像；以及通過添加啞分量到放大 或者縮小后的輸入圖像來生成二維圖像數(shù)據(jù)。根據(jù)另一示范性實(shí)施例的方面，提供一種生成三維(3D)圖像數(shù)據(jù)的裝置，該裝置 包括深度圖生成單元，生成對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖；檢測(cè)單元，從所述二維圖 像數(shù)據(jù)中檢測(cè)包括所述啞分量的啞區(qū)域；以及校正單元，其校正所述深度圖中與啞區(qū)域相 對(duì)應(yīng)的像素的深度值。根據(jù)另一示范性實(shí)施例的方面，提供一種通過使用包括啞分量以及與輸入圖像有 關(guān)的圖像分量的二維圖像數(shù)據(jù)生成三維(3D)圖像數(shù)據(jù)的方法，其中，所述 分量用來調(diào)整 所述輸入圖像的分辨率，該方法包括從二維圖像數(shù)據(jù)中檢測(cè)包括啞分量的啞區(qū)域；以及 校正對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖中與所述啞區(qū)域相對(duì)應(yīng)的像素的深度值。


上述及其他特征和優(yōu)點(diǎn)將通過參考附圖詳細(xì)描述示范性實(shí)施例而變得更加清楚， 附圖中圖1是根據(jù)示范性實(shí)施例的用于生成三維(3D)圖像數(shù)據(jù)的裝置的框圖；圖2A是根據(jù)示范性實(shí)施例的、在校正單元校正與啞區(qū)域相對(duì)應(yīng)的像素的深度值 之前的深度圖；圖2B是根據(jù)示范性實(shí)施例的、在校正單元校正與啞區(qū)域相對(duì)應(yīng)的像素的深度值 時(shí)的深度圖；圖2C是根據(jù)另一示范性實(shí)施例的、在校正單元校正與啞區(qū)域相對(duì)應(yīng)的像素的深 度值時(shí)的深度圖；圖3A示出根據(jù)示范性實(shí)施例的二維圖像數(shù)據(jù)；圖;3B示出根據(jù)示范性實(shí)施例的、在左視點(diǎn)處的圖像數(shù)據(jù)；圖3C示出根據(jù)示范性實(shí)施例的、在右視點(diǎn)處的圖像數(shù)據(jù)；圖4是用于根據(jù)示范性實(shí)施例的、生成三維(3D)圖像數(shù)據(jù)的方法的流程圖；圖5是根據(jù)另一示范性實(shí)施例的、生成三維(3D)圖像數(shù)據(jù)的方法的流程圖；圖6是根據(jù)另一示范性實(shí)施例的、生成三維(3D)圖像數(shù)據(jù)的方法的流程圖。
具體實(shí)施例方式在下文中，將參考附圖更加充分地描述一個(gè)或多個(gè)示范性實(shí)施例。諸如“...中的 至少一個(gè)”這樣的表達(dá)，當(dāng)在元素列表之前時(shí)，修飾元素的整個(gè)列表而不修飾列表中的個(gè)別元素。圖1是根據(jù)示范性實(shí)施例的用于生成三維(3D)圖像數(shù)據(jù)的裝置100的框圖。根據(jù) 本示范性實(shí)施例的用于生成3D圖像數(shù)據(jù)的裝置100將二維QD)圖像數(shù)據(jù)轉(zhuǎn)換為3D圖像數(shù) 據(jù)。所述2D圖像數(shù)據(jù)是為了調(diào)整所述輸入圖像的分辨率通過將啞分量(dummy component) 添加到與輸入圖像有關(guān)的圖像分量而生成的。在某些情況下，所述輸入圖像的分辨率可能 與顯示設(shè)備所支持的分辨率不一致，或者用戶可能希望改變輸入圖像的分辨率。像這樣，如果輸入圖像的分辨率將被調(diào)整，則輸入圖像被縮小或者放大并且現(xiàn)分量被添加到縮小或放 大后的輸入圖像，從而生成2D圖像數(shù)據(jù)。用于生成3D圖像數(shù)據(jù)的裝置100可以從外部源接收2D圖像數(shù)據(jù)或者可以生成 2D圖像數(shù)據(jù)，其中 分量被添加到圖像分量(例如，輸入圖像或者放大或縮小后的輸入圖 像)。在后一種情況下，用于生成3D圖像數(shù)據(jù)的裝置100可以包括2D圖像數(shù)據(jù)生成單元 (未示出)。2D圖像數(shù)據(jù)生成單元(未示出)在保持輸入圖像的水平/垂直分辨率比的同時(shí)， 放大或縮小輸入圖像，并且將 分量添加到放大或縮小后的輸入圖像，由此生成具有期望 分辨率的2D圖像數(shù)據(jù)。2D圖像數(shù)據(jù)生成單元(未示出)一般可以向啞分量分配相同的像 素值(例如，與黑色對(duì)應(yīng)的像素值)，以便將啞分量與圖像分量精確地區(qū)分開。為了描述的 方便起見，在2D圖像數(shù)據(jù)中，包括與輸入圖像有關(guān)的圖像分量的區(qū)域被稱作圖像區(qū)域，包 括啞分量的區(qū)域被稱作啞區(qū)域(dummy area)。所述啞分量可以包括上下邊框(letter box)或左右邊框(pillar box)。上下邊 框表示位于2D圖像數(shù)據(jù)的頂部和底部的啞分量，而左右邊框表示位于2D圖像數(shù)據(jù)的左側(cè) 和右側(cè)的啞分量。例如，如果分辨率比為4 3的輸入圖像將在分辨率比為16 9的顯示設(shè)備中再 現(xiàn)，則可以將輸入圖像調(diào)整為顯示部件支持的分辨率圖像。如果通過改變輸入圖像的水平 分量和垂直分量之間的放大/縮小比來放大/縮小輸入圖像，則圖像被拉伸并因此而變形。 因而，利用相同的放大/縮小比來放大/縮小輸入圖像的水平分量和垂直分量。如果分辨率比為4 3的輸入圖像被水平放大三倍且垂直放大三倍，則得到分辨 率比為12 9的圖像。為了在分辨率比為16 9的顯示設(shè)備中再現(xiàn)放大后的輸入圖像， 可能需要調(diào)整水平分辨率。因此，啞分量被添加到放大后的輸入圖像的左側(cè)和右側(cè)，由此生 成2D圖像數(shù)據(jù)。因此，放大后的輸入圖像位于中央，并且生成左右邊框放置在放大后的輸 入圖像的左側(cè)和右側(cè)的2D圖像數(shù)據(jù)。另舉一例，如果分辨率比為16 9的輸入圖像在分辨率比為4 3的顯示設(shè)備中 再現(xiàn)，則可以利用相同的放大/縮小比對(duì)輸入圖像的水平分量和垂直分量進(jìn)行放大/縮小。如果分辨率比為16 9的輸入圖像被水平縮小到1/4倍、垂直縮小到1/4倍，則 可以得到分辨率比為4 2. 25的圖像。為了在分辨率比4 3的顯示設(shè)備中再現(xiàn)縮小后 的輸入圖像，可能需要調(diào)整垂直分辨率。因此，啞分量被添加到縮小后的輸入圖像的頂部和 底部，由此生成2D圖像數(shù)據(jù)。因此，生成這樣的2D圖像數(shù)據(jù)縮小后的輸入圖像位于中央 并且上下邊框放置在縮小后的輸入圖像的頂部和底部。深度圖生成單元110生成對(duì)應(yīng)于2D圖像數(shù)據(jù)的深度圖。深度圖包括像素的深度 值，其表示2D圖像數(shù)據(jù)中包括的對(duì)象距離參考點(diǎn)(例如，攝影裝置)有多遠(yuǎn)。深度值被表示 為對(duì)象距離參考點(diǎn)的遠(yuǎn)或近的程度的數(shù)值。例如，如果表示對(duì)象“A”的像素的深度值小于 表示對(duì)象“B”的像素的值，則與對(duì)象“B”相比較，對(duì)象“A”的位置離參考點(diǎn)更遠(yuǎn)(或更近)。檢測(cè)單元120檢測(cè)2D圖像數(shù)據(jù)中包括啞分量的啞區(qū)域。檢測(cè)單元120可以通過 分析2D圖像數(shù)據(jù)來檢測(cè)啞區(qū)域。啞分量一般可以具有對(duì)應(yīng)于特定顏色(比如，黑色)的像 素值。例如，檢測(cè)單元120可以因此確定對(duì)應(yīng)于特定顏色的像素值是否以對(duì)稱形式存在于 二維圖像數(shù)據(jù)的頂部和底部或者2D圖像數(shù)據(jù)的左側(cè)和右側(cè)，從而檢測(cè)啞區(qū)域。另外，如果對(duì)應(yīng)于特定顏色的像素值連續(xù)地布置在2D圖像數(shù)據(jù)中的臨界線之外，則檢測(cè)單元120確定 相應(yīng)區(qū)域?yàn)閱^(qū)域。另外，檢測(cè)單元120可以接收關(guān)于啞區(qū)域的位置信息，從而檢測(cè)啞區(qū)域。在這種情 況下，檢測(cè)單元120可以包括接收關(guān)于啞區(qū)域的位置信息的接收單元(未示出)。接收單 元(未示出)可以從2D圖像數(shù)據(jù)生成單元(未示出)或者外部服務(wù)器接收關(guān)于啞區(qū)域的 位置信息。例如，關(guān)于啞區(qū)域的位置信息可以包括在用于2D圖像數(shù)據(jù)的元數(shù)據(jù)中。校正單元130校正所生成的深度圖中與啞區(qū)域?qū)?yīng)的像素的深度值。如果通過通 常方法生成深度圖，則啞區(qū)域中包括的像素的深度值受到與啞區(qū)域相鄰的圖像分量的深度 值的影響。如果啞區(qū)域中包括的像素的深度值發(fā)生變化，則啞區(qū)域的邊界可能變形或者可 能發(fā)生串?dāng)_(cross-talk)。圖2A示出根據(jù)示范性實(shí)施例的、在校正單元130校正與啞區(qū)域210相對(duì)應(yīng)的像素 的深度值之前的深度圖。為了描述的方便起見，假定深度值在0到255范圍之內(nèi)并且125 表示與顯示設(shè)備的屏幕相對(duì)應(yīng)的深度值。而且，假定如果深度值大于125，則對(duì)應(yīng)于該深度 值的對(duì)象被顯示為好像從屏幕凸出來一樣，并且如果深度值小于125，則對(duì)應(yīng)于該深度值的 對(duì)象被顯示為好像在屏幕后面一樣。在圖2A的深度圖中，包括在啞區(qū)域210中的像素的深度值相互不同。在這種情況 下，啞區(qū)域210的邊界可能不能被準(zhǔn)確地識(shí)別，并且從而可能發(fā)生串?dāng)_。因此，校正單元130可以將包括在啞區(qū)域210中的像素的深度值校正為相同的值。 例如，校正單元130可以將包括在啞區(qū)域210中的像素的深度值校正為與顯示設(shè)備的屏幕 相對(duì)應(yīng)的深度值。因?yàn)榧俣ㄅc顯示設(shè)備125的屏幕相對(duì)應(yīng)的深度值是125，所以在本示范性 實(shí)施例中，校正單元130將包括在啞區(qū)域210中的像素的深度值校正為125。圖2B中示出根據(jù)示范性實(shí)施例的其中包括在啞區(qū)域210中的像素的深度值由校 正單元130校正為與顯示設(shè)備的屏幕相對(duì)應(yīng)的深度值的深度圖。參考圖2B，包括在啞區(qū)域 210中的像素的所有深度值都被校正為125。另舉一例，校正單元130可以將包括在啞區(qū)域210中的像素的深度值校正為與啞 區(qū)域210的邊界最接近的圖像分量的深度值。在圖2A中，最接近啞區(qū)域210的邊界的圖像 分量所表示的深度值是120。因此，校正單元130將包括在啞區(qū)域210中的像素的深度值校 正為120。圖2C中示出根據(jù)示范性實(shí)施例的其中包括在啞區(qū)域210中的像素的深度值由校 正單元130校正為與啞區(qū)域210的邊界最接近的圖像分量的深度值的深度圖。參考圖2C， 包括在啞區(qū)域210中的像素的所有深度值都被校正為120。另舉一例，如果啞區(qū)域210對(duì)應(yīng)于左右邊框(pillar box)，則校正單元130將包括 在啞區(qū)域210中的像素的深度值校正為與顯示設(shè)備的屏幕相對(duì)應(yīng)的深度值，并且如果啞區(qū) 域210對(duì)應(yīng)于上下邊框(letter box)，則校正單元130將包括在啞區(qū)域210中的像素的深 度值校正為最接近于啞區(qū)域210的邊界的圖像分量221和222的深度值。然而，應(yīng)當(dāng)理解，其他示范性實(shí)施例不局限于上述校正單元130方法。例如，在另 一示范性實(shí)施例中，如果啞區(qū)域210對(duì)應(yīng)于左右邊框，則校正單元130將包括在啞區(qū)域210 中的像素的深度值校正為最接近于啞區(qū)域210的邊界的圖像分量221和222的深度值，并 且如果啞區(qū)域210對(duì)應(yīng)于上下邊框，則校正單元130將包括在啞區(qū)域210中的像素的深度值校正為與顯示設(shè)備的屏幕相對(duì)應(yīng)的深度值。另外，校正單元130可以校正包括在圖像區(qū)域220中的像素的深度值。例如，校正 單元130可以校正包括在圖像區(qū)域220中的像素的深度值，以使得用戶可以更自然地感覺 到3D效果。結(jié)果，根據(jù)示范性實(shí)施例的校正單元130可以通過使用各自不同的方法，校正 包括在啞區(qū)域220中的像素的深度值和包括在啞區(qū)域210中的像素的深度值。三維圖像數(shù)據(jù)生成單元140基于校正后的深度圖移動(dòng)二維圖像數(shù)據(jù)中的像素的 位置，并且生成3D圖像數(shù)據(jù)。3D圖像數(shù)據(jù)生成單元140基于深度圖計(jì)算雙目視差。人們通 過同時(shí)使用他或她的左眼和右眼觀察對(duì)象，從而感覺到3D效果。這里，由左眼和右眼看到 的對(duì)象的圖像位置的差異被稱為雙目視差。3D圖像數(shù)據(jù)生成單元140生成多個(gè)3D圖像數(shù)據(jù)，以便提供多視角圖像 (multi-view image) 0在本說明書中，假定用于生成3D圖像數(shù)據(jù)的裝置100生成立體型 (stereo-type) 3D圖像數(shù)據(jù)。在這種情況下，3D圖像數(shù)據(jù)生成單元140生成曝露給左眼的 左視(left-view)圖像數(shù)據(jù)和曝露給右眼的右視(right-view)圖像數(shù)據(jù)。例如，特定對(duì)象可以被呈現(xiàn)為好像從屏幕凸出來一樣。在這種情況下，3D圖像數(shù)據(jù) 生成單元140移動(dòng)對(duì)象到2D圖像數(shù)據(jù)中的右部以便生成左視圖像數(shù)據(jù)，以及移動(dòng)對(duì)象到2D 圖像數(shù)據(jù)中的左部以便生成右視圖像數(shù)據(jù)。如果左視圖像數(shù)據(jù)曝露給左眼并且右視圖像數(shù) 據(jù)曝露給右眼，則用戶識(shí)別出對(duì)象從屏幕凸出來。此外，特定對(duì)象可以被呈現(xiàn)為好像位于屏幕上一樣。在這種情況下，3D圖像數(shù)據(jù)生 成單元140不移動(dòng)對(duì)象在2D圖像數(shù)據(jù)中的位置。也就是說，對(duì)象在左視圖像數(shù)據(jù)和右視圖 像數(shù)據(jù)中位于相同坐標(biāo)處。如果相同對(duì)象在左視圖像數(shù)據(jù)和右視圖像數(shù)據(jù)中位于相同坐標(biāo) 處，則用戶識(shí)別出該對(duì)象位于屏幕上。而且，特定對(duì)象可以被呈現(xiàn)為好像在屏幕后面一樣。在這種情況下，3D圖像數(shù)據(jù)生 成單元140移動(dòng)對(duì)象到2D圖像數(shù)據(jù)中的左部以便生成左視圖像數(shù)據(jù)，以及移動(dòng)對(duì)象到2D 圖像數(shù)據(jù)中的右部以便生成右視圖像數(shù)據(jù)。如果左視圖像數(shù)據(jù)曝露給左眼并且右視圖像數(shù) 據(jù)曝露給右眼，則用戶識(shí)別出該對(duì)象在屏幕后面。也就是說，用戶可以識(shí)別出對(duì)象位于遠(yuǎn)離
屏幕處。如上所述，在2D圖像數(shù)據(jù)中移動(dòng)像素并且生成3D圖像數(shù)據(jù)以使得 分量可以位 于3D圖像數(shù)據(jù)的圖像區(qū)域中。在這種情況下，啞區(qū)域的邊界不清晰，從而可能發(fā)生串?dāng)_。因此，3D圖像數(shù)據(jù)生成單元140可以包括控制器(未示出)?？刂破?未示出) 控制啞分量使其不位于包括圖像分量的圖像區(qū)域中。此外，控制器(未示出)控制圖像數(shù) 據(jù)中的啞區(qū)域位于與2D圖像數(shù)據(jù)中的啞區(qū)域相同的坐標(biāo)處。將參考圖3A至圖3C，更加充分地描述3D圖像數(shù)據(jù)生成單元140的操作。圖3A 示出根據(jù)示范性實(shí)施例的二維圖像數(shù)據(jù)301。2D圖像數(shù)據(jù)301包括圖像區(qū)域320和啞區(qū)域 310。圖像區(qū)域320包括三個(gè)對(duì)象。假定對(duì)象“1”布置為最接近攝影裝置并且其深度值是 126，對(duì)象“3”布置為離攝影裝置最遠(yuǎn)并且其深度值是124，對(duì)象“2”的深度值是125。3D圖像數(shù)據(jù)生成單元140將從該像素向左一個(gè)塊的像素的像素值分配為具有深 度值126的像素，將從該像素向右一個(gè)塊的像素的像素值分配為具有深度值IM的像素，由 此生成左視圖像數(shù)據(jù)302。因此，生成這樣的左視圖像數(shù)據(jù)302 其中2D圖像數(shù)據(jù)301中的 對(duì)象“1”被移動(dòng)到右側(cè)的下一個(gè)塊并且2D圖像數(shù)據(jù)中的對(duì)象“3”被移動(dòng)到左側(cè)的下一個(gè)塊。類似地，3D圖像數(shù)據(jù)生成單元140將從該像素向右一個(gè)塊的像素的像素值分配為 具有深度值126的像素，將從該像素向左一個(gè)塊的像素的像素值分配為具有深度值124的 像素，由此生成右視圖像數(shù)據(jù)303。因此，生成這樣的右視圖像數(shù)據(jù)303 其中2D圖像數(shù)據(jù) 301中的對(duì)象“1”被移動(dòng)到左側(cè)的下一個(gè)塊并且2D圖像數(shù)據(jù)301中的對(duì)象“3”被移動(dòng)到右 側(cè)的下一個(gè)塊。如果如上生成左視圖像數(shù)據(jù)302和右視圖像數(shù)據(jù)303，則啞分量可以移動(dòng)到圖像 區(qū)域320。例如，2D圖像數(shù)據(jù)301中第三像素312的深度值是126。如果2D圖像數(shù)據(jù)301 中的第二像素311被向右移動(dòng)一個(gè)塊并且生成左視圖像數(shù)據(jù)302，則啞分量可以包括在左 視圖像數(shù)據(jù)302中的圖像區(qū)域320中。因此，包括在啞區(qū)域中的像素移動(dòng)到圖像區(qū)域320， 由此導(dǎo)致啞區(qū)域的邊界不清楚并且導(dǎo)致串?dāng)_發(fā)生?？刂破?未示出)控制啞分量不被移動(dòng)到圖像區(qū)域中。例如，2D圖像數(shù)據(jù)301中 第二像素311的像素值不分配給左視圖像數(shù)據(jù)302中的第三像素313。而是，將作為最接 近2D圖像數(shù)據(jù)301中的第二像素311的圖像分量的第三像素312的像素值分配給左視圖 像數(shù)據(jù)302中的第三像素313。3D圖像數(shù)據(jù)生成單元140可以將具有深度值126的像素向右移動(dòng)一個(gè)塊并且將具 有深度值1 的像素向左移動(dòng)一個(gè)塊，由此生成左視圖像數(shù)據(jù)。在這種情況下，圖像分量可 能被移動(dòng)到啞區(qū)域中。如果圖像分量被移動(dòng)到啞區(qū)域，則啞區(qū)域的邊界不清晰，并且從而可 能發(fā)生串?dāng)_?？刂破?未示出)可以控制3D圖像數(shù)據(jù)中的啞區(qū)域位于與2D圖像數(shù)據(jù)中的 啞區(qū)域相同的坐標(biāo)處，以使得啞區(qū)域的邊界不發(fā)生改變。圖4是根據(jù)示范性實(shí)施例的、用于生成三維(3D)圖像數(shù)據(jù)的方法的流程圖。參考 圖4，在操作S410中，生成對(duì)應(yīng)于2D圖像數(shù)據(jù)的深度圖。在操作S420中，確定2D圖像數(shù)據(jù)中是否存在左右邊框或上下邊框。如果2D圖像 數(shù)據(jù)中存在左右邊框或上下邊框，則執(zhí)行操作S430。相反，如果2D圖像數(shù)據(jù)中不存在左右 邊框或上下邊框，則執(zhí)行操作S440而不是首先執(zhí)行操作S430。在操作S430中，包括在左右邊框或上下邊框中的像素的深度值被校正為顯示設(shè) 備的屏幕所代表的深度值。也就是說，包括在左右邊框或上下邊框中的像素的深度值被指 定為雙目視差為0的位置處的深度值。在操作S440中，基于深度圖生成左視圖像數(shù)據(jù)和右視圖像數(shù)據(jù)。圖5是根據(jù)另一示范性實(shí)施例的、生成三維(3D)圖像數(shù)據(jù)的方法的流程圖。參考 圖5，在操作S510中，生成對(duì)應(yīng)于2D圖像數(shù)據(jù)的深度圖。在操作S520中，確定是否有左右邊框或上下邊框存在于2D圖像數(shù)據(jù)中。如果有左 右邊框或上下邊框存在于2D圖像數(shù)據(jù)中，則執(zhí)行操作S530。相反地，如果沒有左右邊框或 上下邊框存在于2D圖像數(shù)據(jù)中，則執(zhí)行操作S550而不是首先執(zhí)行操作S530、S542和S544。在操作S530中，確定是否有左右邊框存在于2D圖像數(shù)據(jù)中。如果有左右邊框存 在于2D圖像數(shù)據(jù)中，則執(zhí)行操作S542。相反，如果左右邊框沒有存在于2D圖像數(shù)據(jù)中，則 執(zhí)行操作S544。在操作S542中，包括在左右邊框中的像素的深度值被校正為顯示設(shè)備的屏幕所 代表的深度值。也就是說，包括在左右邊框或上下邊框中的像素的深度值被指定為雙目視差為0的位置處的深度值。在操作S544中，包括在上下邊框中的像素的深度值被校正為接近啞區(qū)域的邊界 的圖像分量的深度值。在操作S550中，基于深度圖生成左視圖像數(shù)據(jù)和右視圖像數(shù)據(jù)。圖6是根據(jù)另一示范性實(shí)施例的、生成三維(3D)圖像數(shù)據(jù)的方法的流程圖。參考 圖6，在操作S610中，生成對(duì)應(yīng)于2D圖像數(shù)據(jù)的深度圖。在操作S620中，從2D圖像數(shù)據(jù)中檢測(cè)包括啞分量的啞區(qū)域。在操作S630中，校正與深度圖中的啞區(qū)域相對(duì)應(yīng)的像素的深度值。盡管參考生成深度圖的裝置或方法描述了前述的示范性實(shí)施例，但是應(yīng)當(dāng)理解， 其它示范性實(shí)施例不局限于此。例如，在另一示范性實(shí)施例中，可以從外部源(例如，在廣 播信號(hào)中，數(shù)字多媒體傳輸或諸如藍(lán)光盤之類的光存儲(chǔ)介質(zhì))接收深度圖。此外，盡管不受限于此，但是示范性實(shí)施例也能夠具體實(shí)施為計(jì)算機(jī)可讀記錄介 質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是能夠存儲(chǔ)數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)設(shè)備，所述 數(shù)據(jù)之后能夠被計(jì)算機(jī)系統(tǒng)讀取。計(jì)算機(jī)可讀記錄介質(zhì)的例子包括只讀存儲(chǔ)器(ROM)、隨機(jī) 存取存儲(chǔ)器(RAM)、CD-ROMs、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)設(shè)備等等。而且，示范性實(shí)施例可以 寫為計(jì)算機(jī)程序，所述計(jì)算機(jī)程序通過諸如載波的計(jì)算機(jī)可讀傳輸介質(zhì)發(fā)送，并且在執(zhí)行 該程序的通用或?qū)Ｓ脭?shù)字計(jì)算機(jī)中接收和實(shí)施。此外，盡管不是在所有方面都需要，但是用 于生成3D圖像數(shù)據(jù)的裝置的一個(gè)或多個(gè)單元能夠包括執(zhí)行存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì) 算機(jī)程序的處理器或微處理器。雖然已經(jīng)參考本發(fā)明的示范性實(shí)施例具體示出和描述了本發(fā)明的方面，但是本領(lǐng) 域普通技術(shù)人員將理解，在不脫離權(quán)利要求定義的本發(fā)明的精神和范圍的條件下，可以對(duì) 其進(jìn)行形式和細(xì)節(jié)上的各種改變。
權(quán)利要求
1.一種通過使用包括啞分量和與輸入圖像有關(guān)的圖像分量的二維2D圖像數(shù)據(jù)來生成 三維3D圖像數(shù)據(jù)的方法，其中所述 分量用來調(diào)整所述輸入圖像的分辨率，該方法包括生成對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖；從所述二維圖像數(shù)據(jù)中檢測(cè)包括所述啞分量的啞區(qū)域；以及校正所述深度圖中與所述啞區(qū)域相對(duì)應(yīng)的像素的深度值。
2.如權(quán)利要求1所述的方法，還包括通過基于校正后的深度圖移動(dòng)所述二維圖像數(shù)據(jù) 中的像素的位置，來生成三維圖像數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其中，所述生成三維圖像數(shù)據(jù)包括控制所述 分量使其 不位于所述三維圖像數(shù)據(jù)中包括圖像分量的圖像區(qū)域中。
4.如權(quán)利要求2所述的方法，其中，所述生成三維圖像數(shù)據(jù)包括控制所述三維圖像數(shù) 據(jù)中的啞區(qū)域使其位于與所述二維圖像數(shù)據(jù)中的啞區(qū)域相同的坐標(biāo)區(qū)域。
5.如權(quán)利要求1所述的方法，其中，所述校正深度值包括校正所述啞區(qū)域中的像素的 深度值使它們相同。
6.如權(quán)利要求1所述的方法，其中，所述校正深度值包括將所述啞區(qū)域中的像素的深 度值校正為等于代表顯示設(shè)備的屏幕的值。
7.如權(quán)利要求1所述的方法，其中，所述校正深度值包括將所述啞區(qū)域中的像素的深 度值校正為等于代表最接近于所述啞區(qū)域的邊界的圖像分量的值。
8.如權(quán)利要求1所述的方法，其中，所述檢測(cè)啞區(qū)域包括接收關(guān)于所述啞區(qū)域的位置 信息以及根據(jù)接收到的位置信息檢測(cè)所述啞區(qū)域。
9.如權(quán)利要求1所述的方法，其中，所述啞分量包括左右邊框和上下邊框中的至少一個(gè)。
10.如權(quán)利要求1所述的方法，還包括放大或縮小所述輸入圖像；以及通過將所述 分量添加到放大或縮小后的輸入圖像來生成所述二維圖像數(shù)據(jù)。
11.如權(quán)利要求10所述的方法，其中，所述放大或縮小所述輸入圖像包括在保持所述 輸入圖像的縱橫比恒定的同時(shí)放大或縮小所述輸入圖像。
12.如權(quán)利要求1所述的方法，其中，所述校正所述深度值包括響應(yīng)于檢測(cè)到的啞區(qū)域是左右邊框，將所述啞區(qū)域中的像素的深度值校正為等于代表 顯示設(shè)備的屏幕的值；以及響應(yīng)于所檢測(cè)到的啞區(qū)域是上下邊框，將所述啞區(qū)域中的像素的深度值校正為等于代 表最接近于所述啞區(qū)域的邊界的圖像分量的值。
13.如權(quán)利要求1所述的方法，其中，所述校正所述深度值包括響應(yīng)于檢測(cè)到的啞區(qū)域是上下邊框，將所述啞區(qū)域中的像素的深度值校正為等于代表 顯示設(shè)備的屏幕的值；以及響應(yīng)于所檢測(cè)到的啞區(qū)域是左右邊框，將所述啞區(qū)域中的像素的深度值校正為等于代 表最接近于所述啞區(qū)域的邊界的圖像分量的值。
14.一種通過使用包括啞分量和與輸入圖像有關(guān)的圖像分量的二維2D圖像數(shù)據(jù)來生 成三維3D圖像數(shù)據(jù)的裝置，其中所述啞分量用來調(diào)整所述輸入圖像的分辨率，該裝置包 括深度圖生成單元，其生成對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖； 檢測(cè)單元，其從所述二維圖像數(shù)據(jù)中檢測(cè)包括所述啞分量的啞區(qū)域；以及 校正單元，其校正所述深度圖中與所述啞區(qū)域相對(duì)應(yīng)的像素的深度值。
15. 一種具有具體實(shí)施在其上的計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)，該程序用于執(zhí)行 通過使用包括啞分量和與輸入圖像有關(guān)的圖像分量的二維2D圖像數(shù)據(jù)來生成三維3D圖像 數(shù)據(jù)的方法，其中所述 分量用來調(diào)整所述輸入圖像的分辨率，該方法包括 生成對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖； 從所述二維圖像數(shù)據(jù)中檢測(cè)包括所述啞分量的啞區(qū)域；以及 校正所述深度圖中與所述啞區(qū)域相對(duì)應(yīng)的像素的深度值。
全文摘要
本申請(qǐng)?zhí)峁┮环N通過使用包括啞分量和與輸入圖像有關(guān)的圖像分量的二維(2D)圖像數(shù)據(jù)來生成三維(3D)圖像數(shù)據(jù)的方法和裝置，其中所述啞分量用來調(diào)整所述輸入圖像的分辨率。所述方法包括生成對(duì)應(yīng)于所述二維圖像數(shù)據(jù)的深度圖；從所述二維圖像數(shù)據(jù)中檢測(cè)包括所述啞分量的啞區(qū)域；以及校正所述深度圖中與所述啞區(qū)域相對(duì)應(yīng)的像素的深度值。
文檔編號(hào)G06T7/00GK102117486SQ201010614949
公開日2011年7月6日 申請(qǐng)日期2010年12月30日 優(yōu)先權(quán)日2009年12月30日
發(fā)明者權(quán)五宰, 李在紋, 閔鐘述 申請(qǐng)人:三星電子株式會(huì)社