專利名稱：深度推斷數(shù)據(jù)生成裝置、深度推斷數(shù)據(jù)生成方法以及仿真立體圖像顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及深度推斷數(shù)據(jù)生成裝置、深度推斷數(shù)據(jù)生成方法以及仿真立體圖像顯示裝置，尤其涉及根據(jù)通常的靜止圖像或運(yùn)動圖像、即沒有明示或者也沒有如立體圖像的那樣暗示地賦予深度信息的圖像(非立體圖像)生成仿真的立體圖像的深度推斷數(shù)據(jù)生成裝置、深度推斷數(shù)據(jù)生成方法以及仿真立體圖像顯示裝置。
背景技術(shù)：
在立體顯示系統(tǒng)中，為了能夠進(jìn)行非立體圖像的仿真體視的鑒賞，而進(jìn)行根據(jù)通常的靜止圖像或運(yùn)動圖像、即沒有明示地或者也沒有如立體圖像那樣暗示地賦予用于顯示立體的深度信息的圖像(非立體圖像)生成仿真的立體圖像的處理。作為這樣的技術(shù)的一例，例如如在專利文獻(xiàn)I (日本特開平9-185712號公報(bào))中公開的技術(shù)那樣，已知有以構(gòu)成把與深度對應(yīng)的輪廓線作為斷面的電子管(tube)為前提的基于遠(yuǎn)近法的方法。在該專利文獻(xiàn)I中公開的技術(shù)中，對網(wǎng)格圖像數(shù)據(jù)附加輪廓線的距離信息來形成三維多面立體數(shù)據(jù)，對該三維多面立體數(shù)據(jù)應(yīng)用從照片圖像取得的彩色圖像數(shù)據(jù)。然后，以在通過三維多面立體數(shù)據(jù)構(gòu)成的三維多面立體的內(nèi)側(cè)貼附彩色圖像數(shù)據(jù)的方式，對所述三維多面立體進(jìn)行再現(xiàn)(rendering)來得到三維多面立體數(shù)據(jù)。此外，作為其它現(xiàn)有例有在專利文獻(xiàn)2 (日本特開2006-185033號公報(bào))中公開的技術(shù)，在專利文獻(xiàn)2中公開的仿真立體圖像生成裝置中，為了盡量決定接近于現(xiàn)實(shí)的場景構(gòu)造，對于成為基本的多個(gè)場景構(gòu)造的每一個(gè)使用表示深度值的多個(gè)基本深度模型，根據(jù)來自上部的高頻成分評價(jià)部和下部的高頻成分評價(jià)部的高頻成分評價(jià)值來決定合成比率, 根據(jù)該合成比率來合成多個(gè)基本深度模型。然后，在加法器中重疊所合成的基本深度模型和非立體圖像的R信號，生成最終的深度推斷數(shù)據(jù)，并對非立體圖像的影像信號進(jìn)行基于該深度推斷數(shù)據(jù)的處理，由此生成能夠感覺到立體感的其它視點(diǎn)圖像的影像信號。但是，在專利文獻(xiàn)I中公開的方法以遠(yuǎn)近法為基本，不能對實(shí)際輸入的各種非立體圖像的全部場景適用遠(yuǎn)近法的構(gòu)造推斷，因此存在效果有限的問題。此外，存在即使在適用遠(yuǎn)近法的構(gòu)造推斷的情況下，也很難自動地構(gòu)成正確的深度構(gòu)造模型來實(shí)現(xiàn)沒有不協(xié)調(diào)感的體視的問題。而且，在專利文獻(xiàn)2中公開的方法中，合成多個(gè)基本深度模型，對該合成的基本深度模型重疊R信號來生成深度推斷數(shù)據(jù)。但是，在被重疊的R信號聚集在一畫面內(nèi)的較大的值的附近時(shí)，只是使用了能夠作為深度推斷數(shù)據(jù)來使用的動態(tài)范圍的一部分，所以所得到的仿真立體效果不是很充分。例如，如果參照圖I說明，則在專利文獻(xiàn)2中以1/10來重疊R信號，所以在圖I中使R信號的輸入為1/10。然后，當(dāng)將R信號的平均值設(shè)為APL、最大值設(shè)為MAX、最小值設(shè)為 MIN時(shí)，如圖I的下方中所示的放大圖，R信號實(shí)際使用的使用范圍是比動態(tài)范圍窄得多的范圍。因此，由于只使用了部分動態(tài)范圍，所以無法得到充分的仿真立體效果。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而提出的，其目的在于提供一種能夠最大限度地有效利用動態(tài)范圍而得到充分的仿真立體效果的深度推斷數(shù)據(jù)生成裝置、深度推斷數(shù)據(jù)生成方法以及仿真立體圖像顯示裝置。為了實(shí)現(xiàn)上述目的，本發(fā)明的深度推斷數(shù)據(jù)生成裝置具備平均值檢測部，其檢測出圖像的輝度信號成分的平均輝度，生成平均值數(shù)據(jù)；最小值檢測部，其檢測出所述圖像的輝度信號成分的最小輝度，生成最小值數(shù)據(jù)；最大值檢測部，其檢測出所述圖像的輝度信號成分的最大輝度，生成最大值數(shù)據(jù)；差分?jǐn)?shù)據(jù)生成部，其求出所述圖像的輝度信號成分和所述平均值數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)；負(fù)偏移量生成部，其生成負(fù)偏移量，使用所述最小值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最小值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最小值變?yōu)榻咏贠的值；正偏移量生成部，其生成正偏移量，使用所述最大值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最大值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最大值變?yōu)榻咏贠的值；以及深度推斷數(shù)據(jù)輸出部，其將所述負(fù)偏移量和所述正偏移量作為用于根據(jù)所述圖像生成仿真立體圖像的深度推斷數(shù)據(jù)輸出。此外，本發(fā)明的深度推斷數(shù)據(jù)生成方法具備平均值檢測步驟，檢測出圖像的輝度信號成分的平均輝度，生成平均值數(shù)據(jù)；最小值檢測步驟，檢測出所述圖像的輝度信號成分的最小輝度，生成最小值數(shù)據(jù)；最大值檢測步驟，檢測出所述圖像的輝度信號成分的最大輝度，生成最大值數(shù)據(jù)；差分?jǐn)?shù)據(jù)生成步驟，求出所述圖像的輝度信號成分和所述平均值數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)；負(fù)偏移量生成步驟，生成負(fù)偏移量，使用所述最小值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最小值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最小值變?yōu)榻咏贠的值；正偏移量生成步驟，生成正偏移量，使用所述最大值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最大值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最大值變?yōu)榻咏贠 的值；以及深度推斷數(shù)據(jù)輸出步驟，將所述負(fù)的偏移量和所述正的偏移量作為用于根據(jù)所述圖像生成仿真立體圖像的深度推斷數(shù)據(jù)輸出。而且，本發(fā)明的仿真立體圖像顯示裝置，是根據(jù)沒有明示地賦予深度信息或者也沒有如立體圖像那樣暗示地賦予深度信息的非立體圖像來生成仿真立體圖像并進(jìn)行顯示的裝置，具備深度推斷數(shù)據(jù)生成裝置，其生成所述深度推斷數(shù)據(jù)；立體圖對生成裝置，其使用所述深度推斷數(shù)據(jù)和所述非立體圖像，僅將所述非立體圖像的紋理的偏移進(jìn)行與對應(yīng)部分的深度相對應(yīng)的量，由此生成用于顯示仿真立體圖像的其它視點(diǎn)圖像；以及立體圖顯示裝置，其使用所述其它視點(diǎn)圖像和所述非立體圖像顯示仿真立體圖像。根據(jù)本發(fā)明的深度推斷數(shù)據(jù)生成裝置以及深度推斷數(shù)據(jù)生成方法，能夠以非立體圖像的平均輝度為基準(zhǔn)，與動態(tài)范圍的上限和下限相對應(yīng)地修正非立體圖像的最大值以及最小值，能夠得到最大限度地有效利用動態(tài)范圍的仿真立體效果。此外，根據(jù)本發(fā)明的仿真立體圖像顯示裝置，以非立體圖像的平均輝度為基準(zhǔn)，與動態(tài)范圍的上限和下限相對應(yīng)地修正非立體圖像的最大值以及最小值，能夠顯示最大限度地有效利用動態(tài)范圍具有充分的仿真立體效果的圖像。


圖I是用于說明現(xiàn)有的仿真立體圖像生成裝置的課題的圖。圖2是表示本發(fā)明的實(shí)施方式的仿真立體圖像顯示裝置的結(jié)構(gòu)的框圖。圖3是表示輸入到本發(fā)明的實(shí)施方式的仿真立體圖像顯示裝置的圖像的一畫面內(nèi)的判定區(qū)域的一例的圖。圖4是表示本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置的露泄(leak)式積分部的結(jié)構(gòu)的框圖。圖5是表示通過本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置進(jìn)行的深度推斷數(shù)據(jù)的生成處理的處理步驟的流程圖。圖6是表示通過本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置算出的深度推斷數(shù)據(jù)的一例的圖。圖7是表示通過本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置算出的深度推斷數(shù)據(jù)的一例的圖。圖8是表示通過本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置算出的深度推斷數(shù)據(jù)的一例的圖。圖9是表示通過本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置算出的深度推斷數(shù)據(jù)的一例的圖。圖10是用于說明本發(fā)明的實(shí)施方式的深度推斷數(shù)據(jù)生成裝置所產(chǎn)生的效果的圖。
具體實(shí)施例方式以下參照

本發(fā)明的實(shí)施方式。圖2是表示本發(fā)明的實(shí)施方式的仿真立體圖像顯示裝置的結(jié)構(gòu)的框圖。如圖2所示，本實(shí)施方式的仿真立體圖像顯示裝置具有深度推斷數(shù)據(jù)生成裝置I、 立體圖對生成裝置2、以及立體圖顯示裝置3，沒有明示地賦予深度信息或者也沒有如立體圖像那樣暗示地賦予深度信息，根據(jù)由按時(shí)間序列連續(xù)的多個(gè)圖像構(gòu)成的非立體圖像的影像信號(輝度信號Y、色差信號B-Y、R-Y)生成左眼圖像信號和右眼圖像信號，在立體圖顯示裝置3使用左眼圖像信號和右眼圖像信號來顯示仿真立體圖像。以下，對構(gòu)成仿真立體圖像顯示裝置的深度推斷數(shù)據(jù)生成裝置I、立體圖對生成裝置2以及立體圖顯示裝置3的各裝置進(jìn)行說明。(深度推斷數(shù)據(jù)生成裝置的構(gòu)成)如圖2所示，本實(shí)施方式的深度推斷數(shù)據(jù)生成裝置I具備去除噪聲成分的影響的低通濾波器11、檢測出所輸入的非立體圖像的特征并輸出圖像特征數(shù)據(jù)的圖像特征檢測部
12、生成深度推斷數(shù)據(jù)的深度推斷部13。另外，低通濾波器11不是必須的，可以省略。在此，圖像特征檢測部12具有檢測非立體圖像的輝度信號成分的平均輝度，生成平均值(APL)數(shù)據(jù)的平均值檢測部121、檢測非立體圖像的輝度信號成分的最小輝度，生成最小值(MIN)數(shù)據(jù)的最小值檢測部121、以及檢測非立體圖像的輝度信號成分的最大輝度， 生成最大值(MAX)數(shù)據(jù)的最大值檢測部123。圖3是表示在所輸入的非立體圖像的一畫面f內(nèi)設(shè)置的判定區(qū)域fa的一例的圖。如圖3所示，圖像特征檢測部12在作為一個(gè)字段(field)或一幀的畫面f內(nèi)設(shè)置預(yù)定的判定區(qū)域fa，基于判定區(qū)域fa內(nèi)的輝度等級，生成平均值數(shù)據(jù)、最小值數(shù)據(jù)、最大值數(shù)據(jù)作為圖像特征數(shù)據(jù)。另外，在本實(shí)施方式中，針對每一個(gè)字段或每一幀生成圖像特征數(shù)據(jù)，但也可以針對各多個(gè)字段或各多個(gè)幀生成圖像特征數(shù)據(jù)，也可以針對畫面的每一預(yù)定單位(時(shí)間單位)生成圖像特征數(shù)據(jù)。但是，理想的是針對每一個(gè)字段或每一幀生成圖像特征數(shù)據(jù)。而且，判定區(qū)域fa只要在有效影像期間內(nèi)，則可以是任意大小。深度推斷部13具有對圖像特征數(shù)據(jù)進(jìn)行漏泄式積分處理的漏泄式積分部131 ； 求出非立體圖像的輝度信號成分和平均值數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)的差分?jǐn)?shù)據(jù)生成部132 ;使用最小值數(shù)據(jù)，與動態(tài)范圍的下限相對應(yīng)地對差分?jǐn)?shù)據(jù)的小于O的值進(jìn)行修正， 生成負(fù)偏移量的負(fù)偏移量生成部133 ;使用最大值數(shù)據(jù)，與動態(tài)范圍的上限相對應(yīng)地對差分?jǐn)?shù)據(jù)的大于O的值進(jìn)行修正，生成正偏移量的正偏移量生成部134 ;以及將負(fù)偏移量和正偏移量作為深度推斷數(shù)據(jù)輸出的深度推斷數(shù)據(jù)輸出部135。深度推斷數(shù)據(jù)是用于根據(jù)未被賦予深度信息的圖像(稱為非立體圖像)生成仿真立體圖像的數(shù)據(jù)。在此，參照圖4說明漏泄式積分部131的電路結(jié)構(gòu)。如圖4所示，漏泄積分部131 具有加法器31、寄存器32以及乘法器33、34。然后，當(dāng)從圖像特征檢測部12輸入作為圖像特征數(shù)據(jù)的平均值數(shù)據(jù)、最小值數(shù)據(jù)、最大值數(shù)據(jù)時(shí)，在時(shí)間方向執(zhí)行漏泄式的積分處理。 但是，在圖4中作為一例來說明輸入了平均值數(shù)據(jù)的情形。如圖4所示，當(dāng)輸入了輸入平均值數(shù)據(jù)APL_in時(shí)，加法器31對輸入平均值數(shù)據(jù) APL_in相加通過乘法器33對從寄存器32輸出的數(shù)據(jù)乘以15/16而得的值。加法器31相加后的值被存儲在寄存器32，在輸入了下一個(gè)字段或幀中的輸入平均值數(shù)據(jù)APL_in時(shí)，如上所述那樣地被乘法器33、加法器31利用。之后，通過乘法器34對從寄存器32輸出的數(shù)據(jù)乘以1/16，輸出作為最終的輸出數(shù)據(jù)的輸出平均值數(shù)據(jù)APL_out。由此，通過漏泄式積分部131進(jìn)行漏泄式積分處理來使圖像緩慢地變化來提供更自然的圖像質(zhì)量。(深度推斷數(shù)據(jù)的生成處理的步驟)接著，參照圖5的流程圖說明通過本實(shí)施方式的深度推斷數(shù)據(jù)生成裝置進(jìn)行的深度推斷數(shù)據(jù)的生成處理的步驟。如圖5所示，在步驟SlOl中，圖像特征檢測部12從通過低通濾波器11被去除噪聲的輸入影像信號的輝度信號成分中檢測平均輝度、最小輝度、最大輝度，生成圖像特征數(shù)據(jù)。圖像特征數(shù)據(jù)中包含表示平均輝度的平均值數(shù)據(jù)APL、表示最小輝度的最小值數(shù)據(jù) MIN、表示最大輝度的最大值數(shù)據(jù)MAX。然后，在步驟S102中，漏泄式積分部131對圖像特征數(shù)據(jù)進(jìn)行時(shí)間方向的漏泄式積分處理。接著，在步驟S103中差分?jǐn)?shù)據(jù)生成部132通過公式(I)來求出輸入影像信號的輝度信號成分和平均值數(shù)據(jù)APL之間的差分，生成差分?jǐn)?shù)據(jù)。Y_sub(j) = j-APL(I)在此，Y_sub (j)是差分?jǐn)?shù)據(jù)，j是輸入影像信號的輝度信號成分，APL是平均值數(shù)據(jù)。根據(jù)在差分?jǐn)?shù)據(jù)生成部132中生成的差分?jǐn)?shù)據(jù)Y_sub(j)，在步驟S104，負(fù)偏移量生成部133進(jìn)行基于公式(2)中所示的最小值數(shù)據(jù)的歸一化處理。Y_sub (j) < 0 的情況下，S(j)_ = Y_sub(j) XLowLim/ (MIN-APL)(2)在此，S(j)_是負(fù)偏移量，LowLim是下限限制閾值，MIN是最小值數(shù)據(jù)。基于最小值數(shù)據(jù)MIN的歸一化處理，是使用最小值數(shù)據(jù)MIN，與預(yù)先設(shè)定的動態(tài)范圍的下限相對應(yīng)地對差分?jǐn)?shù)的小于0的值進(jìn)行修正，生成負(fù)偏移量S(j)_的處理。即當(dāng)差分?jǐn)?shù)據(jù)Y_sub(j)取(MIN-APL)時(shí)、將具有最小值數(shù)據(jù)MIN的輝度信號成分的偏移量S(j)(負(fù)偏移量S(j)_)與下限限制閾值LowLim對應(yīng)起來，另外，當(dāng)差分?jǐn)?shù)據(jù)Y_sub(j) 取大于(MIN-APL)、且不足0的值時(shí)，具有比最小值數(shù)據(jù)MIN大，且比平均值數(shù)據(jù)APL小的數(shù)據(jù)的輝度信號成分的偏移量S (j)與大于下限限制閾值LowLim、且不足0的值對應(yīng)起來。 這樣，使用了最小值數(shù)據(jù)的差分?jǐn)?shù)據(jù)具有偏移量的最小值，隨著差分?jǐn)?shù)據(jù)接近于0，偏移量從最小值變?yōu)榻咏?的值。圖6(a)表示輸入影像信號的輝度信號成分(Y_in(j))和輸出影像信號的輝度信號成分(Y_out(j))的關(guān)系。例如，參照圖6(a)進(jìn)行說明，當(dāng)輸入了平均輝度APL、最小輝度 MIN、最大輝度MAX的影像信號(輝度信號)時(shí)，求出差分?jǐn)?shù)進(jìn)行歸一化處理， 圖6(b)中所示的從MIN到APL為止的值成為負(fù)偏移量S (j)_。如圖6 (b)所示，在輸入輝度信號j具有與平均值數(shù)據(jù)APL對應(yīng)的輝度值時(shí)，負(fù)偏移量S (j)—成為0，在輸入輝度信號j具有與最小值數(shù)據(jù)MIN對應(yīng)的輝度值時(shí)，負(fù)偏移量 S (j)_成為下限限制閾值LowLim。從而,通過預(yù)先將下限限制閾值LowLim設(shè)定為動態(tài)范圍的下限，能夠把負(fù)偏移量S(j)_放大到動態(tài)范圍的下限。在此，如果與現(xiàn)有技術(shù)進(jìn)行比較，則在不進(jìn)行歸一化處理的現(xiàn)有的方法中，并不限于輸入輝度信號j為最小輝度MIN時(shí)的偏移量成為動態(tài)范圍的下限，因此無法有效利用整個(gè)動態(tài)范圍。但是，在本實(shí)施方式中通過進(jìn)行歸一化處理，如圖6(b)所示，輸入輝度信號j 為最小輝度MIN時(shí)，負(fù)偏移量S(j)_成為下限限制閾值LowLim，所以只要把下限限制閾值 LowLim預(yù)先設(shè)定成動態(tài)范圍的下限,就可以充分利用整個(gè)動態(tài)范圍。接著，在步驟S105中，偏移量生成部134進(jìn)行基于公式(3)中所示的最大值數(shù)據(jù)的歸一化處理。Y_sub(j) > 0 的情況下，S(j)+ = Y_sub(j) XUpLim/ (MAX-APL)(3)在此，S(j)+是正偏移量，UpLim是上限限制閾值，MAX是最大值數(shù)據(jù)?；谧畲笾禂?shù)據(jù)MAX的歸一化處理，是使用最大值數(shù)據(jù)MAX，與預(yù)先設(shè)定的動態(tài)范圍的上限相對應(yīng)地對差分?jǐn)?shù)的大于0的值進(jìn)行修正，生成正偏移量S(j)+的處理。若如上述那樣求出差分?jǐn)?shù)據(jù)Y_sub(j)進(jìn)行歸一化處理，則如圖6(b)中所示的從APL 到MAX的值成為正偏移量S(j) +。即當(dāng)差分?jǐn)?shù)據(jù)Y_sub(j)取(MAX-APL)的值時(shí)、將具有最大值數(shù)據(jù)MAX的輝度信號成分的偏移量S(j)(正偏移量S(j)+)與上限限制閾值UpLim對應(yīng)起來。此外，當(dāng)差分?jǐn)?shù)據(jù)Y_sub(j)取小于(MAX-APL)、且大于0的值時(shí)，具有比最大值數(shù)據(jù)MAX小，且比平均值數(shù)據(jù)APL大的數(shù)據(jù)的輝度信號成分的偏移量S (j)與小于上限限制閾值UpLim、且大于0的值對應(yīng)起來。這樣，使用了最大值數(shù)據(jù)的差分?jǐn)?shù)據(jù)具有偏移量的最大值，隨著差分?jǐn)?shù)據(jù)接近于0，偏移量從最大值變?yōu)榻咏?的值。
如圖6(b)所示，在輸入輝度信號j具有與平均值數(shù)據(jù)APL相對應(yīng)的輝度值的情況下，正偏移量s(j) +成為0，在輸入輝度信號j具有與最大值數(shù)據(jù)MAX相對應(yīng)的輝度值的情況下，正偏移量S(j) +成為上限限制閾值UpLim。從而通過將上限限制閾值UpLim預(yù)先設(shè)定為動態(tài)范圍的上限，由此能夠把正偏移量S(j) +放大至動態(tài)范圍的上限。在此如果與現(xiàn)有技術(shù)進(jìn)行比較的話，則在不進(jìn)行歸一化處理的現(xiàn)有的方法中，輸入輝度信號j為最大輝度MAX時(shí)的偏移量并不限于成為動態(tài)范圍的上限，所以不能有效利用整個(gè)動態(tài)范圍。但是，在本實(shí)施方式中通過進(jìn)行歸一化處理，如圖6(b)所示，在輸入輝度信號j為最大輝度MAX時(shí)，正偏移量S (j) +成為上限限制閾值UpLim，所以只要把上限限制閾值UpLim設(shè)定為動態(tài)范圍的上限，就能夠充分利用整個(gè)動態(tài)范圍。當(dāng)生成了負(fù)偏移量S (j) _和正偏移量S (j) +時(shí)，接著在步驟S106中，深度推斷數(shù)據(jù)輸出部135計(jì)算在公式(4)中所示的偏移量S(j)，將偏移量S(j)作為深度推斷數(shù)據(jù)輸出。S(j) = S(j；T+S(j)+(4)另外，正偏移量S(j)+向突出(凸)方向作用，負(fù)偏移量S(j)_向引入(凹)方向作用。作為決定該特性的主要原因是由于在灰色標(biāo)度中，明度高的白色是膨脹色，看似變大變寬，明度低的黑色是收縮色，看似變小。接著，參照圖7 9說明所輸入的輝度信號的分布多樣地變化時(shí)的深度推斷數(shù)據(jù)的生成例。圖7表示在對于輝度信號j的數(shù)據(jù)集中在中間輝度時(shí)的圖像，生成了深度推斷數(shù)據(jù)(偏移量S)時(shí)的情形。如圖7(a)所示，輸入影像信號的輝度信號成分集中在窄的范圍 (MAX-MIN)，但是通過進(jìn)行歸一化處理，如圖7(b)所示那樣放大，在深度推斷推定數(shù)據(jù)中最大限度地有效利用從下限限制閾值LowLim到上限限制閾值UpLim的動態(tài)范圍。圖8中表示針對輝度信號j的數(shù)據(jù)較多分布在高輝度的圖像，生成深度推斷數(shù)據(jù) (偏移量S)時(shí)的情形。如圖8(a)所示，對平均輝度數(shù)據(jù)APL進(jìn)行檢測，以包含較多的圖像信息的APL的等級為基點(diǎn)，所以能夠在維持保存了高輝度中包含的較多的必要的信息的狀態(tài)下，轉(zhuǎn)換成圖8(b)所示的深度推斷數(shù)據(jù)。圖9表示對于輝度信號j的數(shù)據(jù)較多分布在低輝度的圖像，生成深度推斷數(shù)據(jù) (偏移量S)的情形。如圖9(a)所示，對平均輝度數(shù)據(jù)APL進(jìn)行檢測，以包含的圖像信息較多的APL的等級作為基點(diǎn)，所以能夠在維持保存了低輝度中包含的較多的必要的信息的狀態(tài)下，轉(zhuǎn)換成圖9(b)所示的深度推斷數(shù)據(jù)。由此有提高深度感的效果。如上所述，當(dāng)步驟S106的處理結(jié)束時(shí)，此后回到步驟S101，重復(fù)到步驟S106為止的處理，當(dāng)對全部輸入影像信號生成了深度推斷數(shù)據(jù)時(shí)，結(jié)束基于本實(shí)施方式的深度推斷數(shù)據(jù)生成裝置I的深度推斷數(shù)據(jù)的生成處理。(深度推斷數(shù)據(jù)生成裝置的效果)然后，參照圖10說明本實(shí)施方式的深度推斷數(shù)據(jù)生成裝置的效果。對作為輸入圖像輸入了如圖10(a)所示的整體明亮的天空的圖像時(shí)的情形進(jìn)行說明。該輸入圖像的圖像特征數(shù)據(jù)中，如圖10(b)所示，與平均輝度數(shù)據(jù)APL對應(yīng)的輝度值是175，與最小值數(shù)據(jù)MIN對應(yīng)的輝度值是131，與最大值數(shù)據(jù)MAX對應(yīng)的輝度值是242，參照縱軸中表示的像素的出現(xiàn)頻度就可以知道圖像像素集中在整體明亮的輝度(高輝度)區(qū)域。
在此，在圖10(c)中表示實(shí)施了現(xiàn)有的偏移處理的圖像。圖像用灰色標(biāo)度表現(xiàn)， 以256階梯顯示了黑 白，假設(shè)黑側(cè)向深度(凹)方向移動，白色向突出(凸)方向移動。 圖10(d)以橫軸表示偏移量，以縱軸表示像素的出現(xiàn)頻度，假設(shè)動態(tài)范圍是以128為中心的-24、+23的范圍(104 151)的情形。如圖10(d)所示，偏移量只是使用128 149的窄的范圍，看圖10(c)所示的圖像就可以知道成為濃淡的差少的立體效果弱的輸出圖像。另一方面，圖10(e)中所示的實(shí)施了基于本發(fā)明的偏移處理的圖像，如圖10(f)所示，能夠有效利用動態(tài)范圍(104 151)的大部分。因此，圖10(e)中所示的圖像成為濃淡的差較大，即具有視差大的充分的立體效果的輸出圖像。這樣，根據(jù)本實(shí)施方式的深度推斷數(shù)據(jù)生成裝置1，可以最大限度地有效利用動態(tài)范圍而得到充分的仿真立體效果。(立體圖對生成裝置、立體圖顯示裝置的構(gòu)成)如上所述，當(dāng)通過深度推斷數(shù)據(jù)生成裝置I生成深度推斷數(shù)據(jù)時(shí)，根據(jù)深度推斷數(shù)據(jù)可以生成其它視點(diǎn)的圖像。在此，參照圖2說明本實(shí)施方式的立體圖對生成裝置2以及立體圖顯示裝置3的結(jié)構(gòu)。如圖2所示，立體圖對生成裝置2具備根據(jù)通過深度推斷部13生成的深度推斷數(shù)據(jù)，使所輸入的非立體圖像的影像信號的紋理偏移的紋理偏移部21 ;補(bǔ)償遮擋 (occlusion)的遮擋補(bǔ)償部22 ;進(jìn)行后期處理的后期處理部23 ;左眼圖像信號生成部24以及右眼圖像信號生成部25。并且，立體圖對生成裝置2生成的左眼圖像信號和右眼圖像信號被輸入到立體圖顯示裝置3，在立體圖顯示裝置3被顯示為仿真的立體圖像。(立體圖對生成裝置2的動作的一例)在立體圖對生成裝置2中，根據(jù)基于由深度推斷數(shù)據(jù)生成裝置I生成的階調(diào)修正曲線推斷的深度信號和影像信號來生成其它視點(diǎn)的圖像。例如，在向左移動視點(diǎn)時(shí)，對通過畫面在跟前顯示的物體，可以看到越近的物體越在看圖像的人的內(nèi)側(cè)(鼻子側(cè))，所以把對應(yīng)部分的紋理向內(nèi)側(cè)即向右移動與深度相對應(yīng)的量。與此相對，通過畫面在深處顯示的物體，可以看到越近的物體越在看圖像的人的外側(cè)，所以把對應(yīng)部分的紋理向左移動與深度相對應(yīng)的量。通過把這些作為左眼圖像、把原圖像作為右眼圖像來構(gòu)成立體圖對。S卩、在圖2所示的本實(shí)施方式的立體圖對生成裝置2中，首先，紋理偏移部21對于從深度推斷數(shù)據(jù)生成裝置I的深度推斷部13輸出的深度推斷數(shù)據(jù)，從小的值開始即從位于深處的開始，依次將與該值對應(yīng)的部分的影像信號的紋理僅移動深度信號表示的偏移量S 像素量，例如向右偏移。另外，在深度信號為負(fù)的情況下，向左僅偏移深度信號表示的其偏移量S像素量?；诩y理偏移部21中的偏移量S的影像信號的紋理的偏移的動作與非立體圖像的影像信號的紋理的偏移相對應(yīng)。換言之，是根據(jù)作為深度推斷數(shù)據(jù)的值的偏移量S的值將非立體圖像的各像素分別向左右移動的處理。在此，由于進(jìn)行偏移而引起的圖像中的位置關(guān)系的變化，有發(fā)生在不存在紋理的部分的情形、即發(fā)生遮擋的情形。對于這樣的部分，遮擋補(bǔ)償部22通過影像信號的對應(yīng)部分周邊的影像信號進(jìn)行充填或者通過在公知的文獻(xiàn)(山田邦男、望月研二、相澤清晴、斎藤隆弘“領(lǐng)域競業(yè)法(二 >9分割$札t畫像Q f7 f \ O統(tǒng)計(jì)量(二基I'〈置 < 斤一夕3 >補(bǔ)償”映情學(xué)誌、vol. 56，No. 5，pp. 863-866(2002. 5))等中記載的方法進(jìn)行充填。
通過遮擋補(bǔ)償部22進(jìn)行遮擋補(bǔ)償后的圖像，通過后期處理部23進(jìn)行濾波等后期處理，減輕在其以前的處理中發(fā)生的噪聲等，在左眼圖像信號生成部24被作為左眼圖像信號來輸出。另一方面，在右眼圖像信號生成部25將影像信號作為右眼圖像信號輸出。由此，立體圖對生成裝置2能夠根據(jù)基于深度推斷數(shù)據(jù)生成裝置I生成的階調(diào)修正曲線推斷的深度推斷數(shù)據(jù)和影像信號，生成左眼圖像信號和右眼圖像信號的立體圖對。 之后，這些左眼圖像信號和右眼圖像信號被輸出至立體圖顯示裝置3。之后，在立體圖顯示裝置3中能夠顯示通過立體圖對提高了畫面全體的虛擬的立體感的仿真立體圖像。另外，關(guān)于立體圖對，可以通過左右反轉(zhuǎn)來構(gòu)成將左眼圖像信號作為原圖像，將右眼立體圖像作為其它視點(diǎn)圖像的立體圖對。此外，在上述處理中，構(gòu)成了將右眼圖像信號或左眼圖像信號中的某一個(gè)作為影像信號，將另一方作為所生成的其它視點(diǎn)圖像信號的立體圖對，但對于左右任意一方也能夠使用其它視點(diǎn)圖像信號的、即使用向右移動視點(diǎn)的其它視點(diǎn)圖像信號和向左移動視點(diǎn)的其它視點(diǎn)圖像信號來構(gòu)成立體圖對。(立體圖顯示裝置3的動作的一例)圖2中表示的本實(shí)施方式的立體顯示裝置3，例如是使用偏光鏡的投影系統(tǒng)，或者組合了分時(shí)顯示和液晶光閥眼鏡的投影系統(tǒng)、或顯示系統(tǒng)、透鏡方式的立體顯示器、立體影片方式的立體顯示器、頭置式顯示器或與立體圖像的各圖像對應(yīng)的兩臺投影儀的投影系統(tǒng)，輸入了通過立體圖對生成裝置2生成的左眼圖像信號和右眼圖像信號，在顯示器等中顯示仿真立體圖像。另外，在上述實(shí)施方式的說明中，作為立體圖對生成裝置2來說明了左眼圖像信號和右眼圖像信號的兩個(gè)視點(diǎn)的例子，但本發(fā)明并不限于此。即、在可以進(jìn)行兩個(gè)視點(diǎn)以上的顯示的顯示裝置中進(jìn)行顯示的情況下，當(dāng)然可以生成與其視點(diǎn)數(shù)對應(yīng)數(shù)量的其它視點(diǎn)圖像。此外，如上所述，可以構(gòu)建使用可以顯示兩個(gè)視點(diǎn)以上的顯示裝置的多視點(diǎn)立體圖像顯示系統(tǒng)。可以考慮在本立體顯示裝置中裝備聲音輸出。此時(shí)，對于不具有靜止圖像等聲音信息的圖像內(nèi)容，可以考慮對于像附加適當(dāng)?shù)沫h(huán)境音。此外，在本實(shí)施方式中，如圖2所示，說明了通過硬件來構(gòu)成深度推斷數(shù)據(jù)生成裝置I、立體圖對生成裝置2以及立體圖顯示裝置3的情形，但在本發(fā)明中并不限于通過硬件構(gòu)成，當(dāng)然可以例如通過CPU和用于使該CPU如上述那樣動作的計(jì)算機(jī)程序的軟件來實(shí)現(xiàn)深度推斷數(shù)據(jù)生成裝置I、立體圖對生成裝置2、立體圖顯示裝置3的功能。此時(shí)，計(jì)算機(jī)程序可以從記錄介質(zhì)讀入到計(jì)算機(jī)，可以經(jīng)由網(wǎng)絡(luò)讀入到計(jì)算機(jī)。以上，通過一個(gè)實(shí)施方式說明了本發(fā)明，但上述實(shí)施方式用于例示了用于使本發(fā)明的技術(shù)思想具體化的裝置或方法，該發(fā)明的技術(shù)思想并不用于確定構(gòu)成物品的材質(zhì)、形狀、構(gòu)造、配置等?？梢栽跈?quán)利要求書的范圍內(nèi)對該發(fā)明的技術(shù)思想進(jìn)行各種變更。
權(quán)利要求
1.一種深度推斷數(shù)據(jù)生成裝置，其特征在于，具備平均值檢測部，其檢測出圖像的輝度信號成分的平均輝度，生成平均值數(shù)據(jù)；最小值檢測部，其檢測出所述圖像的輝度信號成分的最小輝度，生成最小值數(shù)據(jù)； 最大值檢測部，其檢測出所述圖像的輝度信號成分的最大輝度，生成最大值數(shù)據(jù)；差分?jǐn)?shù)據(jù)生成部，其求出所述圖像的輝度信號成分和所述平均值數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)；負(fù)偏移量生成部，其生成負(fù)偏移量，使用所述最小值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最小值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最小值變?yōu)榻咏?的值；正偏移量生成部，其生成正偏移量，使用所述最大值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最大值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最大值變?yōu)榻咏?的值；以及深度推斷數(shù)據(jù)輸出部，其將所述負(fù)偏移量和所述正偏移量作為用于根據(jù)所述圖像生成仿真立體圖像的深度推斷數(shù)據(jù)輸出。
2.一種深度推斷數(shù)據(jù)生成方法，其特征在于，具備平均值檢測步驟，檢測出圖像的輝度信號成分的平均輝度，生成平均值數(shù)據(jù)；最小值檢測步驟，檢測出所述圖像的輝度信號成分的最小輝度，生成最小值數(shù)據(jù)；最大值檢測步驟，檢測出所述圖像的輝度信號成分的最大輝度，生成最大值數(shù)據(jù)；差分?jǐn)?shù)據(jù)生成步驟，求出所述圖像的輝度信號成分和所述平均值數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)；負(fù)偏移量生成步驟，生成負(fù)偏移量，使用所述最小值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最小值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最小值變?yōu)榻咏?的值；正偏移量生成步驟，生成正偏移量，使用所述最大值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最大值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最大值變?yōu)榻咏?的值；以及深度推斷數(shù)據(jù)輸出步驟，將所述負(fù)偏移量和所述正偏移量作為用于根據(jù)所述圖像生成仿真立體圖像的深度推斷數(shù)據(jù)輸出。
3.一種仿真立體圖像顯示裝置，其根據(jù)沒有明示地賦予深度信息或者沒有如立體圖像那樣暗示地賦予深度信息的非立體圖像生成仿真立體圖像并進(jìn)行顯示，其特征在于，具備深度推斷數(shù)據(jù)生成裝置、立體圖對生成裝置、以及立體圖顯示裝置，所述深度推斷數(shù)據(jù)生成裝置生成所述深度推斷數(shù)據(jù)，其具有平均值檢測部，其檢測出圖像的輝度信號成分的平均輝度，生成平均值數(shù)據(jù)；最小值檢測部，其檢測出所述圖像的輝度信號成分的最小輝度，生成最小值數(shù)據(jù)； 最大值檢測部，其檢測出所述圖像的輝度信號成分的最大輝度，生成最大值數(shù)據(jù)；差分?jǐn)?shù)據(jù)生成部，其求出所述圖像的輝度信號成分和所述平均值數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)；負(fù)偏移量生成部，其生成負(fù)偏移量，使用所述最小值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)具有偏移量的最小值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最小值變?yōu)榻咏?的值；正偏移量生成部，其生成正偏移量，使用所述最大值數(shù)據(jù)的所述差分?jǐn)?shù)據(jù)，具有偏移量的最大值，隨著所述差分?jǐn)?shù)據(jù)接近于0，所述偏移量從所述最大值變?yōu)榻咏贠的值；以及深度推斷數(shù)據(jù)輸出部，其將所述負(fù)偏移量和所述正偏移量作為用于根據(jù)所述圖像生成仿真立體圖像的深度推斷數(shù)據(jù)輸出，所述立體圖對生成裝置，其使用所述深度推斷數(shù)據(jù)和所述非立體圖像，僅將所述非立體圖像的紋理的偏移進(jìn)行與對應(yīng)部分的深度相對應(yīng)的量，由此生成用于顯示仿真立體圖像的其它視點(diǎn)圖像，所述立體圖顯示裝置，其使用所述其它視點(diǎn)圖像和所述非立體圖像來顯示仿真立體圖像。
全文摘要
本發(fā)明提供深度推斷數(shù)據(jù)生成裝置、深度推斷數(shù)據(jù)生成方法以及仿真立體圖像顯示裝置。該深度推斷數(shù)據(jù)生成裝置具備圖像特征檢測部、差分?jǐn)?shù)據(jù)生成部、負(fù)偏移量生成部，正偏移量生成部。圖像特征檢測部生成從所輸入的非立體圖像的平均輝度檢測出的平均值數(shù)據(jù)、從最小輝度檢測出的最小值數(shù)據(jù)、從最大輝度檢測出的最大值數(shù)據(jù)。差分?jǐn)?shù)據(jù)生成部求出非立體圖像和平均置數(shù)據(jù)之間的差分，生成差分?jǐn)?shù)據(jù)。負(fù)偏移量生成部使用最小值數(shù)據(jù)生成隨著具有偏移量的最小值的差分?jǐn)?shù)據(jù)接近于0，偏移量從最小值變?yōu)榻咏?的值的負(fù)偏移量；正偏移量生成部使用最大值數(shù)據(jù)生成隨著具有偏移量的最大值的差分?jǐn)?shù)據(jù)接近于0，偏移量從所述最大值變?yōu)榻咏?的值的正偏移量。
文檔編號H04N13/00GK102611901SQ20121002003
公開日2012年7月25日 申請日期2012年1月21日 優(yōu)先權(quán)日2011年1月24日
發(fā)明者木田晉吾 申請人:Jvc建伍株式會社