專利名稱：音頻處理設(shè)備、音頻處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及音頻處理設(shè)備、音頻處理方法及程序。
背景技術(shù)：
現(xiàn)今，能夠通過顯示用于左眼的圖像和用于右眼的圖像來允許用戶感知到立體圖像的3D顯示設(shè)備流行起來。期望3D顯示設(shè)備在將來變得越來越普及，這是因?yàn)闉榱?3D觀看而制作的電視內(nèi)容和電影越來越多并且還因?yàn)閷τ糜趯?D圖像轉(zhuǎn)換為3D圖像的技術(shù)的研究正在積極地進(jìn)行。JP2004-38933A是公開了 3D顯示設(shè)備的文獻(xiàn)。同時(shí)，對于音頻，存在如5. Ich之類的多聲道系統(tǒng)。在該系統(tǒng)中，通過控制諸如左右前方揚(yáng)聲器、左右后方揚(yáng)聲器以及中央揚(yáng)聲器之類的多個(gè)揚(yáng)聲器中的每個(gè)揚(yáng)聲器輸出為各個(gè)揚(yáng)聲器生成的音頻，可以向用戶提供真實(shí)的聲場。

發(fā)明內(nèi)容
然而，當(dāng)2D圖像被轉(zhuǎn)換為3D圖像時(shí)，注意到用于2D圖像的音頻和轉(zhuǎn)換之后的3D 圖像之間的聯(lián)結(jié)(linkage)可能會受損。此外，盡管用于3D圖像的音頻通常是在考慮到3D 圖像的情況下產(chǎn)生的，然而傳統(tǒng)3D顯示設(shè)備難以更多地強(qiáng)調(diào)3D圖像與用于3D圖像的音頻之間的聯(lián)結(jié)。鑒于前面的情況，希望提供能夠更多地強(qiáng)調(diào)立體圖像與音頻之間的聯(lián)結(jié)的新穎的經(jīng)改進(jìn)的音頻處理設(shè)備、音頻處理方法及程序。根據(jù)本公開的一個(gè)實(shí)施例，提供了一種音頻處理設(shè)備，該設(shè)備包括估計(jì)單元，被配置為從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對立體圖像的代表性感知位置；以及音頻控制器，被配置為根據(jù)由估計(jì)單元估計(jì)出的代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。音頻輸出設(shè)備可包括前方音頻輸出設(shè)備和后方音頻輸出設(shè)備，后方音頻輸出設(shè)備被布置在比前方音頻輸出設(shè)備離顯示設(shè)備更遠(yuǎn)的位置，并且音頻控制器可根據(jù)代表性感知位置與參考平面之間的距離來控制前方音頻輸出設(shè)備和后方音頻輸出設(shè)備的音頻輸出，所述參考平面是顯示設(shè)備被布置的位置。當(dāng)代表性感知位置與參考平面一致時(shí)，音頻控制器可以向前方音頻輸出設(shè)備提供第一音頻信號，并向后方音頻輸出設(shè)備提供第二音頻信號。當(dāng)代表性感知位置比參考平面更接近用戶時(shí)，音頻控制器可以按照與代表性感知位置與參考平面之間的距離相應(yīng)的比率來將第一音頻信號提供給前方音頻輸出設(shè)備和后方音頻輸出設(shè)備。代表性感知位置與參考平面之間的距離越長，音頻控制器可以以越高的比率將第一音頻信號提供給后方音頻輸出設(shè)備。代表性感知位置與參考平面之間的距離越長，音頻控制器可以越減小提供給后方音頻輸出設(shè)備的第二音頻信號。
當(dāng)參考平面比代表性感知位置更接近用戶時(shí)，音頻控制器可以按照與代表性感知位置與參考平面之間的距離相應(yīng)的比率來將第二音頻信號提供給前方音頻輸出設(shè)備和后方音頻輸出設(shè)備。代表性感知位置與參考平面之間的距離越長，音頻控制器可以以越高的比率將第二音頻信號提供給前方音頻輸出設(shè)備。代表性感知位置與參考平面之間的距離越長，音頻控制器可以越減小提供給前方音頻輸出設(shè)備的第一音頻信號。估計(jì)單元可以估計(jì)用戶對包括在左眼圖像和右眼圖像中的一個(gè)或多個(gè)圖像對象的一個(gè)或多個(gè)感知位置，并且基于一個(gè)或多個(gè)圖像對象的一個(gè)或多個(gè)感知位置來估計(jì)代表性感知位置。估計(jì)單元可以將圖像對象的感知位置中的一個(gè)感知位置估計(jì)為代表性感知位置。估計(jì)單元可以將圖像對象的感知位置的平均值估計(jì)為代表性感知位置。估計(jì)單元可以估計(jì)用戶對通過劃分左眼圖像和右眼圖像而獲得的多個(gè)區(qū)域的感知位置，并且基于多個(gè)區(qū)域的感知位置的分布來估計(jì)代表性感知位置。根據(jù)本公開另一實(shí)施例，提供了一種音頻處理方法，該方法包括從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對立體圖像的代表性感知位置；以及根據(jù)代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。根據(jù)本公開又一實(shí)施例，提供了一種程序，用于使得計(jì)算機(jī)用作估計(jì)單元，被配置為從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對立體圖像的代表性感知位置；以及音頻控制器，被配置為根據(jù)由估計(jì)單元估計(jì)出的代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。根據(jù)上述本公開的實(shí)施例，可以更多地強(qiáng)調(diào)立體圖像與音頻之間的聯(lián)結(jié)。


圖1是示出根據(jù)本公開實(shí)施例的顯示設(shè)備的外觀的說明圖；圖2是示出根據(jù)本公開實(shí)施例的顯示設(shè)備的配置的功能框圖；圖3是圖示出圖像顯示單元的大小標(biāo)記的示圖；圖4是示出圖像對象的示例性檢測的說明圖；圖5是示出包括在左眼圖像和右眼圖像中的圖像對象被顯示的位置與立體圖像被感知到的位置之間的關(guān)系的說明圖；圖6是示出圖像劃分的示例的說明圖；圖7是示出每個(gè)區(qū)域的距離xm的具體示例的說明圖；圖8是示出當(dāng)用戶對立體圖像的感知位置P與圖像顯示單元一致時(shí)由音頻控制器執(zhí)行的音頻控制的說明圖；圖9是示出當(dāng)用戶對立體圖像的感知位置P比圖像顯示單元更接近用戶時(shí)由音頻控制器執(zhí)行的音頻控制的說明圖；圖10是示出當(dāng)用戶對立體圖像的感知位置P比圖像顯示單元更接近用戶時(shí)由音頻控制器執(zhí)行的音頻控制的說明圖；圖11是示出當(dāng)圖像顯示單元比用戶對立體圖像的感知位置P更接近用戶時(shí)由音頻控制器執(zhí)行的音頻控制的說明圖；圖12是示出當(dāng)圖像顯示單元比用戶對立體圖像的感知位置P更接近用戶時(shí)由音頻控制器執(zhí)行的音頻控制的說明圖；圖13是示出當(dāng)圖像顯示單元比用戶對立體圖像的感知位置P更接近用戶時(shí)由音頻控制器執(zhí)行的音頻控制的說明圖；以及圖14是示出根據(jù)本公開實(shí)施例的顯示設(shè)備的操作的流程圖。
具體實(shí)施例方式下面，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的標(biāo)號來表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)描述。<1.根據(jù)本公開實(shí)施例的顯示設(shè)備的概況〉首先，將參考圖1描述根據(jù)本公開一個(gè)實(shí)施例的顯示設(shè)備100的概況。圖1是示出根據(jù)本公開一個(gè)實(shí)施例的顯示設(shè)備100的外觀的說明圖。注意，在圖 1中，由用戶佩戴的快門眼鏡(shutter eyeglass) 200結(jié)合顯示設(shè)備100被顯示。如圖1所示，顯示設(shè)備100具有用于顯示圖像的圖像顯示單元110。顯示設(shè)備100 能夠通過在圖像顯示單元110上顯示用于左眼的圖像(下面稱為左眼圖像)和用于右眼的圖像(下面稱為右眼圖像)來使得用戶可感知到立體圖像。另外，該顯示設(shè)備100還具有用于控制構(gòu)成揚(yáng)聲器系統(tǒng)的每個(gè)揚(yáng)聲器的音頻輸出的音頻處理設(shè)備的功能，如在“2.顯示設(shè)備的配置”部分中詳細(xì)描述的，快門眼鏡200包括例如由液晶快門形成的右眼圖像透過部212和左眼圖像透過部 214。快門眼鏡200響應(yīng)于從顯示設(shè)備100發(fā)送來的信號，執(zhí)行打開或閉合右眼圖像透過部 212和左眼圖像透過部214的操作。用戶可以通過經(jīng)由快門眼鏡200的右眼圖像透過部212 和左眼圖像透過部214觀看從圖像顯示單元110發(fā)射的光，來將顯示在圖像顯示單元110 上的左眼圖像和右眼圖像感知為立體圖像。同時(shí)，當(dāng)普通2D圖像被顯示在圖像顯示單元110上時(shí)，用戶可以通過按原樣觀看從圖像顯示單元Iio發(fā)射的光來將顯示在圖像顯示單元110上的圖像感知為普通2D圖像。盡管在圖1中將顯示設(shè)備100示為示例性音頻處理設(shè)備，然而本公開的音頻處理設(shè)備不限于此。例如，音頻處理設(shè)備可以是諸如PC(個(gè)人計(jì)算機(jī))之類的信息處理設(shè)備、家用視頻處理設(shè)備(例如，DVD錄放機(jī)或磁盒錄影機(jī))、PDA(個(gè)人數(shù)字助理)、家庭游戲機(jī)、便攜電話、便攜視頻處理設(shè)備或者便攜游戲機(jī)。另外，盡管本說明書描述了利用快門操作來使左眼圖像和右眼圖像能夠分別被左眼和右眼感知到的控制方案，然而本公開的控制方案不限于此。例如，可以通過使用用于左眼的偏振濾光鏡(polarizing filter)和用于右眼的偏振濾光鏡來獲得同等效果。<2.顯示設(shè)備的配置>上面描述了根據(jù)本公開實(shí)施例的顯示設(shè)備100的概況。接下來，將參考圖2描述根據(jù)本公開實(shí)施例的顯示設(shè)備100的配置。圖2是示出根據(jù)本公開實(shí)施例的顯示設(shè)備100的配置的框圖。如圖2所示，顯示設(shè)備100包括圖像顯示單元110、視頻信號控制器120、快門控制器130、定時(shí)控制器140、紅外線發(fā)射器150、視頻分析單元160、音頻控制器170和揚(yáng)聲器系統(tǒng)180。圖像顯示單元110具有如上所述的用于顯示圖像的功能，并且當(dāng)外部信號被施加給它時(shí)，顯示與所施加信號相對應(yīng)的圖像。如圖2所示，圖像顯示單元110包括顯示面板 112、門控驅(qū)動(dòng)器113、數(shù)據(jù)驅(qū)動(dòng)器114和背光源115。顯示面板112被配置為響應(yīng)于施加給它的外部信號來顯示圖像。顯示面板112在多條掃描線順序地被掃描時(shí)顯示出圖像。顯示面板112具有用玻璃等制成的一對透明板， 以及置于透明板之間的具有預(yù)定取向狀態(tài)的液晶分子。驅(qū)動(dòng)顯示面板112的方法可以是 TN(扭曲向列)制式、VA(垂直對齊)制式或IPS(平面開關(guān))制式。根據(jù)本公開實(shí)施例的顯示面板112響應(yīng)于施加給它的外部信號，以預(yù)定的定時(shí)交替地顯示右眼圖像和左眼圖像。門控驅(qū)動(dòng)器113是用于驅(qū)動(dòng)顯示面板112的門控總線(未示出)的驅(qū)動(dòng)器。門控驅(qū)動(dòng)器113接收從定時(shí)控制器140發(fā)送來的信號，并且響應(yīng)于從定時(shí)控制器140發(fā)送來的信號來向門控總線輸出信號。數(shù)據(jù)驅(qū)動(dòng)器114是用于生成將被施加給顯示面板112的數(shù)據(jù)線(未示出)的信號的驅(qū)動(dòng)器。數(shù)據(jù)驅(qū)動(dòng)器114接收從定時(shí)控制器140發(fā)送來的信號，并且響應(yīng)于從定時(shí)控制器140發(fā)送來的信號生成將被施加給數(shù)據(jù)線的信號，并且然后輸出這些信號。從用戶角度看，背光源115被設(shè)置在圖像顯示單元110的最里面部分。當(dāng)圖像被顯示在圖像顯示單元Iio上時(shí)，尚未偏振的白光(非偏振光)從背光源115發(fā)射到位于用戶側(cè)的顯示面板112。發(fā)光二極管或冷陰極管可被用于背光源115。盡管圖2示出了表面光源來作為背光源115，然而本公開的光源的配置不限于此示例。例如，可以通過在顯示面板112的周圍部分布置光源并利用擴(kuò)散板等從光源擴(kuò)散光來向顯示面板112注入光。替代地，取代使用表面光源，例如還可以組合使用點(diǎn)光源和聚光透鏡。視頻信號控制器120在接收到用于顯示左眼圖像和右眼圖像的3D視頻信號時(shí)，生成用于交替地在圖像顯示單元110上顯示左眼圖像和右眼圖像的視頻信號。由視頻信號控制器120生成的該視頻信號被發(fā)射給定時(shí)控制器140。快門控制器130在接收到根據(jù)視頻信號控制器120的信號處理生成的預(yù)定信號時(shí)，響應(yīng)于該信號生成用于控制快門眼鏡200的快門操作的快門控制信號?？扉T眼鏡200 基于由快門控制器130生成的并從紅外線發(fā)送器150發(fā)射的快門控制信號，來執(zhí)行打開或閉合右眼圖像透過部212和左眼圖像透過部214的操作。具體地，快門操作按以下方式來執(zhí)行當(dāng)左眼圖像顯示在顯示面板112上時(shí)，左眼圖像透過部214打開，并且當(dāng)右眼圖像顯示在顯示面板112上時(shí)，右眼圖像透過部212打開。定時(shí)控制器140響應(yīng)于從視頻信號控制器120發(fā)送來的信號，生成用于操作門控驅(qū)動(dòng)器113和數(shù)據(jù)驅(qū)動(dòng)器114的脈沖信號。當(dāng)定時(shí)控制器140生成脈沖信號并且門控驅(qū)動(dòng)器113和數(shù)據(jù)驅(qū)動(dòng)器114接收到定時(shí)控制器140生成的脈沖信號時(shí)，與從視頻信號控制器 120發(fā)送來的視頻信號相對應(yīng)的圖像被顯示在顯示面板112上。視頻分析單元160用作用于基于3D視頻信號來估計(jì)用戶對立體圖像的代表性感知位置的估計(jì)單元。諸如3D視頻信號、圖像顯示單元110的畫面大小以及用戶與圖像顯示單元110之間的觀看距離之類的信息被提供給視頻分析單元160，用于該估計(jì)。諸如圖像顯示單元110的畫面大小以及用戶與圖像顯示單元110之間的觀看距離之類的信息可以在顯示設(shè)備100上來設(shè)置，或者可以經(jīng)由用戶的操作來輸入。用于估計(jì)代表性感知位置的方法將在“2-1.代表性感知位置的估計(jì)”部分中詳細(xì)描述。音頻控制器170根據(jù)由視頻分析單元160估計(jì)出的代表性感知位置來控制揚(yáng)聲器系統(tǒng)(音頻輸出設(shè)備)180的音頻輸出。具體地，揚(yáng)聲器系統(tǒng)180包括中央揚(yáng)聲器C、前方揚(yáng)聲器(前方音頻輸出設(shè)備)L、前方揚(yáng)聲器(前方音頻輸出設(shè)備)R、后方揚(yáng)聲器(后方音頻輸出設(shè)備)Ls和后方揚(yáng)聲器(后方音頻輸出設(shè)備)Rs,并且音頻控制器170控制每個(gè)揚(yáng)聲器的音頻輸出。音頻控制器170執(zhí)行的音頻控制將在“2-2.音頻控制的具體示例”部分詳細(xì)描述。上面描述了根據(jù)本公開實(shí)施例的顯示設(shè)備100的配置。下面，將更詳細(xì)地描述視頻分析單元160對代表性感知位置的估計(jì)以及由音頻控制器170執(zhí)行的音頻控制。[2-1.代表性感知位置的估計(jì)](第一示例)為了估計(jì)代表性感知位置，圖像顯示單元110的單個(gè)像素的大小被使用。因此，如果不知道單個(gè)像素的大小，則視頻分析單元160從與圖像顯示單元110的畫面大小有關(guān)的信息來計(jì)算該大小(pixel_cm)。例如，考慮下面的值作為關(guān)于畫面大小的信息被得知的情況。TV_INCH 圖像顯示單元110的大小[英寸]TV_WIDTH_PIXEL 有效畫面中的像素?cái)?shù)(橫向)[像素(pixel)]TV_HEIGHT_PIXEL 有效畫面中的像素?cái)?shù)(縱向)[像素]在此情況中，可以從關(guān)于畫面大小的信息計(jì)算出圖3所示的以下值。tv_size_pixel 有效畫面的大小[像素]tv_size 有效畫面的大小[cm]tv_width 有效畫面的寬度[cm]tv_height 有效畫面的高度[cm]例如，tv_size_pixel和tv_size根據(jù)下式來計(jì)算。tv_size_pixel = sqrt(TV_WIDTH_PIXEL"2+TV_HEIGHT_PIXEL"2)tv_size = TV_INCHX2. 54此外，根據(jù)下式從tv_SiZe_piXel和tv_siZe來計(jì)算出作為單個(gè)像素大小的 pixel_cm。pixel_cm = tv_size/tv_size_pixel具體地，當(dāng)TV_INCH為40英寸時(shí)，TV_WIDTH_PIXEL為1920個(gè)像素，并且TV_ HEIGHT_PIXEL為1080個(gè)像素，每個(gè)值被計(jì)算為如下。tv_size_pixel = 2202. 9pixelstv_size= 101. 6cmpixel_cm = 0. 0461cm視頻分析單元160基于前述piXel_cm以及左眼圖像與右眼圖像之間的差 (difference)來估計(jì)用戶對立體圖像的代表性感知位置。即，視頻分析單元160計(jì)算用戶對立體圖像的代表性感知位置與圖像顯示單元110之間的距離χ。這里，代表性感知位置可以是立體圖像中的代表性圖像對象(部分)將被用戶觀看到的位置。下面，將參考圖4簡要描述對這樣的圖像對象的檢測，并且然后，將參考圖5描述計(jì)算距離χ的方法。視頻分析單元160利用臉部檢測技術(shù)來檢測包括在左眼圖像和右眼圖像中的臉部圖像作為圖像對象。因此，當(dāng)僅單個(gè)臉部圖像被檢測到時(shí)，視頻分析單元160將用戶對該臉部圖像的感知位置當(dāng)作代表性感知位置，并且利用下述方法來計(jì)算對于該臉部圖像的距離X。同時(shí)，當(dāng)如圖4所示檢測到了多個(gè)臉部圖像A至C時(shí)，視頻分析單元160可以選擇臉部圖像之一并且計(jì)算對于所選臉部圖像的距離X。替代地，視頻分析單元160可以計(jì)算針對各個(gè)臉部圖像A至C的距離X(A)至X(C)，并且計(jì)算距離X(A)至X(C)的平均值作為距離
Xo圖5是示出包括在左眼圖像和右眼圖像中的圖像對象被顯示的位置與立體圖像被感知到的位置之間的關(guān)系的說明圖。如圖5所示，視頻分析單元160利用前述的pixel_ cm將LR_DIFF_PIXEL (像素)轉(zhuǎn)換為以cm為單位的值(參見下面的公式)，LR_DIFF_PIXEL 是包括在左眼圖像中的圖像對象與包括在右眼圖像中的圖像對象之間的水平顯示位置之差。lr_diff = LR_DIFF_PIXELXpixel_cm這里，如果圖像顯示單元110與用戶之間的距離D(cm)以及用戶眼睛之間的距離 E (cm)已知，則視頻分析單元160可以根據(jù)以下公式來計(jì)算從圖像顯示單元110到用戶對圖像對象的感知位置的距離X(CHl)。χ = lr_diffXD/ (E+lr_diff)作為具體示例，當(dāng)LR_DIFF_PIXEL為10個(gè)像素，pixel_cm為0. 0461cm，距離D為 250cm,并且距離E為6cm時(shí)，lr_diff和距離χ的值如下。注意，如果用戶對圖像對象的感知位置位于圖像顯示單元110的后方側(cè)，則距離χ具有負(fù)值。lr_diff = 0. 4612cmχ = 17. 845cm(第二示例)盡管第一示例已圖示說明了代表性感知位置為用戶對立體圖像中的代表性圖像對象(部分)的感知位置的示例，然而本公開的代表性感知位置不限于此。例如，如下面所述的，代表性感知位置可以是用戶對構(gòu)成立體圖像的各區(qū)域的感知位置中的被認(rèn)為占主導(dǎo)地位的位置。為了估計(jì)這樣的代表性感知位置，在第二示例中，通過劃分左眼圖像和右眼圖像而定義了多個(gè)區(qū)域，并且用戶對每個(gè)區(qū)域的感知位置與圖像顯示單元110之間的距離被估計(jì)出，從而基于針對各個(gè)區(qū)域估計(jì)出的距離的分布來計(jì)算距離X。下面將參考圖6和圖7給出詳細(xì)描述。圖6是示出圖像劃分的示例的說明圖。如圖6所示，視頻分析單元160針對左眼圖像和右眼圖像來定義區(qū)域0至N。每個(gè)區(qū)域的形狀和大小不被具體限制，并且每個(gè)區(qū)域例如可以包括IOX 10個(gè)像素。然后，視頻分析單元160根據(jù)第一示例中描述的方法，針對每個(gè)區(qū)域計(jì)算出用戶對該區(qū)域中的圖像的感知位置與圖像顯示單元110之間的距離xm(0彡m彡N)。例如，當(dāng)區(qū)域數(shù)為10個(gè)時(shí)，視頻分析單元160針對相應(yīng)區(qū)域0至9計(jì)算出距離xO至x9，如圖7所示。此外，視頻分析單元160基于針對各個(gè)區(qū)域計(jì)算出的距離xm的分布來標(biāo)識距離χ。例如，視頻分析單元160可以將針對各個(gè)區(qū)域計(jì)算出的距離xm中的最頻繁值當(dāng)作距離χ。 根據(jù)這樣的方法，在圖7所示的示例中，作為針對各個(gè)區(qū)域計(jì)算出的距離xO至x9中的最頻繁值的4cm被當(dāng)作距離χ。替代地，視頻分析單元160可以針對每個(gè)預(yù)定值范圍來計(jì)算包括在該值范圍中的距離HIl的數(shù)目，并且基于包括有最多數(shù)目的距離HIl的值范圍來標(biāo)識距離X。例如，當(dāng)與每 5cm的值范圍(例如，0至5cm、5至10cm，···)相對應(yīng)的距離xm(區(qū)域)的數(shù)目被計(jì)算時(shí)， 在圖7所示的示例中，包括在20至25cm的值范圍中的距離xm的數(shù)目最多。在這樣的情況中，作為該值范圍中的最小值的20cm可被當(dāng)作距離X，或者包括在該值范圍中的距離xm的平均值可被當(dāng)作距離X。[2-2.音頻控制的具體示例]音頻控制器170基于由視頻分析單元160如上所述那樣獲得的距離χ來控制揚(yáng)聲器系統(tǒng)180的音頻輸出。將參考圖8至圖13具體描述由音頻控制器170執(zhí)行的音頻輸出控制。(當(dāng) χ = 0 時(shí))當(dāng)由視頻分析單元160獲得的距離χ為“0”時(shí)，即，當(dāng)用戶對立體圖像的感知位置 P與圖像顯示單元110被布置的位置(其是示例性參考平面)一致時(shí)，音頻控制器170控制用于每個(gè)揚(yáng)聲器的音頻信號按原樣從相應(yīng)揚(yáng)聲器輸出。具體地，如圖8所示，音頻控制器170將用于中央揚(yáng)聲器C的音頻信號Cl提供給中央揚(yáng)聲器C，將用于前方揚(yáng)聲器L的音頻信號Ll提供給前方揚(yáng)聲器L，并且將用于前方揚(yáng)聲器R的音頻信號Rl提供給前方揚(yáng)聲器R。同樣，音頻控制器170將用于后方揚(yáng)聲器Ls的音頻信號L2提供給后方揚(yáng)聲器Ls，并將用于后方揚(yáng)聲器Rs的音頻信號R2提供給后方揚(yáng)聲器Rs0(當(dāng)χ>0時(shí))接下來將參考圖9描述當(dāng)由視頻分析單元160獲得的距離χ大于“0”時(shí)，S卩，當(dāng)用戶對立體圖像的感知位置P比圖像顯示單元110更接近用戶時(shí)，由音頻控制器170執(zhí)行的音頻控制。圖9是圖示出當(dāng)用戶對立體圖像的感知位置P比圖像顯示單元110更接近用戶時(shí)，由音頻控制器170執(zhí)行的音頻控制的說明圖。在此情況中，音頻控制器170將原本打算用于前方揚(yáng)聲器L的音頻信號Ll按照根據(jù)距離χ的音量比來提供給前方揚(yáng)聲器L和后方揚(yáng)聲器Ls。更具體地，距離χ越長，音頻控制器170就以越高的比率將音頻信號Ll提供給后方揚(yáng)聲器Ls0同樣地，音頻控制器170將原本打算用于前方揚(yáng)聲器R的音頻信號Rl按照根據(jù)距離X的音量比來提供給前方揚(yáng)聲器R和后方揚(yáng)聲器Rs。更具體地，距離χ越長，音頻控制器 170就以越高的比率將音頻信號Rl提供給后方揚(yáng)聲器Rs。另外，距離χ越長，音頻控制器170就越減小原本打算用于后方揚(yáng)聲器Ls的并且實(shí)際被提供給后方揚(yáng)聲器Ls的音頻信號L2，并且同樣，減小原本打算用于后方揚(yáng)聲器Rs并且實(shí)際被提供給后方揚(yáng)聲器Rs的音頻信號R2。例如，音頻控制器170可以將由以下公式表示的Cl’，Li’，R1’，L2’和R2’分別提
供給中央揚(yáng)聲器C、前方揚(yáng)聲器L、前方揚(yáng)聲器R、后方揚(yáng)聲器Ls和后方揚(yáng)聲器Rs。注意，以下公式中的Cl，Li，Rl, L2和R2是原本打算用于相應(yīng)揚(yáng)聲器的音頻信號。Cl，= (l-x/D)ClLi，= (l-x/D)LlRl，= (l-x/D)RlL2， = (1-x/D)12+(χ/ )Ll+(Ι-χ/D)Cl/2R2， = (1-x/D)R2+(x/D)Rl+(1-x/D)Cl/2(當(dāng)χ= D時(shí))如圖10所示，當(dāng)由視頻分析單元160獲得的距離χ等于用戶的觀看距離D時(shí)，音頻控制器170將由以下公式表示的Cl’，Ll’，Rl’，L2’和R2’提供給相應(yīng)揚(yáng)聲器。Cl，= 0Li，= 0Rl，= 0L2，= L1+C1/2R2，= R1+C1/2(當(dāng)-D<x<0時(shí))接下來描述當(dāng)由視頻分析單元160獲得的距離χ滿足“-D < χ < 0”時(shí)，S卩，當(dāng)圖像顯示單元110比用戶對立體圖像的感知位置P更接近用戶時(shí)，所執(zhí)行的音頻控制，并且X 的絕對值小于D。圖11是當(dāng)圖像顯示單元110比用戶對立體圖像的感知位置P更接近用戶時(shí)由音頻控制器170執(zhí)行的音頻控制的說明圖。在此情況中，音頻控制器170將原本打算用于后方揚(yáng)聲器Ls的音頻信號L2按照根據(jù)距離χ的音量比來提供給前方揚(yáng)聲器L和后方揚(yáng)聲器 Ls。更具體地，距離χ的絕對值越大，音頻控制器170就以越高的比率將音頻信號L2提供給前方揚(yáng)聲器L。同樣地，音頻控制器170將原本打算用于后方揚(yáng)聲器Rs的音頻信號R2按照根據(jù)距離X的音量比來提供給前方揚(yáng)聲器R和后方揚(yáng)聲器Rs。更具體地，距離χ的絕對值越大， 音頻控制器170就以越高的比率將音頻信號R2提供給前方揚(yáng)聲器R。另外，距離χ的絕對值越大，音頻控制器170就越減小提供給前方揚(yáng)聲器L的音頻信號Li，并且還減小提供給前方揚(yáng)聲器R的音頻信號Rl。例如，音頻控制器170可以將由以下公式表示的Cl’，Li’，R1’，L2’和R2’分別提
供給中央揚(yáng)聲器C、前方揚(yáng)聲器L、前方揚(yáng)聲器R、后方揚(yáng)聲器Ls和后方揚(yáng)聲器Rs。Cl，=(1-X/D)C1
Li，=(1-X/D)Ll+(|x/D) L2
Rl，=(1-X/D)Rl+(|x/D) R2
L2'=(1-X/D) L2
R2，=(1-X/D) R2(當(dāng)-D= χ 時(shí))當(dāng)由視頻分析單元160獲得的距離χ的絕對值等于用戶的觀看距離D時(shí)，如圖12 所示，音頻控制器170將由以下公式表示的Cl’，Ll’，Rl’，L2’和R2’提供給相應(yīng)揚(yáng)聲器。Cl，= 0
Li' =12R1，=R2L2’ = 0R2’ = 0(當(dāng)x<-D 時(shí))接下來描述當(dāng)由視頻分析單元160獲得的距離χ滿足“χ < -D”時(shí)，S卩，當(dāng)圖像顯示單元110比用戶對立體圖像的感知位置P更接近用戶時(shí)，所執(zhí)行的音頻控制，并且X的絕對值大于D。圖13是當(dāng)圖像顯示單元110比用戶對立體圖像的感知位置P更接近用戶時(shí)由音頻控制器170執(zhí)行的音頻控制的說明圖。在此情況中，音頻控制器170將原本打算用于后方揚(yáng)聲器Ls的音頻信號L2以根據(jù)距離χ的大小來提供給前方揚(yáng)聲器L。更具體地，距離χ 的絕對值越大，音頻控制器170就越減小提供給前方揚(yáng)聲器L的音頻信號L2。同樣地，音頻控制器170將原本打算用于后方揚(yáng)聲器Rs的音頻信號R2以根據(jù)距離X的大小來提供給前方揚(yáng)聲器R。更具體地，距離X的絕對值越大，音頻控制器170就越減小提供給前方揚(yáng)聲器R的音頻信號R2。例如，音頻控制器170可以將由以下公式表示的Cl’，Li’，R1’，L2’和R2’分別提供給中央揚(yáng)聲器C、前方揚(yáng)聲器L、前方揚(yáng)聲器R、后方揚(yáng)聲器Ls和后方揚(yáng)聲器Rs。Cl，= 0Li，= (D/ I χ I) L2Rl，= (D/ I χ I) R2L2， = 0R2’ = 0如上所述，根據(jù)本公開實(shí)施例的顯示設(shè)備100可以根據(jù)基于用戶對左眼圖像和右眼圖像的立體圖像的的代表性感知位置來控制每個(gè)揚(yáng)聲器的音頻輸出。<3.顯示設(shè)備的操作>接下來，將參考圖14簡要描述根據(jù)本公開實(shí)施例的顯示設(shè)備100的操作。圖14是示出根據(jù)本公開實(shí)施例的顯示設(shè)備100的操作的流程圖。首先，如圖14 所示，顯示設(shè)備100的視頻分析單元160獲取諸如顯示設(shè)備100的畫面大小以及用戶的觀看距離之類的信息(S210)。然后，視頻分析單元160基于輸入的3D視頻信號來獲取左眼圖像和右眼圖像之間的差(S220)。然后，視頻分析單元160基于在S210中獲得的信息以及左眼圖像和右眼圖像之間的差，來估計(jì)用戶對立體圖像的的代表性感知位置(S230)。即，視頻分析單元160計(jì)算用戶對立體圖像的代表性感知位置與圖像顯示單元110之間的距離χ。注意，距離χ可以利用如在“2-1.代表性感知位置的估計(jì)”部分中描述的多種方法來計(jì)算。此后，音頻控制器170 根據(jù)由視頻分析單元160計(jì)算出的距離χ來控制構(gòu)成揚(yáng)聲器系統(tǒng)180的每個(gè)揚(yáng)聲器的音頻輸出(S240)。<4.總結(jié)〉如上所述，根據(jù)本公開實(shí)施例的顯示設(shè)備100可以根據(jù)用戶對基于左眼圖像和右眼圖像的立體圖像的的代表性感知位置來控制每個(gè)揚(yáng)聲器的音頻輸出。因此，可以更多地強(qiáng)調(diào)由左眼圖像和右眼圖像構(gòu)成的3D圖像與音頻信號之間的聯(lián)結(jié)。例如，當(dāng)諸如歌舞伎(日本古典舞劇)或戲劇之類的內(nèi)容將被再現(xiàn)，并且用戶對舞臺的感知位置被估計(jì)為在圖像顯示單元110的后方側(cè)時(shí)，顯示設(shè)備100控制原本打算用于后方揚(yáng)聲器的音頻信號從前方揚(yáng)聲器輸出。根據(jù)這樣的配置，用戶可以更強(qiáng)地感覺到其正從較遠(yuǎn)的地方觀看整個(gè)舞臺。另外，當(dāng)諸如樂團(tuán)表演之類的內(nèi)容將被再現(xiàn)并且用戶對樂隊(duì)的感知位置被估計(jì)為比圖像顯示單元110更接近用戶時(shí)，顯示設(shè)備100控制原本打算用于前方揚(yáng)聲器的音頻信號從后方揚(yáng)聲器輸出。根據(jù)這樣的配置，用戶可以更強(qiáng)地感受到這樣的真實(shí)感，該真實(shí)感使得用戶感覺其仿佛位于樂隊(duì)位置處的樂隊(duì)成員之中一樣。盡管已參考附圖詳細(xì)描述了本公開的優(yōu)選實(shí)施例，然而本公開不限于此。本領(lǐng)域技術(shù)人員將顯而易見到可以進(jìn)行各種修改或變更，只要它們落在所附權(quán)利要求或其等同物的技術(shù)范圍之內(nèi)即可。應(yīng)當(dāng)明白，這樣的修改或變更也落在本公開的技術(shù)范圍內(nèi)。例如，盡管前述實(shí)施例已圖示說明了利用臉部檢測技術(shù)來檢測立體圖像中的代表性圖像對象的示例，然而本公開不限于此。除了臉部圖像以外，運(yùn)動(dòng)的對象也被認(rèn)作代表性圖像對象。因此，顯示設(shè)備100例如可以執(zhí)行下面的處理來將運(yùn)動(dòng)的對象檢測作為立體圖像中的代表性圖像對象。(步驟1)顯示設(shè)備100基于每幀來檢測當(dāng)每幀被成像時(shí)的成像設(shè)備的運(yùn)動(dòng)。成像設(shè)備的運(yùn)動(dòng)包括成像設(shè)備位置的移動(dòng)、成像設(shè)備的成像方向的改變等等。成像設(shè)備的運(yùn)動(dòng)例如可以基于連續(xù)兩幀之間的差異來檢測。更具體地，顯示設(shè)備100針對構(gòu)成幀L-I的每個(gè)塊來預(yù)測幀L中的運(yùn)動(dòng)，并且由此獲得每塊的運(yùn)動(dòng)向量。然后，顯示設(shè)備100從所有塊的運(yùn)動(dòng)向量中去除與主導(dǎo)方向差異極大的運(yùn)動(dòng)向量，由此從剩余運(yùn)動(dòng)向量中檢測到成像設(shè)備的運(yùn)動(dòng)向量。(步驟2)顯示設(shè)備100轉(zhuǎn)換幀L-I以使得在步驟1中檢測到的成像設(shè)備的運(yùn)動(dòng)向量被抵消。例如，當(dāng)在步驟1中檢測到的成像設(shè)備的運(yùn)動(dòng)向量的方向?yàn)镼并且其大小為R時(shí)，則幀 L-I內(nèi)的圖像在-Q方向上移動(dòng)R的大小。(步驟3)顯示設(shè)備100生成幀L與在步驟2中轉(zhuǎn)換之后的幀L-I之間的差分圖像。這里，即使靜止對象的位置也會因成像設(shè)備的運(yùn)動(dòng)而在幀L與幀L-I中不同。然而，由于如上所述成像設(shè)備的運(yùn)動(dòng)已在轉(zhuǎn)換之后的幀L-I中被抵消，因此認(rèn)為靜止對象所在的位置在幀L與轉(zhuǎn)換之后的幀L-I中幾乎相同。因此，大體上，運(yùn)動(dòng)的對象表現(xiàn)為幀L與轉(zhuǎn)換之后的幀L-I 之間的差分圖像中的差異。(步驟4)顯示設(shè)備100從在步驟3中生成的差分圖像檢測運(yùn)動(dòng)的對象。由于顯示設(shè)備100 可以檢測運(yùn)動(dòng)的對象作為如上所述的立體圖像中的代表性圖像對象，因此，可以計(jì)算用戶對運(yùn)動(dòng)的對象的感知位置作為用戶的代表性感知位置。根據(jù)這樣的配置，顯示設(shè)備100例如可以將環(huán)道的立體圖像中的賽車檢測為運(yùn)動(dòng)的對象，并且根據(jù)用戶對賽車的感知位置來執(zhí)行音頻控制。替代地，顯示設(shè)備100可以將通過利用成像設(shè)備進(jìn)行跟蹤而被成像的對象檢測作為立體圖像中的代表性圖像對象，并且根據(jù)用戶對該對象的感知位置來執(zhí)行音頻控制。下面將描述檢測通過利用成像設(shè)備進(jìn)行跟蹤而被成像的對象的示例性方法。(步驟1)顯示設(shè)備100基于每幀來檢測當(dāng)每幀被成像時(shí)的成像設(shè)備的運(yùn)動(dòng)。(步驟2)顯示設(shè)備100將在步驟1中檢測到的成像設(shè)備的運(yùn)動(dòng)的量高于閾值的區(qū)間確定為成像設(shè)備正在其中移動(dòng)的區(qū)間。(步驟3)顯示設(shè)備100將成像設(shè)備剛才正在其中移動(dòng)的區(qū)間內(nèi)長于預(yù)定長度的區(qū)間中的對象檢測為已通過跟蹤被成像的對象。盡管上面已描述了控制每個(gè)揚(yáng)聲器的音頻信號輸出的音量來作為對每個(gè)揚(yáng)聲器的音頻輸出的控制，然而本公開不限于此。例如，本公開的技術(shù)范圍包括取代音量控制，或者除了音量控制以外，還控制每個(gè)揚(yáng)聲器的音頻信號輸出的相位。另外，在本說明書中由顯示設(shè)備100執(zhí)行的處理的步驟不必根據(jù)流程圖中描述的順序按時(shí)間順序來執(zhí)行。例如，由顯示設(shè)備100執(zhí)行的處理的步驟可以按與流程圖中描述的順序不同的順序來執(zhí)行或者并行地來執(zhí)行。另外，還可以創(chuàng)建計(jì)算機(jī)程序，用于使得構(gòu)建在顯示設(shè)備100中的諸如CPU、ROM或RAM之類的硬件實(shí)施與前述顯示設(shè)備100的各個(gè)單元的功能等同的功能。此外，還提供了將計(jì)算機(jī)程序存儲在其中的存儲介質(zhì)。本公開包含與2010年6月30日向日本專利局提交的日本優(yōu)先專利申請JP 2010-149365中公開的主題有關(guān)的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。
權(quán)利要求
1.一種音頻處理設(shè)備，包括估計(jì)單元，被配置為從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對所述立體圖像的代表性感知位置；以及音頻控制器，被配置為根據(jù)由所述估計(jì)單元估計(jì)出的所述代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。
2.根據(jù)權(quán)利要求1所述的音頻處理設(shè)備，其中，所述差異是包括在所述左眼圖像中的圖像對象與包括在所述右眼圖像中的圖像對象之間的水平顯示位置之差。
3.根據(jù)權(quán)利要求1所述的音頻處理設(shè)備，其中所述音頻輸出設(shè)備包括前方音頻輸出設(shè)備和后方音頻輸出設(shè)備，所述后方音頻輸出設(shè)備被布置在比所述前方音頻輸出設(shè)備離所述顯示設(shè)備更遠(yuǎn)的位置，并且所述音頻控制器根據(jù)所述代表性感知位置與參考平面之間的距離來控制所述前方音頻輸出設(shè)備和所述后方音頻輸出設(shè)備的音頻輸出，其中所述參考平面是所述顯示設(shè)備被布置的位置。
4.根據(jù)權(quán)利要求2所述的音頻處理設(shè)備，其中，當(dāng)所述代表性感知位置與所述參考平面一致時(shí)，所述音頻控制器向所述前方音頻輸出設(shè)備提供第一音頻信號，并向所述后方音頻輸出設(shè)備提供第二音頻信號。
5.根據(jù)權(quán)利要求3所述的音頻處理設(shè)備，其中，當(dāng)所述代表性感知位置比所述參考平面更接近所述用戶時(shí)，所述音頻控制器按照與所述代表性感知位置與所述參考平面之間的距離相應(yīng)的比率來將所述第一音頻信號提供給所述前方音頻輸出設(shè)備和所述后方音頻輸出設(shè)備。
6.根據(jù)權(quán)利要求4所述的音頻處理設(shè)備，其中，所述代表性感知位置與所述參考平面之間的距離越長，所述音頻控制器就以越高的比率將所述第一音頻信號提供給所述后方音頻輸出設(shè)備。
7.根據(jù)權(quán)利要求5所述的音頻處理設(shè)備，其中，所述代表性感知位置與所述參考平面之間的距離越長，所述音頻控制器就越減小提供給所述后方音頻輸出設(shè)備的所述第二音頻信號。
8.根據(jù)權(quán)利要求3所述的音頻處理設(shè)備，其中，當(dāng)所述參考平面比所述代表性感知位置更接近所述用戶時(shí)，所述音頻控制器按照與所述代表性感知位置與所述參考平面之間的距離相應(yīng)的比率來將所述第二音頻信號提供給所述前方音頻輸出設(shè)備和所述后方音頻輸出設(shè)備。
9.根據(jù)權(quán)利要求7所述的音頻處理設(shè)備，其中，所述代表性感知位置與所述參考平面之間的距離越長，所述音頻控制器就以越高的比率將所述第二音頻信號提供給所述前方音頻輸出設(shè)備。
10.根據(jù)權(quán)利要求8所述的音頻處理設(shè)備，其中，所述代表性感知位置與所述參考平面之間的距離越長，所述音頻控制器就越減小提供給所述前方音頻輸出設(shè)備的所述第一音頻信號。
11.根據(jù)權(quán)利要求1所述的音頻處理設(shè)備，其中，所述估計(jì)單元估計(jì)用戶對包括在所述左眼圖像和所述右眼圖像中的一個(gè)或多個(gè)圖像對象的一個(gè)或多個(gè)感知位置，并且基于所述一個(gè)或多個(gè)圖像對象的一個(gè)或多個(gè)感知位置來估計(jì)所述代表性感知位置。
12.根據(jù)權(quán)利要求10所述的音頻處理設(shè)備，其中，所述估計(jì)單元將所述圖像對象的感知位置中的一個(gè)感知位置估計(jì)為所述代表性感知位置。
13.根據(jù)權(quán)利要求10所述的音頻處理設(shè)備，其中，所述估計(jì)單元將所述圖像對象的感知位置的平均值估計(jì)為所述代表性感知位置。
14.根據(jù)權(quán)利要求1所述的音頻處理設(shè)備，其中，所述估計(jì)單元估計(jì)用戶對通過劃分所述左眼圖像和所述右眼圖像而獲得的多個(gè)區(qū)域的感知位置，并且基于所述多個(gè)區(qū)域的感知位置的分布來估計(jì)所述代表性感知位置。
15.一種音頻處理方法，包括從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對所述立體圖像的代表性感知位置；以及根據(jù)所述代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。
16.根據(jù)權(quán)利要求15所述的音頻處理方法，其中，所述差異是包括在所述左眼圖像中的圖像對象與包括在所述右眼圖像中的圖像對象之間的水平顯示位置之差。
17.一種程序，用于使得計(jì)算機(jī)用作估計(jì)單元，被配置為從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對所述立體圖像的代表性感知位置；以及音頻控制器，被配置為根據(jù)由所述估計(jì)單元估計(jì)出的所述代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。
18.根據(jù)權(quán)利要求17所述的程序，其中，所述差異是包括在所述左眼圖像中的圖像對象與包括在所述右眼圖像中的圖像對象之間的水平顯示位置之差。
全文摘要
本發(fā)明公開了音頻處理設(shè)備、音頻處理方法及程序。提供了一種音頻處理設(shè)備，該設(shè)備包括估計(jì)單元，被配置為從顯示在顯示設(shè)備上的立體圖像的左眼圖像與右眼圖像之間的差異來估計(jì)用戶對立體圖像的代表性感知位置；以及音頻控制器，被配置為根據(jù)由估計(jì)單元估計(jì)出的代表性感知位置來控制音頻輸出設(shè)備的音頻輸出。
文檔編號H04N13/00GK102316343SQ20111017655
公開日2012年1月11日 申請日期2011年6月23日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者中村延彥, 佐山正修, 小口善生, 村松寬章 申請人:索尼公司