專利名稱：多聲道顯示器上空間音頻配置的方法和設備的制作方法
技術領域：
本發(fā)明總體涉及與顯示器一起提供音頻的方法和設備。
背景技術：
Ambiosonics是一種環(huán)繞聲音系統(tǒng)，其中，捕獲原始演奏用于重放。用于捕獲這種演奏的技術是，使得可以相對良好地重新創(chuàng)建原始環(huán)繞聲。在一些情況下，可以再現(xiàn)環(huán)繞聲的“全球形(full sphere)”。University of California Santa Barabara 開發(fā)了 Allosphere 系統(tǒng)， Allosphere系統(tǒng)包括具有幾百個揚聲器、跟蹤系統(tǒng)和交互機構的3-story高球形儀器。Allosphere系統(tǒng)具有水平面3度、仰角10度的空間分辨率，并且使用8個擴音器 (loudspeaker)環(huán)，其中每個環(huán)16-150個擴音器。NHK開發(fā)了一種用于超高清電視的22. 2多聲道聲音系統(tǒng)。目的是再現(xiàn)身臨其境和自然三維聲場，該聲場提供現(xiàn)場感和真實感。22. 2聲音系統(tǒng)包括具有9個聲道的上層，具有 10個聲道的中間層以及具有3個聲道的下層，以及用于低頻效果的兩個聲道。Ambiosonics、Allosphere和NHK系統(tǒng)適合于再現(xiàn)聲音，并且可以與視頻內(nèi)容同時呈現(xiàn)，使得用戶可以具有愉悅的體驗。B. Bauer 的 “Phasor Analysis of Some Stereophonic Phenomena，” (Journal Acoust. Society of America, Vol. 33,November 1961)禾口 V. Pulkki 的“Uniform Spreading of Amplitude Panned Virtual Sources，，，(Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 1999)
移動拍攝(panning)(強度/幅度移動拍攝)來創(chuàng)建左與右擴音器之間的虛源(virtual source)位置。然而，這些系統(tǒng)不涉及顯示器上AV窗口以及針對該AV窗口的空間音頻再現(xiàn)的構思。

發(fā)明內(nèi)容
在本發(fā)明的一個方面中，公開了一種用于為顯示器呈現(xiàn)視聽內(nèi)容的方法。該方法包括在顯示器上定義與具有關聯(lián)的音頻信號的程序相關聯(lián)的窗口 ；基于顯示器上的窗口的位置，以及與顯示器相關聯(lián)的至少兩個揚聲器的位置，來定義音頻信號的至少兩個音頻位置；基于音頻位置修改音頻信號，以使音頻信號表現(xiàn)為源自窗口內(nèi)的至少一對位置和/ 或窗口外的至少一對位置。在本發(fā)明的另一方面中，公開了一種用于為顯示器呈現(xiàn)視聽內(nèi)容的設備。該設備包括窗口定義部分，用于在顯示器上定義與具有關聯(lián)的音頻信號的程序相關聯(lián)的窗口 ； 音頻位置定義部分，用于基于顯示器上窗口的位置，和與顯示器相關聯(lián)的至少兩個擴聲器的位置，來定義音頻信號的音頻位置；修改部分，用于基于音頻位置修改音頻信號，以使音頻信號表現(xiàn)為源自窗口內(nèi)的至少一對位置和/或窗口外的至少一對位置。結合附圖，考慮本發(fā)明的以下詳細描述，可以更容易地理解本發(fā)明的上述和其他
4目的、特征和優(yōu)點。


圖1示出了動態(tài)空間音頻區(qū)系統(tǒng)。圖2示出了擴音器對平面和虛源位置計算。圖3示出了定義了擴音器對、收聽者和圓的三維平面。圖4示出了映射至擴音器對的視聽窗口。圖5示出了視聽窗口至擴音器對的映射。圖6示出了屏幕上虛源位置計算的流程圖。圖7示出了使用常規(guī)技術將屏幕上虛源位置映射至實際虛源位置的流程圖。圖8示出了使用圖7的常規(guī)技術將屏幕上虛源位置映射至實際虛源位置的三維映射。圖9示出了使用投影技術將屏幕上虛源位置映射至實際虛源位置的流程圖。圖10示出了使用圖9的投影技術將屏幕上虛源位置映射至實際虛源位置的三維映射。圖11示出了虛源位置和實際虛源位置對的放大部分。圖12示出了具有4個擴音器的動態(tài)空間音頻區(qū)系統(tǒng)。圖13示出了具有多聲道顯示器上空間音頻(multi-channel on-display spatial audio)的拼接顯示(tiled display)。圖14示出了具有多聲道顯示器上空間音頻的另一拼接顯示。圖15示出了具有多聲道顯示器上空間音頻的另一拼接顯示。圖16示出了具有多聲道顯示器上空間音頻的另一拼接顯示。圖17示出了具有多聲道顯示器上空間音頻的另一拼接顯示。圖18示出了空間音頻系統(tǒng)。圖19示出了可以實現(xiàn)本發(fā)明方法的設備。
具體實施例方式為了解決現(xiàn)有技術中所示的問題，本發(fā)明描述了一種用于將顯示器上的AV窗口映射至來自所有擴音器對的集合的擴音器對的方法。本發(fā)明還描述了一種用于將AV窗口映射至屏幕上虛源位置的方法，以及一種屏幕上虛源位置至實際虛位置的映射。本發(fā)明還提供了一種用于多聲音定位以覆蓋墻面顯示器的新穎的固定擴音器配置。本發(fā)明提供了這種擴音器設置，使用固定擴音器集合為顯示器上的多個AV窗口提供虛擬聲音定位。所提出的設置使用擴音器的固定配置位置來提供空間音頻，所述空間音頻表現(xiàn)為源自顯示器屏幕上多個并發(fā)AV窗口的屏幕上位置。在上述方法中，固定擴音器位置在垂直顯示平面中。這提供了與現(xiàn)有技術的差別，這是由于提供了一種環(huán)繞聲和虛擬聲定位系統(tǒng)，在該環(huán)繞聲和虛擬聲定位系統(tǒng)中，擴音器在圍繞收聽者的水平面內(nèi)。具有大屏幕尺寸和高分辨率的顯示器日益變得經(jīng)濟并普遍存在。這些顯示器包括平板IXD和PDP顯示器、前和后投影顯示器、其他類型的顯示器。在家庭環(huán)境中，傳統(tǒng)上已使用顯示器在觀看視聽內(nèi)容的同時觀看單個節(jié)目。隨著顯示器逐漸變大，多個用戶同時使用顯示器用于多個分離應用更加可行。單個用戶使用顯示器用于多個同時使用也是更可行的。這些應用可以包括觀看電視、觀看網(wǎng)絡視聽流、現(xiàn)實高清遠地視在(tele-presence)、音樂和音頻應用、單玩家和多玩家游戲、社交應用(例如，F(xiàn)lickr,Facebook, Twitter等)、以及交互多媒體應用。對于這些應用中的許多應用，音頻是必須的方面。不幸地，當同時使用多個應用時，很難確定與每個應用相關聯(lián)的音頻。此外，對于大顯示器而言，很難識別聲音由哪個應用產(chǎn)生。為了向用戶提供將音頻聲音與特定源窗口相關聯(lián)的能力，期望系統(tǒng)修改音頻信號，使得音頻表現(xiàn)為源自特定窗口。在顯示器上有多個活動窗口的情況下，期望系統(tǒng)修改音頻信號，使得相應音頻表現(xiàn)為源自相應窗口。在一些情況下，根據(jù)各個布置在一起的多個顯示器來構造顯示器，以有效形成單個顯示器。在這種情況下，音頻可以表現(xiàn)為源自不同的獨立顯示器和/或每個獨立顯示器中的一個或多個窗口。此外，在窗口在顯示器之間延伸的情況下，可以使音頻與相應的顯示器相關聯(lián)以使音頻表現(xiàn)為源自在顯示器之間延伸的該窗參照圖1，空間音頻區(qū)系統(tǒng)可以首先識別10視聽窗口位置。定義窗口是指顯示屏幕的應用所使用的AV窗口(或視點)。在這種情況下的詞語“窗口”用于描述桌面應用窗口。大尺寸顯示(包括拼接顯示)可以并發(fā)地顯示多個應用(多個程序)A(i)，i =0， 1，. . .，Z-I。每個應用/程序在顯示器上具有其自己的窗口 /視點/區(qū)域，從而創(chuàng)建多個窗口，使得窗口中的一個包括顯示器的一部分。每個應用同樣傾向于在其自己的窗口/視點中運行。為了簡單起見，描述可以考慮單個應用A(i)，其具有CXD個水平和垂直像素的窗口 W(i)。然而，同樣可以使用多個并發(fā)窗口。窗口位于顯示器上，使得(在矩形窗口的情況下)窗口的左下角相對于整體顯示的x，y坐標在(blx，bly)處。整體顯示在顯示器的左下角上具有(0，0)位置。應用窗口中的一些可以是視聽程序窗口。如果窗口與音頻信號相關聯(lián)，則可以認為該窗口是視聽程序窗口。視聽窗口的典型示例可以包括娛樂應用(例如，視頻回放)、通信應用(例如，視頻會議)、信息應用(例如，音頻日程表通知工具)等。定義音頻位置涉及在屏幕上窗口內(nèi)定義(x，y)位置/地點，其中用戶期望音頻表現(xiàn)為源自該(x，y)位置/ 地點。參照圖2，在識別10視聽窗口位置之后，系統(tǒng)可以計算20擴音器對和虛源位置弧 (arc)(使用虛源位置弧計算)。實質(zhì)上，在給定揚聲器布置的情況下，這可以計算表現(xiàn)為聲音源的可用位置。基于音頻位置修改音頻信號使得音頻信號表現(xiàn)為源自窗口涉及虛源定位算法和其中的各個步驟，以實現(xiàn)音頻來自窗口內(nèi)所選位置的感知?？梢远x以下符號將擴音器對Sp⑴，Sp (j)表示為P (i，j)。將擴音器Sp⑴的位置定義100為(Xi, Yi, Zi)。在示例中，所有擴音器Sp (i)可以具有相同4坐標。對于8 (1網(wǎng)這可以表示為& = 4。可以將從原點到揚聲器位置的矢量定義為針對Sp (i)的^；。將收聽者L位置定義110為(XyYpZJ。將從原點到收聽者位置的矢量定義為巧。然后，如下獲得120 fiAL，Sp(i)，Sp(j)定義的平面 E (L，Sp ⑴，Sp (j)) =E(i， j)的方程
將矢量巧和巧定義為(a) V1=Vl-V^(b) Vj=Vl-V^然后平面的法向由以下給出#(￡(/,/))=巧X巧，其中，X表示矢量叉乘。用坐標()(Uj，YLiJ,ZLiJ)表示 130 法向矢量#(￡(/,_/+))。然后，由點L，Sp⑴，Sp (j)定義的3D平面(E(i，j))的方程是XLiJ (x-XL) +YLiJ (y-YL) +ZLiJ (z-ZL) = 0?？梢杂梢韵路匠潭x140在三維平面E(i，j)中以(\，Yl, Zl)為中心并通過點 Sp (i),Sp(J)的圓可以如上定義矢量巧和巧?？梢匀缦聭肎ram-khmidt過程以獲得平面E(i，j)中矢量巧的正交集合U1=V1Uj=V1-Ku;,^==，其中，<>表示矢量巧和巧的內(nèi)乘。然后，圓的半徑由=鄧,7+) = 給出，其中，巧冗.表示矢量巧與矢量巧的點乘。參數(shù)形式的圓的方程M(L，sp⑴，sp (j)) = M(i, j)由以下給出150 M(L, sp(i), sp{j)) = R(i, ^Cos^ + R(i, j、Sin(tfi + Vl可以針對與顯示器相關聯(lián)的多對擴音器對的所有對重復160該過程。應當理解， 該技術可以被擴展到三個或更多揚聲器或擴音器。參照圖3，示出了三維平面E(i，j) 170和圓M(i，j) 180的弧。如圖所示，對于諸如擴音器對之類的揚聲器對，以及兩個揚聲器之間的弧，確定圍繞收聽者的弧?；谔囟ǖ膿P聲器或擴音器對，沿著該弧的音頻聲音可以表現(xiàn)為去往收聽者。再次參照圖1，基于擴音器對和虛源20，將顯示器上的視聽窗映射30至擴音器對。 實質(zhì)上，這確定擴音器對所定義的弧與顯示器上用于音頻的屏幕上窗口之間的空間關系。 優(yōu)選地，與窗口位置最接近的擴音器對的弧是選定用于提供音頻信號的擴音器對。參照圖4，示出了映射技術。用Ln (i，j)表示通過對由L，Sp (i)，Sp (j)定義的3D平面中的圓的弧進行投影200 而在顯示平面上形成的線。針對擴音器對的線可以與來自另一擴音器對的線交疊。在線交疊的情況下，使用最長線。在其他實施例中，可以使用多個短線來代替最長線?？梢葬槍λ袛U音器對重復210該過程。由每個擴音器對形成的這種線的集合可以表示為 SLn= {Ln(l，2)，Lr^2，3)，···}。應用的窗口 W(k)可以是A(k)。窗口 W(k)的中心可以定義220為C(k)。令中心C(k)由點(X(k),Y(k),ZD)表示?？梢曰诖翱?W(k)的左下角位置(blx, bly)及其水平和垂直像素尺寸CXD，計算中心點為
權利要求
1.一種用于為顯示器呈現(xiàn)視聽內(nèi)容的方法，包括在所述顯示器上定義與具有關聯(lián)的音頻信號的程序相關聯(lián)的窗口；基于所述顯示器上的所述窗口的位置，以及與所述顯示器相關聯(lián)的至少兩個揚聲器的位置，來定義所述音頻信號的至少兩個音頻位置；基于所述音頻位置修改所述音頻信號，以使所述音頻信號表現(xiàn)為源自所述窗口內(nèi)的至少一對位置和/或所述窗口外的至少一對位置。
2.根據(jù)權利要求1所述的方法，其中，所述方法包括兩個揚聲器。
3.根據(jù)權利要求1所述的方法，其中，所述方法包括三個揚聲器。
4.根據(jù)權利要求1所述的方法，其中，所述窗口包括所述顯示器的一部分。
5.根據(jù)權利要求1所述的方法，還包括在所述顯示器上定義與具有關聯(lián)的音頻信號的程序相關聯(lián)的多個窗口。
6.根據(jù)權利要求1所述的方法，還包括在所述顯示器上定義與具有關聯(lián)的音頻信號的多個程序相關聯(lián)的多個窗口。
7.根據(jù)權利要求1所述的方法，其中，所述音頻位置基于虛源位置弧計算。
8.根據(jù)權利要求1所述的方法，其中，所述至少兩個揚聲器是擴音器對。
9.根據(jù)權利要求1所述的方法，其中，所述至少兩個揚聲器是三個擴音器，并且所述音頻位置基于所述三個擴音器限定的球面三角形。
10.根據(jù)權利要求8所述的方法，其中，所述音頻位置還基于虛源位置弧。
11.根據(jù)權利要求10所述的方法，其中，相對于收聽者限定所述虛源位置弧。
12.根據(jù)權利要求11所述的方法，其中，相對于多個擴音器對限定所述虛源位置弧。
13.根據(jù)權利要求12所述的方法，其中，選擇所述虛源位置弧作為所述多個擴音器對中最接近所述窗口的擴音器對。
14.根據(jù)權利要求13所述的方法，其中，音頻位置還基于屏幕虛源位置確定。
15.根據(jù)權利要求14所述的方法，其中，將所述屏幕虛源位置映射至所述虛源位置。
16.根據(jù)權利要求15所述的方法，其中，所述源自還基于為所述多個擴音器對中的每一對選擇增益。
17.根據(jù)權利要求1所述的方法，還包括基于所述顯示器上所述窗口的位置來提供針對所述音頻信號的第三音頻位置；以及基于所述第三音頻位置修改所述音頻信號，使得所述第三音頻位置表現(xiàn)為源自接近所述窗口的第三位置。
18.根據(jù)權利要求17所述的方法，還包括在所述顯示器上定義與具有關聯(lián)的第二音頻信號的第二程序相關聯(lián)的第二窗口；基于所述顯示器上的所述第二窗口的位置，以及與所述顯示器相關聯(lián)的至少兩個擴音器的位置，來定義所述第二音頻信號的至少兩個另外音頻位置；基于所述音頻位置修改所述第二音頻信號，以使所述第二音頻信號表現(xiàn)為源自所述第二窗口內(nèi)的至少一對位置和/或所述第二窗口外的至少一對位置。
19.一種用于為顯示器呈現(xiàn)視聽內(nèi)容的設備，包括窗口定義部分，用于在顯示器上定義與具有關聯(lián)的音頻信號的程序相關聯(lián)的窗口 ；音頻位置定義部分，用于基于所述顯示器上所述窗口的位置，和與所述顯示器相關聯(lián)的至少兩個揚聲器的位置，來定義所述音頻信號的音頻位置；修改部分，用于基于所述音頻位置修改所述音頻信號，以使所述音頻信號表現(xiàn)為源自所述窗口內(nèi)的至少一對位置和/或所述窗口外的至少一對位置。
全文摘要
一種用于為顯示器呈現(xiàn)視聽內(nèi)容的方法和設備，包括在顯示器上定義與具有關聯(lián)的音頻信號的程序相關聯(lián)的窗口?；陲@示器上的窗口位置，以及與顯示器相關聯(lián)的至少兩個揚聲器的位置，來定義音頻信號的至少兩個音頻位置?；谝纛l位置修改音頻信號，以使音頻信號看起來源自所述窗口內(nèi)的至少一對位置。
文檔編號H04R27/00GK102421054SQ20111028580
公開日2012年4月18日 申請日期2011年9月23日 優(yōu)先權日2010年9月27日
發(fā)明者薩欽·G·德什潘德 申請人:夏普株式會社