雙耳音頻處理的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及雙耳擅染（binauralrendering),并且尤其但不完全設(shè)及用于音頻處 理應(yīng)用的頭部相關(guān)的雙耳傳遞函數(shù)數(shù)據(jù)的通信和處理。
【背景技術(shù)】
[0002] 隨著數(shù)字信號(hào)表示和通信已日益取代模擬表示和通信，各種源信號(hào)的數(shù)字編碼在 過(guò)去數(shù)十年已變得越來(lái)越重要。例如，諸如語(yǔ)音和音樂(lè)之類(lèi)的音頻內(nèi)容越來(lái)越多地W數(shù)字 內(nèi)容編碼為基礎(chǔ)。此外，隨著例如環(huán)繞立體聲和家庭影院設(shè)置成為流行，音頻消費(fèi)已日益成 為一種包絡(luò)（enveloping)S維體驗(yàn)。
[0003] 已研制音頻編碼格式來(lái)提供日益有能力的、多樣的和靈活的音頻服務(wù)，并且尤其 已研制支持空間音頻服務(wù)的音頻編碼格式。
[0004] 如同DTS和Do化yDigital之類(lèi)的眾所周知的音頻編碼技術(shù)產(chǎn)生編碼的多通道音 頻信號(hào)，其將空間圖像表示為圍繞著收聽(tīng)者被放置在固定位置上的許多通道。對(duì)于與對(duì)應(yīng) 于多通道信號(hào)的設(shè)置不同的揚(yáng)聲器設(shè)置來(lái)說(shuō)，空間圖像將是次最優(yōu)的。并且，基于通道的音 頻編碼系統(tǒng)通常不能應(yīng)付不同數(shù)量的揚(yáng)聲器。
[0005] (IS0/IECMPEG-D)M陽(yáng)GSurround(環(huán)繞）提供一種多通道音頻編碼工具，其允許 現(xiàn)有的基于單聲道或基于立體聲的編碼器被擴(kuò)展至多通道音頻應(yīng)用。圖1舉例說(shuō)明MPEG Surround系統(tǒng)的元素的示例。使用通過(guò)原始的多通道輸入的分析而獲得的空間參數(shù)，MPEG Surround解碼器通過(guò)單聲道或立體聲信號(hào)的受控上混（upmix)W獲得多通道輸出信號(hào)而 能夠重新創(chuàng)建空間圖像。
[0006] 由于多通道輸入信號(hào)的空間圖像被參數(shù)化，所WMPEGSurround允許利用不使用 多通道揚(yáng)聲器設(shè)置的擅染設(shè)備來(lái)解碼同一個(gè)多通道比特流。示例是在耳機(jī)上的虛擬環(huán)繞立 體聲再現(xiàn)，其被稱為MPEGSurround雙耳解碼處理。在該種模式中，在使用普通耳機(jī)的同時(shí) 能夠提供逼真的環(huán)繞立體聲體驗(yàn)。另一示例是較高階多通道輸出例如7. 1通道至較低階設(shè) 置例如5. 1通道的修剪（pruning)。
[0007] 實(shí)際上，隨著越來(lái)越多的再現(xiàn)格式變得可用于主流消費(fèi)者，用于擅染空間聲音的 擅染配置的變化和靈活性近年來(lái)已顯著增加。該要求音頻的靈活表示。隨著MPEGSurround 編解碼器的引入，已采取重要的步驟。然而，仍然針對(duì)例如ITU5. 1揚(yáng)聲器設(shè)置之類(lèi)的特定 揚(yáng)聲器設(shè)置來(lái)產(chǎn)生和發(fā)送音頻。沒(méi)有規(guī)定通過(guò)不同的設(shè)置和通過(guò)非標(biāo)準(zhǔn)（即，靈活的或用戶 定義的)揚(yáng)聲器設(shè)置的再現(xiàn)。實(shí)際上，具有使得音頻編碼和表示日益獨(dú)立于特定的預(yù)定和標(biāo) 稱的揚(yáng)聲器設(shè)置的愿望。日益優(yōu)選的是；能夠在解碼器/擅染側(cè)上執(zhí)行針對(duì)多種多樣的不 同的揚(yáng)聲器設(shè)置的靈活適配（adaptation)。
[0008] 為了提供更靈活的音頻的表示，MPEG標(biāo)準(zhǔn)化了稱為"SpatialAudio化ject Coding(空間音頻對(duì)象編碼）"（IS(VIECMPEG-DSAOC)的格式。與諸如DTS、Do化yDigital 和MPEGSurround之類(lèi)的多通道音頻編碼系統(tǒng)形成對(duì)比，SAOC提供個(gè)別音頻對(duì)象而非音頻 通道的有效編碼。而在MPEGSurround中，每一個(gè)揚(yáng)聲器通道能夠被視為源自聲音對(duì)象的 不同混合，SAOC使得在解碼器側(cè)上可利用的個(gè)別聲音對(duì)象用于如圖2所示的交互操縱。在SA0C中，多個(gè)聲音對(duì)象和參數(shù)化數(shù)據(jù)一起被編碼到單聲道或立體聲縮混（downmix)中，該 允許聲音對(duì)象在擅染側(cè)上被提取，從而允許個(gè)別音頻對(duì)象可用于例如由終端用戶進(jìn)行的操 縱。
[0009] 實(shí)際上，與MPEGSurround相類(lèi)似，SA0C也創(chuàng)建單聲道或立體聲縮混。另外，計(jì)算 和包括對(duì)象參數(shù)。在解碼器側(cè)上，用戶可W操縱該些參數(shù)來(lái)控制個(gè)別對(duì)象的不同特征諸如 位置、水平、均衡乃至應(yīng)用諸如混響之類(lèi)的效果。圖3舉例說(shuō)明使得用戶能夠控制在SA0C 比特流中包含的個(gè)別對(duì)象的交互界面。借助于擅染矩陣，個(gè)別聲音對(duì)象被映射到揚(yáng)聲器通 道上。
[0010] 除了僅再現(xiàn)通道之外，SA0C還通過(guò)發(fā)送音頻對(duì)象而允許更靈活的方案并且尤其允 許更多的基于擅染的適應(yīng)性（adapt油ility)。假定空間被揚(yáng)聲器充分覆蓋，則該允許解碼 器側(cè)將音頻對(duì)象放置在空間中的任意位置上。該樣，在所發(fā)送的音頻與再現(xiàn)或擅染設(shè)置之 間沒(méi)有關(guān)系，因此能夠使用任意的揚(yáng)聲器設(shè)置。該對(duì)于例如其中揚(yáng)聲器幾乎從不位于預(yù)定 位置上的典型起居室中的家庭影院設(shè)置而言是有利的。在SA0C中，在解碼器側(cè)上決定在聲 音場(chǎng)景中該些對(duì)象被放置在什么地方，該從藝術(shù)的角度來(lái)看時(shí)常不是所希望的。SA0C標(biāo)準(zhǔn) 確實(shí)提供在比特流中發(fā)送默認(rèn)擅染矩陣的方式，該消除解碼器責(zé)任。然而，所提供的方法依 賴于固定的再現(xiàn)設(shè)置或依賴于未指明語(yǔ)法。因而，SA0C沒(méi)有提供規(guī)范的手段來(lái)完全發(fā)送音 頻場(chǎng)景而與揚(yáng)聲器設(shè)置無(wú)關(guān)。并且，SA0C不太適合于（notwellequipped)彌散性信號(hào)分 量的忠實(shí)擅染。雖然具有包括所謂的MultichannelBackground化ject(多通道背景對(duì) 象）（MB0)來(lái)捕獲漫聲的可能性，但是該個(gè)對(duì)象被束縛于一個(gè)特定的揚(yáng)聲器配置。
[0011] 由3DAudioAlliance(音頻聯(lián)盟）（3DAA)正在研制用于3D音頻的音頻格式的 另一規(guī)范，其中3DAA是工業(yè)聯(lián)盟。3DAA致力于研制"將有助于從當(dāng)前的揚(yáng)聲器饋送范例至 靈活的基于對(duì)象的方案的轉(zhuǎn)變"的用于3D音頻的傳輸?shù)臉?biāo)準(zhǔn)。在3DAA中，將定義允許將遺 留的多通道縮混連同個(gè)別聲音對(duì)象一起傳輸?shù)谋忍亓鞲袷健Ａ硗?，包括?duì)象定位數(shù)據(jù)。在 圖4中舉例說(shuō)明生成3DAA音頻流的原理。
[0012] 在3DAA方案中，單獨(dú)地在擴(kuò)展流中接收聲音對(duì)象，并且可W從多通道縮混中提取 該些聲音對(duì)象。由此產(chǎn)生的多聲道縮混與個(gè)別可用的對(duì)象一起進(jìn)行擅染。
[0013] 該些對(duì)象可W由所謂的詞干（stem)組成。該些詞干基本上是分組(縮混）的軌道 (track)或?qū)ο?。因此，?duì)象可W由包裝在詞干中的多個(gè)子對(duì)象組成。在3DAA中，利用音頻 對(duì)象的選擇，能夠發(fā)送多通道參考混合（referencemix)。3DAA發(fā)送針對(duì)每一個(gè)對(duì)象的3D 位置數(shù)據(jù)。該些對(duì)象隨后能夠使用3D位置數(shù)據(jù)來(lái)提取?？晒┻x擇地，可W發(fā)送逆的混合矩 陣，其描述該些對(duì)象與參考混合之間的關(guān)系。
[0014] 根據(jù)3DAA的描述，通過(guò)給每一個(gè)對(duì)象分配角度和距離，很可能發(fā)送聲音場(chǎng)景信 息，其指示相對(duì)于例如默認(rèn)的前進(jìn)方向應(yīng)該將該對(duì)象放置在什么地方。因而，針對(duì)每一個(gè)對(duì) 象，發(fā)送位置信息。該對(duì)于點(diǎn)源來(lái)說(shuō)是有用的，但是其無(wú)法描述廣源（widesource)(例如， 如同合唱或歡呼)或彌漫性聲場(chǎng)(諸如周?chē)h(huán)境)。當(dāng)從參考混合中提取所有的點(diǎn)源時(shí)，周?chē)?的多聲道混合保留。與SA0C相類(lèi)似，3DAA中的殘留物被固定于特定的揚(yáng)聲器設(shè)置。
[00巧]因而，SA0C和3DAA方案二者并入能夠在解碼器側(cè)上個(gè)別操縱的個(gè)別音頻對(duì)象的 傳輸。該兩種方案之間的不同在于；SA0C通過(guò)相對(duì)于縮混提供表征音頻對(duì)象的參數(shù)來(lái)提供 有關(guān)該些音頻對(duì)象的信息（即，W致在解碼器側(cè)上從縮混中生成該些音頻對(duì)象)，而3DAA提 供音頻對(duì)象作為完整的且獨(dú)立的音頻對(duì)象（即，能夠在解碼器側(cè)上獨(dú)立于縮混來(lái)生成該些 音頻對(duì)象)。對(duì)于兩種方案，可W針對(duì)該些音頻對(duì)象來(lái)傳送位置數(shù)據(jù)。
[0016] 其中通過(guò)使用針對(duì)收聽(tīng)者的耳朵的個(gè)別信號(hào)的聲源的虛擬定位來(lái)創(chuàng)建空間體驗(yàn) 的雙耳處理正變得越來(lái)越普遍。虛擬環(huán)繞是擅染聲音的一種方法，W致音頻源被感知為源 自特定的方向，從而創(chuàng)建收聽(tīng)物理環(huán)繞聲音設(shè)置(例如，5. 1揚(yáng)聲器）或環(huán)境(音樂(lè)會(huì)）的錯(cuò) 覺(jué)。利用適當(dāng)?shù)碾p耳擅染處理，能夠計(jì)算為了收聽(tīng)者感知來(lái)自任何方向的聲音而在耳膜處 所需的信號(hào)，并且該些信號(hào)被擅染，W致它們提供所希望的效果。如圖5所示，該些信號(hào)隨 后在耳膜處利用或耳機(jī)或串音消除方法(適合于通過(guò)緊密間隔開(kāi)的揚(yáng)聲器的擅染）來(lái)重新 創(chuàng)建。
[0017] 緊接著圖5的直接擅染，能夠用于擅染虛擬環(huán)繞的特定技術(shù)包括MPEGSurround 和SpatialAudioObjectCoding(空間音頻對(duì)象編碼及即將到來(lái)的有關(guān)MPEG中的3D 音頻的工作項(xiàng)。該些技術(shù)提供計(jì)算有效的虛擬環(huán)繞擅染。
[0018] 雙耳擅染W(wǎng)雙耳濾波器為基礎(chǔ)，其中該些濾波器由于頭部W及諸如肩部之類(lèi)的 反射表面的不同聲學(xué)屬性而因人而異。例如，雙耳濾波器能夠用于創(chuàng)建在不同位置上模 擬多個(gè)源的雙耳記錄。該能夠通過(guò)將每一個(gè)聲源與對(duì)應(yīng)于該聲源的位置的化adRelated ImpulseResponse(頭部相關(guān)的脈沖響應(yīng)）（皿IR)的配對(duì)（pair)進(jìn)行卷積來(lái)實(shí)現(xiàn)。
[0019] 通過(guò)在放置于人耳中或靠近人耳放置的麥克風(fēng)上在2D或3D空間中在特定的位置 上從聲源中測(cè)量例如脈沖響應(yīng)，能夠確定適當(dāng)?shù)碾p耳濾波器。通常，例如使用人頭的模型進(jìn) 行該樣的測(cè)量，或者實(shí)際上在一些情況中通過(guò)將麥克風(fēng)附著靠近人的耳膜可W進(jìn)行該些測(cè) 量。雙耳濾波器能夠用于創(chuàng)建在不同位置上模擬多個(gè)源的雙耳記錄。例如，該能夠通過(guò)將 每一個(gè)聲源與在該聲源的希望位置上測(cè)量的位置的脈沖響應(yīng)的配對(duì)進(jìn)行卷積（convoIve) 來(lái)實(shí)現(xiàn)。為了創(chuàng)建聲源圍繞收聽(tīng)者移動(dòng)的錯(cuò)覺(jué)，需要具有足夠的空間分辨率例如10度的大 量的雙耳濾波器。
[0020] 雙耳濾波函數(shù)可W被表示為例如化adRelatedImpulseResponse(皿IR)或 者等效地被表示為化adRelatedTransfer化nction(頭部相關(guān)的傳遞函數(shù)）（HRTF)或 BinauralRoomImpulseResponse(雙耳房間脈沖響應(yīng)XBRIR)或BinauralRoomTransfer 化nction(雙耳房間傳遞函數(shù)）（BRTF)。從給定位置至收聽(tīng)者的耳朵(或耳膜)的(例如，估 計(jì)的或假定的）傳遞函數(shù)被稱為頭部相關(guān)的雙耳傳遞函數(shù)?？蒞例如在頻域中或在時(shí)域中 給出該個(gè)函數(shù)，在頻域的情況下該個(gè)函數(shù)通常被稱為HRTF或BRTF，而在時(shí)域的情況下該個(gè) 函數(shù)通常被稱為皿IR或BRIR。在一些情形中，頭部相關(guān)的雙耳傳遞函數(shù)被確定為包括聲學(xué) 環(huán)境、并且具體地在其中進(jìn)行該些測(cè)量的房間的方位（aspect)或?qū)傩砸蛩兀谄渌氖?例中僅考慮用戶特性。第一類(lèi)型的函數(shù)的示例是BRIR和BRTF，而后一種類(lèi)型的函數(shù)的示例 是皿IR和HRTF。
[0021] 相應(yīng)地，底層（underlying)頭部相關(guān)的雙耳傳遞函數(shù)能夠采用包括皿IR、HRTF等 等的許多不同的方式來(lái)表示。此外，對(duì)于該些主要表示之中的每一個(gè)，具有大量的不同方式 來(lái)表示特定函數(shù)