用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置和方法以及對應(yīng)的計(jì)算機(jī)程序的制作方法
【專利摘要】本申請案涉及一種用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置(200)，所述裝置包括處理元件(305)，所述處理元件用于：在所述第一對空間脈沖響應(yīng)的多個(gè)不同采樣時(shí)間內(nèi)確定所述第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與所述第一對空間脈沖響應(yīng)的第二空間脈沖響應(yīng)的能量分布之間的差異；設(shè)置所述多個(gè)采樣時(shí)間的一個(gè)采樣時(shí)間為所述第一對空間脈沖響應(yīng)的混合時(shí)間，在所述混合時(shí)間內(nèi)所述第一對空間脈沖響應(yīng)的所述第一空間脈沖響應(yīng)與所述第二空間脈沖響應(yīng)的能量分布之間的差異等于或低于閾值；基于所述第一對空間脈沖響應(yīng)的所述混合時(shí)間確定所述總體混合時(shí)間。本申請案進(jìn)一步涉及一種用于估計(jì)總體混合時(shí)間的對應(yīng)的方法。
【專利說明】
用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置 和方法從及對應(yīng)的計(jì)算機(jī)程序
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置和 方法W及對應(yīng)的包括程序代碼的計(jì)算機(jī)程序，所述程序代碼當(dāng)在計(jì)算機(jī)上運(yùn)行時(shí)用于執(zhí)行 根據(jù)本發(fā)明的方法。
【背景技術(shù)】
[0002] 多信道音頻內(nèi)容如今在消費(fèi)電子產(chǎn)品中越來越普遍。沉浸式音頻在許多多媒體和 通信系統(tǒng)中正在變成常見特征。然而，沉浸式音頻通常需要設(shè)及極大數(shù)目的擴(kuò)音器的再現(xiàn) 布局，如同例如，22.2布局。運(yùn)是針對某些產(chǎn)品的主要約束，例如，移動(dòng)裝置(智能電話、平板 計(jì)算機(jī)等）W及電話會(huì)議應(yīng)用、家庭劇院應(yīng)用、Hi-Fi應(yīng)用等等，其僅通過兩個(gè)擴(kuò)音器或頭戴 式耳機(jī)輸出音頻信號(hào)，其中信號(hào)是在左音頻輸出信道和右音頻輸出信道中輸出的。
[0003] 也被稱為"虛擬環(huán)繞"的雙聲道化是多信道音頻信號(hào)到使用頭戴式耳機(jī)、左揚(yáng)聲 器/右揚(yáng)聲器或其它裝置的收聽者的雙聲道呈現(xiàn)(揚(yáng)聲器上的雙聲道）。執(zhí)行雙聲道化的一 種方式是擅染每個(gè)揚(yáng)聲器及相關(guān)饋送信號(hào)作為虛擬來源，也就是說甚至使用頭戴式耳機(jī)對 饋送信號(hào)進(jìn)行雙聲道地濾波W獲得真實(shí)揚(yáng)聲器的感知。為了通過雙聲道方式擅染每個(gè)揚(yáng)聲 器和相關(guān)饋送信號(hào)，對應(yīng)于給定房間中的揚(yáng)聲器的位置，信號(hào)通過雙聲道空間脈沖響應(yīng) (Binaural Room Impulse Response,BRIR)進(jìn)行濾波，其中BRIR是在虛擬收聽者位置處確 定和測量的。
[0004] 一般而言，空間脈沖響應(yīng)(Room Impulse Response,RIR)在某一點(diǎn)處測量到的房 間對點(diǎn)聲源激勵(lì)的響應(yīng)。通常，為了測量房間中的空間脈沖響應(yīng)，房間通過揚(yáng)聲器激勵(lì)并且 響應(yīng)則由不同位置處的麥克風(fēng)測量。如果對激發(fā)的響應(yīng)是通過安裝在人體模型頭部的耳朵 中的麥克風(fēng)測量的，那么相應(yīng)的兩個(gè)信道響應(yīng)被稱作雙聲道空間脈沖響應(yīng)(Binaural Room Impulse Response,服IR)，如關(guān)于圖I所解釋。
[0005] BRIR對相應(yīng)的揚(yáng)聲器與收聽者的兩只耳朵(左和右)之間的傳遞函數(shù)進(jìn)行編碼。
[0006] 在圖1中呈現(xiàn)雙聲道濾波過程的一個(gè)實(shí)例，其中出X表示通過信道i信號(hào)饋送到收聽 者的X(對于左X可W是L或?qū)τ谟襒可W是R)耳的揚(yáng)聲器的脈沖響應(yīng)。大寫字母H代表頻域， 而小寫字母h代表表示脈沖響應(yīng)的時(shí)域。如圖1中示意性地示出，收聽者100在房間中的虛擬 位置處并且位于房間中的相應(yīng)的不同位置處的兩個(gè)揚(yáng)聲器1〇5(揚(yáng)聲器1)和110(揚(yáng)聲器2) 發(fā)出音頻波，所述音頻波是通過使用者100的左耳化)和右耳(R)接收的。如圖1中所示，存在 針對揚(yáng)聲器105、110中的每一個(gè)的一對脈沖響應(yīng)H。
[0007] 雙聲道化過程中的信號(hào)處理可導(dǎo)致高計(jì)算復(fù)雜度，尤其是對于高品質(zhì)應(yīng)用場景。 運(yùn)種復(fù)雜度來自于對雙聲道空間脈沖響應(yīng)(binaural room impulse response,BRIR)的多 信道輸入信號(hào)的濾波。具體而言，BRIR的使用需要超過數(shù)萬個(gè)采樣，復(fù)雜性可W變得極其的 高。此外，多信道架構(gòu)可W由較多數(shù)目的信道組成，例如，在22.2揚(yáng)聲器布局中的22個(gè)信道。 (對于2低頻效應(yīng)化OW Frequen巧Effect,L陽），信道通常使用的是不同處理方式，因?yàn)檫\(yùn) 些信道并不會(huì)對聲源的定位造帶來任何貢獻(xiàn)）。
[0008] 為了減小用于雙聲道化應(yīng)用的計(jì)算復(fù)雜性，房間中的脈沖響應(yīng)通常被劃分成兩部 分，運(yùn)也如在圖2中所示的實(shí)例RIR的反射圖曲線中觀測到，即劃分成直接路徑和早期反射 (direct path and early ref lection, D&E)部分W及成混響拖尾（晚期部分）。隨后針對兩 個(gè)部分使用不同的雙聲道化策略。
[0009] D&E部分與晚期部分之間的過渡點(diǎn)被稱作混合時(shí)間。混合時(shí)間可W實(shí)際時(shí)間值(例 如，ns、ms、s)表示或W表示時(shí)間點(diǎn)的采樣值表示。一般來說，我們討論的采樣時(shí)間涵蓋混合 時(shí)間的兩種表述。早期反射是一組離散反射，其密度增大直至個(gè)體反射無法被辨別或感知。 當(dāng)D&E部分中的直達(dá)聲音是可W輕易地識(shí)別的單個(gè)事件時(shí)，房間中的脈沖響應(yīng)的早期反射 和晚期混響是更加難W區(qū)分和標(biāo)記的，如同在圖3的實(shí)例中所示的空間脈沖響應(yīng)幅值/時(shí)間 圖的實(shí)例中可見。
[0010] 混合時(shí)間的估計(jì)和確定是在現(xiàn)有技術(shù)中研究的相當(dāng)深入的課題并且已經(jīng)有很多 的方案被提出來。
[0011] 第一組的方法是基于模型的方法，其假定存在房間的特性的一些先驗(yàn)知識(shí)，例如， 體積或幾何形狀，基于此，混合時(shí)間是基于例如房間中的反射的密度的闊值或房間中的平 均自由路徑的闊值確定的。反射密度和平均自由路徑可W在數(shù)學(xué)上設(shè)及一些房間特性，使 得可W閉合形式計(jì)算混合時(shí)間。第一組的方法的限制和問題在于房間特性的先驗(yàn)知識(shí)是必 要的。通常，運(yùn)些方法的結(jié)果不是非常精確的，因?yàn)樗鼈儾皇腔谡鎸?shí)房間的而是僅基于房 間的模型。結(jié)果的質(zhì)量極大的依賴于模型的質(zhì)量和真實(shí)房間與模型的適配。
[0012] 第二組方法使用單個(gè)測量空間脈沖響應(yīng)W估計(jì)混合時(shí)間。第二組方法是基于基于 信號(hào)的方法的并且使用闊值估計(jì)，設(shè)置例如(高斯)隨機(jī)性的闊值、存儲(chǔ)器的闊值、反射檢測 能力的闊值、相位隨機(jī)性的闊值?；旌蠒r(shí)間隨后在其中給定指標(biāo)低于或高于給定闊值的時(shí) 間（或樣本)處是固定的。然而，運(yùn)些方法的評估是成問題的，因?yàn)椴淮嬖诨旌蠒r(shí)間的清楚的 定義。
[0013] 為了具有有意義的參考，一些現(xiàn)有技術(shù)研究執(zhí)行RIR的感知分析W便在主觀收聽 測試中定義知覺混合時(shí)間。此類研究通常采用在相同房間中的不同位置處測量的多個(gè)RIR。 在一些情況下，基于模型的、基于信號(hào)的估計(jì)器和感知估計(jì)是使用回歸方法合并的。一般而 言，統(tǒng)計(jì)方法具有有限的一致性并且傳遞混合時(shí)間的非穩(wěn)固估計(jì)。統(tǒng)計(jì)方法傾向于提供增 雜檢測曲線使得在此類曲線上施加闊值是易錯(cuò)的：曲線的較小變化引起混合時(shí)間估計(jì)的較 大變化。此外，通過例如正交鏡像濾波器(Qua化ature Mirror Filter，QMF)的技術(shù)獲得的 RIR或BRIR的下采樣子帶域表示是MPEG雙聲道化框架所需的。到目前為止，基于信號(hào)的算法 尚未在此類情境中被評估。然而，考慮全頻帶RIR的有限穩(wěn)固性，可W合理的推測在下采樣 子帶域中性能會(huì)不足:較短分析窗口可能引起統(tǒng)計(jì)不準(zhǔn)確性(窗口的長度，通常是1024個(gè)樣 本，除W子帶的數(shù)目，通常是64);從全頻帶RIR到下采樣子帶RIR的精細(xì)結(jié)構(gòu)傳送的改變可 能引起估計(jì)的不準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0014] 因此本發(fā)明的目標(biāo)是提供用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間 的概念，所述概念允許穩(wěn)固的混合時(shí)間估計(jì)。
[0015] 上述目標(biāo)通過所附獨(dú)立權(quán)利要求中提供的方案來實(shí)現(xiàn)。在相應(yīng)的從屬權(quán)利要求中 界定有利的實(shí)施方案。
[0016] 本發(fā)明的第一方面提供用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的 裝置。所述裝置包括處理元件，所述處理元件用于確定在第一對空間脈沖響應(yīng)的多個(gè)不同 采樣時(shí)間內(nèi)第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第一對空間脈沖響應(yīng)的第二空間 脈沖響應(yīng)的能量分布之間的差異;設(shè)置所述多個(gè)采樣時(shí)間中的一個(gè)采樣時(shí)間為第一對空間 脈沖響應(yīng)的混合時(shí)間，其中，所述混合時(shí)間內(nèi)第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與 第二空間脈沖響應(yīng)的能量分布之間的差異等于或低于闊值;基于所述第一對空間脈沖響應(yīng) 的混合時(shí)間確定總體混合時(shí)間。
[0017] 相比在本申請的引言部分中所描述的現(xiàn)有技術(shù)，本發(fā)明的第一方面的裝置能夠的 更加精確地及穩(wěn)固地估計(jì)總體混合時(shí)間。
[0018] 在根據(jù)本發(fā)明的第一方面的裝置的第一實(shí)施形式中，所述裝置用于基于多對空間 脈沖響應(yīng)估計(jì)總體混合時(shí)間，第一對空間脈沖響應(yīng)包括在多對空間脈沖響應(yīng)中，并且所述 處理元件進(jìn)一步用于針對所述多對脈沖響應(yīng)中的每一對脈沖響應(yīng)確定，每一對所述的空間 脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)分別在多個(gè)不同采樣時(shí)間內(nèi)的能量分 布之間的差異，并且為所述多對脈沖響應(yīng)中的每一對空間脈沖響應(yīng)設(shè)置多個(gè)采樣時(shí)間的一 個(gè)采樣時(shí)間作為相應(yīng)的對的空間脈沖響應(yīng)的混合時(shí)間，其中，在所述混合時(shí)間內(nèi)所述相應(yīng) 的對的空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)的能量分布之間的差異等 于或低于闊值，并且基于多個(gè)空間脈沖響應(yīng)中的每一個(gè)的混合時(shí)間確定總體混合時(shí)間。此 實(shí)施方案為多信道系統(tǒng)提供了穩(wěn)定且穩(wěn)固的估計(jì)結(jié)果。通過具有基于多對RIR而不是僅一 對RIR推導(dǎo)總體混合時(shí)間的可能性，可W獲得混合時(shí)間的更加穩(wěn)固的檢測。
[0019] 在根據(jù)本發(fā)明的第一方面的第一實(shí)施形式的裝置的第二實(shí)施形式中，所述處理元 件進(jìn)一步用于基于多對空間脈沖響應(yīng)的混合時(shí)間的平均確定總體混合時(shí)間。所述方案為總 體混合時(shí)間提供了改進(jìn)的且更加精確的結(jié)果。
[0020] 在根據(jù)本發(fā)明的第一方面的第一實(shí)施形式或第二實(shí)施形式的裝置的第=實(shí)施形 式中，所述處理元件進(jìn)一步用于至少針對多對空間脈沖響應(yīng)的部分對所確定的混合時(shí)間進(jìn) 行加權(quán)，并且用于基于加權(quán)混合時(shí)間確定總體混合時(shí)間。所述方案提供更加可靠的估計(jì)結(jié) 果，因?yàn)橥ㄟ^對混合時(shí)間進(jìn)行加權(quán)，RIR的對給總體混合時(shí)間的估計(jì)的貢獻(xiàn)可W發(fā)生改變 (例如，依賴于記錄RIR的對的特性）。
[0021] 在根據(jù)本發(fā)明的第一方面的第=實(shí)施形式的裝置的第四實(shí)施形式中，所述處理元 件進(jìn)一步用于基于與相應(yīng)的對的空間脈沖響應(yīng)的第一空間脈沖響應(yīng)相關(guān)聯(lián)的第一元數(shù)據(jù) 并且基于與相應(yīng)的對的空間脈沖響應(yīng)的第二空間脈沖響應(yīng)相關(guān)聯(lián)的第二元數(shù)據(jù)對多個(gè)空 間脈沖響應(yīng)的所述部分的每一對空間脈沖響應(yīng)的混合時(shí)間進(jìn)行加權(quán)，第一元數(shù)據(jù)表明用于 推導(dǎo)相關(guān)聯(lián)的第一空間脈沖響應(yīng)的聲源與接收器之間的相互關(guān)系，第二元數(shù)據(jù)表明用于推 導(dǎo)相關(guān)聯(lián)的第二空間脈沖響應(yīng)的聲源與接收器之間的相互關(guān)系。運(yùn)種方案提供估計(jì)結(jié)果的 提高的精確性，因?yàn)橥ㄟ^考慮相關(guān)聯(lián)的空間脈沖響應(yīng)的聲源與接收器之間的相互關(guān)系，可 W推導(dǎo)出某一對空間脈沖響應(yīng)對于確定混合時(shí)間的可靠程度。因此，被認(rèn)為將是不可靠的 空間脈沖響應(yīng)的對可W獲得較低權(quán)重，而被認(rèn)為將是可靠的空間脈沖響應(yīng)的對可W獲得較 高權(quán)重。
[0022] 在同樣地根據(jù)第一方面或根據(jù)本發(fā)明的第一方面的前述實(shí)施形式中的任一者的 裝置的第五實(shí)施形式中，所述處理元件進(jìn)一步用于計(jì)算反向累積能量差異衰減曲線W用于 確定能量分布之間的所述差異。所述方案提供結(jié)果的額外精確性和提高的可靠性。
[0023] 在根據(jù)本發(fā)明的第一方面的第五實(shí)施形式的裝置的第六實(shí)施形式中，所述處理元 件進(jìn)一步用于使用平滑能量差異W用于計(jì)算所述反向累積能量差異衰減曲線或者用于使 用直接能量差異W用于計(jì)算所述反向累積能量差異衰減曲線或者用于使用幅值差異W用 于計(jì)算所述反向累積能量衰減曲線或者用于使用等級差異W用于計(jì)算所述反向累積能量 差異衰減曲線。運(yùn)些方案提供有利的且良好質(zhì)量的估計(jì)結(jié)果。
[0024] 在同樣地根據(jù)第一方面或根據(jù)本發(fā)明的第一方面的前述實(shí)施形式中的任一者的 裝置的第屯實(shí)施形式中，所述處理元件用于推導(dǎo)所述第一脈沖響應(yīng)與所述第二脈沖響應(yīng)的 能量分布之間的差異使得所述差異可通過W下表達(dá)式計(jì)算
[0025]
[0026] 其中DEDC[n]是在采樣時(shí)間n處第一脈沖響應(yīng)與第二脈沖響應(yīng)的能量分布之間的 差異，巧是&^2的暫時(shí)平滑版本，I ? I指代絕對值，hi[k]是在采樣時(shí)間k處第一脈沖響應(yīng)的 值，h2[k]是在采樣時(shí)間k處第二空間脈沖響應(yīng)的值，并且P是第一對空間脈沖響應(yīng)的空間脈 沖響應(yīng)的長度。運(yùn)種方案對于結(jié)果的精確性是尤其有利的。
[0027] 在同樣地根據(jù)第一方面或根據(jù)本發(fā)明的第一方面的前述實(shí)施形式中的任一者的 裝置的第八實(shí)施形式中，所述處理元件用于基于與第一空間脈沖響應(yīng)相關(guān)聯(lián)的第一元數(shù)據(jù) W及與第二空間脈沖響應(yīng)相關(guān)聯(lián)的第二元數(shù)據(jù)確定出自可用的空間脈沖響應(yīng)的全集的第 一對脈沖響應(yīng)，所述第一元數(shù)據(jù)表明用于推導(dǎo)第一空間脈沖響應(yīng)的聲源與接收器之間的相 互關(guān)系，并且所述第二元數(shù)據(jù)表明用于推導(dǎo)第二空間脈沖響應(yīng)的聲源與接收器之間的相互 關(guān)系。所述方案提供估計(jì)結(jié)果的進(jìn)一步提高的質(zhì)量。
[0028] 在同樣地根據(jù)第一方面或根據(jù)本發(fā)明的第一方面的前述實(shí)施形式中的任一者的 裝置的第九實(shí)施形式中，所述處理元件進(jìn)一步用于針對所述第一對空間脈沖響應(yīng)的多個(gè)子 帶分區(qū)在多個(gè)不同采樣時(shí)間內(nèi)確定第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)的能量分布之 間的差異;單獨(dú)地針對每個(gè)子帶分區(qū)設(shè)置所述多個(gè)采樣時(shí)間中的一個(gè)采樣時(shí)間作為對應(yīng)的 子帶分區(qū)的混合時(shí)間，在所述混合時(shí)間內(nèi)用于相應(yīng)的子帶分區(qū)的第一空間脈沖響應(yīng)與第二 空間脈沖響應(yīng)的能量分布之間的差異等于或低于闊值;基于所述多個(gè)子帶分區(qū)的混合時(shí)間 確定總體混合時(shí)間。運(yùn)種方案也在給出BRIR的子帶表示的情況下提供穩(wěn)固且精確的估計(jì)。
[0029] 在同樣地根據(jù)第一方面或根據(jù)本發(fā)明的第一方面的前述實(shí)施形式中的任一者的 裝置的第十實(shí)施形式中，闊值或者是預(yù)先確定的，或者處理元件用于基于與第一對空間脈 沖響應(yīng)相關(guān)聯(lián)的元數(shù)據(jù)推導(dǎo)闊值，所述元數(shù)據(jù)至少表明房間的特性，基于所述房間的特性 推導(dǎo)出第一對空間脈沖響應(yīng)。
[0030] 本發(fā)明的第二方面提供用于對音頻信號(hào)解碼的音頻解碼器，所述音頻解碼器包括 用于至少基于第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置，如因此在第一方面或在本發(fā) 明的第一方面的前述實(shí)施形式中的任一者中所定義的。
[0031] 本發(fā)明的第=方面提供用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的 方法。所述方法包括:在所述第一對空間脈沖響應(yīng)的多個(gè)不同采樣時(shí)間內(nèi)確定第一對空間 脈沖響應(yīng)的第一空間脈沖響應(yīng)與第一對空間脈沖響應(yīng)的第二空間脈沖響應(yīng)的能量分布之 間的差異;設(shè)置所述多個(gè)采樣時(shí)間的一個(gè)采樣時(shí)間作為用于第一對空間脈沖響應(yīng)的混合時(shí) 間，在所述混合時(shí)間內(nèi)第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)的能 量分布之間的差異等于或低于闊值;基于第一對空間脈沖響應(yīng)的混合時(shí)間確定總體混合時(shí) 間。
[0032] 在根據(jù)本發(fā)明的第=方面的方法的第二實(shí)施形式中，所述第一對空間脈沖響應(yīng)是 雙聲道脈沖響應(yīng)(包括第一空間脈沖響應(yīng)(例如，對應(yīng)于右耳記錄位置)和第二空間脈沖響 應(yīng)(例如，對應(yīng)于左耳記錄位置））。
[0033] 在同樣地根據(jù)第=方面或根據(jù)第一實(shí)施形式的方法的第二實(shí)施形式中，所述總體 混合時(shí)間是基于多對空間脈沖響應(yīng)估計(jì)的，所述第一對空間脈沖響應(yīng)包括在多對空間脈沖 響應(yīng)中。所述方法包括每一對所述的空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈沖響 應(yīng)分別在多個(gè)不同采樣時(shí)間內(nèi)的能量分布之間的差異;為所述多對脈沖響應(yīng)中的每一對脈 沖響應(yīng)設(shè)置多個(gè)采樣時(shí)間中的一個(gè)采樣時(shí)間作為所述相應(yīng)的對的空間脈沖響應(yīng)的混合時(shí) 間，在所述混合時(shí)間內(nèi)相應(yīng)的對的空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng) 的能量分布之間的差異等于或低于闊值;基于所述多個(gè)空間脈沖響應(yīng)中的每一個(gè)的混合時(shí) 間確定總體混合時(shí)間。
[0034] 在根據(jù)第二實(shí)施形式的方法的第=實(shí)施形式中，所述方法進(jìn)一步包括基于多對空 間脈沖響應(yīng)的混合時(shí)間的平均確定總體混合時(shí)間的步驟。
[0035] 在根據(jù)第二或第=實(shí)施形式的方法的第四實(shí)施形式中，所述方法進(jìn)一步包括至少 針對多對空間脈沖響應(yīng)的部分對所確定的混合時(shí)間進(jìn)行加權(quán)的步驟；W及基于加權(quán)混合時(shí) 間確定總體混合時(shí)間的步驟。
[0036] 在根據(jù)第=實(shí)施形式的方法的第五實(shí)施形式中，所述方法進(jìn)一步包括基于與相應(yīng) 的對的空間脈沖響應(yīng)的第一空間脈沖響應(yīng)相關(guān)聯(lián)的第一元數(shù)據(jù)并且基于與相應(yīng)的對的空 間脈沖響應(yīng)的第二空間脈沖響應(yīng)相關(guān)聯(lián)的第二元數(shù)據(jù)對多個(gè)空間脈沖響應(yīng)的所述部分的 每一對空間脈沖響應(yīng)的混合時(shí)間進(jìn)行加權(quán)，所述第一元數(shù)據(jù)表明用于推導(dǎo)相關(guān)聯(lián)的第一空 間脈沖響應(yīng)的聲源與接收器之間的相互關(guān)系，所述第二元數(shù)據(jù)表明用于推導(dǎo)相關(guān)聯(lián)的第二 空間脈沖響應(yīng)的聲源與接收器之間的相互關(guān)系。
[0037] 在同樣地根據(jù)第=方面或根據(jù)第=方面的前述實(shí)施形式中的任一者的方法的第 六實(shí)施形式中，所述方法進(jìn)一步包括使用能量衰減曲線作為所述能量分布和反向累積能量 差異衰減曲線W用于確定能量衰減曲線之間的所述差異。
[0038] 在根據(jù)第五實(shí)施形式的方法的第屯實(shí)施形式中，所述方法進(jìn)一步包括在所述反向 累積能量差異衰減曲線中使用平滑能量差異或者在所述反向累積能量差異衰減曲線中使 用直接能量差異或在所述反向累積能量差異衰減曲線中使用幅值差異或在所述反向累積 能量差異衰減曲線中使用等級差異。
[0039] 在同樣地根據(jù)第=方面或根據(jù)第=方面的前述實(shí)施形式中的任一者的方法的第 八實(shí)施形式中，所述方法進(jìn)一步包括推導(dǎo)第一脈沖響應(yīng)與第二脈沖響應(yīng)的能量分布之間的 差異，使得所述差異可通過W下表達(dá)式計(jì)算
[0040]
[0041] 其中DEDC[n]是在采樣時(shí)間n處第一脈沖響應(yīng)與第二脈沖響應(yīng)的能量分布之間的 差異，彩是超的暫時(shí)平滑版本，I ? I指代絕對值，hi[k]是在采樣時(shí)間k處第一脈沖響應(yīng)的 值，h2[k]是在采樣時(shí)間k處第二空間脈沖響應(yīng)的值，并且P是第一對空間脈沖響應(yīng)的空間脈 沖響應(yīng)的長度。
[0042] 在同樣地根據(jù)第=方面或根據(jù)第=方面的前述實(shí)施形式中的任一者的方法的第 九實(shí)施形式中，所述方法進(jìn)一步包括基于與第一空間脈沖響應(yīng)相關(guān)聯(lián)的第一元數(shù)據(jù)W及與 第二空間脈沖響應(yīng)相關(guān)聯(lián)的第二元數(shù)據(jù)確定出自可用的空間脈沖響應(yīng)的全集的第一對脈 沖響應(yīng)，所述第一元數(shù)據(jù)表明用于推導(dǎo)第一空間脈沖響應(yīng)的聲源與接收器之間的相互關(guān) 系，并且所述第二元數(shù)據(jù)表明用于推導(dǎo)第二空間脈沖響應(yīng)的聲源與接收器之間的相互關(guān) 系。
[0043] 在同樣地根據(jù)第=方面或根據(jù)第=方面的前述實(shí)施形式中的任一者的方法的第 十實(shí)施形式中，所述方法進(jìn)一步包括:針對第一對空間脈沖響應(yīng)的多個(gè)子帶分區(qū)在多個(gè)不 同采樣時(shí)間內(nèi)確定第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)的能量分布之間的差異;針對每 個(gè)子帶分區(qū)單獨(dú)地設(shè)置多個(gè)采樣時(shí)間中的采樣時(shí)間作為對應(yīng)的子帶分區(qū)的混合時(shí)間，在所 述混合時(shí)間內(nèi)相應(yīng)的子帶分區(qū)的第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)的能量分布之間 的差異等于或低于闊值;基于多個(gè)子帶分區(qū)的混合時(shí)間確定總體混合時(shí)間。
[0044] 在同樣地根據(jù)第=方面或根據(jù)第=方面的前述實(shí)施形式中的任一者的方法的第 十一實(shí)施形式中，闊值是預(yù)先確定的；或者所述方法進(jìn)一步包括基于與第一對空間脈沖響 應(yīng)相關(guān)聯(lián)的元數(shù)據(jù)推導(dǎo)闊值，所述元數(shù)據(jù)至少表明房間的特性，基于所述房間的特性推導(dǎo) 出第一對空間脈沖響應(yīng)。
[0045] 本發(fā)明的第四方面提供一種包括程序代碼的計(jì)算機(jī)程序，所述程序代碼當(dāng)在計(jì)算 機(jī)上運(yùn)行時(shí)用于執(zhí)行同樣地根據(jù)第=方面或根據(jù)本發(fā)明的第=方面的實(shí)施形式中的任一 者的方法。
[0046] 本發(fā)明的上述第一、第二、第=和第四方面W有利的方式解決了上述目標(biāo)。其它有 利的但是可選的實(shí)施方案定義在各種上述實(shí)施形式中。通常，必須注意，在本申請案中所描 述的所有布置、裝置、元件、單元和構(gòu)件等可W通過軟件或硬件元件或其任何種類的組合來 實(shí)施。通過本申請案中所描述的各種實(shí)體執(zhí)行的所有步驟W及描述成將通過各種實(shí)體執(zhí)行 的功能性意圖意味著相應(yīng)的實(shí)體用于(adapted to)或用于konfigured to)執(zhí)行相應(yīng)的步 驟和功能性。即使在W下對具體實(shí)施例的描述中，將由一般實(shí)體執(zhí)行的具體功能性或步驟 并未反映在執(zhí)行所述具體步驟或功能性的所述實(shí)體的具體詳細(xì)元件的描述中，所屬領(lǐng)域的 技術(shù)人員也應(yīng)該清楚，運(yùn)些方法和功能性可W用相應(yīng)的軟件或硬件元件或其任何種類的組 合實(shí)施。另外，本發(fā)明的方法W及其各步驟實(shí)施于各種所描述裝置元件的功能性中。
【附圖說明】
[0047] 本發(fā)明的上述方面和實(shí)施方案將在W下關(guān)于附圖的對具體實(shí)施例的描述中得到 說明，其中
[0048] 圖1示出了用于兩個(gè)虛擬揚(yáng)聲器的雙聲道濾波一個(gè)示意性實(shí)例，
[0049] 圖2示出了說明混合時(shí)間的空間脈沖響應(yīng)的一個(gè)實(shí)例，
[0050] 圖3示出了典型房間中的空間脈沖響應(yīng)的一個(gè)實(shí)例，
[0051] 圖4示出了根據(jù)本發(fā)明的實(shí)施例的具有四信道音頻內(nèi)容的MPEG-H 3D音頻解碼器 的示意性框圖，所述音頻解碼器包括具有處理元件的裝置，
[0052] 圖5示出了根據(jù)本發(fā)明的實(shí)施例的圖4中所示的音頻解碼器的雙聲道擅染器和處 理元件的示意性框圖，
[0053] 圖6示出了在相同房間中的不同位置處記錄的若干空間脈沖響應(yīng)的不同能量衰減 曲線（ene;rgy decay curve,邸C)的實(shí)例，
[0化4] 圖7a在房間中的不同位置處記錄的兩個(gè)空間脈沖響應(yīng)(room impulse response, RIR)的能量衰減曲線（ene;rgy decay curve,邸C)，
[0055] 圖7b圖7a中所示的兩個(gè)RIR的對應(yīng)的差分能量衰減曲線（differential energy decay 州;rve，D邸C)，
[0056] 圖8示出了根據(jù)本發(fā)明的實(shí)施例的如在雙聲道擅染器中實(shí)施的用于雙聲道空間脈 沖響應(yīng)(binaural room impulse response,BRIR)的混合時(shí)間估計(jì)的流程圖的示意性概 述，
[0057] 圖9示出了根據(jù)本發(fā)明的實(shí)施例的如在擅染器中實(shí)施的多個(gè)RIR對的混合時(shí)間估 計(jì)的方法的示意性流程圖，
[0058] 圖10是比較使用本發(fā)明的實(shí)施例的混合時(shí)間的估計(jì)與用于子帶處理的常規(guī)方法 的實(shí)例圖，W及
[0059] 圖11示出了比較使用本發(fā)明的實(shí)施例的混合時(shí)間的估計(jì)與常規(guī)方法的另一示意 圖。
【具體實(shí)施方式】
[0060] 作為根據(jù)本發(fā)明的實(shí)施例的裝置的一個(gè)實(shí)施方案實(shí)例，圖4示出了用于四信道音 頻內(nèi)容的實(shí)例的MPEG-H 3D音頻解碼器200的示意性框圖，W便在此類音頻解碼器中形象化 雙聲道擅染器205的位置。除了將在下文中說明的處理元件305之外所示的音頻解碼器200 的各種元件對應(yīng)于MPEG標(biāo)準(zhǔn)和具體實(shí)例的MPEG-H標(biāo)準(zhǔn)的音頻解碼器的常見且已知的元件， 因此針對相應(yīng)的標(biāo)準(zhǔn)文檔作出參考并且省略每個(gè)元件的詳細(xì)描述。
[0061] 然而，如針對圖4的本發(fā)明的四信道實(shí)例可見，多信道音頻信號(hào)，例如，mp3或mp4， 輸入到音頻解碼器200的解碼器210,所述解碼器對信號(hào)進(jìn)行解碼W獲得多信道音頻信號(hào)， 并且之后進(jìn)行一些進(jìn)一步處理，所述信號(hào)在混合器215中混合到輸出音頻信道的相應(yīng)地所 需的或設(shè)計(jì)的數(shù)目。在雙聲道擅染器205中，此實(shí)例的四個(gè)信道是通過如關(guān)于圖1所描述的 傳遞函數(shù)H相應(yīng)地被濾波的W便獲得雙聲道信號(hào)Ls和Rs,所述信號(hào)隨后輸入到頭戴式耳機(jī) 220或類似物。應(yīng)注意本發(fā)明的實(shí)施例不限于四信道實(shí)例，并且可W應(yīng)用于任何數(shù)目的信 道。并且，本發(fā)明的實(shí)施例不限于MPEG應(yīng)用；因?yàn)樗鼈兛蒞在其它音頻編碼和立體聲音頻擅 染環(huán)境中實(shí)施。
[0062] 換句話說，雖然本發(fā)明的實(shí)施例是使用MPEG解碼器200的實(shí)例在本申請案中描述 的，但是本發(fā)明的大部分單個(gè)實(shí)施例可W由包括處理元件305的裝置形成，將在下文中說明 所述處理元件。
[0063] 如圖4的實(shí)例中所示需要技術(shù)來減小雙聲道擅染器205中的計(jì)算復(fù)雜性，W保持系 統(tǒng)的時(shí)延在合理的值下并且傳遞高品質(zhì)音頻體驗(yàn)。在MPEG中，已經(jīng)研發(fā)出高品質(zhì)但又低復(fù) 雜性的雙聲道擅染器，所述擅染器利用若干技術(shù)來減小復(fù)雜性。降低質(zhì)量同時(shí)保持最高可 能的質(zhì)量的一部分是將BRIR分成不同部分并且采用不同的濾波策略W用于不同部分中的 每一個(gè)。
[0064] 圖5現(xiàn)在示出了圖4中所示的音頻解碼器的雙聲道擅染器205的元件W及根據(jù)本發(fā) 明的實(shí)施例的處理元件305的示意性框圖。處理元件305是例如如圖所示的BRIR參數(shù)化元件 305,其連接到雙聲道擅染器205。在參數(shù)化元件305中，相應(yīng)的BRIR分成直接和早期(direct and early，D&E)部分315W及晚期混響部分320。隨后，運(yùn)兩個(gè)部分中的每一個(gè)在雙聲道擅 染器205中W不同方式進(jìn)行濾波。通常是短暫的D&E部分315W最高質(zhì)量濾波W實(shí)現(xiàn)良好的 局部化性能。然而，由于包含房間的混響而可W非常長的晚期混響部分320W較低分辨率在 雙聲道擅染器205中濾波。雖然晚期混響是在第一近似中并不取決于測量位置的房間的特 性，但是攜帶直接正面和早期反射的脈沖響應(yīng)的早期部分必須是?？诮５牟⑶覇为?dú)地考 慮收聽者100和揚(yáng)聲器105、110的位置(參考圖1)。
[0065] BRIR的早期部分315設(shè)及特定揚(yáng)聲器和輸入信道，運(yùn)意味著每個(gè)輸入信道必須通 過對應(yīng)的早期BRIR濾波W便提供實(shí)際的再現(xiàn)。另一方面，晚期部分320并不取決于揚(yáng)聲器的 特定位置，但是實(shí)質(zhì)上對于相應(yīng)的房間內(nèi)的所有位置是相同的。因此，沒有必要通過相應(yīng)的 BRIR的晚期部分320對每個(gè)信道進(jìn)行濾波。實(shí)際上，有可能W相同的晚期部分320對每個(gè)信 道進(jìn)行濾波。因此，在雙聲道擅染器205中，全部信道的總和通過相同晚期部分320進(jìn)行直接 濾波。另一方面，早期部分315是針對每個(gè)信道單獨(dú)地被濾波的。僅在輸出信道(給定實(shí)例中 的兩個(gè)輸出信道并且并非全部是輸入通道，例如是22個(gè)信道)上執(zhí)行晚期部分320的濾波， 引起復(fù)雜性的大幅度減小。減小濾波操作(卷積)本身的進(jìn)一步優(yōu)化引起就計(jì)算復(fù)雜性而言 的甚至更加增強(qiáng)的性能。
[0066] 本發(fā)明的實(shí)施例大體上設(shè)及用于基于至少第一對空間脈沖響應(yīng)(room impulse responses，RIR)估計(jì)總體混合時(shí)間的裝置和方法。
[0067] 此類裝置包括如圖4和5所示的處理元件305。因此圖2中所示的音頻解碼器200形 成根據(jù)本發(fā)明的實(shí)施例的裝置或至少包括此類裝置。
[0068] 根據(jù)本發(fā)明的實(shí)施例的裝置，例如音頻解碼器200,包括處理元件305,所述處理元 件用于執(zhí)行各種功能性，如將在下文中進(jìn)一步詳細(xì)說明的。此處理元件305是作為單獨(dú)處理 元件例如在如圖5中所示的參數(shù)化元件中實(shí)施的或是如圖5中所示的參數(shù)化元件的一部分。 一般而言，裝置200的處理元件305用于確定在第一對空間脈沖響應(yīng)的多個(gè)不同采樣時(shí)間內(nèi) 第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第一對空間脈沖響應(yīng)的第二空間脈沖響應(yīng)的 能量分布之間的差異。此外，處理元件305用于設(shè)置多個(gè)采樣時(shí)間中的一個(gè)采樣時(shí)間為第一 對空間脈沖響應(yīng)的混合時(shí)間，此處第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈 沖響應(yīng)的能量分布之間的差異等于或低于闊值，并且用于基于第一對空間脈沖響應(yīng)的混合 時(shí)間確定總體混合時(shí)間。第一對空間脈沖響應(yīng)或稍后所描述的多對空間脈沖響應(yīng)是例如存 儲(chǔ)在音頻解碼器200中的數(shù)據(jù)庫中或存儲(chǔ)在處理元件305的存儲(chǔ)器元件中。根據(jù)本發(fā)明的實(shí) 施例的處理元件305隨后根據(jù)下文中說明的各種實(shí)施例和實(shí)施細(xì)節(jié)確定總體混合時(shí)間。
[0069] 在混合時(shí)間的一般概念中，通過房間中的來源省略的聲音直接到達(dá)接收器(收聽 者、麥克風(fēng)或類似物）。運(yùn)被稱作直接路徑。直接路徑聲音后面是由房間的墻壁上的低階反 射產(chǎn)生一些離散早期反射。隨后反射的密度增大直至被稱作混合時(shí)間的時(shí)間為止，此時(shí)個(gè) 體反射變得不可區(qū)分(高反射密度）。運(yùn)已經(jīng)在上文中關(guān)于圖2和3說明，但是相同地適用于 本發(fā)明的實(shí)施例和實(shí)施方案。在遍歷性的房間中，能量逐漸地在空間和時(shí)間上變?yōu)榫嘞?弱的，運(yùn)意味著流過房間中的任意表面的均勻的能量W及房間中的每個(gè)位置中的恒定能量 密度。因此，對于遍歷性的房間，在混合時(shí)間之后，能量流動(dòng)并且密度將W相同方式在房間 中的任一點(diǎn)中衰減并且因此在房間中的任意位置處測量的全部脈沖響應(yīng)將具有相同能量 衰減分布。換句話說，遍歷性系統(tǒng)具有針對時(shí)間平均與針對空間平均的相同行為。事件的一 個(gè)順序的時(shí)間平均與集合的平均相同。在現(xiàn)實(shí)世界的房間中，遍歷性假設(shè)通常并不成立，并 且可W受到房間中的吸收的不均勻分配、禪合房間、極小房間、靠近墻壁和/或低頻率模態(tài) 行為的限制。然而，因?yàn)殡p聲道化的目標(biāo)是再現(xiàn)令人愉快的收聽體驗(yàn)，所W用于雙聲道化內(nèi) 容的常見BRIR表示聲學(xué)上最佳的收聽房間。在此類房間中所提到的限制通常并不成立。本 發(fā)明人已經(jīng)發(fā)現(xiàn)為了估計(jì)混合時(shí)間和實(shí)際雙聲道化應(yīng)用，可W假定遍歷性。因此，可W假定 RIR的晚期混響部分315獨(dú)立于房間內(nèi)的位置。換句話說，基于遍歷性假設(shè)可W說在混合時(shí) 間之后，能量分布對于在相同房間內(nèi)在任意位置處測量的全部RI時(shí)尋是相同的。
[0070] 如上文所提及，用于估計(jì)總體混合時(shí)間W及其它特征的本發(fā)明的實(shí)施例是基于在 一對空間脈沖響應(yīng)的多個(gè)不同采樣時(shí)間內(nèi)所述一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與 第二空間脈沖響應(yīng)的能量分布之間的差異的確定的。由此，本發(fā)明的實(shí)施例有利地且可選 地建議使用向后集成能量差衰減曲線用于確定能量分布之間的所述差異。此類向后集成能 量衰減曲線也被稱為施羅德能量衰減曲線巧nergy Decay CurveJDC),其相當(dāng)于平均若干 測量結(jié)果。運(yùn)些曲線的主要益處在于它們總是降低的并且與例如表示在任何時(shí)刻處的能量 的平方脈沖響應(yīng)相比是更加平滑的。因此，向后集成能量衰減曲線提供穩(wěn)固能量衰減分布 估計(jì)。
[0071] 給定長度P的脈沖響應(yīng)h，其中時(shí)間索引n G {1，. . .，P}，能量衰減曲線邸C被定義為 向后集成舘縣
[0072]
[0073] 按照此定義，EDC[1]是脈沖響應(yīng)h的完全的能量。
[0074] 圖6示出針對在相同房間中記錄的一組脈沖響應(yīng)的此類抓C的若干不同實(shí)例。X軸 W樣本定義時(shí)間并且Y軸定義能量。運(yùn)些曲線是房間聲學(xué)的重要部分，例如，混響時(shí)長是傳 統(tǒng)上使用在例如減去60地處的邸C上的闊值定義的。
[0075] 如上文所陳述，在遍歷性條件中，對應(yīng)于在房間中的不同點(diǎn)處測量的2或更大RIR 的邸C在早期部分中是最為不同的并且在晚期部分處是高度類似的。此效應(yīng)可W在圖6中觀 察到，其中抓C示出早期部分中的較大變化W及到晚期部分中的相同值的轉(zhuǎn)換。在有利的且 可選的實(shí)施方案中本發(fā)明的實(shí)施例現(xiàn)在建議使用差分能量衰減曲線（differential energy decay curve,DEDC)，W用于如下捕獲在房間中的不同點(diǎn)處測量的RIR的能量差的 衰減分布。
[0076] 給定兩個(gè)RIR，在房間中的不同點(diǎn)化測量的長度P樣本的hi、h2被定義為
[0077]
[0078] 其中巧是跨的暫時(shí)平滑版本并且I ? I是指絕對值。
[0079] 雙聲道空間脈沖響應(yīng)的情況可W被認(rèn)為是特殊情況，因?yàn)槿梭w模型頭部的兩只耳 朵中的兩個(gè)麥克風(fēng)在同時(shí)且不同位置（左耳、右耳）處提供兩個(gè)脈沖響應(yīng)化L，hR)。雙聲道 D邸(Xbinaural DEDC，B-D邸C)被定義為
[0080]
[0081 ] 如從運(yùn)些等式中可見，D抓CW及B-DEDC可W被視為捕獲兩個(gè)RIR的能量差的衰減 的反向累積能量差衰減曲線。
[0082] 用于計(jì)算能量差的若干量度是可能的
[0083]
[0084]
[0085] ?幅值差I(lǐng)hi山I-|h2山
[00 化].等級差201〇邑（|111比]|)-201〇邑（|112比]|)
[0087] 由此，給定計(jì)算成果和混合時(shí)間的結(jié)果的精確性，平滑能量差的使用可W是有利 的。
[0088] 圖7a示出了在相同房間中的不同位置處測量的RIR的兩個(gè)抓CdX軸定義時(shí)間并且Y 軸定義能量。顯然，能量衰減中的差異大部分位于早期部分中。因此，如圖7b中所示的所得 DEDC在早期部分中呈現(xiàn)較大值并且迅速朝向零聚集。X軸W樣本定義時(shí)間并且Y軸定義能 量。理想地，在混合時(shí)間之后DEDC將是零。然而，實(shí)際上，如通過本發(fā)明的實(shí)施例執(zhí)行的在 DEDC上設(shè)置闊值將向所估計(jì)的混合時(shí)間傳遞合理的計(jì)算努力和良好的且可靠的結(jié)果。本發(fā) 明的實(shí)施例建議捜索值n，對于所述值DEDC或抓抓C第一次低于闊值。此值n隨后形成混合時(shí) 間。在圖7a和7b的實(shí)例中，混合時(shí)間W樣本或樣本數(shù)目表示，然而，W例如ms的時(shí)間單位的 表示也是可能的。一般而言，我們說采樣時(shí)間涵蓋運(yùn)兩種表示（W時(shí)間單位W及W樣本數(shù) 目）。
[0089 ]圖8示出了用于考慮例如在房間中測量的N元件BRIR體來估計(jì)房間的混合時(shí)間的 方法的示意性流程圖，所述N元件BRIR庫即，一組N個(gè)BRIR。對于全部N個(gè)BRIR，在第一步驟 810中兩個(gè)對應(yīng)的響應(yīng)，即，左信道和右信道，是時(shí)間對齊的，并且隨后在步驟820中針對每 個(gè)對計(jì)算B-DEDC。為了從B-DEDC中推導(dǎo)混合時(shí)間，使用闊值。闊值可W是預(yù)設(shè)的（固定的）， 或者可W根據(jù)房間的一些特性調(diào)適并且可變，例如，其混響時(shí)長(reverberation time， RT)，運(yùn)可能在第二選項(xiàng)中，例如，在步驟880中從BRIR數(shù)據(jù)庫870中的房間信息中推導(dǎo)。在所 述實(shí)例中，房間信息是混響時(shí)長，然而，可W使用房間的其它適當(dāng)?shù)膮?shù)。在步驟830中B- DEDC低于闊值的樣本索引或采樣時(shí)間被確定為相應(yīng)的混合時(shí)間W用于所評估的BRIR。在樣 本索引1處所述闊值可W來自B-DEDC例如在-18地與-23地之間（包含）。N個(gè)混合時(shí)間估計(jì)來 自此操作的結(jié)果(針對混合時(shí)間上的每個(gè)BRIR推導(dǎo)估計(jì)）。隨后在步驟850中對N個(gè)混合時(shí)間 進(jìn)行平均和存儲(chǔ)，W便在步驟860中獲得房間的總體混合時(shí)間?？蛇x地，可W實(shí)施額外的加 權(quán)步驟840，此步驟給予每個(gè)對一個(gè)權(quán)重。房間中的某些位置可W接收較低或較高權(quán)重，因 為它們可W是不太可靠或更加可靠的。舉例來說，來自人體模型頭部(參看圖1)的正面或背 部中居中的來源的BRIR測量結(jié)果并不提供可靠的估計(jì)。因?yàn)榱硗鈱τ谠缙诓糠?，左耳和?耳中的BRIR的兩個(gè)響應(yīng)可W被視作相等或至少非常類似，所W估計(jì)是不可靠的。對于任何 時(shí)間值，B-DEDC將在理論上等于零。因此，在步驟840中對應(yīng)于居中位置的BRIR的權(quán)重可W 設(shè)置成零。
[0090] 圖9示出了根據(jù)本發(fā)明的實(shí)施例的考慮例如在房間中測量的2N元件RIR庫的用于 估計(jì)房間的混合時(shí)間的方法的流程圖。在第一步驟905中，兩個(gè)RIR選自RIR數(shù)據(jù)庫970,隨后 在步驟910中響應(yīng)是時(shí)間對齊的并且隨后在步驟920中針對每個(gè)對計(jì)算DEDC。為了在步驟 930中從DEDC中推導(dǎo)混合時(shí)間，W與關(guān)于圖8的步驟830描述的相同方式設(shè)置闊值，所述闊值 可W是固定的或適用于房間的一些特性，例如，其混響時(shí)長(reverberation time,RT)。在 樣本索引1處闊值可W距離(所選擇的對的）D抓C例如在-18地和-23地之間（包含）。在步驟 930中DEDC低于闊值的樣本索引或采樣時(shí)間被確定為相應(yīng)的混合時(shí)間。在步驟930中N個(gè)混 合時(shí)間估計(jì)可W由此操作引起。隨后對混合時(shí)間進(jìn)行平均W便獲得房間的最終或總體混合 時(shí)間。對于此步驟，可選地加權(quán)平均可W通過在步驟940中將權(quán)重給予所述對來計(jì)算。舉例 來說，房間中的某些位置可W實(shí)現(xiàn)較低或較高權(quán)重，因?yàn)樗鼈兛蒞是不太可靠或更加可靠 的。對于兩個(gè)緊密測量的RIR或在相對于房間幾何形狀對稱的位置中測量的兩個(gè)RIR關(guān)于加 權(quán)的與關(guān)于圖8作出的考量類似的考量也成立。在步驟905中執(zhí)行RIR區(qū)段的RIR對選擇模塊 可W包含智能選擇過程，所述過程考慮通過所考慮對傳送的有效信息優(yōu)化選擇。作為一個(gè) 實(shí)例，所述RIR的對可W經(jīng)選擇使得多個(gè)RIR組合成RIR的對，所述對(可能)具有它們的能量 分布中的最高差異。RIR對的此選擇可W基于單個(gè)RIR的元數(shù)據(jù)，另外加權(quán)也是如此。表明聲 源與接收器之間的相互關(guān)系的元數(shù)據(jù)用于推導(dǎo)相關(guān)聯(lián)的空間脈沖響應(yīng)。
[0091] 必須注意的是關(guān)于圖8和9的流程圖所示出和說明的各種步驟可W通過處理元件 305中的相應(yīng)的功能實(shí)體或元件實(shí)施。在本發(fā)明的最簡單的實(shí)施例中，總體混合時(shí)間僅從第 一對空間脈沖響應(yīng)中推導(dǎo)。在此簡單實(shí)施例中，總體混合時(shí)間等于針對第一對空間脈沖響 應(yīng)估計(jì)的混合時(shí)間。
[0092] 根據(jù)本發(fā)明的另一實(shí)施例，D抓C或B-DEDC也可W從子帶表示中計(jì)算。由此，處理元 件305用于針對第一對空間脈沖響應(yīng)的多個(gè)子帶分區(qū)在多個(gè)不同采樣時(shí)間內(nèi)確定第一空間 脈沖響應(yīng)與第二空間脈沖響應(yīng)的能量分布之間的差異。此外，處理元件305用于針對每個(gè)子 帶分區(qū)單獨(dú)地設(shè)置多個(gè)采樣時(shí)間中的采樣時(shí)間作為對應(yīng)的子帶分區(qū)的混合時(shí)間，對于相應(yīng) 的子帶分區(qū)在所述混合時(shí)間內(nèi)第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)的能量分布之間的 差異等于或低于闊值。此外，對于多個(gè)子帶分區(qū)處理元件305用于基于混合時(shí)間確定總體混 合時(shí)間。
[0093] 在運(yùn)種情況下，一對脈沖響應(yīng)(BRIR或在步驟905中所選擇的）的空間脈沖響應(yīng)hi、 h2首先使用例如濾波器組被拆分成B頻率子帶扣，的，6￡ {1，...，B}。隨后，針對每個(gè)子帶 A，的推導(dǎo)混合時(shí)間估計(jì)，產(chǎn)生B子帶混合時(shí)間估計(jì)。
[0094] 基于子帶混合時(shí)間估計(jì)，可W估計(jì)出總體混合時(shí)間。
[0095] 在圖10中X軸定義子帶索引并且Y軸W樣本定義所估計(jì)的混合時(shí)間，從圖10中可W 看出在本申請案中所描述的概念也穩(wěn)固地處理子帶下采樣響應(yīng)，例如，通過MPEG-H解碼器 的正交鏡像濾波器(如a化別ure Mirror Fi 1 ter，QMF)所提供的那些：圖10示出在通?？紤] 48個(gè)第一 QMF子帶在與高斯估計(jì)量的結(jié)果進(jìn)行比較中示出的情況下的子帶混合估計(jì)時(shí)間 值。
[0096] 圖10說明由于估計(jì)指標(biāo)DEDC的單調(diào)行為的所描述的概念的增大的穩(wěn)固性。傳統(tǒng)的 統(tǒng)計(jì)方法，例如，高斯方法是更加不穩(wěn)定的。尤其對于上述子帶下采樣表示，例如，借助于 QMF過濾器組，如在圖10中所反映的，運(yùn)種增大的穩(wěn)固性實(shí)際上是顯著的。
[0097] 在圖10中，圓形標(biāo)記1001對應(yīng)于從在28個(gè)BRIR上平均的B-DEDC中推導(dǎo)的子帶MT 值。直線特征線1003對應(yīng)于B-DEDC的子帶平均。星標(biāo)記示出使用常規(guī)的高斯近似推導(dǎo)的 1005子帶混合時(shí)間值（點(diǎn)直線1007是它們的平均）。如可見，B-D抓C更好地反映了用于低頻 率的較長混合時(shí)間W及用于高頻率的短暫混合時(shí)間的物理行為。
[0098] 圖11示出了用于MPEG情境中的給定BRIR的若干混合時(shí)間估計(jì)。X軸W樣本定義時(shí) 間并且Y軸定義幅值。如由DEDC提供的3800個(gè)樣本的混合時(shí)間（約80毫秒)是通過目視檢查 獲得的并且是此房間普遍接受的。
[0099] 圖11示出了第一白色箭頭1101和第二白色箭頭1103,所述第一白色箭頭對應(yīng)于在 子帶(SUbbancUSB)情境中使用高斯估計(jì)的混合時(shí)間估計(jì)，所述第二白色箭頭對應(yīng)于在滿帶 (化UbancUFB)情境中使用高斯估計(jì)的混合時(shí)間估計(jì)。對于子帶中的高斯估計(jì)，顯然不考慮 一個(gè)主要反射。此外，高斯結(jié)果對于滿帶(化Uband, FB)和子帶（subband ,SB)域是不一致的 (兩個(gè)白色箭頭相差很多）。
[0100] 另外，圖11示出了第一黑色箭頭1105和第二黑色箭頭1107,所述第一黑色箭頭對 應(yīng)于在子帶（SUbbancUSB)情境中使用本發(fā)明的實(shí)施例(基于DEDC)的混合時(shí)間估計(jì)，所述第 二黑色箭頭對應(yīng)于在滿帶(fuUbancUFB)情境中使用本發(fā)明的實(shí)施例的混合時(shí)間估計(jì)。
[0101] 由于DEDC的單調(diào)行為，根據(jù)本發(fā)明的實(shí)施例從DEDC中推導(dǎo)的混合時(shí)間（黑色箭頭 1105、1107)在2個(gè)背景中是更加穩(wěn)固的并且一致的，并且更加接近從目視檢查中推導(dǎo)的 3800個(gè)樣本的混合時(shí)間的預(yù)期值。
[0102] 已經(jīng)結(jié)合作為實(shí)例的不同實(shí)施例W及實(shí)施方案描述了本發(fā)明。然而，可由所屬領(lǐng) 域的技術(shù)人員在實(shí)踐所主張的本發(fā)明時(shí)從圖式、掲示內(nèi)容和獨(dú)立權(quán)利要求的研究理解并實(shí) 現(xiàn)其它變化。在權(quán)利要求書和說明書中，詞語"包括"不排除其它元素或步驟，不定冠詞"一" 不排除多個(gè)。單個(gè)元素或其他單元可W完成權(quán)利要求中描述的幾個(gè)實(shí)體或器件的功能。在 僅憑某些措施被記載在相互不同的權(quán)利要求書中運(yùn)個(gè)單純的事實(shí)并不意味著運(yùn)些措施的 結(jié)合不能被有效地使用。
【主權(quán)項(xiàng)】
1. 一種用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置（200)，其特征在 于，所述裝置包括 處理元件(305)，用于 在所述第一對空間脈沖響應(yīng)的多個(gè)不同采樣時(shí)間內(nèi)確定所述第一對空間脈沖響應(yīng)的 第一空間脈沖響應(yīng)與所述第一對空間脈沖響應(yīng)的第二空間脈沖響應(yīng)的能量分布之間的差 異， 設(shè)置所述多個(gè)采樣時(shí)間中的一個(gè)采樣時(shí)間為所述第一對空間脈沖響應(yīng)的混合時(shí)間，在 所述混合時(shí)間內(nèi)所述第一對空間脈沖響應(yīng)的所述第一空間脈沖響應(yīng)與所述第二空間脈沖 響應(yīng)的所述能量分布之間的所述差異等于或低于闊值， 基于所述第一對空間脈沖響應(yīng)的所述混合時(shí)間確定所述總體混合時(shí)間。2. 根據(jù)權(quán)利要求1所述的裝置(200)， 其特征在于，所述裝置用于基于多對空間脈沖響應(yīng)估計(jì)所述總體混合時(shí)間，所述第一 對空間脈沖響應(yīng)包括在所述多對空間脈沖響應(yīng)中，并且 其中所述處理元件(305)進(jìn)一步用于 針對多對脈沖響應(yīng)中的每一對脈沖響應(yīng)確定每一對所述的空間脈沖響應(yīng)的第一空間 脈沖響應(yīng)與第二空間脈沖響應(yīng)分別在多個(gè)不同采樣時(shí)間內(nèi)的能量分布之間的差異， 針對所述多對脈沖響應(yīng)中的每一對脈沖響應(yīng)設(shè)置所述多個(gè)采樣時(shí)間中的一個(gè)采樣時(shí) 間為所述相應(yīng)的對的空間脈沖響應(yīng)的混合時(shí)間，其中，在所述混合時(shí)間內(nèi)所述相應(yīng)的對的 空間脈沖響應(yīng)的所述第一空間脈沖響應(yīng)與所述第二空間脈沖響應(yīng)的所述能量分布之間的 差異等于或低于闊值， 基于所述多個(gè)空間脈沖響應(yīng)中的每一個(gè)的所述混合時(shí)間確定所述總體混合時(shí)間。3. 根據(jù)權(quán)利要求2所述的裝置(200 )，其特征在于 所述處理元件(305)進(jìn)一步用于基于所述多對空間脈沖響應(yīng)的所述混合時(shí)間的平均確 定所述總體混合時(shí)間。4. 根據(jù)權(quán)利要求2或3所述的裝置(200 )，其特征在于 所述處理元件(305)進(jìn)一步用于 至少針對所述多對空間脈沖響應(yīng)的部分對所述所確定的混合時(shí)間進(jìn)行加權(quán)； 基于所述加權(quán)混合時(shí)間確定所述總體混合時(shí)間。5. 根據(jù)權(quán)利要求4所述的裝置(200 )，其特征在于 所述處理元件(305)進(jìn)一步用于基于與所述相應(yīng)的對的空間脈沖響應(yīng)的所述第一空間 脈沖響應(yīng)相關(guān)聯(lián)的第一元數(shù)據(jù)并且基于與所述相應(yīng)的對的空間脈沖響應(yīng)的所述第二空間 脈沖響應(yīng)相關(guān)聯(lián)的第二元數(shù)據(jù)對所述多個(gè)空間脈沖響應(yīng)的所述部分的每一對空間脈沖響 應(yīng)的所述混合時(shí)間進(jìn)行加權(quán)，所述第一元數(shù)據(jù)表明用于推導(dǎo)所述相關(guān)聯(lián)的第一空間脈沖響 應(yīng)的聲源與接收器之間的相互關(guān)系，所述第二元數(shù)據(jù)表明用于推導(dǎo)所述相關(guān)聯(lián)的第二空間 脈沖響應(yīng)的聲源與接收器之間的相互關(guān)系。6. 根據(jù)權(quán)利要求巧化中的一項(xiàng)權(quán)利要求所述的裝置(200 )，其特征在于 所述處理元件(305)進(jìn)一步用于計(jì)算反向累積能量差異衰減曲線W用于確定所述能量 分布之間的所述差異。7. 根據(jù)權(quán)利要求6所述的裝置(200 )，其特征在于 所述處理元件(305)進(jìn)一步用于使用平滑能量差異W用于計(jì)算所述反向累積能量差異 衰減曲線或者使用直接能量差異W用于計(jì)算所述反向累積能量差異衰減曲線或者使用幅 值差異W用于計(jì)算所述反向累積能量差異衰減曲線或者使用等級差異W用于計(jì)算所述反 向累積能量差異衰減曲線。8. 根據(jù)權(quán)利要求巧化中的一項(xiàng)權(quán)利要求所述的裝置(200 )，其特征在于 所述處理元件(305)用于推導(dǎo)所述第一脈沖響應(yīng)與所述第二脈沖響應(yīng)的所述能量分布 之間的所述差異，使得所述差異可通過W下表達(dá)式計(jì)算其中DEDC[n]是在采樣時(shí)間η處所述第一脈沖響應(yīng)與所述第二脈沖響應(yīng)的所述能量分 布之間的差異，'是的暫時(shí)平滑版本，I · I指代絕對值，hi比]是在采樣時(shí)間k處所述第一 脈沖響應(yīng)的值，h2[k]是在采樣時(shí)間k處所述第二空間脈沖響應(yīng)的值，并且P是所述第一對空 間脈沖響應(yīng)的所述空間脈沖響應(yīng)的長度。9. 根據(jù)權(quán)利要求巧化中的一項(xiàng)權(quán)利要求所述的裝置(200)， 其特征在于，所述處理元件(305)用于基于與所述第一空間脈沖響應(yīng)相關(guān)聯(lián)的第一元 數(shù)據(jù)W及與所述第二空間脈沖響應(yīng)相關(guān)聯(lián)的第二元數(shù)據(jù)確定出自可用的空間脈沖響應(yīng)的 全集的所述第一對脈沖響應(yīng)，所述第一元數(shù)據(jù)表明用于推導(dǎo)所述第一空間脈沖響應(yīng)的聲源 與接收器之間的相互關(guān)系，并且所述第二元數(shù)據(jù)表明用于推導(dǎo)所述第二空間脈沖響應(yīng)的聲 源與接收器之間的相互關(guān)系。10. 根據(jù)權(quán)利要求1到9中的一項(xiàng)權(quán)利要求所述的裝置(200)，其特征在于 所述處理元件(305)進(jìn)一步用于 針對所述第一對空間脈沖響應(yīng)的多個(gè)子帶分區(qū)在所述多個(gè)不同采樣時(shí)間內(nèi)確定所述 第一空間脈沖響應(yīng)與所述第二空間脈沖響應(yīng)的所述能量分布之間的所述差異， 針對每個(gè)子帶分區(qū)單獨(dú)地設(shè)置所述多個(gè)采樣時(shí)間的所述采樣時(shí)間作為所述對應(yīng)的子 帶分區(qū)的所述混合時(shí)間，在所述混合時(shí)間內(nèi)所述相應(yīng)的子帶分區(qū)的所述第一空間脈沖響應(yīng) 與所述第二空間脈沖響應(yīng)的所述能量分布之間的所述差異等于或低于闊值， 基于所述多個(gè)子帶分區(qū)的所述混合時(shí)間確定所述總體混合時(shí)間。11. 根據(jù)權(quán)利要求巧ijlO中的一項(xiàng)權(quán)利要求所述的裝置(200)， 其特征在于，所述闊值是預(yù)先確定的;或者 其中，所述處理元件(305)用于基于與所述第一對空間脈沖響應(yīng)相關(guān)聯(lián)的元數(shù)據(jù)推導(dǎo) 所述闊值，所述元數(shù)據(jù)表明房間的至少一個(gè)特性，基于所述特性推導(dǎo)出所述第一對空間脈 沖響應(yīng)。12. -種用于對音頻信號(hào)解碼的音頻解碼器(200)，其特征在于，包括根據(jù)權(quán)利要求1到 11中的一項(xiàng)權(quán)利要求所述的用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的裝置。13. -種用于基于至少第一對空間脈沖響應(yīng)估計(jì)總體混合時(shí)間的方法，其特征在于，所 述方法包括 確定第一對空間脈沖響應(yīng)的第一空間脈沖響應(yīng)與第二空間脈沖響應(yīng)分別在多個(gè)不同 采樣時(shí)間內(nèi)的能量分布之間的差異， 設(shè)置所述多個(gè)采樣時(shí)間的一個(gè)采樣時(shí)間作為所述第一對空間脈沖響應(yīng)的混合時(shí)間，在 所述混合時(shí)間內(nèi)所述第一對空間脈沖響應(yīng)的所述第一空間脈沖響應(yīng)與所述第二空間脈沖 響應(yīng)的所述能量分布之間的所述差異等于或低于闊值， 基于所述第一對空間脈沖響應(yīng)的所述混合時(shí)間確定所述總體混合時(shí)間。14. 根據(jù)權(quán)利要求13所述的方法，其特征在于，所述第一對空間脈沖響應(yīng)是雙聲道空間 脈沖響應(yīng)。15. -種包括程序代碼的計(jì)算機(jī)程序，所述程序代碼當(dāng)在計(jì)算機(jī)上運(yùn)行時(shí)用于執(zhí)行根 據(jù)權(quán)利要求13到14中的一項(xiàng)權(quán)利要求所述的方法。
【文檔編號(hào)】G01H7/00GK105981412SQ201480074930
【公開日】2016年9月28日
【申請日】2014年3月21日
【發(fā)明人】西蒙妮·方塔納, 彼得·格羅舍, 潘吉·賽提亞萬
【申請人】華為技術(shù)有限公司