渲染器控制的空間升混的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及音頻信號(hào)處理，特別地，本發(fā)明設(shè)及多聲道音頻信號(hào)的格式轉(zhuǎn)換。
【背景技術(shù)】
[0002] 格式轉(zhuǎn)換描述將特定數(shù)量的音頻聲道映射至適用于通過不同數(shù)量的音頻聲道回 放的另一呈現(xiàn)的過程。
[0003] 常見的格式轉(zhuǎn)換的使用是將音頻聲道進(jìn)行降混。在參考文獻(xiàn)[1]中，給出示例，其 中即使當(dāng)無法獲得完整的"家庭影院"5.1監(jiān)控系統(tǒng)時(shí)，降混允許終端用戶重放5.1源素材的 版本。被設(shè)計(jì)為接受杜比數(shù)碼素材，但只能提供單聲道或立體聲輸出的設(shè)備（如可攜式DVD 播放器，機(jī)頂盒等），包含設(shè)施W降混原始5.1聲道至標(biāo)準(zhǔn)的一個(gè)或兩個(gè)輸出聲道。
[0004] 另一方面，格式轉(zhuǎn)換也能夠描述升混處理，例如升混立體聲素材W形成5.1兼容的 版本。再者，雙耳擅染可視為格式轉(zhuǎn)換。
[0005] 在下文中，將對(duì)壓縮音頻信號(hào)的解碼處理的格式轉(zhuǎn)換的影響進(jìn)行討論。在此，音頻 信號(hào)的壓縮呈現(xiàn)(mp4文件)表示為通過固定揚(yáng)聲器設(shè)置進(jìn)行回放準(zhǔn)備的固定數(shù)量的音頻聲 道。
[0006] 音頻解碼器W及隨后的格式轉(zhuǎn)換成所希望的播放格式之間的相互作用可分為= 類：
[0007] 1.此解碼處理無關(guān)于最后的回放場(chǎng)景。因此，完整的音頻呈現(xiàn)被重新取得并且轉(zhuǎn) 換處理隨后被應(yīng)用。
[000引2.音頻解碼處理受限于其能力并且僅將輸出固定格式。示例為接收立體聲FM節(jié)目 的單聲道收音機(jī)，或者接收肥-AAC v2比特流的單聲道肥-AAC解碼器。
[0009] 3.音頻解碼處理知道其最終回放設(shè)置并相應(yīng)地調(diào)整其處理。示例如參考文獻(xiàn)[2] 中對(duì)MPEG環(huán)繞定義的"Scalable Channel Decoding for Reduced Speaker Configurations"。在此，解碼器減少輸出聲道的數(shù)量。
[0010] 運(yùn)些方法的缺點(diǎn)在于非必要的高復(fù)雜度和因解碼素材的后續(xù)處理（用于降混的梳 狀濾波，用于升混的解除遮蔽）（1.) W及關(guān)于最終輸出格式的受限靈活性(2.和3.)而導(dǎo)致 的潛在偽象。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明的目的是提供一種改進(jìn)的音頻信號(hào)處理的概念。本發(fā)明的目的由權(quán)利要求 1的解碼器、權(quán)利要求14的方法W及權(quán)利要求15的計(jì)算機(jī)程序來實(shí)現(xiàn)。
[0012] 提供一種用于解碼壓縮輸入音頻信號(hào)的音頻解碼器裝置，包括:具有用于根據(jù)處 理器輸入信號(hào)產(chǎn)生處理器輸出信號(hào)的一個(gè)或多個(gè)處理器的至少一個(gè)核屯、解碼器，其中處理 器輸出信號(hào)的輸出聲道的數(shù)量高于處理器輸入信號(hào)的輸入聲道的數(shù)量，其中一個(gè)或多個(gè)處 理器中的每一個(gè)包括解相關(guān)器W及混合器，其中具有多個(gè)聲道的核屯、解碼器輸出信號(hào)包括 處理器輸出信號(hào)，并且其中核屯、解碼器輸出信號(hào)適用于參考揚(yáng)聲器設(shè)置；
[0013] 用于將核屯、解碼器輸出信號(hào)轉(zhuǎn)換成適用于目標(biāo)揚(yáng)聲器設(shè)置的輸出音頻信號(hào)的至 少一個(gè)格式轉(zhuǎn)換器裝置;W及
[0014] 用于W處理器的解相關(guān)器可W與處理器的混合器獨(dú)立地被控制的方式控制至少 一個(gè)或多個(gè)處理器的控制裝置，其中控制裝置用于根據(jù)目標(biāo)揚(yáng)聲器設(shè)置控制一個(gè)或多個(gè)處 理器的解相關(guān)器中的至少一個(gè)。
[0015] 處理器的目的是建立具有多個(gè)非相干/非相關(guān)聲道的處理器輸出信號(hào)，且其聲道 的數(shù)量比處理器輸入信號(hào)的輸入聲道的數(shù)量高。特別地，每個(gè)處理器生成具有多個(gè)非相干/ 非相關(guān)輸出聲道，例如具有兩個(gè)輸出聲道的處理器輸出信號(hào)，其中正確的空間線索來自具 有較少數(shù)量的輸入聲道的處理器輸入信號(hào)，例如來自單聲道輸入信號(hào)。
[0016] 運(yùn)種處理器包括解相關(guān)器和混合器。解相關(guān)器用于從處理器輸入信號(hào)的聲道產(chǎn)生 解相關(guān)器信號(hào)。典型的解相關(guān)器(解相關(guān)濾波器）由頻率相依預(yù)延遲和其后的全通（IIR)部 分所組成。
[0017] 解相關(guān)器信號(hào)和處理器輸入信號(hào)的各個(gè)聲道隨后被送入混合器?；旌掀饔糜谕ㄟ^ 混合解相關(guān)器信號(hào)及處理器輸入信號(hào)的各個(gè)聲道W建立處理器輸出信號(hào)，其中，使用邊信 息，W便合成正確的相干性/相關(guān)性W及處理器輸出信號(hào)的輸出聲道的正確強(qiáng)度比。
[0018] 如果處理器輸出信號(hào)的輸出聲道被送到不同位置處的不同揚(yáng)聲器，則處理器輸出 信號(hào)的輸出聲道為不相干/不相關(guān)的，W便處理器的輸出聲道被感知為獨(dú)立聲源。
[0019] 格式轉(zhuǎn)換器可W轉(zhuǎn)換核屯、解碼器輸出信號(hào)W適合在與參考揚(yáng)聲器設(shè)置不同的揚(yáng) 聲器設(shè)置中播放。此設(shè)置被稱為目標(biāo)揚(yáng)聲器設(shè)置。
[0020] 在對(duì)于特定目標(biāo)揚(yáng)聲器設(shè)置，隨后的格式轉(zhuǎn)換器不需要一個(gè)處理器的非相干/非 相關(guān)形式的輸出聲道的情況下，正確相關(guān)的合成變得感知上不相關(guān)。因此，對(duì)于運(yùn)些處理 器，解相關(guān)器可W被省略。然而，當(dāng)解相關(guān)器被關(guān)閉時(shí)，混合器通常仍然保持完全可操作。結(jié) 果是，即使解相關(guān)器被關(guān)閉，處理器輸出信號(hào)的輸出聲道仍被產(chǎn)生。
[0021] 必須注意的是，在運(yùn)種情況下，處理器輸出信號(hào)的聲道是相干/相關(guān)但不相同。運(yùn) 意味著，在處理器的下游，可進(jìn)一步彼此獨(dú)立地對(duì)處理器輸出信號(hào)的聲道進(jìn)行處理，其中， 例如強(qiáng)度比和/或其他空間信息可用于格式轉(zhuǎn)換器，W設(shè)置輸出音頻信號(hào)的聲道的電平。
[0022] 由于解相關(guān)濾波需要大量的計(jì)算復(fù)雜度，整體解碼的工作量可W由所提出的解碼 器裝置大幅降低。
[0023] 雖然解相關(guān)器，尤其是它們的全通濾波器，被設(shè)計(jì)成對(duì)主觀音質(zhì)的影響降到最低， 但它不能總是避免引入可聽的偽象，例如由于相位失真或某些頻率分量的"振鈴 (ringing)"導(dǎo)致的瞬變的模糊。因此，當(dāng)解相關(guān)過程的副作用被避免時(shí)，可實(shí)現(xiàn)音頻音質(zhì)的 改進(jìn)。
[0024] 值得注意的是，此處理應(yīng)僅被應(yīng)用于其中應(yīng)用解相關(guān)的頻帶。其中使用殘余編碼 的頻帶不被影響。
[0025] 在優(yōu)選實(shí)施例中，控制裝置用于去激活至少一個(gè)或多個(gè)處理器，使得處理器輸入 信號(hào)的輸入聲道W未處理的形式被提供至處理器輸出信號(hào)的輸出聲道。由此，不相同的聲 道的數(shù)量可W被減少。運(yùn)可能是有益的，如果目標(biāo)揚(yáng)聲器設(shè)置包括的揚(yáng)聲器的數(shù)量與參考 揚(yáng)聲器設(shè)置中揚(yáng)聲器的數(shù)量相比非常小。
[00%]在優(yōu)選實(shí)施例中，處理器可為一輸入二輸出的解碼工具(OTT)，其中解相關(guān)器用于 通過對(duì)處理器輸入信號(hào)的至少一個(gè)聲道進(jìn)行解相關(guān)，產(chǎn)生解相關(guān)信號(hào)，其中混合器基于聲 道電平差（CLD)信號(hào)和/或聲道間相干（ICC)信號(hào)混合處理器輸入音頻信號(hào)W及解相關(guān)信 號(hào)，使得處理器輸出信號(hào)包括兩個(gè)不相干輸出聲道。運(yùn)種一輸入二輸出解碼工具允許W簡(jiǎn) 單的方式產(chǎn)生具有聲道對(duì)的處理器輸出信號(hào)，聲道對(duì)具有關(guān)于彼此的正確振幅和相干性。 [0027]在一些實(shí)施例中，控制裝置用于通過將解相關(guān)信號(hào)設(shè)定為零或者通過阻止混合器 將解相關(guān)信號(hào)混合至各個(gè)處理器的處理器輸出信號(hào)，關(guān)閉一個(gè)處理器的解相關(guān)器。兩種方 式均允許W簡(jiǎn)單的方式關(guān)閉解相關(guān)器。
[00%]在優(yōu)選實(shí)施例中，核屯、解碼器為用于音樂和語音的解碼器，例如USAC解碼器，其中 處理器中的至少一個(gè)的處理器輸入信號(hào)包括聲道對(duì)元素，例如USAC聲道對(duì)元素。在運(yùn)種情 況下，可W省略聲道對(duì)元素的解碼，如果其對(duì)于當(dāng)前的目標(biāo)揚(yáng)聲器設(shè)置不是必須的。運(yùn)樣， 計(jì)算復(fù)雜度和由解相關(guān)處理W及降混合處理產(chǎn)生的偽象可W顯著減小。
[0029] 在一些實(shí)施例中，核屯、解碼器為參數(shù)化對(duì)象編碼器，例如SAOC解碼器。運(yùn)樣，計(jì)算 復(fù)雜度和由解相關(guān)處理W及降混處理產(chǎn)生的偽象可W進(jìn)一步減小。
[0030] 在一些實(shí)施例中，參考揚(yáng)聲器設(shè)置的揚(yáng)聲器數(shù)量高于目標(biāo)揚(yáng)聲器設(shè)置的揚(yáng)聲器數(shù) 量。運(yùn)樣，格式轉(zhuǎn)換器可W降混核屯、解碼器輸出信號(hào)到音頻的輸出音頻信號(hào)，其中輸出聲道 的數(shù)量低于核屯、解碼器輸出信號(hào)的輸出聲道的數(shù)量。
[0031] 運(yùn)里，降混描述了當(dāng)參考揚(yáng)聲器設(shè)置中存在的揚(yáng)聲器數(shù)量高于目標(biāo)揚(yáng)聲器設(shè)置中 使用的揚(yáng)聲器數(shù)量的情況。在此情況下，一個(gè)或多個(gè)處理器的輸出聲道通常并不需要非相 干信號(hào)的形式。如果處理器的解相關(guān)器被關(guān)閉，計(jì)算復(fù)雜度和由解相關(guān)處理W及降混處理 所產(chǎn)生的偽象可W顯著降低。
[0032] 在一些實(shí)施例中，控制裝置用于關(guān)閉用于處理器輸出信號(hào)的輸出聲道的至少一個(gè) 第一個(gè)W及處理器輸出信號(hào)的輸出聲道的一個(gè)第二個(gè)的解相關(guān)器，如果根據(jù)目標(biāo)揚(yáng)聲器設(shè) 置將輸出聲道的第一個(gè)和輸出聲道的第二個(gè)混合至輸出音頻信號(hào)的共用聲道，假設(shè)用于將 處理器輸出信號(hào)的輸出聲道的第一個(gè)混合至共用聲道的第一比例因子超過第一闊值和/或 將處理器輸出信號(hào)的輸出聲道的第二個(gè)混合至共用聲道的第二比例因子超過第二闊值。
[0033] 在將輸出聲道的第一個(gè)和輸出聲道的第二個(gè)混合至輸出音頻信號(hào)的共用聲道的 情況下，對(duì)于第一輸出聲道及第二輸出聲道，可W省略核屯、解碼器處的解相關(guān)。運(yùn)樣，計(jì)算 復(fù)雜度和由解相關(guān)處理W及降混處理所產(chǎn)生的偽象可W顯著降低。W運(yùn)種方式，可避免不 必要的解相關(guān)。
[0034] 在更進(jìn)一步的實(shí)施例中，可預(yù)測(cè)用于混合處理器輸出信號(hào)的輸出聲道的第一個(gè)的 第一比例因子?？蒞 W同樣的方式使用用于混合處理器輸出信號(hào)的輸出頻道的第二個(gè)的第 二比例因子。運(yùn)里，比例因子是數(shù)值，其通常介于0和1之間，此比例因子描述原始聲道的信 號(hào)強(qiáng)度(處理器輸出信號(hào)的輸出聲道)和混合聲道(輸出音頻信號(hào)的共用聲道）中的結(jié)果信 號(hào)的信號(hào)強(qiáng)度間的比率。此比例因子可被包含在降混矩陣中。通過使用對(duì)于第一比例因子 的第一闊值和/或通過使用對(duì)于第二比例因子的第二闊值，可W確保僅在第一輸出聲道的 至少確定部分和/或第二輸出聲道的至少確定部分被混合至共用聲道時(shí)，第一輸出聲道和 第二輸出聲道的解相關(guān)才被關(guān)閉。舉例來說，闊值可W被設(shè)定為0。
[0035] 在優(yōu)選實(shí)施例中，控制裝置用于從格式轉(zhuǎn)換器接收規(guī)則組，格式轉(zhuǎn)換器根據(jù)規(guī)則 組將處理器輸出信號(hào)的聲道按照目標(biāo)揚(yáng)聲器設(shè)置混合至輸出音頻信號(hào)的聲道，其中控制裝 置用于根據(jù)接收到的規(guī)則組控制處理器。運(yùn)里，處理器的控制可包括解相關(guān)器和/或混合器 的控制。由此，可W確?？刂蒲b置W精確的方式控制處理器。
[0036] 通過規(guī)則組，處理器的輸出聲道是否被隨后的格式轉(zhuǎn)換步驟所結(jié)合的信息可W被 提供給控制裝置?？刂蒲b置接收的規(guī)則通常為降混矩陣的形式，降混矩陣定義格式轉(zhuǎn)換器 使用的每個(gè)解碼器輸出聲道至每個(gè)音頻輸出聲道的比例因子。下一步中，通過控制裝置可 W從降混規(guī)則計(jì)算用于控制解相關(guān)器的控制規(guī)則?？刂埔?guī)則可W被包括在所謂的混合矩陣 中，可W通過控制裝置根據(jù)目標(biāo)揚(yáng)聲器設(shè)置產(chǎn)生混合矩陣。然后，控制規(guī)則可W被用于控制 解相關(guān)器和/或混合器。因此，控制裝置可被適用于不同的目標(biāo)揚(yáng)聲器設(shè)置且無需人工介 入。
[0037] 在優(yōu)選實(shí)施例中，控制裝置用于W核屯、解碼器輸出信號(hào)的不相干聲道的數(shù)量等于 目標(biāo)揚(yáng)聲器設(shè)置中揚(yáng)聲器的數(shù)量的方式控制核屯、解碼器的解相關(guān)器。在運(yùn)種情況下，計(jì)算 復(fù)雜度和由解相關(guān)處理W及降混處理所產(chǎn)生的偽象可W顯著降低。
[0038] 在一些實(shí)施例中，格式轉(zhuǎn)換器包括用于降混核屯、解碼器輸出信號(hào)的降混器。降混 器直接產(chǎn)生輸出音頻信號(hào)。然而，在一些實(shí)施例中，降混器可W被連接至格式轉(zhuǎn)換器的另一 元件，其然后產(chǎn)生輸出音頻信號(hào)。
[0039] 在一些實(shí)施例中，格式轉(zhuǎn)換器包括雙耳擅染器。雙耳擅染器一般被用于將多聲道 信號(hào)轉(zhuǎn)換至適用于立體聲耳機(jī)的立體聲信號(hào)。雙耳擅染器產(chǎn)生被提供至雙耳擅染器的信號(hào) 的雙耳降混，使得運(yùn)個(gè)信號(hào)的每個(gè)聲道由虛擬聲源所表示。處理可W在正交鏡像濾波器 (QMF)域內(nèi)被逐帖執(zhí)行。雙耳化是基于測(cè)量的雙耳室脈沖響應(yīng)，并且造成極高的計(jì)算復(fù)雜 度，計(jì)算復(fù)雜度與被提供至雙耳擅染器的信號(hào)的非相干/非相關(guān)聲道的數(shù)量有關(guān)。
[0040] 在優(yōu)選實(shí)施例中，核屯、解碼器輸出信號(hào)作為雙耳擅染器輸入信號(hào)被提供至雙耳擅 染器。在此情況下，控制裝置通常用于控制核屯、解碼器的處理器，W便核屯、解碼器輸出信號(hào) 的聲道數(shù)量比耳機(jī)的揚(yáng)聲器數(shù)量多。運(yùn)可能是被需要的，例如為了產(chǎn)生=維音頻效果，雙耳 擅染器可W使用包含在聲道中的空間聲音信息調(diào)整被提供至耳機(jī)的立體聲信號(hào)的頻率特 性。
[0041] 在一些實(shí)施例中，降混器的降混器輸出信號(hào)作為雙耳擅染器輸入信號(hào)被提供至雙 耳擅染器。在降混器的輸出音頻信號(hào)被提供至雙耳擅染器的情況下，其輸入信號(hào)的聲道數(shù) 量明顯小于當(dāng)核屯、解碼器輸出信號(hào)被提供至雙耳擅染器的情況，由此降低計(jì)算復(fù)雜度。
[0042]