用于修復壓縮音頻信號的系統(tǒng)、計算機可讀存儲介質(zhì)和方法
【專利說明】用于修復壓縮音頻信號的系統(tǒng)、計算機可讀存儲介質(zhì)和方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2012年11月26日提交的美國臨時申請序列號61/730，053的權(quán)益，并且要求2013年3月15日提交的美國申請序列號13/842,479的優(yōu)先權(quán)，所述申請的公開內(nèi)容以引用方式整體并入本文。
技術(shù)領(lǐng)域
[0003]本發(fā)明涉及音頻信號處理，并且更具體地，涉及音頻信號的增強和恢復。
【背景技術(shù)】
[0004]壓縮音頻信號是已經(jīng)歷由感知音頻編解碼器完成的某種形式的數(shù)據(jù)壓縮的信號。感知音頻編解碼器通過將音頻信號的被感知為可聽度較低或感知上較不重要的分量丟棄來減少用于存儲、傳遞或傳輸音頻信號的數(shù)據(jù)量。數(shù)據(jù)壓縮過程常常在原始(未壓縮)音頻信號與壓縮音頻信號之間引入不希望有的可聽見的差異。不同的感知音頻編解碼器可以采用用于將原始音頻信號的部分丟棄的不同策略，但可聽見的差異的感知特性通常是類似的。
【發(fā)明內(nèi)容】
[0005]一種用于壓縮音頻信號的感知增強和恢復的系統(tǒng)包括信號增強器系統(tǒng)，所述信號增強器系統(tǒng)修改壓縮音頻信號以使得可能已在壓縮過程中被丟棄或更改的信號分量和特性在處理后的輸出信號中被感知為得到增強或恢復。信號增強器的一些方面包括:它可以延長壓縮音頻信號的帶寬；它可以恢復缺失的或丟失的帶內(nèi)信號諧波；它可以增強瞬態(tài)；它可以恢復干信號分量；它可以恢復混響信號分量；它可以恢復被掩蔽的信號分量；并且它可以使諧波信號分量相位對準。另外，信號增強器可以對源自立體聲或多聲道音頻信號的單獨空間片進行操作。信號增強器還可以對立體聲信號的中-側(cè)分量進行操作。
[0006]對于本領(lǐng)域的技術(shù)人員來說，在研宄以下附圖和詳細說明之后，其它系統(tǒng)、方法、特征和優(yōu)點將是或?qū)⒆兊妹黠@。本發(fā)明的意圖是，所有此類額外的系統(tǒng)、方法、特征和優(yōu)點都包括在本說明書內(nèi)、在本發(fā)明的范圍內(nèi)并且受隨附的權(quán)利要求書保護。
【附圖說明】
[0007]參照以下附圖和說明可以更好地理解本發(fā)明的系統(tǒng)。附圖中的部件不必按比例繪制，替代地重點在于示出本發(fā)明的原理。此外，在附圖中，相同的參考數(shù)字遍及不同視圖指代對應(yīng)的部分。
[0008]圖1是包括與感知音頻編碼器和解碼器結(jié)合使用的示例性信號增強器系統(tǒng)的框圖。
[0009]圖2是包括集成到信號增強器系統(tǒng)中的感知音頻解碼器的實例的框圖。
[0010]圖3是信號增強器系統(tǒng)的實例的框圖。
[0011]圖4是對立體聲信號的中-側(cè)部分進行操作的信號增強器系統(tǒng)的實例的框圖。
[0012]圖5是對音頻信號的個別空間片進行操作的單獨信號增強器模塊的實例的框圖。
[0013]圖6以基于塊的分解的表示描繪示例性脈沖響應(yīng)的分量。
[0014]圖7是圖3中所示的混響填充模塊的示例性框圖。
[0015]圖8是在給定頻率下的一系列輸入混響樣本的樣本分量的示例性估計。
[0016]圖9是信號質(zhì)量分析器、處理水平調(diào)節(jié)器和顯示器模塊的示例性框圖。
[0017]圖10是具有帶寬增強信號處理的輸出信號的示例性顯示。
[0018]圖1la和圖1lb描繪用于示出由信號增強器系統(tǒng)進行的壓縮的示例性頻譜視圖(頻域)。
[0019]圖12a和圖12b描繪用于示出由信號增強器系統(tǒng)進行的瞬態(tài)增強的示例性頻譜視圖。
[0020]圖13是示例性計算系統(tǒng)。
【具體實施方式】
[0021]壓縮音頻信號是包含音頻內(nèi)容的信號，所述信號已經(jīng)歷諸如由感知音頻編解碼器完成的某種形式的數(shù)據(jù)壓縮。感知音頻編解碼器的常見類型包括MP3、AAC、杜比數(shù)字(DolbyDigital)和DTS。這些感知音頻編解碼器通過將音頻信號的大部分丟棄而減小音頻信號的大小。感知音頻編解碼器可以用于減少存儲音頻信號所需的空間(存儲器)的量，或減少傳輸或傳遞音頻信號所需的帶寬的量。將音頻信號壓縮90%或更多并不少見。感知音頻編解碼器可以采用人類聽覺系統(tǒng)如何感知聲音的模型。以這種方式，感知音頻編解碼器可以將音頻信號的被認為收聽者聽不見或與收聽者所感知的聲音關(guān)聯(lián)最小的那些部分丟棄。因此，感知音頻編解碼器能夠減小音頻信號的大小，同時利用剩余的信號仍然維持相對良好的感知音頻質(zhì)量。一般來說，壓縮音頻信號的感知質(zhì)量可取決于壓縮信號的比特率。較低的比特率可以指示原始音頻信號的較大部分被丟棄，且因此，一般來說，壓縮音頻信號的感知質(zhì)量可能較差。
[0022]存在眾多類型的感知音頻編解碼器，并且每種類型在確定原始音頻信號的哪些部分在壓縮過程中將丟棄時可以使用一組不同的標準。感知音頻編解碼器可以包括編碼和解碼過程。編碼器接收原始音頻信號并且可以確定信號的哪些部分將被丟棄。隨后，編碼器可以將剩余的信號設(shè)置成適于壓縮存儲和/或傳輸?shù)母袷?。解碼器可以接收壓縮的音頻信號，將其解碼，并且隨后可以將解碼的音頻信號轉(zhuǎn)換成適于音頻回放的格式。在大部分感知音頻編解碼器中，編碼過程(其可以包括感知模型的使用)可以確定所得壓縮音頻信號的質(zhì)量。在這些情況下，解碼器可以充當將信號從壓縮格式(通常是某種形式的頻域表示)轉(zhuǎn)換成適于音頻回放的格式的格式轉(zhuǎn)換器。
[0023]信號增強器系統(tǒng)可以修改已由感知音頻編解碼器處理的壓縮音頻信號，以使得可能已在壓縮過程中被丟棄或更改的信號分量和特性被感知為在處理后的輸出信號中得到恢復。如本文所使用，術(shù)語音頻信號可以指代表示音頻內(nèi)容的電信號或可聽聲音，除非另有說明。
[0024]當音頻信號已使用感知音頻編解碼器被壓縮時，不可能檢索到已丟棄信號分量。然而，信號增強器系統(tǒng)可以對壓縮音頻信號中的剩余信號分量進行分析，并且生成用于感知上代替已丟棄分量的新信號分量。
[0025]圖1是包括信號增強器系統(tǒng)110的實例的框圖。信號增強器系統(tǒng)110可以在頻域或時域中進行操作。信號增強器系統(tǒng)110可以包括采樣器模塊112。采樣器模塊112可以實時地接收輸入信號(X)，并且將輸入信號(X)分成樣本。在頻域中的操作期間，采樣器模塊112可以收集順序的時域樣本，應(yīng)用合適的窗口函數(shù)(諸如root-Hann窗口)，并且諸如使用FFT(快速傅里葉變換)將加窗樣本轉(zhuǎn)換成頻域中的順序區(qū)段(bin)。類似地，作為信號增強器系統(tǒng)110中的最后一個步驟，可以使用逆FFT (逆快速傅里葉變換)通過采樣器模塊112將增強的頻域區(qū)段轉(zhuǎn)換到時域，并且應(yīng)用合適的互補窗口(諸如root-Hann窗口)以產(chǎn)生增強的時域樣本塊。預定量諸如至少50%的重疊可以用于在將時域樣本轉(zhuǎn)換到頻域之前添加時域樣本和對時域樣本進行加窗。在信號增強器系統(tǒng)110的輸出線路105上的輸出端，在從頻域到時域的轉(zhuǎn)換之后構(gòu)建增強的時域樣本時，可以使用類似的預定重疊量諸如至少50%。可替代地，信號增強器系統(tǒng)110可以使用時域樣本的順序塊來在時域中進行操作，并且轉(zhuǎn)換器可以從采樣器模塊112中消除。為了簡化討論和附圖，省略了對采樣器模塊112以及時間頻率轉(zhuǎn)換和頻率時間轉(zhuǎn)換的進一步討論和圖解。因此，如本文所描述，順序樣本或樣本序列可交替地指代時間系列的時域樣本序列，或?qū)?yīng)于接收的已由采樣器模塊112進行采樣的輸入信號(X)的時間系列的時間系列的頻域區(qū)段序列。
[0026]在圖1中，信號增強器110被示出為與感知音頻編碼器101和感知音頻解碼器103結(jié)合使用。原始音頻信號(Z)可以在音頻信號輸入線路100上被提供到感知音頻編碼器101。感知音頻編碼器101可以丟棄音頻信號分量以在壓縮比特流線路102上產(chǎn)生壓縮音頻比特流(Q)。感知音頻解碼器103可以將壓縮音頻比特流(Q)解碼以在輸入信號線路104上產(chǎn)生輸入信號(X)。輸入信號(X)可以是呈適于音頻回放的格式的音頻信號。信號增強器系統(tǒng)110可以操作以將輸入信號(X)分成樣本序列以增強輸入信號(X)，從而在輸出信號線路105上產(chǎn)生輸出信號(Y)。側(cè)鏈數(shù)據(jù)可以包含與輸入信號(X)的處理相關(guān)的信息，諸如以下各項的指示:所使用的音頻編解碼器的類型、編解碼器制造商、比特率、立體聲對聯(lián)合立體聲編碼、采樣率、獨特輸入聲道的數(shù)量、編碼塊大小以及歌曲/音軌標識符。在其它實例中，關(guān)于音頻信號(X)或編碼/解碼過程的任何其它信息可以包括作為側(cè)鏈數(shù)據(jù)的一部分?？梢栽趥?cè)鏈數(shù)據(jù)線路106上將側(cè)鏈數(shù)據(jù)從感知音頻解碼器103提供到信號增強器系統(tǒng)110。可替代地或另外，側(cè)鏈數(shù)據(jù)可以包括作為輸入信號(X)的一部分。
[0027]圖2是與感知音頻編碼器和解碼器結(jié)合使用的信號增強器系統(tǒng)110的實例的框圖。在這種情況下，感知音頻解碼器103可以并入作為信號增強器系統(tǒng)110的一部分。因此，信號增強器系統(tǒng)110可以直接對在壓縮比特流線路102上接收到的壓縮音頻比特流(Q)進行操作。可替代地，在其它實例中，信號增強器系統(tǒng)110可以包括在感知音頻解碼器103中。在這種配置中，信號增強器系統(tǒng)110可以訪問壓縮音頻比特流(Q) 102的細節(jié)。
[0028]圖3是信號增強器系統(tǒng)110的實例的框圖。在圖3中，信號增強器系統(tǒng)110包括可以在輸入信號線路104上接收輸入信號(X)的信號處理模塊300。信號處理模塊300可以在對應(yīng)的信號處理線路310上產(chǎn)生許多單獨且獨特的信號處理(ST1、ST2、ST3、ST4、ST5、ST6和ST7)。雖然示出七個信號處理，但是在其它實例中更少或更多數(shù)量(η)的信號處理是可能的。每個信號處理(STn)的相對能級可以在于第一求和框321處加在一起以產(chǎn)生總信號處理(STT) 323之前通過處理增益(gl、g2、g3、g4、g5、g6和g7)315單獨地進行調(diào)節(jié)?？傂盘柼幚?STT) 323的水平可以在于第二求和框322處被添加到輸入信號(X) 104之前通過總處理增益(gT)320進行調(diào)節(jié)。
[0029]信號處理模塊300可以包括一個或多個處理模塊(301、302、303、304、305、306和307)，這些處理模塊對輸入信號(X)的順序樣本的單獨樣本分量進行操作以便逐個樣本順序地產(chǎn)生針對每個相應(yīng)分量的信號處理(310)。順序樣本的單獨樣本分量可以與音頻信號的不同特性相關(guān)?？商娲鼗蛄硗?，信號處理模塊300可以包括額外的或更少的處理模塊300ο所示模塊可以是獨立的，或可以是以各種組合方式中的任何一種形成以創(chuàng)建模塊的子豐旲塊。
[0030]圖4是對輸入信號(X)的中-側(cè)分量進行操作(諸如通過中-側(cè)分量模塊400進行提取)的信號增強器系統(tǒng)110的實例。術(shù)語“中-側(cè)”是指立體聲音頻信號中的音頻信息，其中左立體聲聲道和右立體聲聲道所共有的音頻信息被認為是音頻信息的“中”信號分量，并且音頻信息的“側(cè)”信號分量是在左立體聲聲道與右立體聲聲道之間不同的音頻信息。感知音頻編解碼器可以對音頻信號的中-側(cè)分量進行操作以改進感知音頻編解碼器的性能。在這種情況下，編碼器可以丟棄更多的側(cè)信號分量而保留更多的中信號分量。因此，在這種情況下，可以改進對信號增強器系統(tǒng)110的操作的優(yōu)化，條件是信號增強器系統(tǒng)110對立體聲輸入信號(X)的中-側(cè)信號分量進行操作而不是直接對立體聲信號的左聲道和右聲道進行操作。
[0031]在圖4中，立體聲至中-側(cè)模塊400可以將立體聲輸入信號X轉(zhuǎn)換成中-側(cè)信號配置Xms，所述中-