本申請案主張2014年7月3日申請的第62/020,928號美國臨時申請案的權(quán)益,所述申請案以全文引用的方式并入本文中。
技術(shù)領(lǐng)域
本發(fā)明大體上涉及單聲道或多聲道音頻產(chǎn)生,且更明確地說,涉及用于用計算裝置來記錄音頻的技術(shù)。
背景技術(shù):
技術(shù)的進(jìn)步已經(jīng)產(chǎn)生了更小且更強(qiáng)大的計算裝置。舉例來說,當(dāng)前存在多種便攜式個人計算裝置,包含無線電話,例如移動和智能電話、平板計算機(jī)和膝上型計算機(jī),其體積小,重量輕,且便于用戶攜帶。這些裝置可經(jīng)由無線網(wǎng)絡(luò)傳送話音和數(shù)據(jù)包。另外,許多此類裝置并入有額外功能性,例如數(shù)字靜態(tài)相機(jī)、數(shù)碼攝像機(jī)、數(shù)字記錄器和音頻文件播放器。并且,此類裝置可處理可執(zhí)行指令,包含軟件應(yīng)用程序,例如可用以接入因特網(wǎng)的網(wǎng)絡(luò)瀏覽器應(yīng)用程序。由此,這些裝置可包含大量計算能力。舉例來說,例如無線電話等計算裝置可包含一或多個麥克風(fēng)來捕獲音頻信號以供存儲和重放。作為另一實例,一種計算裝置可實時地同時記錄音頻的多個聲道。計算裝置的用戶可選擇何時開始捕獲所述音頻信號以及何時停止捕獲所述音頻信號。
技術(shù)實現(xiàn)要素:
例如智能電話、平板計算機(jī)、膝上型計算機(jī)、“平板手機(jī)”、敞篷車以及可穿戴計算裝置等移動計算裝置越來越并入有實時記錄音頻的多個聲道的能力。這些移動計算裝置可包含麥克風(fēng)陣列,其實現(xiàn)多個不同音頻通道的模擬捕獲。本發(fā)明大體上涉及用于使用移動計算設(shè)備來實時記錄單聲道或多聲道音頻的技術(shù)。本發(fā)明還大體上涉及用于在重放期間向用戶提供關(guān)于音頻的反饋或在正記錄所述音頻時實時地提供反饋。通過提供實時反饋或在重放期間提供反饋,可增強(qiáng)用戶的體驗,可增強(qiáng)所述重放的質(zhì)量,或可增強(qiáng)所捕獲的音頻的質(zhì)量。舉例來說,本發(fā)明描述用于使移動計算裝置的用戶能夠?qū)崟r地調(diào)整與音頻聲道相關(guān)聯(lián)的參數(shù)。
在一個實例中,一種方法可包含通過計算裝置來接收由以通信方式耦合到所述計算裝置的多個麥克風(fēng)所輸出的多個實時音頻信號。所述方法可包含向顯示器輸出圖形用戶接口(GUI),其用于呈現(xiàn)與所接收的音頻信號相關(guān)聯(lián)的音頻信息;基于與經(jīng)由GUI呈現(xiàn)的音頻信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者,以產(chǎn)生一或多個經(jīng)處理音頻信號;以及輸出所述一或多個經(jīng)處理音頻信號。
在另一實例中,一種方法可包含通過計算裝置來接收由以通信方式耦合到計算裝置的多個麥克風(fēng)輸出的多個實時音頻信號。所述方法可包含向顯示器輸出用于呈現(xiàn)與所接收的音頻信號中的一或多者相關(guān)聯(lián)的噪聲信息的圖形用戶接口(GUI)。所述方法可包含:基于與經(jīng)由GUI呈現(xiàn)的噪聲信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號;以及輸出所述一或多個經(jīng)處理音頻信號。
在另一實例中,一種設(shè)備可包含:存儲器;以及一或多個處理器,其經(jīng)配置以接收由多個麥克風(fēng)輸出的多個實時音頻信號,且產(chǎn)生與所接收的音頻信號相關(guān)聯(lián)的音頻信息以存儲在所述存儲器中。所述一或多個處理器可經(jīng)配置以為顯示器輸出圖形用戶接口(GUI)的圖形內(nèi)容以用于呈現(xiàn)與所接收的音頻信號相關(guān)聯(lián)的音頻信息;基于與經(jīng)由GUI呈現(xiàn)的音頻信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號;以及輸出所述一或多個經(jīng)處理的音頻信號。
在另一實例中,一種設(shè)備可包含:存儲器;以及一或多個處理器,其經(jīng)配置以接收多個麥克風(fēng)所輸出的多個實時音頻信號;以及產(chǎn)生與所接收的音頻信號相關(guān)聯(lián)的噪聲信息以供存儲在所述存儲器中。所述一或多個處理器可經(jīng)配置以:為顯示器輸出圖形用戶接口(GUI)的圖形內(nèi)容以呈現(xiàn)與所接收的音頻信號中的一或多者相關(guān)聯(lián)的噪聲信息;基于與經(jīng)由GUI呈現(xiàn)的噪聲信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號;以及輸出所述一或多個經(jīng)處理音頻信號。
在另一實例中,一種裝置可包含:用于接收以通信方式耦合到計算裝置的多個麥克風(fēng)所輸出的多個實時音頻信號的裝置;用于輸出呈現(xiàn)與所接收的音頻信號相關(guān)聯(lián)的音頻信息的圖形用戶接口(GUI)的裝置;用于基于與經(jīng)由GUI呈現(xiàn)的音頻信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號的裝置;以及用于輸出所述一或多個經(jīng)處理音頻信號的裝置。
在另一實例中,一種裝置可包含:用于接收以通信方式耦合到所述計算裝置的多個麥克風(fēng)所輸出的多個實時音頻信號的裝置;用于輸出呈現(xiàn)與所接收的音頻信號中的一或多者相關(guān)聯(lián)的噪聲信息的圖形用戶接口(GUI)的裝置;用于基于與經(jīng)由GUI呈現(xiàn)的噪聲信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號的裝置;以及用于輸出所述一或多個經(jīng)處理音頻信號的裝置。
在另一實例中,一種上面存儲有指令的非暫時性計算機(jī)可讀存儲媒體,所述指令在被執(zhí)行時,可致使計算裝置的一或多個處理器:接收多個麥克風(fēng)所輸出的多個實時音頻信號;向顯示器輸出所述顯示器的圖形用戶接口(GUI)的圖形內(nèi)容,以呈現(xiàn)與所接收的音頻信號中的一或多者相關(guān)聯(lián)的噪聲信息;基于與經(jīng)由GUI呈現(xiàn)的噪聲信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號;以及輸出所述一或多個經(jīng)處理音頻信號。
在另一實例中,一種非暫時性計算機(jī)可讀存儲媒體上面存儲有指令,所述指令在被執(zhí)行時,可致使計算裝置的一或多個處理器:接收多個麥克風(fēng)所輸出的多個實時音頻信號;向顯示器輸出顯示器的圖形用戶接口(GUI)的圖形內(nèi)容,以呈現(xiàn)與所接收的音頻信號相關(guān)聯(lián)的音頻信息;基于與經(jīng)由GUI呈現(xiàn)的音頻信息相關(guān)聯(lián)的用戶輸入來處理所接收的音頻信號中的一或多者以產(chǎn)生一或多個經(jīng)處理音頻信號;以及輸出所述一或多個經(jīng)處理音頻信號。
附圖和以下描述中陳述一或多個實例的細(xì)節(jié)。本發(fā)明的其它特征、目標(biāo)和優(yōu)點將從所述描述、圖式以及所附權(quán)利要求書而顯而易見。
附圖說明
圖1是根據(jù)本發(fā)明的一或多種技術(shù)的計算環(huán)境的圖。
圖2A到C在一起觀看時是用于執(zhí)行多聲道音頻產(chǎn)生的裝置的多個視圖的實例的圖;
圖3A到G是根據(jù)本發(fā)明的一或多種技術(shù)的圖形用戶接口的各種實例。
圖4是說明根據(jù)本發(fā)明的一或多種技術(shù)的實例操作的流程圖。
圖5是說明根據(jù)本發(fā)明的一或多種技術(shù)的實例操作的流程圖。
圖6是說明根據(jù)本發(fā)明的一或多種技術(shù)的實例操作的流程圖。
具體實施方式
本發(fā)明描述經(jīng)配置以實時地記錄單聲道或多聲道音頻且實時地或在重放期間調(diào)整與所述多聲道音頻相關(guān)聯(lián)的參數(shù)的計算裝置(例如通信裝置和其它裝置)的各種實例。當(dāng)前,許多計算裝置,例如膝上型計算機(jī)、智能電話、平板手機(jī)、可穿戴計算裝置、平板計算機(jī),能夠記錄單聲道或多聲道音頻。記錄多聲道音頻還可被稱作環(huán)繞錄音,其可例如使用高級音頻編碼(AAC)或其它編解碼器來實現(xiàn)。環(huán)繞錄音可具有若干不同的聲道配置和格式,例如5.1、7.1和9.1聲道音頻格式或其它環(huán)繞聲音音頻記錄格式。這些計算裝置還可能夠進(jìn)行所記錄的環(huán)繞聲音音頻的環(huán)繞聲音音頻重放(例如實時重放或非實時重放)。所述重放可涉及使用輸出接口(例如使用藍(lán)牙、HDMI(高清媒體接口)或另一輸出接口)來將音頻信息發(fā)射到輸出裝置,例如揚聲器。
為了執(zhí)行環(huán)繞錄音(SSR或多聲道記錄),計算裝置可使用多個物理麥克風(fēng)。所述多個麥克風(fēng)可被稱為“麥克風(fēng)陣列”。每一麥克風(fēng)可記錄用于音頻的一或多個聲道的音頻信號。舉例來說,一個麥克風(fēng)可記錄中心音頻聲道的聲音,且另一麥克風(fēng)可記錄左音頻聲道的聲音。
然而,常規(guī)SSR系統(tǒng)和具有SSR功能的裝置在記錄期間或重放期間并不實時地向所述裝置的用戶提供反饋。具有SSR功能的裝置也并不允許記錄期間的實時用戶輸入,以實時地實現(xiàn)對記錄的改變。在一些實例中,本發(fā)明的一或多種技術(shù)使裝置(例如具有SSR功能的裝置)能夠在用一或多個麥克風(fēng)來記錄音頻時(例如在執(zhí)行SSR時)實時地接收用戶輸入。在其它實例中,本發(fā)明的一或多種技術(shù)使裝置(例如具有SSR功能的裝置)能夠在先前記錄的音頻的重放期間接收用戶輸入。在其它實例中,本發(fā)明的一或多種技術(shù)使裝置(例如具有SSR功能的裝置)能夠在用一或多個麥克風(fēng)記錄音頻(例如在執(zhí)行SSR時)實時地接收用戶輸入,且隨后將所得實時音頻存儲為經(jīng)修改或未經(jīng)修改的,以除呈現(xiàn)所得實時視頻之外或代替于呈現(xiàn)所得實時視頻而稍后重放。
在一些實例中,本發(fā)明的一或多種技術(shù)使計算裝置(例如具有SSR功能的裝置)能夠在用一或多個麥克風(fēng)記錄音頻時或在先前記錄的音頻的重放期間,實時地經(jīng)由所述裝置的顯示器上所呈現(xiàn)的圖形用戶接口(GUI)來向用戶輸出信息。舉例來說,所述裝置可響應(yīng)于接收到請求激活多媒體應(yīng)用程序的用戶輸入而顯示GUI。經(jīng)由GUI(例如,或通過GUI或通過GUI)呈現(xiàn)給用戶的信息可涉及音頻記錄或重放的任何面等等。舉例來說,所述信息可為音頻相關(guān)反饋。所述GUI可包含關(guān)于或以其它方式與任何麥克風(fēng)、任何輸出裝置、任何聲道、麥克風(fēng)所輸出的任何音頻信號以及所記錄的音頻的任何處理有關(guān)的信息。所述GUI可包含一或多個圖形表示,因此用戶可在顯示器上可視化與記錄音頻相關(guān)的音頻信息。所述音頻相關(guān)反饋可告知用戶與所述記錄、實時重放或先前所錄制內(nèi)容的重放相關(guān)的各個方面)。所述用戶或在如此配置時的裝置可基于音頻信息來做出確定,以更改、修改以其它方式改變重放期間的音頻(實時還是非實時)。
根據(jù)特定上下文,有時使用術(shù)語“聲道”來指示信號路徑,且在其它時候指示由此路徑運載的信號。
取決于上下文,對“音頻信號”的參考可表示不同的事物。舉例來說,可將麥克風(fēng)接收到、轉(zhuǎn)換或以其它方式捕獲的音頻信號視為音頻信號,或更具體地說一或多個聲波。作為另一實例,麥克風(fēng)的輸出可為表示聲音的音頻信號,例如接收到的聲波或聲波的組合。取決于麥克風(fēng)的復(fù)雜性,麥克風(fēng)所輸出的模擬信號可為接收到的聲波或聲波的組合的模擬或數(shù)字表示。所述模擬或數(shù)字表示可為模擬或數(shù)字信號,使得麥克風(fēng)所輸出的音頻信號可呈模擬或數(shù)字信號的形式。舉例來說,麥克風(fēng)可經(jīng)配置以接收呈一或多個聲波的形式的音頻信號,且在模擬或數(shù)字域中輸出音頻信號。
如貫穿本發(fā)明所揭示,實時音頻將從先前記錄的音頻的重放突出表示。取決于上下文,實時音頻或重放可指音頻的記錄或?qū)崟r記錄的音頻的實時呈現(xiàn)。取決于上下文,重放可指先前實時記錄但保存或以其它方式存儲在存儲器中以供后來重放的音頻。應(yīng)理解,使用一或多個麥克風(fēng)來記錄音頻可導(dǎo)致使用裝置的一或多個處理器可存取的臨時存儲空間(例如緩沖空間)、永久性存儲空間(例如硬盤驅(qū)動器空間)或其組合來提供所記錄的音頻的實時呈現(xiàn)的裝置。在一些實例中,當(dāng)記錄音頻時,裝置可處理所述音頻,以立即或相對立即輸出到一或多個揚聲器。雖然所述裝置的存儲空間可用于所記錄音頻的各種處理,但處理延遲無意表示相對于重放,不存在所記錄音頻的實時呈現(xiàn)。在一些實例中,術(shù)語“所記錄”及其變化可表示“轉(zhuǎn)換”或以其它方式“捕獲”,連同其相應(yīng)變化。在其它實例中,術(shù)語“所記錄”及其變化可表示“轉(zhuǎn)換”或以其它方式“捕獲”及其變化;且“所記錄”音頻存儲在存儲空間以供后來重放,盡管可能也經(jīng)處理來用于實時呈現(xiàn)。換句話說,所記錄視頻的實時呈現(xiàn)意在指代當(dāng)記錄音頻時所應(yīng)用的技術(shù)。取決于所述上下文,重放是指其中已經(jīng)記錄音頻的情況,且通常在重放之前。
對多麥克風(fēng)音頻感測裝置的麥克風(fēng)的“位置”的參考指示所述麥克風(fēng)的聲敏感面的中心的位置,除非上下文另有指示。除非另有指示,否則使用術(shù)語“系列”來指示兩個或兩個以上項目的序列。使用術(shù)語“對數(shù)”來指示基數(shù)為十的對數(shù),但此類運算到其它基數(shù)的擴(kuò)展在本發(fā)明的范圍內(nèi)。使用術(shù)語“頻率分量”來指示信號的一組頻率或頻帶中的一者,例如(例如,由快速傅里葉變換產(chǎn)生的)信號的頻域表示的樣本,或信號的子帶(例如,巴克(Bark)比例或梅爾(mel)比例子帶)。
在一些實例中,本發(fā)明的一或多種技術(shù)同等適用于單聲道音頻。舉例來說,取決于上下文,包含多聲道的實例可同等地適用于單聲道。因此,雖然術(shù)語單聲道可能貫穿本發(fā)明未出現(xiàn),但本文所述的一或多種技術(shù)可在涉及單聲道音頻的實例中實施,例如當(dāng)裝置具有一個麥克風(fēng)時,或當(dāng)多聲道信號向下混合到單個聲道時。
除非另有指示,否則對具有特定特征的設(shè)備的操作的任何揭示內(nèi)容還明確地希望揭示具有類似特征的方法(且反之亦然),且對根據(jù)特定配置的設(shè)備的操作的任何揭示內(nèi)容還明確地希望揭示根據(jù)類似配置的方法(且反之亦然)。術(shù)語“配置”可參考由其特定上下文指示的方法、設(shè)備和/或系統(tǒng)來使用。除非特定上下文另有指示,否則術(shù)語“方法”、“過程”、“程序”和“技術(shù)”通用地且可互換地使用。除非特定上下文另有指示,否則術(shù)語“設(shè)備”與“裝置”也通用地且可互換地使用。術(shù)語“元件”和“模塊”可用于指示較大配置的一部分。除非通過其上下文明確地限制,否則術(shù)語“系統(tǒng)”在此用以指示其一般含義中的任一者,包含“相互作用以用于共同目的的一組元件”。通過參考文獻(xiàn)的一部分的任何并入也應(yīng)理解為并入有在所述部分內(nèi)參考的術(shù)語或變量的定義,其中此些定義出現(xiàn)在文獻(xiàn)中的其它地方,以及所并入部分中參考的任何圖。
參看圖1,揭示可操作以執(zhí)行單聲道或多聲道音頻產(chǎn)生的裝置的一個實例,且通常表示為102。在其它實例中,裝置102可具有比圖1中說明的組件多或少的組件。
裝置102包含一或多個處理器103,以及可由一或多個處理器103存取的數(shù)據(jù)存儲媒體109(例如臨時或永久性存儲空間)。裝置102的一或多個處理器103經(jīng)配置以執(zhí)行指令來實施對應(yīng)進(jìn)程。因此,如本文所使用,當(dāng)執(zhí)行或以其它方式實施進(jìn)程時,是指裝置102的一或多個處理器103(或其它實例中的其它裝置的其它處理器)執(zhí)行對應(yīng)于所述過程的一或多個指令或運算。舉例來說,裝置102可包含操作系統(tǒng)。在一些實例中,所述操作系統(tǒng)可為在個人計算裝置(例如膝上型計算機(jī)、桌上型計算機(jī)、平板計算機(jī)、智能電話等)上找到的典型操作系統(tǒng),例如圖形操作系統(tǒng)。所述操作系統(tǒng)可存儲在數(shù)據(jù)存儲媒體109上。
一或多個處理器103的實例可包含(但不限于)中央處理單元(CPU)、圖形處理單元(GPU)、數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA),或其它等效集成或離散邏輯電路。一或多個處理器103可包含這些實例中的一或多者以及任何組合中的其它類型的處理器。一或多個處理器103可為單核或多核。
數(shù)據(jù)存儲媒體109的實例可包含(但不限于)一或多個計算機(jī)可讀存儲媒體,例如但不限于隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃存儲器或任何其它媒體,其可用以運載或存儲呈指令和/或數(shù)據(jù)結(jié)構(gòu)的形式且可由計算機(jī)或處理器存取的所要程序代碼。在一些實例中,數(shù)據(jù)存儲媒體109可被視為非暫時性存儲媒體。術(shù)語“非暫時性”可指示存儲媒體未體現(xiàn)于載波或所傳播信號中。然而,術(shù)語“非暫時性”不應(yīng)被解釋為表示數(shù)據(jù)存儲媒體109是不可移動的。數(shù)據(jù)存儲媒體109可包含這些實例中的一或多者,以及任何組合中的其它類型的數(shù)據(jù)存儲媒體。
裝置102可包含或耦合到一或多個輸入裝置105。輸入裝置105可包含鍵盤、鼠標(biāo)、觸摸屏顯示器或其它輸入裝置。雖然與一或多個輸入裝置105分開描繪,但應(yīng)理解,在顯示器106是觸摸屏顯示器的實例中,顯示器106構(gòu)成輸入裝置。類似地,雖然與一或多個輸入裝置105分開描繪,應(yīng)理解,一或多個麥克風(fēng)104構(gòu)成輸入裝置。
裝置102可包含或耦合到一或多個音頻輸出裝置107。一或多個音頻輸出裝置107可包含一或多個揚聲器。雖然與一或多個輸出裝置107分開描繪,應(yīng)理解,頭戴式耳機(jī)112構(gòu)成音頻輸出裝置。
裝置102可包含或耦合到多個麥克風(fēng)(例如多麥克風(fēng)陣列)。舉例來說,所述多麥克風(fēng)陣列可包含第一麥克風(fēng)104a、第二麥克風(fēng)104b和第三麥克風(fēng)104c。盡管圖1說明三個麥克風(fēng),但在其它實例中,裝置102可耦合到多于或少于三個麥克風(fēng)。可使用多個麥克風(fēng)來支持兩個或三個維度中的空間音頻編碼??捎枚帑溈孙L(fēng)陣列來支持的空間音頻編碼方法的實例可包含5.1環(huán)繞、7.1環(huán)繞、杜比環(huán)繞、杜比定向邏輯或任何其它相幅矩陣立體聲格式;杜比數(shù)字、DTS或任何離散多聲道格式;以及波場合成。五聲道編碼的一個實例包含前-左、前-右、中心、后-左和后-右聲道。
裝置102可包含或耦合到顯示器106、頭戴式耳機(jī)112或這兩者。裝置102可包含音頻分析器114和GUI 120。音頻分析器114可包括軟件、硬件、固件或其組合。音頻分析器114可存儲在裝置102的一或多個處理器103存取的數(shù)據(jù)存儲媒體109。在此些實例中,與音頻分析器114相關(guān)聯(lián)的任何過程可起因于從存儲器109加載以由一或多個處理器103執(zhí)行的與音頻分析器114相關(guān)聯(lián)的一或多個指令的執(zhí)行。如圖1中所示,音頻分析器114由虛線環(huán)繞,以說明一或多個處理器103可執(zhí)行對應(yīng)于存儲在存儲器109中的音頻分析器114的指令。在一些實例中,音頻分析器114可為在由裝置102的一或多個處理器103執(zhí)行時可產(chǎn)生GUI 120、GUI數(shù)據(jù)150或這兩者的應(yīng)用程序。
裝置102的一或多個處理器103產(chǎn)生GUI 120以供顯示。將GUI 120傳送到顯示器106以供在其上呈現(xiàn)。存儲在存儲器109中的GUI數(shù)據(jù)150可包含可執(zhí)行指令,其在被執(zhí)行時可產(chǎn)生GUI 120以供顯示器106呈現(xiàn)。GUI數(shù)據(jù)150可為音頻分析器114的一部分。在其中音頻分析器114是應(yīng)用程序的實例中,GUI數(shù)據(jù)150可為所述應(yīng)用程序的一部分,并且因此,到音頻分析器114的對應(yīng)圖形數(shù)據(jù)。在一些實例中,音頻分析器114可為在由一或多個處理器103執(zhí)行時可導(dǎo)致產(chǎn)生、存取或執(zhí)行GUI數(shù)據(jù)150的應(yīng)用程序。舉例來說,根據(jù)一些實例,音頻分析器114可在執(zhí)行時使用圖形數(shù)據(jù)150產(chǎn)生圖形用戶接口(GUI)120。作為另一實例,音頻分析器114可致使裝置102渲染用戶接口,例如GUI120。音頻分析器114可將GUI 120提供到顯示器106。
GUI數(shù)據(jù)150可包含與一或多個輸入信號108、一或多個音頻信號110或其組合相關(guān)的數(shù)據(jù)。如上文所識別,音頻分析器114可將GUI數(shù)據(jù)150存儲在耦合到或包含于裝置102中的存儲器中。在一特定實例中,音頻信號110可經(jīng)壓縮,且可占用比輸入信號108少的存儲器。
GUI 120可包含一或多個圖形表示,因此用戶可在顯示器上可視化與記錄音頻相關(guān)的音頻信息。所述音頻相關(guān)反饋可告知用戶與所述記錄、實時重放或先前所錄制內(nèi)容的重放相關(guān)的各個方面)。所述用戶或在如此配置時的裝置可基于音頻信息來做出確定,以更改、修改以其它方式改變重放期間的音頻(實時還是非實時)。舉例來說,用戶或裝置可在記錄音頻時或在重放期間調(diào)整音頻參數(shù)、應(yīng)用濾波器或更實時地調(diào)整,這可改進(jìn)所記錄的音頻(例如環(huán)繞聲音頻)的質(zhì)量。作為另一實例,經(jīng)由所述裝置呈現(xiàn)給用戶的音頻相關(guān)反饋可使用戶能夠選擇適當(dāng)?shù)倪x項來更改或以其它方式調(diào)整所記錄音頻的質(zhì)量,不管是實時地還是在重放期間。舉例來說,用戶可基于呈現(xiàn)給用戶的音頻反饋信息與GUI120交互,以在正記錄音頻時或在重放期間,實時地調(diào)整音頻的音頻聲道音量等級或其它特性/參數(shù)。
在一些實例中,GUI 120可包含對應(yīng)于為裝置102記錄音頻的麥克風(fēng)104的一或多個圖形表示(例如麥克風(fēng)圖標(biāo))。GUI 120可包含對應(yīng)于用于輸出所記錄音頻的音頻輸出裝置的一或多個圖形表示(例如揚聲器圖標(biāo))。在一些實例中,GUI 120可包含三個圖形音頻聲道表示(例如三個揚聲器圖標(biāo)),麥克風(fēng)104a、104b和104c中的每一者一個,因為音頻分析器114可基于麥克風(fēng)的數(shù)目來自動配置環(huán)繞聲音聲道的數(shù)目。在其它實例中,可顯示三個揚聲器圖標(biāo),因為用戶使用GUI 120從多個選項選擇三聲道環(huán)繞設(shè)置選項。貫穿本發(fā)明提供GUI 120可包含的音頻信息的其它實例,因為GUI 120可包含本文所揭示的任何音頻信息。
在裝置102的操作期間,音頻分析器114可從多個麥克風(fēng)(例如麥克風(fēng)104a、104b和104c)接收多個輸入信號(例如輸入信號108a、108b和108c)。舉例來說,音頻分析器114可從麥克風(fēng)104a接收輸入信號108a,從麥克風(fēng)104b接收第二輸入信號108b,且從麥克風(fēng)104c接收第三輸入信號108c。輸入信號108可對應(yīng)于一或多個聲音源。麥克風(fēng)104a、104b和104c中的每一者可將接收到的聲波轉(zhuǎn)換為模擬或數(shù)字音頻信號。在此些實例中,可將第一輸入信號108a、108b和108c中的每一者視為音頻信號,不管是模擬還是數(shù)字。
用戶118可經(jīng)由所呈現(xiàn)的GUI 120和用戶輸入裝置105(例如在其中顯示器是觸摸屏的實例中,顯示器106)與裝置102交互。舉例來說,GUI 120可包含描繪為140的一或多個可選選項。用戶118可選擇可選選項140中的至少一者,且音頻分析器114可基于所述選擇從輸入信號108產(chǎn)生音頻信號110。舉例來說,可選選項140可包含與任何特征或過程相關(guān)聯(lián)的任何圖形表示,所述特征或過程與音頻分析器114、麥克風(fēng)104、輸出裝置107、輸入信號108、音頻信號110、其它音頻相關(guān)信息等相關(guān)聯(lián)。
在一些實例中,音頻分析器114可被稱為音頻產(chǎn)生應(yīng)用程序,因為音頻分析器114可輸出經(jīng)處理的信號(即,音頻分析器在其上進(jìn)行處理的信號)。在其它實例中,如本文所述,音頻分析器114可不僅產(chǎn)生音頻,但還可使用裝置102來控制音頻何時存儲在存儲器109中,如果真會發(fā)生的話。在此些實例中,音頻分析器114還可被稱作音頻存儲應(yīng)用程序。舉例來說,音頻分析器114可存儲分別從麥克風(fēng)104a、104b和104c接收的輸入信號108a、108b和108c。作為另一實例,音頻分析器114可不存儲如從麥克風(fēng)104a、104b和104c接收的輸入信號108a、108b和108c。實情為,音頻分析器114可存儲音頻信號110(即,音頻分析器114輸出的信號,不管是經(jīng)修改還是未經(jīng)修改的)。在又另一實例中,音頻分析器114可存儲如從麥克風(fēng)104a、104b和104c接收到的輸入信號108a、108b和108c;以及音頻分析器114還可存儲音頻信號110。所存儲的信號,不管是輸入信號108還是音頻信號110,可用于重放。在此些實例中,在重放期間,音頻分析器可或可不接收所存儲的信號。在涉及音頻分析器114接收所存儲的信號的實例中,音頻分析器114可以與實時信號(例如輸入信號108)相同的方式處理所存儲的信號。
用戶118可使用裝置102的任何輸入裝置(包含例如顯示器106)來選擇可選選項140。舉例來說,音頻分析器114可從輸入裝置接收選擇130(或以其它方式被稱為表示選擇的輸入數(shù)據(jù)130)。在一個實例中,音頻分析器114可將音頻信號110輸出到音頻輸出裝置107,例如頭戴式耳機(jī)112或一或多個揚聲器。對應(yīng)于輸出裝置的聲道的數(shù)目(例如用于立體聲頭戴式耳機(jī)的兩個聲道:左和右)可與裝置102從中接收到輸入的麥克風(fēng)104的數(shù)目相同,小于所述數(shù)目或大于所述數(shù)目,以產(chǎn)生音頻信號110。用戶118可使用能夠播放音頻信號110(或在音頻信號110包含用于多個聲道的信號時,包含在其中的信號的子集)的任何輸出裝置,例如頭戴式耳機(jī)112或揚聲器,來監(jiān)視或收聽音頻信號110。舉例來說,用戶118可檢測音頻信號110的靜止噪聲等級,且可使用GUI 120來選擇噪聲抑制(衰減)選項(例如可選選項140),以減小隨后所產(chǎn)生的音頻信號110的靜止噪聲等級。在此實例和其它實例中,可基于從用戶118接收到的基于音頻分析器114輸出的過去音頻信號110而輸入的實時地對音頻分析器114隨后接收到的音頻信號作出實時地或以其它方式動態(tài)校正或改變。應(yīng)了解,在用戶118提供任何輸入以影響音頻分析器114所進(jìn)行的任何處理時,過去的音頻信號110可能那時已經(jīng)是當(dāng)前(或?qū)崟r)音頻信號110。以此方式,音頻分析器114可使用戶能夠在音頻被接收到且使用一或多個輸出裝置輸出以供呈現(xiàn)時對所述音頻進(jìn)行實時調(diào)整,以基于用戶118的偏好來改變(例如通過增強(qiáng))質(zhì)量。
在其它實例中,GUI 120可使用戶能夠修改存儲在存儲器109中的規(guī)則集合,其中裝置102根據(jù)所述規(guī)則,基于由規(guī)則定義的觸發(fā)事件的出現(xiàn)率來自動影響對所記錄的音頻的改變(例如如果事件,那么動作(if EVENT,then ACTION))。規(guī)則中的事件可為對所定義的音頻信息的存在的真或假確定。規(guī)則中的動作可響應(yīng)于所述事件出現(xiàn)(或不出現(xiàn))的確定。舉例來說,用戶118可定義規(guī)則,使得所述裝置可基于使用中的麥克風(fēng)和使用中的音頻輸出裝置的數(shù)目來自動下混或上混。如果數(shù)目相等,那么不需要發(fā)生改變。然而,如果在記錄期間,例如結(jié)合五揚聲器環(huán)繞設(shè)置使用五麥克風(fēng)陣列,那么可處理規(guī)則,使得在一或多個揚聲器變?yōu)椴豢刹僮骰蛞云渌绞綌嚯姷那闆r下,所述裝置自動下混多聲道音頻。類似地,如果在記錄期間,例如結(jié)合五揚聲器環(huán)繞設(shè)置使用五麥克風(fēng)陣列,那么可處理規(guī)則,使得在一或多個揚聲器變?yōu)榭刹僮骰蛞云渌绞酵姷那闆r下,所述裝置自動上混多聲道音頻。
音頻分析器114可基于接收可選選項140的選擇130,來從輸入信號108產(chǎn)生多個音頻信號(例如音頻信號110),如參考圖6到13所描述。換句話說,音頻分析器114可產(chǎn)生經(jīng)修改或未經(jīng)修改的輸入信號(稱為音頻信號110)。默認(rèn)地,音頻分析器114可輸出未經(jīng)修改的輸入信號108,而不是音頻信號110。音頻分析器可根據(jù)對應(yīng)于輸入數(shù)據(jù)130所表示的選定選項的過程來產(chǎn)生音頻信號。經(jīng)修改的輸入信號(即,音頻信號110)是指在根據(jù)對應(yīng)于輸入數(shù)據(jù)130的過程來接收輸入數(shù)據(jù)130之后,正由音頻分析器114修改的一或多個隨后接收到的輸入信號108。經(jīng)修改的輸入信號可指正修改的聲音數(shù)據(jù)本身(例如使用濾波器或?qū)⑴c兩個不同聲道相關(guān)聯(lián)的兩個或更多個信號110一起混合在多聲道信號中),或?qū)?yīng)于或以其它方式與音頻信號110相關(guān)聯(lián)的數(shù)據(jù),例如改變聲道信息,使得可將任何信號重新投送到不同的輸出裝置,等等。舉例來說,用戶可通過使用GUI120且選擇適當(dāng)?shù)倪x項140移動從中心揚聲器發(fā)射到另一揚聲器的聲音,以在中心揚聲器周圍形成空的空間。作為另一實例,GUI 120可使用戶能夠調(diào)整聲道音量等級(例如通過向上或向下調(diào)整聲道增益)、音頻位置、揚聲器位置以及其它記錄參數(shù)。在第一修改(例如基于由輸入數(shù)據(jù)130表示的一或多個用戶指令的接收)之后,可進(jìn)一步發(fā)生一或多個修改。每當(dāng)作出影響音頻處理的可選選項140時,音頻分析器114可相應(yīng)地調(diào)整一或多個輸入信號108的處理,使得根據(jù)用戶偏好來輸出后續(xù)音頻信號110。應(yīng)理解,雖然圖1描繪正由音頻分析器114輸出的音頻信號110,但音頻分析器可經(jīng)配置來為一或多個聲道輸出未經(jīng)修改的輸入信號108,且為一或多個其它聲道輸出經(jīng)修改的輸入信號(即,音頻信號110)。
音頻分析器114可處理輸入信號108,以產(chǎn)生音頻信號110。音頻分析器114可從輸入信號108產(chǎn)生若干不同定向聲道(例如音頻信號110),以便上混合輸入信號108。舉例來說,輸入信號108可對應(yīng)于與第一數(shù)目(例如三個)麥克風(fēng)(例如麥克風(fēng)104a到c)相關(guān)聯(lián)的第一數(shù)目的聲道。音頻信號110可對應(yīng)于第二數(shù)目的聲道,且所述第二數(shù)目可高于第一數(shù)目或低于第一數(shù)目,后者與下混合輸入信號108的實例相關(guān),與上混合輸入信號108形成對比。舉例來說,對于5.1環(huán)繞聲音方案,音頻信號110可對應(yīng)于五個聲道。音頻分析器114可上混合輸入信號108以產(chǎn)生音頻信號110,使得可使用具有第二數(shù)目的揚聲器的揚聲器陣列中的不同揚聲器來重放(即,輸出)音頻信號110的每一信號(或聲道)。
在一些實例中,音頻分析器114可通過基于使用GUI 120接收表示用戶選擇的輸入數(shù)據(jù)130對輸入信號108進(jìn)行濾波來產(chǎn)生經(jīng)濾波(例如經(jīng)修改)的信號,如本文所述。舉例來說,分析器可處理輸入信號108,如參考圖6到13所描述。
參看圖2A到C,圖2A到C中示出裝置的多個視圖的實例。所述視圖可對應(yīng)于圖1中所示的裝置102。
所述視圖包含圖2A中所描繪的正視圖220、圖2B中所描繪的后視圖230,以及圖2C中所描繪的側(cè)視圖240。正視圖220可對應(yīng)于裝置102的包含顯示器106的第一側(cè)。所述第一側(cè)可包含第一麥克風(fēng)104a、第二麥克風(fēng)104b、第三麥克風(fēng)104c、耳機(jī)208、第一擴(kuò)音器210a和第二擴(kuò)音器210b。
圖2B中的后視圖230可對應(yīng)于裝置102的與第一側(cè)相對的第二側(cè)。所述第二側(cè)可包含相機(jī)206、第四麥克風(fēng)204d和第五麥克風(fēng)204e。圖2C中的側(cè)視圖240可對應(yīng)于裝置102的連接第一側(cè)和第二側(cè)的第三側(cè)。
圖3A到G各自為圖1的GUI 120的實例。參看圖3A,示出GUI 120的實例。在圖7中所示的實例中,GUI 120可包含坐標(biāo)地圖301以及多個可選選項,例如一或多個扇區(qū)302(例如302a到e),扇區(qū)再成形器/再定大小器305。GUI 120還可包含一或多個聲道圖標(biāo)(例如304a到e)。所述聲道圖標(biāo)可以圖形方式表示每一音頻輸出裝置107,其經(jīng)配置以從音頻分析器114接收的音頻信號。用戶可選擇扇區(qū),且以一或多個選項呈現(xiàn)。在其它實例中,用戶可選擇一或多個選項,并且接著選擇選定選項將應(yīng)用于的一或多個扇區(qū)。所述選項可包含音頻分析器114可經(jīng)配置以執(zhí)行的任何處理。
不管在此實例中還是其它實例中,坐標(biāo)地圖301的每一扇區(qū)302可對應(yīng)于相對于裝置102的特定方向上的特定區(qū)域,坐標(biāo)地圖301的中心表示裝置102的位置(或收聽者位置,不管是虛擬的還是真實的)。每一扇區(qū)302可互相或獨占地對應(yīng)于相對于裝置102的特定方向上的特定音頻輸出裝置107,由每一扇區(qū)到聲道圖標(biāo)的關(guān)系表示。舉例來說,扇區(qū)302a到302e可分別對應(yīng)于或以其它方式與聲道304a到e有關(guān)。聲道304a到e可分別涉及右后、左后、左前、中心和右前聲道。扇區(qū)302a到e可分別涉及與麥克風(fēng)104a到e相關(guān)聯(lián)的輸入信號108。
在一些實例中,音頻分析器114可確定對應(yīng)于輸入信號108的到達(dá)方向信息,且可產(chǎn)生坐標(biāo)地圖,使得示出聲音的存在的每一扇區(qū)302與所述特定方向上的麥克風(fēng)有關(guān)。舉例來說,音頻分析器114可確定輸入信號108的至少一部分是從特定方向接收的。在示出的實例中,坐標(biāo)地圖301包含五個扇區(qū)。坐標(biāo)地圖301可對應(yīng)于輸入信號108的一或多個來源的一個或多個位置的物理坐標(biāo)。坐標(biāo)地圖301可指示輸入信號108的來源相對于裝置102所位于的位置。舉例來說,音頻分析器114可確定輸入信號108不是從特定方向接收的。坐標(biāo)地圖301的對應(yīng)于特定方向的特定扇區(qū)可指示不存在輸入信號108的來源(例如因為不存在對應(yīng)于所述特定方向的聲音)。舉例來說,特定扇區(qū)可在GUI 120中顯示為具有特定色彩、特定陰影、特定文本、特定圖像等,其可指示所述特定方向上輸入信號108的來源的不存在或存在,針對所述特定扇區(qū)是否接收到輸入信號,對應(yīng)于與所述特定扇區(qū)相關(guān)聯(lián)的任何揚聲器的音量級,與所述特定扇區(qū)相關(guān)聯(lián)的任何麥克風(fēng)的飽和度,以及任何其它音頻信息。作為另一實例,音頻分析器114可確定音頻信號的強(qiáng)度(例如音量)。音頻分析器114可通過GUI 120中的圖形表示(例如扇區(qū)或聲道/揚聲器圖標(biāo))的特定陰影來指示音頻信號的強(qiáng)度。舉例來說,較暗的陰影可指示較高強(qiáng)度。
在一些實例中,音頻信號110的計數(shù)可對應(yīng)于所述多個聲道圖標(biāo)的計數(shù)。音頻信號110的計數(shù)可對應(yīng)于坐標(biāo)地圖301的所述多個扇區(qū)的計數(shù)。所述多個聲道圖標(biāo)中的每一者可與音頻信號110的特定音頻信號相關(guān)聯(lián)。舉例來說,音頻分析器114可產(chǎn)生對應(yīng)于所述多個聲道圖標(biāo)中的每一者的特定音頻信號。
在一些實例中,每一聲道304不是獨占地與扇區(qū)302相關(guān)。舉例來說,可使用三個麥克風(fēng)來記錄環(huán)繞聲音,這可意味著坐標(biāo)地圖301具有三個扇區(qū),其中五個聲道圖標(biāo)在所述三個扇區(qū)周圍隔開。在此實例中,圖形表示可用來告知用戶音頻分析器114可如何上混合到五聲道輸出。舉例來說,選擇特定聲道圖標(biāo)可導(dǎo)致GUI 120突出顯示扇區(qū),且因此所述揚聲器與之相關(guān)聯(lián)麥克風(fēng)和輸入信號。
在操作期間,用戶118可使用輸入裝置105來選擇扇區(qū)302a到e中的特定扇區(qū)。在一些實例中,用戶118可通過移動一或多個扇區(qū)再定大小器/再成形器305來修改所選擇的扇區(qū)的大小或形狀。
用戶118可選擇一或多個扇區(qū)302來停用來自與所選擇的扇區(qū)相關(guān)聯(lián)的任何麥克風(fēng)的聲音的捕獲或記錄,同時與所選擇的扇區(qū)無關(guān)的其它麥克風(fēng)繼續(xù)捕獲或記錄聲音。在其中坐標(biāo)地圖301的扇區(qū)具有與音頻聲道(例如,由聲道圖標(biāo)表示)的一一對應(yīng)性的實例中,停用扇區(qū)可導(dǎo)致停用對應(yīng)聲道。在其中坐標(biāo)地圖301的兩個或更多個扇區(qū)共享與音頻聲道(例如由聲道圖標(biāo)表示)的對應(yīng)性的實例中,停用扇區(qū)可導(dǎo)致影響對應(yīng)音頻聲道,而不全部停用所述聲道,使得不再處理與所停用的扇區(qū)相關(guān)聯(lián)的噪聲,并且因此音頻分析器114不將其與和也與同一聲道相關(guān)聯(lián)的經(jīng)啟用扇區(qū)相關(guān)聯(lián)的聲音混合。
音頻分析器114可響應(yīng)于接收到扇區(qū)的選擇,基于所選擇的扇區(qū)的扇區(qū)方向?qū)σ换蚨鄠€輸入信號108進(jìn)行濾波,以產(chǎn)生音頻信號110,如本文所述。在一個實例中,音頻分析器114可響應(yīng)于扇區(qū)的選擇且根據(jù)用戶選定的處理選項(例如移動或再定位信號、刪除或去除信號、對信號進(jìn)行濾波等)對一或多個輸入信號108進(jìn)行濾波。對音頻信號108執(zhí)行的任何濾波、處理或運算可被視為對音頻信號108或任何對應(yīng)音頻聲道的操縱。舉例來說,用戶可通過選擇與每一聲道相關(guān)聯(lián)的任何圖形表示,借助于與GUI 210交互來操縱每一音頻聲道。
參看圖3B,示出GUI 120的實例。在此實例中,描繪聲道配置菜單320的實例。圖3A中所描繪的GUI 120可為用戶118使用聲道配置菜單來配置音頻輸出通道的結(jié)果。聲道配置菜單320可包含多個數(shù)目的聲道選項322,以使用戶118能夠指定待重放(例如由音頻分析器114產(chǎn)生)的若干音頻信號110。
所述數(shù)目的聲道選項322中的每一選項可指示將針對多聲道信號產(chǎn)生的若干音頻信號。舉例來說,第一數(shù)目的聲道選項(例如5.1)可指示將產(chǎn)生第一數(shù)目(例如5加1低音炮)的音頻信號,第二數(shù)目的聲道選項(例如7.1)可指示將產(chǎn)生第二數(shù)目(例如7加1低音炮)的音頻信號,等等。在選擇聲道選項5.1的數(shù)目時,例如5個輸出通道(例如揚聲器)的圖形表示可看起來在GUI 120中的坐標(biāo)地圖301周圍。在其它實例中,任何對應(yīng)低音炮聲道還可看起來在GUI 120中的坐標(biāo)地圖301上。如果選定聲道的數(shù)目比物理麥克風(fēng)的數(shù)目高或低,那么音頻分析器114可分別上混或下混所述輸入信號。舉例來說,如果選定聲道的數(shù)目超過物理麥克風(fēng)的數(shù)目,那么音頻分析器114可內(nèi)插或產(chǎn)生額外音頻聲道。響應(yīng)于用戶的選擇,音頻分析器114可確定音頻輸出裝置107的數(shù)目是否與麥克風(fēng)104的數(shù)目匹配;以及如果不匹配,那么可經(jīng)由GUI 120警告所述用戶。
在一些實例中,圖1的GUI數(shù)據(jù)150可存儲所述數(shù)目的聲道選項322(例如2.1、5.1、7.1、22.2,或任何其它聲道選項)的中的每一者與對應(yīng)計數(shù)(例如在不存在對應(yīng)低音炮的情況下,2、5、7和22)之間的映射。包含低音炮,此類實例的對應(yīng)計數(shù)可分別為3、6、8和24。所述映射可包含默認(rèn)值。在此實例中,音頻分析器114可使用所述映射來確定對應(yīng)于聲道選項的特定數(shù)目(例如7.1)的計數(shù)(例如7)。在特定實例中,所述映射還可指示所述數(shù)目的對應(yīng)于聲道選項322(例如7)中的每一者的一或多個方向(例如左、右、中心、左-環(huán)繞、右-環(huán)繞、左后和右后)。所述映射還可指示對應(yīng)于所述一或多個方向中的每一者的角度(例如45度、135度、90度、225度、315度、180度和0度)。
參看圖3C,示出GUI 120的實例。在此實例中,示出噪聲抑制(衰減)選項330的實例。噪聲抑制(衰減)選項330可為扇區(qū)、聲道或麥克風(fēng)特定的。噪聲抑制選項330可響應(yīng)于用戶118選擇扇區(qū)302中的一者或聲道/揚聲器表示304中的一者而出現(xiàn)在GUI 120中。噪聲抑制(衰減)選項330可實現(xiàn)一或多個等級的噪聲抑制(例如0%到100%)。舉例來說,用戶118可使用輸入裝置105(例如包含顯示器106)來選擇噪聲抑制的量。音頻分析器114可響應(yīng)于接收到正調(diào)用的噪聲抑制選項330,通過基于選定噪聲抑制的等級抑制輸入信號108中存在的靜止噪聲來產(chǎn)生音頻信號110。舉例來說,音頻分析器114可基于噪聲抑制的等級來選擇特定噪聲濾波器(例如靜止噪聲濾波器),且音頻分析器114可通過將所述特定靜噪濾波器應(yīng)用于輸入信號108來產(chǎn)生音頻信號110。如本文所使用,術(shù)語抑制可對衰減或其等效物求平均。
噪聲抑制選項330可使用戶能夠致使音頻分析器114產(chǎn)生對應(yīng)于選定噪聲抑制等級的音頻信號110。具有用戶可選噪聲抑制等級可使用戶能夠選擇靜止噪聲是否捕獲(例如,主要記錄噪聲的麥克風(fēng)可取決于用戶118選定的噪聲抑制而停用),由音頻分析器114輸出,或如何對靜止噪聲進(jìn)行濾波。舉例來說,用戶可捕獲沙灘上的波浪的聲音,且可減少在語音期間捕獲的風(fēng)的聲音。
噪聲可為任何不必要的聲音,例如任何頻率組合下的一或多個不必要的聲波/音頻信號。舉例來說,噪聲可包含運輸系統(tǒng)和車輛所導(dǎo)致的噪聲污染、城市噪聲的刺耳聲音,或涉及相比于無用信號(例如將被拒絕或抑制或以其它方式濾波的信號)的有用信號(例如將處理和輸出的信號)的音頻系統(tǒng)中的任何不必要的噪聲。在一個實例中,可將沙灘上的波浪的聲音視為不必要的噪聲,并從記錄中濾除。在另一實例中,可不將沙灘上的波浪的聲音視為不必要的噪聲,且因此不從記錄中濾除。
聲音是否構(gòu)成噪聲可取決于與不想要的聲音相比的想要的聲音,以及其在振幅和頻率中的關(guān)系。在一些實例中,噪聲可為任何聲音或音頻信號或用戶所定義的類似物。舉例來說,本文所述的GUI可使用戶能夠選擇一或多個聲音(例如城市聲音、狗叫聲等),從而導(dǎo)致音頻分析器114輸出音頻信號110,使得音頻信號110已經(jīng)濾波來去除或抑制選定聲音。在另一實例中,本文所述的GUI可使用戶能夠記錄一或多個聲音(例如狗叫聲、貓叫聲、海浪等)來定義對應(yīng)濾波器,使得音頻分析器114輸出音頻信號110,使得音頻信號110已經(jīng)濾波而去除或抑制所記錄的聲音。
在一些實例中,噪聲抑制選項330可構(gòu)成“空”出選項。響應(yīng)于選擇所述空出選項,音頻分析器114可抑制與一或多個選定扇區(qū)相關(guān)聯(lián)的音頻。舉例來說,用戶可選擇扇區(qū)來空出??粘龅膮^(qū)對應(yīng)于所述音頻聲道內(nèi)的區(qū),音頻分析器抑制在所述音頻聲道處抑制對應(yīng)于所述區(qū)的音頻。在一些實例中,用戶可推動和拖拽以再定大小或再成形一或多個扇區(qū),來輸入空出指令(即,噪聲抑制/抵消指令)。在其它實例中,用戶可選擇扇區(qū),且除其它選項之外,被呈現(xiàn)空出選項,其在被選定時致使音頻分析器114根據(jù)針對將抑制的選定扇區(qū)的選定抑制等級(或濾波器的類型)來抑制音頻,這影響音頻信號110,且因此影響經(jīng)由任何相關(guān)聯(lián)揚聲器107呈現(xiàn)給用戶的聲音。
在一些實例中,坐標(biāo)地圖301可指示輸入信號108中的靜止噪聲的來源相對于裝置102位于何處。音頻分析器114可確定與輸入信號108相關(guān)聯(lián)的靜止噪聲等級。舉例來說,音頻分析器114可基于輸入信號108的噪度度量(例如線性預(yù)測譯碼(LPC)預(yù)測增益)來確定靜止噪聲等級。在特定實例中,較低LPC預(yù)測增益可指示輸入信號108的較高靜止噪聲等級??梢罁?jù)輸入信號108的變化或依據(jù)輸入信號108的功率或能量來定義噪度度量。在特定實例中,音頻分析器114可確定與輸入信號108中的每一者相關(guān)聯(lián)的特定靜止噪聲等級,且GUI 120可指示與對應(yīng)麥克風(fēng)相關(guān)聯(lián)的方向上的特定靜止噪聲等級。舉例來說,音頻分析器114可確定輸入信號108a的第一靜止噪聲等級。GUI 120接著可指示與第一麥克風(fēng)104a相關(guān)聯(lián)的靜止噪聲等級。舉例來說,GUI 120可在坐標(biāo)地圖301上指示對應(yīng)于麥克風(fēng)104a的第一方向上的靜止噪聲等級。GUI 120可因此向用戶118指示靜止噪聲的來源相對于裝置102所位于的位置,從而使用戶118能夠基于此音頻信息(即,噪聲信息)采取動作。舉例來說,用戶118可移動離開靜止噪聲的來源,或調(diào)用音頻分析器114所提供的某些處理選項。
音頻分析器114可基于噪聲抑制的等級來修改(例如增加或減少)噪聲參考等級。音頻分析器114可通過將噪聲濾波器應(yīng)用于輸入信號108以對具有滿足(例如高于或低于)噪聲參考等級的振幅的輸入信號108的一或多個頻帶進(jìn)行濾波,來產(chǎn)生音頻信號110。噪聲參考等級可基于用戶所選擇的特定噪聲濾波器。因為參考對其應(yīng)用一或多個濾波器而使用“輸入信號”,因此應(yīng)理解,音頻分析器114可選擇性將噪聲濾波器(或任何其它濾波器)應(yīng)用于包含噪聲的一或多個輸入信號。在其它實例中,音頻分析器114可基于每一輸入信號與扇區(qū)之間的關(guān)系或不管所述關(guān)系如何而應(yīng)用特定噪聲濾波器。
在一些實例中,在將噪聲濾波器(例如靜止噪聲濾波器)應(yīng)用于輸入信號108之前,音頻分析器114可將頻域修改應(yīng)用于輸入信號108。為了說明,音頻分析器114可通過將特定低通濾波器、特定高通濾波器或特定帶通濾波器應(yīng)用于輸入信號108來產(chǎn)生中間信號。音頻分析器114可通過將特定靜止噪聲濾波器應(yīng)用于中間信號以對具有滿足(例如高于或低于)特定噪聲參考等級的中間信號的一或多個頻帶進(jìn)行濾波來產(chǎn)生音頻信號110。
音頻分析器114可將所產(chǎn)生的音頻信號110提供到頭戴式耳機(jī)112或其它輸出裝置107,例如揚聲器。用戶118可使用頭戴式耳機(jī)112來監(jiān)視或收聽所產(chǎn)生的音頻信號110,且可通過選擇(例如移動)噪聲抑制選項330來調(diào)整噪聲抑制的等級。舉例來說,用戶118可在沙灘上,且可能想要捕獲波浪的聲音。在此實例中,用戶118可在第一方向(例如左)上移動噪聲抑制選項330來降低噪聲抑制的等級。在另一實例中,用戶118可在戶外會議上,且可能想要捕獲特定揚聲器的語音。用戶118可經(jīng)由頭戴式耳機(jī)112來收聽音頻信號110,且可認(rèn)識到音頻信號110具有對應(yīng)于觸摸麥克風(fēng)104a到c的風(fēng)的高噪聲等級。在此實例中,用戶118可通過在第二方向(例如右)上移動噪聲抑制選項330來增加噪聲抑制的等級?;蛘呋蛄硗?,用戶118可基于接收到關(guān)于所記錄的音頻的圖形反饋,來將裝置102移動到風(fēng)較小的位置。
音頻分析器114可基于表示使用例如基于音頻分析器114所輸出的過去音頻信號110而輸入的GUI的用戶選擇的用戶輸入數(shù)據(jù),實現(xiàn)可對音頻分析器114隨后接收到的音頻信號實時進(jìn)行的實時或另外的動態(tài)校正或改變。應(yīng)了解,在用戶118提供任何輸入來致使音頻分析器114進(jìn)行隨后接收到的輸入信號108的任何處理時,過去音頻信號110那時可能已經(jīng)成為當(dāng)前(或?qū)崟r)音頻信號110。以此方式,音頻分析器114可使用戶能夠在接收到音頻時對所述音頻作出實時調(diào)整。音頻分析器114對隨后接收到的輸入信號(或單個輸入信號)作出調(diào)整,并使用一或多個輸出裝置107來輸出以供呈現(xiàn)。
參看圖3D,示出GUI 120的實例。在此實例中,示出噪聲抑制選項330的另一實例。在此實例中,噪聲抑制選項330由噪聲指示符331補(bǔ)充,所述噪聲指示符指示音頻分析器114基于處理對應(yīng)于麥克風(fēng)104的輸入信號108而檢測到的靜止噪聲(例如背景噪聲)的量。如上文所指出,用戶可與噪聲抑制選項330交互,以指示音頻分析器114將要在一或多個輸入信號108中抑制的背景噪聲(例如靜止噪聲)的量。在一些實例中,GUI120針對每一麥克風(fēng)104包含噪聲抑制選項330和噪聲指示符。
在一些實例中,為了估計噪聲等級,其可以噪聲331表示,音頻分析器114可計算:
其中SNR=靜止噪聲參考,Nref=靜止噪聲參考的量值譜,i=頻段(1到512,如果使用512大小FFT),且比例=將用于GUI表示的比例因子。音頻分析器114可按比例縮放此最終噪聲參考的總能量,并使用所述最終噪聲作為GUI中的噪聲等級,例如噪聲指示符331中所描繪的值。
在一些實例中,可針對噪聲指示符331使用顯示單一色彩(例如綠色)的單個條來描繪噪聲等級。在此些實例中,綠色條相對于其底座越高,存在的靜止噪聲越多;且綠色條相對于其底座較低,存在的靜止噪聲越少。響應(yīng)于應(yīng)用噪聲抑制,用于噪聲指示符331的單一條可在同一條內(nèi)包含第二色彩(例如藍(lán)色),以示出抑制的噪聲的量。舉例來說,假定測得靜止噪聲等級(或參考)將處于一定的量。噪聲指示符331可爬升到對應(yīng)于測得噪聲的量的第一高度。在應(yīng)用噪聲抑制后,噪聲指示符331的高度將保持相同,但綠色條的頂部將降低,以顯示噪聲抑制之后的噪聲量小于噪聲抑制之前的噪聲量。綠色條上方可為在綠色條的頂部開始用噪聲指示符331極愛能夠所述條填充到頂部的另一彩色條(例如藍(lán)色)。此藍(lán)色條使用戶能夠快速地理解去除多少噪聲。
舉例來說,如圖3B中示出,所描繪的白色條可對應(yīng)于“綠色”條,且?guī)в熬€的條可對應(yīng)于“藍(lán)色”條。通過檢查綠色條與藍(lán)色條之間的增量(即,改變),用戶可通知正抑制多少靜止噪聲。在噪聲指示符331的綠色/藍(lán)色條實例中,抑制之前的綠色條可基于使用上文的等式所計算的噪聲的量。
抑制之后的綠色條可基于使用以下等式計算的噪聲的量:其中Nref=靜止噪聲參考的量值譜,i=頻段(1到512,如果使用512大小的FFT),NSgain=靜止噪聲的增益,且比例=將用于GUI表示的比例因子。以此方式,如果應(yīng)用25%噪聲抑制,那么在抑制之后,綠色條的高度可減少25%。舉例來說,在圖3C中,示出50%抑制;然而,在圖3D中,示出35%抑制。
在一些實例中,裝置102的相機(jī)111可用于基于例如所捕獲的照片且接著用音頻分析器114分析所捕獲的圖像,來執(zhí)行場景或?qū)ο髾z測?;跈z測到的場景或?qū)ο螅b置102可經(jīng)由GUI 120向所述用戶推薦或不推薦噪聲抑制。圖3D示出檢測到的場景或?qū)ο笾甘?33以及噪聲抑制推薦335的一個實例。在圖3D中所示的實例中,音頻分析器114檢測海岸,其對應(yīng)音頻具有翻滾的波浪的聲音作為靜止噪聲。音頻分析器114可通過使用當(dāng)前或先前記錄的聲音輔助音頻分析器確定和識別特定圖像的場景或?qū)ο?,來增加場景或?qū)ο髾z測的準(zhǔn)確性。在圖3D中所示的實例中,音頻分析器可能已基于捕獲圖像(例如沙灘)、當(dāng)前記錄的聲音(例如波浪)或這兩者而確定場景(或裝置102的當(dāng)前位置,如果處理正實時進(jìn)行)是海岸?;谒鰣鼍?,音頻分析器114可不推薦靜止噪聲抑制,如圖所示。可不推薦抑制,因為宛如其它噪聲的海浪可能不被視為噪聲(例如可考慮將此類聲音添加到所記錄音頻的周圍環(huán)境)。在另一實例中,例如具有有噪聲的空調(diào)或風(fēng)扇的室內(nèi)環(huán)境,場景檢測算法可推薦靜止噪聲抑制。
另外,如圖1中所說明,計算裝置可能夠使用計算裝置的相機(jī)來執(zhí)行場景或?qū)ο髾z測?;跈z測到的場景或?qū)ο?,計算裝置可向用戶推薦或不推薦噪聲抑制。在圖1的實例中,計算裝置檢測海岸,其對應(yīng)音頻具有翻滾的波浪的聲音作為靜止噪聲。基于所述檢測到的海岸場景,計算裝置可不推薦靜止噪聲抑制。在另一實例中,例如具有有噪聲的空調(diào)或風(fēng)扇的室內(nèi)環(huán)境,場景檢測算法可推薦靜止噪聲抑制。
在一些實例中,位置定位可用于執(zhí)行場景檢測,不管是單獨還是結(jié)合本文的場景檢測的其它實例(例如分析圖像)。舉例來說,位置定位可指裝置102的坐標(biāo)或一或多個麥克風(fēng)104的坐標(biāo)。裝置102可為具有GPS功能的裝置,其例如具有GPS接收器,所述GPS接收器經(jīng)配置以在接收到必需的信號(例如一或多個衛(wèi)星信號)后,即刻計算或確定2D位置(例如經(jīng)緯度)或3D位置(例如緯度、經(jīng)度以及海拔高度)。一或多個麥克風(fēng)104可具有GPS功能,其具有例如GPS接收器,所述GPS接收器經(jīng)配置以在接收到必需的信號(例如一或多個衛(wèi)星信號)后,即刻計算或確定2D位置(例如經(jīng)緯度)或3D位置(例如緯度、經(jīng)度和海拔高度)。音頻分析器114可經(jīng)配置以從裝置102或者一或多個麥克風(fēng)104接收GPS數(shù)據(jù)(例如GPS坐標(biāo))。
音頻分析器114可經(jīng)配置以基于例如裝置102或一或多個麥克風(fēng)104的一或多個GPS坐標(biāo)來執(zhí)行檢測?;跈z測到的場景,例如裝置102基于在記錄音頻之前、期間或之后計算或確定的一或多個GPS坐標(biāo)而確定其位置是在沙灘上,音頻分析器114可推薦或不推薦靜止噪聲抑制。作為另一實例,音頻分析器114可基于裝置102的GPS坐標(biāo),基于使用所述GPS坐標(biāo)計算的行進(jìn)速率來確定所述裝置在汽車、火車還是飛機(jī)上。在此實例中,音頻分析器114可例如自動應(yīng)用道路噪聲濾波器、軌道濾波器或空中行進(jìn)濾波器。此類濾波器可分別濾除與此類行進(jìn)模式相關(guān)聯(lián)的常見的不想要噪聲,例如分別是道路噪聲、軌道噪聲和響亮的火車汽笛聲,以及引擎噪聲。在又其它實例中,GUI 120使用戶能夠輸入位置(例如地址、城市、城市和州、國家,或任何其它識別信息),來使音頻分析器114能夠執(zhí)行場景選擇,或以其它方式增強(qiáng)音頻分析器114所執(zhí)行的任何場景檢測(例如增加其準(zhǔn)確性)。
參看圖3E,示出GUI 120的實例。在此實例中示出重新定位選項340的實例。在操作期間,用戶118可選擇扇區(qū)302中的一者。在選擇扇區(qū)302之后,GUI 120可在其它可選選項140列表當(dāng)中呈現(xiàn)重新定位選項340。舉例來說,重新定位選項340可在GUI 120中表示為虛擬按鈕的菜單或矩陣的一部分。作為關(guān)聯(lián)選項340的一個實例使用,用戶118可能想要改變解說員話音從中輸出的音頻輸出裝置107。解說員可相對于裝置102從特定方向(例如用戶118后面)說話。用戶118可能想要產(chǎn)生音頻信號110,使得解說員的所記錄話音對應(yīng)于特定信號或聲道(例如中心聲道)。用戶118可選擇解說員的話音與之相關(guān)聯(lián)的一或多個扇區(qū)302,且反過來選擇重新定位選項340。接著,用戶118可選擇對應(yīng)于所述解說員的話音的后續(xù)音頻信號110將傳送或重定位到的扇區(qū)或聲道。其它實例可涉及關(guān)于何時告知音頻分析器114所述選擇對應(yīng)于重定位信號或與重定位信號有關(guān)的不同次序的操作。
GUI 120可因此使用戶能夠產(chǎn)生多聲道音頻信號,使得對應(yīng)于特定聲道的音頻信號對應(yīng)于從對應(yīng)于坐標(biāo)地圖的特定扇區(qū)的特定方向接收到的輸入信號。舉例來說,使用GUI 120和重新定位選項340,用戶可將正輸出到與第一音頻聲道相關(guān)聯(lián)的第一音頻輸出裝置107的音頻移動或再定位到第二不同位置,使得來自第一音頻聲道的音頻移動到與第二音頻聲道相關(guān)聯(lián)的第二音頻輸出裝置107。作為一實例,如果解說員的話音來源于背聲道,那么用戶可使用GUI 120來將解說員的話音從后聲道推動、拖曳或以其它方式移動到中心聲道。在一些實例中,GUI 120使用戶能夠通過選擇解說員的話音與之相關(guān)聯(lián)的扇區(qū)來移動/再定位音頻,且接著選定的下一扇區(qū)將致使音頻分析器114將音頻從第一扇區(qū)傳送到第二扇區(qū),從而有效地將所述音頻移動到與所述第二扇區(qū)相關(guān)聯(lián)的輸出裝置107。在其它實例中,GUI 120使用戶能夠通過選擇音頻聲道(例如描繪為聲道圖標(biāo))的圖形表示來移動/再定位音頻,且接著另一音頻聲道的下一圖形表示將致使音頻分析器114將音頻從第一音頻聲道傳送到第二音頻聲道。由此,音頻分析器114可將音頻從第一區(qū)(例如扇區(qū)或聲道)移動或再定位到第二區(qū)(例如扇區(qū)或聲道)。在其它實例中,音頻的移動可包含將音頻移動到扇區(qū)或聲道,同時使所述音頻保持在發(fā)起扇區(qū)或聲道。舉例來說,解說員的話音可僅與背聲道相關(guān)聯(lián)。使用重新定位選項340,解說員的話音可移動成也與一或多個其它聲道相關(guān)聯(lián)。
用戶可確定定向噪聲應(yīng)從與用戶在扇區(qū)302中的一者中的選擇點“C”相關(guān)聯(lián)的區(qū)重定位到另一區(qū)(例如一或多個其它扇區(qū)302)。舉例來說,如圖3E中示出,用戶可使用示出為從選擇點“C”的箭頭的向上拖曳示意動作來指示應(yīng)將所述第一區(qū)重定位到與中心聲道相關(guān)聯(lián)的區(qū)。以此方式,GUI 120可使用戶能夠選擇性地混合兩個或更多個扇區(qū)以及任何對應(yīng)音頻聲道。
參看圖3F和3G,示出GUI 120的兩個實例。在此實例中,示出音頻等級(例如音量/振幅等級)指示符350的實例。圖3F和3G是類似的,但示出不同等級的細(xì)節(jié)。
在操作期間,音頻分析器114可確定與音頻信號110中的每一者相關(guān)聯(lián)的輸出音頻等級,所述音頻信號110中的每一者與每一聲道相關(guān)聯(lián)(例如在5聲道環(huán)繞設(shè)置中,音頻信號110可包含五個信號,每一聲道一個)。舉例來說,音頻分析器114可測量對應(yīng)于聲道/揚聲器圖標(biāo)304a的第一音頻信號的第一輸出音頻等級、對應(yīng)于聲道/揚聲器圖標(biāo)304b的第二音頻信號的第二輸出音頻等級,等等。音頻分析器114可通過將特定度量(例如均方根)應(yīng)用于與對應(yīng)于聲道/揚聲器圖標(biāo)304a到c中的每一者的音頻信號110相關(guān)聯(lián)的聲波的振幅來測量特定輸出音頻等級。
GUI 120可指示與音頻信號110中的每一者相關(guān)聯(lián)的輸出音頻等級。在一特定實例中,每一聲道圖標(biāo)(例如聲道圖標(biāo)304a到e)的色彩或其它圖形表示可指示對應(yīng)的輸出音頻等級(例如音量/振幅等級)。舉例來說,第一色彩的聲道圖標(biāo)304d可指示第一輸出音頻等級(例如音量/振幅等級),第二色彩的聲道圖標(biāo)304e可指示第二輸出音頻等級(例如音量級),等等。在一個實例中,與可指示較低輸出音頻等級(例如音量/振幅等級)的較淺或較強(qiáng)烈的色彩(例如淡黃色)相比,較暗或較強(qiáng)烈的色彩(例如亮紅色)可指示較高輸出音頻等級(例如音量/振幅等級)。在一些實例中,GUI 120可包含三維(3D)曲線圖(例如3D網(wǎng)格曲線圖),其指示與音頻信號110中的每一者相關(guān)聯(lián)的輸出音頻等級。在另一實例中,圖形音量條可位于每一聲道/揚聲器圖標(biāo)304上方,以指示與每一音頻信號110相關(guān)聯(lián)的輸出等級。
音頻分析器114可確定與輸入信號108中的每一者相關(guān)聯(lián)的輸入音頻等級(例如音量/振幅等級)。舉例來說,音頻分析器114可確定與第一輸入信號108a相關(guān)聯(lián)的第一輸入音頻等級、與第二輸入信號108b相關(guān)聯(lián)的第二輸入音頻等級、與第三輸入信號108c相關(guān)聯(lián)的第三輸入音頻等級,等等。將輸入音頻等級描繪為音頻等級指示符350。音頻分析器114可通過將特定度量(例如均方根)應(yīng)用于與麥克風(fēng)相關(guān)聯(lián)的輸入信號(即,例如,正從麥克風(fēng)接收到的一或多個聲波轉(zhuǎn)換的輸入信號)的振幅,來測量特定輸入音頻等級。音頻分析器114可響應(yīng)于確定對應(yīng)輸入信號與特定麥克風(fēng)相關(guān)聯(lián),而確定特定輸入音頻等級(例如音量/振幅)與特定麥克風(fēng)相關(guān)聯(lián)。舉例來說,第一輸入音頻等級可與第一麥克風(fēng)104a相關(guān)聯(lián),第二輸入音頻等級可與第二麥克風(fēng)104b相關(guān)聯(lián),第三輸入音頻等級可與第三麥克風(fēng)104c相關(guān)聯(lián),等等。
GUI 120可指示與每一音頻聲道相關(guān)聯(lián)的噪聲等級。在特定實例中,每一聲道圖標(biāo)(例如聲道圖標(biāo)304a到e)的色彩或其它圖形表示可指示對應(yīng)噪聲等級。舉例來說,第一色彩的聲道圖標(biāo)304d可指示第一噪聲等級,第二色彩的聲道圖標(biāo)304e可指示第二噪聲等級,等等。在一個實例中,與可指示較低噪聲等級的較淺或較不強(qiáng)烈的色彩(例如淡黃色)相比,較暗或較強(qiáng)烈的色彩(例如亮紅色)可指示較高噪聲等級。在一些實例中,噪聲信息(例如噪聲電平)由GUI經(jīng)由一或多個音頻聲道的動態(tài)圖形表示來在空間上呈現(xiàn)。舉例來說,圖形表示可基于對應(yīng)于所述圖形表示與之相關(guān)聯(lián)的音頻聲道的噪聲的量而改變。
GUI 120可顯示器對應(yīng)于每一麥克風(fēng)的輸入音頻等級。舉例來說,輸入音頻指示符350可包含輸入音頻等級的對應(yīng)于第一輸入音頻等級的第一圖形表示,輸入音頻等級的對應(yīng)于第二輸入音頻等級的第二圖形表示,輸入音頻等級的對應(yīng)于第三輸入音頻等級的第三圖形表示,等等。在特定實例中,特定輸入音頻等級指示符或圖形表示的大小、色彩或這兩者可指示對應(yīng)的輸入音頻等級(例如音量/振幅)。舉例來說,第一色彩(例如白色)的輸入音頻等級圖標(biāo)可指示對應(yīng)的輸入音頻等級未能滿足(例如低于)第一音頻等級閾值。第二色彩(例如綠色)的輸入音頻等級圖標(biāo)可指示對應(yīng)的輸入音頻等級滿足(例如大于)第一音頻等級閾值,且滿足(例如小于)第二音頻等級閾值。第三色彩(例如黃色)的輸入音頻等級圖標(biāo)可指示對應(yīng)的輸入音頻等級未能滿足(例如大于)第二音頻等級閾值,且滿足(例如小于)第三音頻等級閾值。第四色彩(例如紅色)的輸入音頻等級圖標(biāo)可指示對應(yīng)的輸入音頻等級未能滿足(例如大于)第三音頻等級閾值。出于說明性目的而描述三個音頻等級閾值。在特定實例中,輸入音頻等級指示符350可對應(yīng)于少于三個或多于三個音頻等級閾值。輸入音頻等級指示符350可指示麥克風(fēng)飽和度告警。舉例來說,特定色彩(例如紅色)可對應(yīng)于麥克風(fēng)飽和度告警(即,特定輸入信號的音量/振幅接近或已超出麥克風(fēng)的飽和度,意味著輸入信號將要或正被削波)。
在一些實例中,GUI 120包含用于用戶的滑件或其它選擇選項,使得可避免麥克風(fēng)飽和度(例如麥克風(fēng)削波)。舉例來說,輸入音頻等級指示符350可各自與麥克風(fēng)等級調(diào)整滑件相關(guān)聯(lián)。通過向下或向上調(diào)整滑件,用戶可降低或增加特定麥克風(fēng)的麥克風(fēng)增益或音頻聲道的增益。舉例來說,如圖3G中示出,GUI 120可包含增益調(diào)整器352。通過使用戶能夠調(diào)整增益,用戶可能夠避免麥克風(fēng)飽和度,或能夠增加低音量音頻聲道的音量,這可改進(jìn)用戶正記錄的音頻的質(zhì)量。
GUI 120可因此向用戶提供關(guān)于從麥克風(fēng)接收到的輸入信號108的音頻等級以及對應(yīng)于所產(chǎn)生的多聲道信號的聲道的音頻信號110的反饋。用戶可基于所述反饋來采取動作。舉例來說,用戶可確定基于輸入信號的音頻等級來停用所述麥克風(fēng)中的一或多者,且可因此啟用所述麥克風(fēng)。因此可改進(jìn)用戶體驗。作為另一實例,所述用戶可基于輸入信號的音頻等級來確定所述麥克風(fēng)中的一或多者正削波或以其它方式飽和,且可停用任何進(jìn)攻麥克風(fēng),或調(diào)整任何進(jìn)攻麥克風(fēng)的增益。因此可改進(jìn)用戶體驗。在其它實例中,音頻分析器114可認(rèn)識到麥克風(fēng)停用,并自動輸出表示麥克風(fēng)在錯誤狀態(tài)下停用或以其它方式不工作的通知音頻信號。此通知音頻信號將使裝置102能夠在記錄期間告知所述裝置的用戶一或多個麥克風(fēng)在錯誤狀態(tài)下停用或以其它方式不工作??蓪⑼ㄖ盘栞敵龅奖硎緸橥ㄖ暤赖囊换蚨鄠€音頻聲道,其可能或可能不是在記錄裝置本地(即,所述記錄裝置的揚聲器或所述裝置外部的揚聲器)。在其它實例中,所述通知可另外或替代地為所述裝置能夠提供給用戶的另一輸出,例如觸覺反饋或選擇圖形信息。在其它實例中,所述通知可包含于音頻信號110中的任一者中。
參看圖3G,在操作期間,用戶可使用輸入裝置(例如鼠標(biāo)、觸摸屏等)來選擇頭戴式耳機(jī)圖標(biāo)354,以使用頭戴式耳機(jī)112作為輸出裝置107中的一者。音頻分析器114可響應(yīng)于接收到頭戴式耳機(jī)圖標(biāo)354的選擇而將音頻信號110提供到頭戴式耳機(jī)112。由于頭戴式耳機(jī)可為立體聲的,因此高于2聲道的多聲道信號可向下混合成具有2個聲道的多聲道信號。音頻分析器114可響應(yīng)于接收到頭戴式耳機(jī)圖標(biāo)354的另一(即,第二或后續(xù))選擇而制止將音頻信號110提供到頭戴式耳機(jī)112。在特定實例中,第一色彩(例如綠色)的頭戴式耳機(jī)圖標(biāo)354可指示音頻分析器114正將音頻信號110提供到頭戴式耳機(jī)112,且第二色彩(例如白色)的頭戴式耳機(jī)圖標(biāo)354可指示音頻分析器114不在(或制止)將音頻信號110提供到頭戴式耳機(jī)112。
對應(yīng)于聲道圖標(biāo)304a到c中的每一者的特定圖像可指示對應(yīng)的輸出音頻等級,如本文所述。舉例來說,對應(yīng)于聲道圖標(biāo)304中的具有特定色彩(例如藍(lán)色)的第一部分(例如所述第一圖像的大部分)的第一者的第一圖像可指示第一輸出音頻等級(例如高),對應(yīng)于聲道圖標(biāo)304中的具有所述特定色彩(例如藍(lán)色)的第二部分(例如約所述第二圖像的一半)的第二者的第二圖像可指示第二輸出音頻等級(例如中等),且對應(yīng)于聲道圖標(biāo)304中的具有所述特定色彩(例如藍(lán)色)的第三部分(例如無所述第二圖像)的第三者可指示第三輸出音頻等級(例如無或低)。
音頻分析器114可確定音頻信號110的靜止噪聲等級,如圖3G中示出。在一些實例中,在選擇扇區(qū)302或聲道304中的一者后,圖3G中所示的靜止噪聲等級可即刻填充在GUI 120中。在此些實例中,靜止噪聲等級對應(yīng)于特定扇區(qū)或聲道。在其它實例中,圖3G中所示的靜止噪聲等級可對應(yīng)于所有音頻信號110(或輸入信號108)上的噪聲等級。舉例來說,音頻分析器114可基于音頻信號110(或輸入信號108)的噪度度量(例如線性預(yù)測譯碼(LPC)預(yù)測增益)來確定靜止噪聲等級。在特定實例中,較低LPC預(yù)測增益可指示音頻信號110的較高靜止噪聲等級??梢罁?jù)音頻信號110的變化或依據(jù)音頻信號110的功率或能量來定義噪度度量。輸出噪聲等級指示符356可指示一或多個音頻信號110(或輸入信號108中的一或多者)的靜止噪聲等級。作為一個實例,輸出噪聲等級指示符356的特定色彩(例如紅色)的高度可指示音頻信號110的靜止噪聲等級。
用戶118可在第一方向上(例如向下)移動噪聲抑制選項330以降低噪聲抑制等級,或可在第二方向上(例如向上)移動噪聲抑制選項330以增加噪聲抑制等級。用戶118可移動噪聲抑制選項330來調(diào)整噪聲抑制等級。音頻分析器114可基于所述噪聲抑制等級來產(chǎn)生音頻信號110。輸出噪聲等級指示符356可指示音頻信號110或輸入信號108的靜止噪聲等級。輸出噪聲等級圖標(biāo)356可因而向用戶118提供關(guān)于選定噪聲抑制等級對音頻信號110或輸入信號108的靜止噪聲等級的影響的反饋??蓪崟r呈現(xiàn)噪聲等級指示符356,使得其指示當(dāng)前記錄的音頻內(nèi)存在的背景噪聲的量(又稱為靜止噪聲)。在一些實例中,噪聲等級指示符356可相同,或以其它方式類似于噪聲指示符331而呈現(xiàn)。舉例來說,噪聲等級指示符356可類似地包含綠色/藍(lán)色條布置,以與噪聲抑制之后剩余的噪聲量相比,增強(qiáng)測得噪聲的可視化。
一或多個增益調(diào)節(jié)器(或增益選項)352中的每一者可與特定麥克風(fēng)相關(guān)聯(lián)。舉例來說,一或多個增益選項1308中的第一增益選項可對應(yīng)于圖1的第一麥克風(fēng)104a,所述一或多個增益選項1308中的第二增益選項可對應(yīng)于第二麥克風(fēng)104b,等等。用戶118可選擇特定增益選項來調(diào)整與對應(yīng)麥克風(fēng)相關(guān)聯(lián)的增益的等級。舉例來說,用戶118可在第一方向上(例如向上)移動第一增益選項,以增加與第一麥克風(fēng)104a相關(guān)聯(lián)的第一增益等級。在特定實例中,特定增益選項可對應(yīng)于可選選項140。舉例來說,音頻分析器114可接收指示用戶118選擇了特定增益選項的選擇130。選擇130還可指示對應(yīng)于所述特定增益選項的增益的等級。舉例來說,選擇130可指示用戶118在第一方向上將所述特定增益選項移動了第一距離。所述第一距離可對應(yīng)于第一改變量,且所述第一方向可指示對應(yīng)的增益等級將增加(或減少)。音頻分析器114可基于選擇130來確定對應(yīng)于特定增益選項的第一增益等級將增加(或減少)第一改變量。音頻分析器114可使對應(yīng)麥克風(fēng)的增益等級增加(或減少)第一改變量。隨后,可更新輸入音頻等級指示符350,以指示對應(yīng)于增益已改變的麥克風(fēng)的輸入音頻等級。輸入音頻等級指示符350可因而向用戶118提供關(guān)于選定增益等級對對應(yīng)于麥克風(fēng)的第一輸入音頻等級的影響的反饋。
GUI 120可因此在多聲道音頻產(chǎn)生期間向用戶提供反饋。用戶可基于所述反饋作出選擇來修改多聲道音頻產(chǎn)生,從而改進(jìn)所產(chǎn)生的多聲道音頻的用戶體驗和質(zhì)量。
本發(fā)明的圖中說明的每一GUI 120可包含比所說明的組件少的組件或多的組件(例如圖形表示、可選圖形表示等)。
參看圖4,示出多聲道音頻產(chǎn)生的方法400的特定說明性實例的流程圖。在示出的實例中,音頻分析器114可執(zhí)行一或多個步驟。
方法400包含在第一裝置處從多個麥克風(fēng)接收(402)第一多個輸入信號。舉例來說,裝置102的音頻分析器114可從麥克風(fēng)104a到c接收輸入信號108。
方法400還包含在第一裝置處顯示(404)圖形用戶接口。所述圖形用戶接口可包含可選選項來使所述用戶能夠與音頻分析器114交互。舉例來說,用戶可與如顯示器106上呈現(xiàn)的圖形音頻聲道的表示交互,以尤其調(diào)整音頻記錄參數(shù)或音頻處理參數(shù)。裝置102的音頻分析器114可顯示GUI 120,如本文所述。
方法400進(jìn)一步包含接收(406)可選選項的選擇。舉例來說,裝置102的音頻分析器114可接收選擇130,如本文所述。
方法400還包含基于接收到所述選擇,從所述第一多個輸入信號產(chǎn)生(408)第二多個音頻信號。舉例來說,音頻分析器114可基于接收到選擇130從輸入信號108產(chǎn)生音頻信號110,如本文所述。第二多個音頻信號中的每一者可與特定方向相關(guān)聯(lián)。音頻信號110中的每一者可與特定方向(例如左、右、中心、左-環(huán)繞或右-環(huán)繞)相關(guān)聯(lián),如本文所述。
方法400進(jìn)一步包含將第二多個音頻信號發(fā)送(410)到頭戴式耳機(jī)(或其它輸出裝置107)。舉例來說,音頻分析器114可將音頻信號110發(fā)送到頭戴式耳機(jī)112(或其它輸出裝置107),如本文所述。
方法400還包含將第二多個音頻信號存儲(412)在存儲器中。舉例來說,音頻分析器114可將音頻信號110存儲在GUI數(shù)據(jù)150中,或?qū)⑴c音頻信號110相關(guān)聯(lián)或以其它方式對應(yīng)于所述音頻信號的信息存儲在GUI數(shù)據(jù)150中。GUI數(shù)據(jù)150可存儲在耦合到裝置102或包含于裝置102中的存儲器中。
方法400可基于接收到GUI的可選選項的選擇而實現(xiàn)從第一多個輸入信號產(chǎn)生多聲道音頻信號(例如第二多個音頻信號)。方法400可因此實現(xiàn)多聲道音頻信號的交互式產(chǎn)生,從而改進(jìn)所產(chǎn)生的多聲道音頻信號的用戶體驗和質(zhì)量。
圖5是說明根據(jù)本發(fā)明的一或多種技術(shù)的實例操作的流程圖。在圖5中所示的實例中,一種計算裝置可接收(500)以通信方式耦合到計算裝置的多個麥克風(fēng)所輸出的多個實時音頻信號。舉例來說,所述多個麥克風(fēng)中的一或多者可以通信方式耦合到計算裝置,使得它們建構(gòu)到所述裝置中。作為另一實例,所述多個麥克風(fēng)中的一或多者可以通信方式耦合到計算裝置,使得它們不建構(gòu)到所述裝置中(例如外圍麥克風(fēng))。
所述計算裝置可向顯示器輸出(502)呈現(xiàn)與所接收到的音頻信號相關(guān)聯(lián)的音頻信息的圖形用戶接口(GUI)。舉例來說,所述音頻信息可為實時音頻信息。作為可以任何組合一起使用或彼此分開使用的一些額外實例,音頻信息可包含與實時音頻信號中的每一者、所述多個麥克風(fēng)中的每一者、一或多個輸出裝置、與一或多個輸出裝置有關(guān)的音量等級、一或多個麥克風(fēng)的飽和度等級或噪聲電平有關(guān)的信息。本發(fā)明中識別其它實例。
可基于與經(jīng)由GUI呈現(xiàn)的音頻信息相關(guān)聯(lián)的用戶輸入來處理(504)所接收的音頻信號中的一或多者,以產(chǎn)生一或多個經(jīng)處理音頻信號。舉例來說,所述計算裝置的一或多個處理器可處理所接收的音頻信號。作為一個實例,所述計算裝置的一或多個處理器可處理所接收的音頻信號,以上混或下混所接收的音頻信號。所述上混或下混可基于從經(jīng)由GUI呈現(xiàn)的所述多個聲道配置選項的聲道配置選擇。作為另一實例,如果存在兩個麥克風(fēng),且聲道配置選擇指示三個輸出裝置(例如三個揚聲器),那么所述一或多個處理器可將來自所述兩個麥克風(fēng)的兩個音頻信號上混成經(jīng)配置以用于結(jié)合三個輸出裝置使用的三聲道多聲道信號。作為另一實例,如果存在三個麥克風(fēng),且聲道配置選擇指示兩個輸出裝置(例如兩個揚聲器),所述一或多個處理器可將來自所述三個麥克風(fēng)的三個音頻信號下混成經(jīng)配置以用于結(jié)合兩個輸出裝置使用的雙通道多聲道信號。
作為另一實例,所述計算裝置的一或多個處理器可處理所接收的音頻信號,以對所接收的音頻信號進(jìn)行濾波。所述濾波可基于從經(jīng)由GUI呈現(xiàn)的一或多個噪聲抑制選項的噪聲抑制選擇。
作為另一實例,所述計算裝置的一或多個處理器可處理所接收的音頻信號,以處理所述多個音頻信號中的第一音頻信號,使得在處理之前,所述第一音頻信號與第一音頻聲道相關(guān)聯(lián),且在處理之后,所述第一音頻信號與第二音頻聲道相關(guān)聯(lián)。作為又一實例,所述計算裝置的一或多個處理器可處理所接收的音頻信號,以處理所述多個音頻信號中的第一音頻信號,使得在處理之前,所述第一音頻信號僅與第一音頻聲道相關(guān)聯(lián),且在處理之后,所述第一音頻信號僅與第二音頻聲道相關(guān)聯(lián)。
可輸出一或多個經(jīng)處理音頻信號(506)。舉例來說,可將一或多個經(jīng)處理的音頻信號輸出到輸出裝置,例如揚聲器或頭戴式耳機(jī)。
圖6是說明根據(jù)本發(fā)明的一或多種技術(shù)的實例操作的流程圖。在圖6中所示的實例中,一種計算裝置可接收(600)以通信方式耦合到計算裝置的多個麥克風(fēng)所輸出的多個實時音頻信號。舉例來說,所述多個麥克風(fēng)中的一或多者可以通信方式耦合到計算裝置,使得它們建構(gòu)到所述裝置中。作為另一實例,所述多個麥克風(fēng)中的一或多者可以通信方式耦合到計算裝置,使得它們不建構(gòu)到所述裝置中(例如外圍麥克風(fēng))。在一些實例中,所述計算裝置可產(chǎn)生與所接收的音頻信號相關(guān)聯(lián)的音頻信息,以存儲在存儲器中。舉例來說,所述存儲器可為本文所揭示的任何存儲器,例如與所述多個麥克風(fēng)中的一或多者相關(guān)聯(lián)的存儲器,與和所述多個麥克風(fēng)中的一或多者相關(guān)聯(lián)的接口相關(guān)聯(lián)的存儲器,與CPU、GPU或其它處理器相關(guān)聯(lián)的存儲器、系統(tǒng)存儲器等等。所述存儲器可為本發(fā)明中所描述的一或多個存儲器的組合。所述存儲器可為內(nèi)部或外部的。舉例來說,所述存儲器可在CPU、GPU或其它處理器內(nèi)部,或所述存儲器可在CPU、GPU或其它處理器外部。所述存儲器可構(gòu)成臨時存儲空間、永久性存儲空間或其組合。
計算裝置可向顯示器輸出(602)呈現(xiàn)與所接收的音頻信號中的一或多者相關(guān)聯(lián)的噪聲信息的圖形用戶接口(GUI)。舉例來說,所述噪聲信息可為與所接收的音頻信號中的一或多者相關(guān)聯(lián)的實時音頻信息。作為另一實例,經(jīng)由GUI呈現(xiàn)的噪聲信息包含與對應(yīng)于所接收的音頻信號中的一或多者的噪聲量有關(guān)的信息,且其中所述GUI包含一或多個噪聲抑制選項。
可基于與經(jīng)由GUI呈現(xiàn)的噪聲信息相關(guān)聯(lián)的用戶輸入來處理(604)所接收到的音頻信號中的一或多者,以產(chǎn)生一或多個經(jīng)處理音頻信號。舉例來說,所述計算裝置的一或多個處理器可處理所接收的音頻信號。作為一個實例,所述計算裝置的一或多個處理器可處理所接收的音頻信號,以計算對應(yīng)于所接收的音頻信號中的一或多者的噪聲量。作為另一實例所述計算裝置的一或多個處理器可基于從經(jīng)由GUI呈現(xiàn)的一或多個噪聲抑制選項的噪聲抑制選擇來處理所接收的音頻信號,以對所接收的音頻信號進(jìn)行濾波。在一些實例中,濾波可包含使所接收的音頻信號中的一或多者中的噪聲衰減。
在一些實例中,所述計算裝置的一或多個處理器可檢測對應(yīng)于計算裝置所位于的位置類型的場景,基于所述檢測到的對應(yīng)于所述位置類型的場景來確定是否推薦噪聲抑制,經(jīng)由GUI呈現(xiàn)所述所確定的噪聲抑制推薦,或其任何組合。在一個實例中,檢測場景可基于以下各項中的一或多者:計算裝置使用相機(jī)所捕獲的圖像,或所接收的音頻信號中的一或多者。
可輸出一或多個經(jīng)處理音頻信號(606)。舉例來說,可將一或多個經(jīng)處理的音頻信號輸出到輸出裝置,例如揚聲器或頭戴式耳機(jī)。
根據(jù)本發(fā)明,在上下文并無其它指示的情況下,可將術(shù)語“或”推斷為“和/或”。另外,雖然例如“一或多個”或“至少一個”等短語可能已用于本文所揭示的一些特征而不是其它特征;但在上下文并無其它指示的情況下,未針對其使用此類語言的特征可解釋為暗含此類含義。
本發(fā)明中所描述的技術(shù)可至少部分在硬件、軟件、固件或其任何組合中實施。舉例來說,所描述技術(shù)的各種方面可實施于一或多個處理器中,包含一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA),或任何其它等效集成或離散邏輯電路,以及這些組件的任何組合。術(shù)語“處理器”或“處理電路”可通常指代前述邏輯電路中的任一者,單獨或結(jié)合其它邏輯電路,或任何其它等效電路。包含硬件的控制單元也可執(zhí)行本發(fā)明的技術(shù)中的一或多者。
此類硬件、軟件和固件可在同一裝置內(nèi)或在單獨裝置內(nèi)實施,以支持本發(fā)明中描述的各種技術(shù)。另外,所描述的單元、模塊或組件中的任一者可一起或單獨作為離散但可互操作邏輯裝置而實施。將不同特征描繪為模塊或單元意圖強(qiáng)調(diào)不同功能方面且未必暗示此類模塊或單元必須由單獨硬件、固件或軟件組件實現(xiàn)。實際上,與一或多個模塊或單元相關(guān)聯(lián)的功能性可由單獨硬件、固件和/或軟件組件執(zhí)行,或集成在共用或單獨硬件、固件或軟件組件內(nèi)。
本發(fā)明中所描述的技術(shù)在包含編碼有指令的計算機(jī)可讀存儲媒體的制品中體現(xiàn)或編碼。嵌入或編碼在包含經(jīng)編碼的計算機(jī)可讀存儲媒體的制品中的指令可致使一或多個可編程處理器或其它處理器實施本文所述的技術(shù)中的一或多者,例如在包含或編碼在計算機(jī)可讀存儲媒體中的指令由一或多個處理器執(zhí)行時。計算機(jī)可讀存儲媒體可包含隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃存儲器、硬盤、壓縮光盤ROM(CD-ROM)、軟盤、盒式磁帶、磁性媒體、光學(xué)媒體或其它計算機(jī)可讀媒體。在一些實例中,一種制品可包含一或多個計算機(jī)可讀存儲媒體。
在一些實例中,一種計算機(jī)可讀存儲媒體可包含非暫時性媒體。術(shù)語“非暫時性”可指示存儲媒體未體現(xiàn)于載波或所傳播信號中。在某些實例中,非暫時性存儲媒體可存儲可隨時間而改變(例如,在RAM或高速緩沖存儲器中)的數(shù)據(jù)。
所屬領(lǐng)域的技術(shù)人員將了解,可使用一或多個電路、處理器和/或軟件來實施本文所描述的方法和過程。電路是指任何電路,不管是集成的還是在處理單元外部。軟件是指可由處理單元執(zhí)行以實現(xiàn)所要結(jié)果的代碼或指令。此軟件可本地存儲在所述裝置的存儲媒體上,例如處理單元的存儲器、系統(tǒng)存儲器或其它存儲器上。
提供對所揭示實例的先前描述是為了使所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭示的實例。所屬領(lǐng)域的技術(shù)人員將容易明白對這些實例的各種修改,且在不脫離本發(fā)明的范圍的情況下,本文中所界定的原理可應(yīng)用于其它實例。因此,本發(fā)明無意限于本文中示出的實例,而是應(yīng)被賦予與如所附權(quán)利要求書所界定的原理和新穎特征一致的可能的最廣范圍。