本申請要求2014年5月21日提交的美國臨時專利申請No.62/001,193的優(yōu)先權(quán),該申請?zhí)卮苏麄€地通過引用而并入。
技術(shù)領(lǐng)域
本發(fā)明涉及配置經(jīng)由家庭音頻回放系統(tǒng)的音頻的回放,其中,音頻包括一個或多個音頻對象。
背景技術(shù):
典型的家庭音頻回放系統(tǒng)被布置為在家庭收聽環(huán)境中接收和回放音頻。這樣的家庭音頻回放系統(tǒng)可以包括音頻視頻接收器(AVR),音頻視頻接收器(AVR)連接到環(huán)繞聲配置中的多個揚聲器以便例如在家里的起居室或家庭影院房間中經(jīng)由揚聲器回放音頻。例如,AVR可以連接到5.1環(huán)繞聲配置中的六個揚聲器或者7.1環(huán)繞聲配置中的八個揚聲器。也就是說,這樣的AVR可以被配置為經(jīng)由6個、8個或者在將來甚至更多個揚聲器聲道來回放音頻。
回放的音頻可以基于接收的基于對象的音頻節(jié)目。基于對象的音頻節(jié)目可以包括許多不同的音頻對象,例如,在一些現(xiàn)代格式中,多達(dá)128個不同的對象對象。
顯然,如果具有6個、8個或者甚至更多個揚聲器聲道的家庭音頻回放系統(tǒng)要回放來自包括多達(dá)128個音頻對象的基于對象的音頻節(jié)目的音頻,那么將存在音頻對象中的哪些音頻對象要被回放并且經(jīng)由揚聲器聲道中的哪些揚聲器聲道回放的許多可能的排列。
技術(shù)實現(xiàn)要素:
本公開提供了一種用于配置經(jīng)由家庭音頻回放系統(tǒng)的音頻的回放的方法,所述音頻包括一個或多個音頻對象,所述方法包括:
產(chǎn)生用于顯示器的輸出信號,所述輸出信號包括表示圖形用戶界面的數(shù)據(jù),所述圖形用戶界面(GUI)包括定位區(qū)域,其中,所述定位區(qū)域包括與所述家庭音頻回放系統(tǒng)相關(guān)聯(lián)的收聽環(huán)境的視覺(visual)表示,并且
其中,所述定位區(qū)域包括表示所述一個或多個音頻對象中的至少一個的可移動控制對象,所述可移動控制對象相對于所述收聽環(huán)境的視覺表示可移動,由此所述可移動控制對象的當(dāng)前位置可以由用戶選擇,所述可移動控制對象的當(dāng)前位置表示對于所述一個或多個音頻對象中的所述至少一個在所述收聽環(huán)境內(nèi)的用戶期望的回放位置,
經(jīng)由輸入設(shè)備從用戶接收輸入信號,所述輸入信號包括表示對于所述一個或多個音頻對象中的所述至少一個的用戶期望的回放位置的數(shù)據(jù);以及
產(chǎn)生用于配置所述家庭音頻回放系統(tǒng)的配置信號,所述配置信號包括適合于使所述家庭音頻回放系統(tǒng)根據(jù)對于所述一個或多個音頻對象中的所述至少一個的用戶期望的回放位置來回放所述音頻對象中的所述至少一個的數(shù)據(jù)。
因此,在所述方法中,建議使得用戶能夠選擇收聽環(huán)境內(nèi)的用戶想要聲音出現(xiàn)的視在(apparent)回放位置。
在實施例中,定位區(qū)域包括第一視覺元素,所述第一視覺元素具有所述一個或多個控制對象中的所述至少一個已被用戶選擇的視覺指示。當(dāng)控制對象在對象選擇列表區(qū)域中被選擇時,例如表示該控制對象的圖標(biāo)顯示在定位區(qū)域中。
定位區(qū)域還可以包括第二視覺元素,所述第二視覺元素具有可移動控制對象可移動的視覺指示,或者其中,所述第一視覺元素包括可移動控制對象可移動的視覺指示。例如,當(dāng)控制對象可移動或者僅沿著圓的圓周可移動時,它可以具有特定形狀。
第一視覺元素還可以包括當(dāng)控制對象活動時的視覺指示。當(dāng)控制對象表示的音頻對象攜載聲音時,控制對象是活動的。例如,當(dāng)評論員正在講話時,控制對象是活動的。當(dāng)定位區(qū)域上的控制對象是活動的時,表示該控制對象的圖標(biāo)可以具有特別的顏色或者突出顯示。這使得用戶可以容易識別控制對象并且將選擇的控制對象移動到收聽環(huán)境中的某些地方。
在實施例中,定位區(qū)域包括進(jìn)一步的視覺元素,該進(jìn)一步的視覺元素被布置為指示相對于所述一個或多個揚聲器所位于的地方的視覺表示的至少一個有效位置,所述有效位置是可移動控制對象可以占據(jù)的位置。根據(jù)揚聲器設(shè)置,用戶可在GUI的定位區(qū)域上看到將可以放置音頻對象的地方。例如,該地方可以沿著圓的圓周。
此外,可以確定音頻對象或者音頻對象中的每一個的控制對象的相應(yīng)內(nèi)容。在一個實施例中,所述相應(yīng)內(nèi)容是以下中的任何一個:
表示評論;
表示人群噪聲;
表示團(tuán)隊無線電(team radio);或者
表示社交媒體聊天。
在進(jìn)一步的實施例中,圖形用戶界面進(jìn)一步包括對象選擇列表區(qū)域,其中,所述對象選擇列表區(qū)域包括至少一個可選控制對象,所述至少一個可選控制對象被配置為允許用戶啟用(enable)控制對象中的一個或多個的回放。如果用戶啟用對象選擇列表區(qū)域中的控制對象,那么它們將出現(xiàn)在定位區(qū)域中。
對象選擇列表區(qū)域還可以包括至少一個進(jìn)一步的可選控制對象,所述至少一個進(jìn)一步的可選控制對象被配置為允許用戶選擇所述一個或多個被啟用的控制對象的回放音量。
對象選擇列表區(qū)域可以包括多個控制對象,并且所述控制對象在對象選擇列表區(qū)域中被布置成多個組??刂茖ο蟮臄?shù)量和控制對象到組的分配基于控制對象的相應(yīng)內(nèi)容。例如,用戶可以在一個公共組下找到所有的具有某一音頻內(nèi)容的音頻對象。
在一個實施例中,家庭音頻回放系統(tǒng)接收與音頻相關(guān)的信息,所述音頻相關(guān)信息包括對于音頻的當(dāng)前節(jié)目特定的資源,其中,所述資源包括要在對象選擇列表區(qū)域中和/或在定位區(qū)域中與控制對象相關(guān)聯(lián)地顯示的對象圖標(biāo)的圖像。用于當(dāng)前節(jié)目的資源通過文件傳輸協(xié)議(FTP)鏈接下載。
該實施例使得能夠具有每個運動賽事的預(yù)定節(jié)目。在例如汽車運動賽事中,特定圖標(biāo)可以是團(tuán)隊無線電。
家庭音頻回放系統(tǒng)可以包括根據(jù)以下中的一個布置的兩個或更多個揚聲器:
2.0揚聲器配置,
5.1揚聲器配置,
7.1揚聲器配置,
3D揚聲器配置或者
條形音箱(soundbar)揚聲器配置。
進(jìn)一步的實施例包括從輸入信號確定用戶命令以將控制對象中的一個的選擇作為預(yù)設(shè)存儲,但是也可以包括用戶命令以將用戶期望的回放位置作為預(yù)設(shè)存儲。
進(jìn)一步的實施例包括將配置信號傳送到家庭音頻回放系統(tǒng)。這可以通過使用基于因特網(wǎng)的協(xié)議來進(jìn)行。
進(jìn)一步的實施例涉及一種配置經(jīng)由家庭音頻回放系統(tǒng)的音頻的回放的方法,所述音頻包括兩個或更多個音頻對象,所述方法包括:
產(chǎn)生用于顯示器的輸出信號,所述輸出信號包括表示圖形用戶界面的數(shù)據(jù),所述圖形用戶界面包括平衡調(diào)節(jié)區(qū)域,其中,所述平衡調(diào)節(jié)區(qū)域包括:
第一位置處的第一圖標(biāo),所述第一圖標(biāo)表示作為前景(foreground)對象的音頻對象中的一個或多個;
第二位置處的第二圖標(biāo),所述第二圖標(biāo)表示作為背景(background)對象的音頻對象中的一個或多個;
可移動控制對象,所述可移動控制對象在所述第一位置和第二位置之間可移動,由此所述可移動控制對象的當(dāng)前位置可以由用戶選擇,所述可移動控制對象相對于所述第一位置的當(dāng)前位置表示對于所述一個或多個前景對象的用戶選擇的音量水平(level),所述可移動控制對象相對于所述第二位置的當(dāng)前位置表示對于所述一個或多個背景對象的用戶選擇的音量水平;
經(jīng)由輸入設(shè)備從用戶接收輸入信號,所述輸入信號包括表示對于所述一個或多個前景對象的用戶選擇的音量水平的數(shù)據(jù)和表示對于所述一個或多個背景對象的用戶選擇的音量水平的數(shù)據(jù);以及
產(chǎn)生用于配置所述家庭音頻回放系統(tǒng)的配置信號,所述配置信號包括適合于使所述家庭音頻回放系統(tǒng)根據(jù)對于所述一個或多個前景對象和所述一個或多個背景對象的相應(yīng)的用戶選擇的音量水平來回放所述兩個或更多個音頻對象的數(shù)據(jù)。
該方法使得能夠僅使用一個控制對象來實現(xiàn)兩個動作。當(dāng)移動控制對象時,將導(dǎo)致某些預(yù)選的音頻對象的音量水平增加,并且同時使其它預(yù)選的音頻對象的音量水平降低。如果用戶想要增加前景對象的清晰度(intelligibility)并且降低背景對象的音量,那么用戶通過將平衡調(diào)節(jié)器移動到第一位置來用平衡調(diào)節(jié)器增加這些前景對象的音量水平。這將同時導(dǎo)致背景對象的音量水平的降低。
在一個實施例中,可移動控制對象可以是在第一位置和第二位置之間沿直線可移動的滑動件?;瑒蛹⑹沟萌菀浊异`活地僅需要一個控制對象來實現(xiàn)兩個動作。
在一個實施例中,可以從輸入信號確定用戶命令以用于:
將所述一個或多個背景對象和所述一個或多個前景對象作為預(yù)設(shè)存儲;
將背景對象的音量水平作為預(yù)設(shè)存儲;
將前景對象的音量水平作為預(yù)設(shè)存儲。
該實施例將使得能夠舒適地知道在特定預(yù)設(shè)下音頻對象被定位在收聽環(huán)境中的哪里以及不同音頻對象對于特定預(yù)設(shè)具有什么音量水平。
該實施例例如在根據(jù)以下中的一個布置的兩個或更多個揚聲器的情況下將很好地工作:
2.0揚聲器配置,
5.1揚聲器配置,
7.1揚聲器配置,
3D揚聲器配置或者
條形音箱揚聲器配置。
以上對于方法記載的實施例也適用于相應(yīng)的裝置。
在進(jìn)一步的實施例中,對應(yīng)的裝置將適合經(jīng)由無線通信信道(諸如IR信道)接收輸入信號,并且經(jīng)由有線信道(諸如HDMI、VGA、DVI或SCART電纜)發(fā)送輸出信號。
在裝置的進(jìn)一步的實施例中,顯示器和輸入設(shè)備集成在觸摸屏中。
本公開的目標(biāo)還通過權(quán)利要求57中要求保護(hù)的家庭音頻回放系統(tǒng)和權(quán)利要求58中要求保護(hù)的廣播系統(tǒng)來實現(xiàn)。
附圖說明
圖1示出將信號發(fā)送到家庭回放系統(tǒng)的廣播系統(tǒng)的實施例的概覽。
圖2更詳細(xì)地示出如圖1所示的家庭回放系統(tǒng)的實施例。
圖3更詳細(xì)地示出如圖2所示的家庭回放系統(tǒng)的實施例。
圖4示出圖3中的用戶控制單元303的處理單元的信令的概覽。
圖5示出如圖4中那樣產(chǎn)生處理單元的輸出信號的流程圖。
圖6示出如圖4中那樣在輸出設(shè)備上生成的圖形用戶界面的概覽。
圖7示出如圖6所示的圖形用戶界面的定位區(qū)域的詳細(xì)視圖。
圖8示出如圖6所示的控制音頻對象的音量的圖形用戶界面的實施例。
圖9示出經(jīng)由用戶輸入設(shè)備與圖形用戶界面的用戶交互的流程圖。
圖10示出對來自圖9的用戶交互的用戶輸入的信令進(jìn)行處理的流程圖。
符號和術(shù)語
在包括權(quán)利要求書的整個本公開中,表達(dá)“系統(tǒng)”被廣義地用來表示設(shè)備、系統(tǒng)或子系統(tǒng)。例如,實現(xiàn)解碼器的子系統(tǒng)可以被稱為解碼器系統(tǒng),并且包括這樣的子系統(tǒng)的系統(tǒng)(例如,響應(yīng)于多個輸入而產(chǎn)生X個輸出信號的系統(tǒng),其中,子系統(tǒng)產(chǎn)生輸入中的M個輸入并且其它X-M個輸入從外部源接收)也可以被稱為解碼器系統(tǒng)。
在包括權(quán)利要求書的整個本公開中,詞語“處理器”被廣義地用來表示可編程或者以其它方式可配置(例如,利用軟件或固件)為對數(shù)據(jù)(例如,音頻、或視頻或其它圖像數(shù)據(jù))執(zhí)行操作的系統(tǒng)或設(shè)備。處理器的示例包括現(xiàn)場可編程門陣列(或其它可配置集成電路或芯片組)、被編程和/或被以其它方式配置為對音頻或其它聲音數(shù)據(jù)執(zhí)行流水線處理的數(shù)字信號處理器、可編程通用處理器或計算機、以及可編程微處理器芯片或芯片組。
在包括權(quán)利要求書的整個本公開中,表達(dá)“音頻視頻接收器”(或“AVR”)表示用于控制音頻和視頻內(nèi)容的回放的一類消費者電子裝備中(例如家庭影院中)的接收器。
在包括權(quán)利要求書的整個本公開中,表達(dá)“條形音箱”表示如下設(shè)備,該設(shè)備是一種消費者電子裝備(通常安裝在家庭影院系統(tǒng)中),并且包括至少一個揚聲器(通常是至少兩個揚聲器)以及用于渲染(render)音頻以供每個包括的揚聲器回放(或者以供每個包括的揚聲器和條形音箱外部的至少一個附加揚聲器回放)的子系統(tǒng)。
在包括權(quán)利要求書的整個本公開中,表達(dá)“元數(shù)據(jù)”(例如,如表達(dá)“處理狀態(tài)元數(shù)據(jù)”中的元數(shù)據(jù))是指與對應(yīng)的音頻數(shù)據(jù)(還包括元數(shù)據(jù)的位流的音頻內(nèi)容)分開的且不同的數(shù)據(jù)。元數(shù)據(jù)與音頻數(shù)據(jù)相關(guān)聯(lián),并且指示音頻數(shù)據(jù)的至少一個特征或特性(例如,什么類型的處理已經(jīng)或者應(yīng)當(dāng)對音頻數(shù)據(jù)執(zhí)行、或者由音頻數(shù)據(jù)指示的對象的軌跡)。元數(shù)據(jù)與音頻數(shù)據(jù)的關(guān)聯(lián)是時間同步的。因此,當(dāng)前的(最近接收的或更新的)元數(shù)據(jù)可以指示對應(yīng)的音頻數(shù)據(jù)同時具有指示的特征,和/或包括指示的類型的音頻數(shù)據(jù)處理的結(jié)果。
在包括權(quán)利要求書的整個本公開中,以下表達(dá)具有以下定義:
揚聲器和擴(kuò)音器被同義地用來表示任何發(fā)聲換能器。該定義包括實現(xiàn)為多個換能器的擴(kuò)音器(例如,低音揚聲器和高音揚聲器);
聲道(或“音頻聲道”):單音音頻信號。這樣的信號通??梢员灰匀绲刃в谥苯訉ζ谕驑?biāo)稱位置處的擴(kuò)音器施加信號的這樣的方式渲染。期望位置可以是靜止的,如通常物理擴(kuò)音器的情況那樣,或者可以是動態(tài)的;
音頻節(jié)目:一組一個或多個音頻聲道(至少一個揚聲器聲道和/或至少一個對象聲道),并且可選地還有相關(guān)聯(lián)的元數(shù)據(jù)(例如,描述期望的空間音頻呈現(xiàn)的元數(shù)據(jù));
揚聲器聲道(或“揚聲器饋送聲道”):與指定的擴(kuò)音器(在期望或標(biāo)稱位置處)或者定義的揚聲器配置內(nèi)的指定的揚聲器區(qū)域相關(guān)聯(lián)的音頻聲道。揚聲器聲道被以如等效于直接對指定的擴(kuò)音器(在期望或標(biāo)稱位置處)或者指定的揚聲器區(qū)域中的揚聲器施加音頻信號的這樣的方式渲染;
對象聲道:指示音頻源(有時稱為音頻“對象”)發(fā)出的聲音的音頻聲道。通常,對象聲道確定參數(shù)化音頻源描述(例如,指示參數(shù)化音頻源描述的元數(shù)據(jù)包括在對象聲道中或者與對象聲道一起提供)。源描述可以確定由源發(fā)出的聲音(隨著時間變化)、隨著時間變化的源的視在位置(例如,3D空間坐標(biāo)),并且可選地還確定表征源的至少一個附加參數(shù)(例如,視在源大小或?qū)挾?;
基于對象的音頻節(jié)目:如下的音頻節(jié)目,該音頻節(jié)目包括一組一個或多個對象聲道(并且可選地還包括至少一個揚聲器聲道),并且可選地還有相關(guān)聯(lián)的元數(shù)據(jù)(例如,指示發(fā)出由對象聲道指示的聲音的音頻對象的軌跡的元數(shù)據(jù)、或者另外指示由對象聲道指示的聲音的期望空間音頻呈現(xiàn)的元數(shù)據(jù)、或者指示至少一個作為由對象聲道指示的聲音的源的音頻對象的識別的元數(shù)據(jù));以及
渲染:將音頻節(jié)目轉(zhuǎn)換成一個或多個揚聲器饋送的處理,或者將音頻節(jié)目轉(zhuǎn)換成一個或多個揚聲器饋送并且使用一個或多個擴(kuò)音器將揚聲器饋送轉(zhuǎn)換為聲音的處理(在后一種情況下,渲染有時在本文中稱為“由”擴(kuò)音器進(jìn)行的渲染)。音頻聲道可以通過直接對期望位置處的物理擴(kuò)音器施加信號而被平凡地(trivially)渲染(“在”期望位置處),或者一個或多個音頻聲道可以使用被設(shè)計為基本上等效于這樣的平凡渲染(對于收聽者來說)的各種虛擬化技術(shù)中的一種來進(jìn)行渲染。在這后一種情況下,每個音頻聲道可以被轉(zhuǎn)換為要被施加到已知位置(這些位置一般不同于期望位置)中的擴(kuò)音器的一個或多個揚聲器饋送,使得由擴(kuò)音器響應(yīng)于饋送而發(fā)出的聲音將被感知為從期望位置發(fā)出。這樣的虛擬化技術(shù)的示例包括經(jīng)由耳機的雙耳渲染(例如,通過使用模擬對于耳機佩戴者的環(huán)繞聲的多達(dá)7.1個聲道的Dolby耳機處理)以及波場合成。
控制對象:用戶可以操縱以便控制某事物的用戶界面的一部分。
活動控制對象:表示當(dāng)前攜載聲音的音頻對象的控制對象。
具體實施方式
參照圖1,根據(jù)本發(fā)明的實施例的廣播系統(tǒng)包括廣播器101,廣播器101被配置為廣播運動賽事(例如,足球賽)的音頻和視頻。捕獲的音頻和視頻可以被例如廣播到電視(TV)、臺式計算機、膝上型電腦、平板計算機等。廣播器101可以通過IP網(wǎng)絡(luò)102(例如,包括因特網(wǎng))將捕獲的音頻和視頻作為數(shù)字信息發(fā)送以被家庭網(wǎng)絡(luò)103接收。家庭網(wǎng)絡(luò)103被布置為無線地或者利用有線連接將信息分發(fā)到家庭回放系統(tǒng)104。如果信息通過無線連接傳送,則它可以例如通過路由器經(jīng)由WIFI或者通過藍(lán)牙發(fā)出。如圖1所示,家庭回放系統(tǒng)104可以包括回放系統(tǒng)105和手持計算設(shè)備106。
在圖2中,示出了圖1的家庭回放系統(tǒng)的示例。家庭回放系統(tǒng)200包括電視(TV)201、機頂盒(STB)202、音頻視頻接收器(AVR)203以及揚聲器205。可替代地,在一些實施例中,AVR 203和揚聲器205可以被條形音箱代替。
在該實施例中,手持計算設(shè)備204與家庭回放系統(tǒng)200交互。手持計算設(shè)備204優(yōu)選為平板計算機、移動電話等。
TV 201通常通過有線連接或無線連接與STB 202和AVR 203進(jìn)行通信。有線連接優(yōu)選地經(jīng)由電纜,比如HDMI(高清多媒體接口)、VGA(視頻圖形陣列)、SCART(Syndicat des Constructeurs d'Appareils Radiorécepteurs et Téléviseurs)、或DVI(數(shù)字視覺接口)電纜、或者類似物。揚聲器205可以具有與AVR 203的有線或無線連接。手持計算設(shè)備204可以具有與STB 202的有線或無線連接。
如圖3所示,圖2的家庭回放系統(tǒng)包括解碼器301、對象處理單元302、用戶控制單元303、空間渲染器304、數(shù)字音頻處理子系統(tǒng)306、307、308以及再編碼器305、310、311。解碼器301、對象處理單元302、數(shù)字音頻處理子系統(tǒng)306、307、308以及再編碼器305、310、311優(yōu)選地是STB 202的一部分。
下游渲染器309可以是AVR 203(或條形音箱)的一部分,并且被配置為對音頻進(jìn)行渲染以供回放到家庭回放系統(tǒng)中的揚聲器205。
用戶控制單元303優(yōu)選為手持計算設(shè)備204。
解碼器301接收位流(例如,AC-3編碼位流)中的音頻相關(guān)數(shù)據(jù)。
音頻包括音頻對象。位流包括告知位流中的可用音頻對象的數(shù)據(jù)。
利用用戶控制單元303,用戶可以選擇哪些音頻對象要渲染。用戶控制單元303可以是被編程為實現(xiàn)圖形用戶界面(GUI)的手持計算設(shè)備204。GUI可以向用戶提供對象和揚聲器聲道內(nèi)容的可選“預(yù)設(shè)”混合的菜單。解碼器對選擇的音頻對象的聲道進(jìn)行解碼,并且將這些選擇的音頻對象聲道以及與選擇的對象聲道對應(yīng)的對象相關(guān)元數(shù)據(jù)輸出到對象處理單元302。
對象處理單元302由來自用戶控制單元303的控制數(shù)據(jù)以及來自解碼器301的對象相關(guān)元數(shù)據(jù)控制,并且被配置為確定尤其是選擇的對象中的每一個的空間位置和音頻水平。
空間渲染系統(tǒng)304被配置為對來自對象處理單元302的音頻對象進(jìn)行渲染以供家庭回放系統(tǒng)的揚聲器312回放??臻g渲染系統(tǒng)使用從對象處理單元302輸出的渲染參數(shù)將已由對象處理單元302選擇的音頻聲道映射到可用的揚聲器聲道。
圖4示出了用戶控制單元303內(nèi)部的處理器401的信令。與音頻相關(guān)的數(shù)據(jù)經(jīng)由無線通信信道獲得。該音頻相關(guān)數(shù)據(jù)402被導(dǎo)出,諸如例如如AC-3標(biāo)準(zhǔn)或E-AC-3標(biāo)準(zhǔn)中指定的位流的元數(shù)據(jù)。
圖5是示出由圖4所示的處理所執(zhí)行的方法的步驟的流程圖。
從音頻相關(guān)數(shù)據(jù)402,處理器401確定501音頻對象的存在。處理器401然后確定502音頻對象中的每一個的音頻內(nèi)容。
音頻對象的相應(yīng)內(nèi)容可以是以下中的任何一個的捕獲音頻:評論、粉絲群、團(tuán)隊無線電、額外部分(extras)或社交媒體聊天。評論可以是對于主隊粉絲、對于客隊粉絲、對于無線電的評論員的捕獲音頻,或者是替代的例如不同語言的評論的捕獲音頻。粉絲群可以包括主隊、客隊或中立人群噪聲。團(tuán)隊無線電可以包括當(dāng)觀看汽車運動賽事時駕駛員和工程師之間的無線電通信。額外部分可以包括體育場公告(例如,運動員的替換、緊急信息)、或來自其它賽事的得分瞬間。社交媒體聊天可以包括在游戲或競賽期間在朋友之間交流的文本消息。文本可以通過使用文本到語音(TTS)合成而被轉(zhuǎn)換為語音。
處理器401接收與音頻相關(guān)的信息。處理器401可以使用文件傳輸協(xié)議(FTP)鏈接以下載當(dāng)前節(jié)目特定的資源。當(dāng)前節(jié)目可以是運動賽事,例如,橄欖球比賽、足球比賽或另一運動賽事。對于這些節(jié)目中的每一個,存在預(yù)定義資源。資源主要是顯示在GUI上的具有圖標(biāo)或狀態(tài)條(bar)的圖像。
處理器401還例如通過從存儲器檢索系統(tǒng)信息來獲得系統(tǒng)信息403。系統(tǒng)信息可能已經(jīng)在恢復(fù)階段期間被保存到存儲器。
從系統(tǒng)信息,接收用戶的音頻系統(tǒng)的回放能力。根據(jù)用戶的音頻回放系統(tǒng),可以對家庭音頻回放系統(tǒng)200確定503一個或多個揚聲器的揚聲器配置。
揚聲器配置可以例如是以下中的任何一個:2.0揚聲器設(shè)置、5.1設(shè)置、7.1設(shè)置、3D設(shè)置或條形音箱設(shè)置。
處理器401然后為輸出設(shè)備產(chǎn)生504輸出信號404。例如,在各種實施例中,輸出設(shè)備可以包括顯示器。顯示器可以集成在手持計算設(shè)備204的觸摸屏中。
根據(jù)輸出設(shè)備,輸出信號可以經(jīng)由無線通信信道發(fā)送,或者經(jīng)由通過HDMI、VGA、SCART或DVI電纜的有線信道發(fā)送。
輸出信號404可以包括適合于使輸出設(shè)備向用戶呈現(xiàn)哪些音頻對象存在于音頻中的指示的數(shù)據(jù)。該數(shù)據(jù)的至少一部分適合于使輸出設(shè)備產(chǎn)生圖形用戶界面(GUI)600。
圖6示出了GUI 600的不同區(qū)域的概覽,GUI 600包括對象選擇列表區(qū)域602、定位區(qū)域601以及平衡調(diào)節(jié)區(qū)域603。對象選擇列表區(qū)域602包括至少一個控制對象。控制對象被配置為允許用戶啟用音頻對象中的一個或多個的回放。例如,每個控制對象可以是矩形元素,該矩形元素可供用戶選擇以便選擇與控制對象相關(guān)聯(lián)的一個或多個音頻對象,并且內(nèi)部的文本標(biāo)識該元素,且當(dāng)控制對象已被選擇時用諸如紅色或藍(lán)色的顏色突出顯示。如果它尚未被選擇,則它可以是灰色的。
在一些實施例中,對象選擇列表區(qū)域602可以包括被配置為允許用戶選擇音頻對象中的至少一個的回放音量的至少一個進(jìn)一步的控制對象。該進(jìn)一步的控制對象不需要在對象選擇區(qū)域602中。
控制對象可以在對象選擇列表區(qū)域中的列表中被布置為多個組。組中的控制對象的數(shù)量以及控制對象到組的分配可以基于由內(nèi)容創(chuàng)建者預(yù)先確定的控制對象的相應(yīng)內(nèi)容。如果存在許多控制對象,諸如16個控制對象,則對象選擇列表區(qū)域可以是可滾動區(qū)。
當(dāng)控制對象在對象選擇列表區(qū)域中被選擇時,相應(yīng)的控制對象將出現(xiàn)在定位區(qū)域中。在定位區(qū)域中,這些控制對象可以可視化為圖標(biāo)。
如圖7所示,定位區(qū)域601、700包括收聽環(huán)境的視覺表示700。定位區(qū)域601、700可以例如顯示為圖像,該圖像顯示揚聲器在起居室中圍繞沙發(fā)和TV定位的地方。
2.0揚聲器設(shè)置區(qū)域限于與收聽區(qū)域的中心成-/+45度的角度。5.1揚聲器設(shè)置區(qū)域限于具有與收聽區(qū)域的中心成360度的角度的圓。7.1揚聲器設(shè)置區(qū)域限于具有與收聽區(qū)域的中心成360度的角度的圓。
3D設(shè)置區(qū)域限于收聽區(qū)域的球的一半。條形音箱設(shè)置區(qū)域也限于收聽區(qū)域的球的一半。
定位區(qū)域601、700由至少一個可移動控制對象702組成,可移動控制對象702表示對象選擇列表區(qū)域中的被啟用的控制對象中的一個。該可移動控制對象702可相對于視覺表示移動。如圖7所示,可移動控制對象702可以圍繞收聽區(qū)域的周界701移動,周界701可以是圓701的圓周。圓的大小取決于揚聲器配置。
如下面將參照圖9所討論的,可移動控制對象702的當(dāng)前位置由用戶選擇。因此,可移動控制對象702的當(dāng)前位置表示對于控制對象中的被選擇的一個控制對象在收聽環(huán)境內(nèi)的用戶期望的回放位置。
定位區(qū)域601、700可以包括第一視覺元素,第一視覺元素是所述一個或多個控制對象中的所述至少一個已被用戶選擇的視覺指示。例如,圖標(biāo)顯示在定位區(qū)域中。第一視覺元素可以進(jìn)一步包括控制對象是否可移動的視覺指示,或者定位區(qū)域可以包括第二視覺元素,第二視覺元素具有可移動控制對象可移動的視覺指示。如圖7所示,圖標(biāo)在它可移動時可以例如成圓形702,并且在它不可移動時成方形703。
第一視覺元素還可以包括當(dāng)控制對象活動時的視覺指示。例如,當(dāng)音頻對象攜載聲音(例如,其中評論員正在講話)時,表示控制對象的圖標(biāo)可以被突出顯示為藍(lán)色。
定位區(qū)域700還可以包括被布置為指示相對于收聽環(huán)境中的視覺表示的至少一個有效位置的進(jìn)一步的視覺元素,有效位置701是可移動控制對象702可以占據(jù)的位置。它還包括至少一個無效位置的視覺指示,無效位置是可移動控制對象不能占據(jù)的位置。定位區(qū)域700中的控制對象702可沿著圓701的圓周移動,圓701的圓周可以例如以紅色顯示以便向用戶視覺地指示可移動控制對象702可以占據(jù)圓周上的任何點。當(dāng)用戶正在定位區(qū)域中的圓的圓周上的可允許位置中移動圖標(biāo)時,圖標(biāo)通常被用圍繞該圖標(biāo)的綠色/紅色陰影突出顯示。
如圖8所示,音頻對象的音頻音量可以由GUI 600的平衡調(diào)節(jié)區(qū)域800中的可移動控制對象803控制。平衡調(diào)節(jié)區(qū)域800包括在第一位置處的第一圖標(biāo)。該第一位置可以在平衡調(diào)節(jié)區(qū)域800的右側(cè)或上部中。該第一圖標(biāo)表示作為前景對象801的音頻對象中的一個或多個。
此外,平衡調(diào)節(jié)區(qū)域包括在第二位置處的第二圖標(biāo)。該第二位置可以在平衡調(diào)節(jié)區(qū)域的左側(cè)或下部中。第二圖標(biāo)表示作為背景對象802的音頻對象中的一個或多個??梢苿涌刂茖ο罂稍诘谝晃恢煤偷诙恢弥g移動,由此可移動控制對象的當(dāng)前位置可以被用戶選擇??梢苿涌刂茖ο笙鄬τ诘谝晃恢玫漠?dāng)前位置表示對于所述一個或多個前景對象801的用戶選擇的音量水平??梢苿涌刂茖ο笙鄬τ诘诙恢玫漠?dāng)前位置表示對于所述一個或多個背景對象802的用戶選擇的音量水平。
可以是背景對象802和前景對象801的音頻對象由內(nèi)容創(chuàng)建者通過元數(shù)據(jù)預(yù)先選擇。元數(shù)據(jù)是根據(jù)應(yīng)用的不同類型而特定的,并且可以例如在位流中被發(fā)送或者被作為外部元數(shù)據(jù)發(fā)送。
在一個實施例中,可移動控制對象可以是可沿著直線移動的滑動件。如果滑動件向右(或向上)移動,則滑動件增加前景對象801的音頻音量,同時降低背景對象802的音頻音量。用戶可能例如想要增加他想要更好地聽到的前景對象的清晰度,并且降低他仍想聽到、但是以較低音量聽到的背景周圍環(huán)境的音量。
如果滑動件向左(或向下)移動,則對于背景對象802,音頻音量增加,并且對于前景對象801,音頻音量降低。以這種方式,為了實現(xiàn)兩個動作(同時對預(yù)選的音頻對象增加和降低音頻音量)僅需要一個控制對象。
背景對象802和前景對象801的音量水平也可以被作為預(yù)設(shè)存儲。
在圖9中,流程圖描述了經(jīng)由用戶輸入設(shè)備與GUI的用戶交互。在該實施例中,用戶輸入設(shè)備是用戶控制單元303的觸摸屏的部分。在GUI的對象選擇列表區(qū)域602上,用戶啟用他想要使用的控制對象901。在定位區(qū)域601、700上,用戶然后通過將控制對象移動到圓701上的可用位置來定位控制對象902。在GUI上,用戶進(jìn)一步利用平衡調(diào)節(jié)器803來選擇背景對象和前景對象的音量水平903。輸入信號通常由處理器401經(jīng)由無線通信信道(諸如紅外(IR)信道)接收。
在使用場景的一個示例中,如圖7所示,存在用于家庭回放系統(tǒng)的5.1揚聲器配置。
三個控制對象在可能的5個控制對象之中被選擇。相應(yīng)的三個控制對象已捕獲了主隊評論員、社交媒體聊天以及主隊人群噪聲的音頻內(nèi)容。在該示例中,5.1揚聲器配置使得能夠沿著如圖7中的圓的圓周定位控制對象。
在GUI的定位區(qū)域中,用戶將看到家庭回放環(huán)境中的揚聲器設(shè)置的視覺表示。在對象選擇列表區(qū)域中,用戶將看到控制對象??刂茖ο罂梢栽趯ο筮x擇列表區(qū)域602上顯現(xiàn)為元素狀態(tài)條,并且在定位區(qū)域上顯現(xiàn)為圖標(biāo)。用戶可以選擇控制對象中的一些,并且這些狀態(tài)條然后可以變?yōu)樗{(lán)色。選擇的控制對象然后將在定位區(qū)域601上顯現(xiàn)為圖標(biāo)。
用戶可以例如將主隊評論員圖標(biāo)沿著圓的圓周定位到TV的左邊,將社交媒體聊天圖標(biāo)沿著圓的圓周定位到TV的右邊,并且將團(tuán)隊人群噪聲圖標(biāo)沿著圓的圓周定位在沙發(fā)的后面。用戶然后將在他的起居室中聽到主隊評論員的音頻,就如同它從TV的左邊出現(xiàn)一樣,聽到社交媒體聊天的音頻,就如同它從TV的右邊出現(xiàn)一樣,并且聽到主隊人群噪聲的音頻,就如同它從沙發(fā)的后面出現(xiàn)一樣。用戶然后可以在手持設(shè)備的GUI 600上移動滑動件,該滑動件控制前景對象(在該示例中為主隊評論員和社交媒體聊天)和背景音頻對象(主隊人群噪聲)的音頻音量水平。如果期望的是降低主隊人群噪聲的音頻音量并且同時增加主隊評論員和社交媒體聊天的音頻音量,則將滑動件朝向第一圖標(biāo)801移動。
圖10呈現(xiàn)了由處理器401響應(yīng)于經(jīng)由用戶輸入設(shè)備的用戶輸入執(zhí)行的步驟。
處理器401從用戶輸入設(shè)備接收輸入信號405。輸入信號包括表示以下各項的數(shù)據(jù):
對于所述一個或多個音頻對象中的所述至少一個的用戶期望的回放位置1001;
一個或多個背景對象和前景對象的用戶選擇的音量水平1001;
要經(jīng)由家庭音頻回放系統(tǒng)回放的用戶選擇的音頻對象1001以及指示確定用戶命令1002以啟用定位所述一個或多個音頻對象和/或設(shè)置所述一個或多個音頻對象的回放音量水平的數(shù)據(jù)。
輸入信號還包括數(shù)據(jù),該數(shù)據(jù)指示確定用戶命令1002以將音頻對象中的一個音頻對象的選擇作為預(yù)設(shè)存儲,將相對于揚聲器配置的感知的空間位置作為預(yù)設(shè)存儲,和/或?qū)⒒胤乓袅克阶鳛轭A(yù)設(shè)存儲。
處理器401然后產(chǎn)生用于配置家庭音頻回放系統(tǒng)的配置信號406,1003。配置信號數(shù)據(jù)適合于使家庭音頻回放系統(tǒng)選擇性地回放一個或多個音頻對象。
所述數(shù)據(jù)適合于使家庭音頻回放系統(tǒng)執(zhí)行以下中的至少一個:根據(jù)用戶期望的回放位置回放音頻對象中的一個音頻對象;根據(jù)一個或多個前景對象和一個或多個背景對象的相應(yīng)的用戶選擇的音量水平回放兩個或更多個音頻對象。
配置信號數(shù)據(jù)還使用預(yù)設(shè)來存儲啟用的音頻對象的預(yù)定義配置、啟用的對象的位置和音量。用于音頻對象的不同類型的預(yù)設(shè)優(yōu)選為:
i.默認(rèn)預(yù)設(shè),默認(rèn)預(yù)設(shè)通過內(nèi)容創(chuàng)建預(yù)備,并且利用位流發(fā)送,
ii.預(yù)定義預(yù)設(shè),預(yù)定義預(yù)設(shè)是也通過內(nèi)容創(chuàng)建預(yù)備的替代預(yù)設(shè),
iii.由用戶保存的用戶預(yù)設(shè)。
所述數(shù)據(jù)還適合于在任何時間重新調(diào)用預(yù)設(shè)來恢復(fù)對象配置,并且適合于通過如傳輸控制協(xié)議/因特網(wǎng)協(xié)議(TCP/IP)的協(xié)議與音頻回放系統(tǒng)進(jìn)行通信。
本公開參照附圖描述了各種示例實施例。要注意的是,出于清楚的目的,本領(lǐng)域技術(shù)人員已知的、但對于理解各種示例實施例不是必需的組件和處理的表示和描述在附圖和說明書中被省略。
如本領(lǐng)域技術(shù)人員將意識到的,本申請的各方面可以體現(xiàn)為系統(tǒng)、設(shè)備(例如,蜂窩電話、便攜式媒體播放器、個人計算機、服務(wù)器、電視機頂盒、或數(shù)字視頻記錄器、或任何其它媒體播放器)、方法或計算機程序產(chǎn)品。因此,本申請的各方面可以采取硬件實施例、軟件實施例(包括固件、駐留軟件、微代碼等)、或組合硬件方面和軟件方面這兩者的實施例的形式,這些實施例在本文中全部可以總體地稱為“電路”、“模塊”或“系統(tǒng)”。此外,本申請的各方面可以采取包含在一個或多個其上包含有計算機可讀程序代碼的計算機可讀介質(zhì)中的計算機程序產(chǎn)品的形式。
可以利用一個或多個計算機可讀介質(zhì)的任何組合。計算機可讀介質(zhì)可以是計算機可讀信號介質(zhì)或計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)可以例如是,但不限于,電子、磁性、光學(xué)、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備、或前述的任何合適的組合。計算機可讀存儲介質(zhì)的更具體的示例(非窮舉列表)將包括以下:具有一個或多個導(dǎo)線的電連接、便攜式計算機軟磁盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光學(xué)存儲設(shè)備、磁性存儲設(shè)備、或前述的任何合適的組合。在本文件的上下文中,計算機可讀存儲介質(zhì)可以是可含有或存儲供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用的或者與指令執(zhí)行系統(tǒng)、裝置或設(shè)備有關(guān)的程序的任何有形介質(zhì)。
計算機可讀信號介質(zhì)可以包括其中包含有計算機可讀程序代碼的、例如基帶中的或者作為載波的一部分的傳播數(shù)據(jù)信號。這樣的傳播信號可以采取各種形式中的任何一種,包括但不限于,電磁或光學(xué)信號、或它們的任何合適的組合。
計算機可讀信號介質(zhì)可以是非計算機可讀存儲介質(zhì)的任何計算機可讀介質(zhì),該介質(zhì)可以傳送、傳播或輸送供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用的或者與指令執(zhí)行系統(tǒng)、裝置或設(shè)備有關(guān)的程序。
包含在計算機可讀介質(zhì)上的程序代碼可以使用任何適當(dāng)?shù)慕橘|(zhì)(包括但不限于,無線、有線線路、光纖電纜、RF等、或前述的任何合適的組合)發(fā)送。
用于執(zhí)行本申請的各方面的操作的計算機程序代碼可以以一種或多種程序設(shè)計語言(包括面向?qū)ο蟮某绦蛟O(shè)計語言(諸如Java、Smalltalk、C++等)以及傳統(tǒng)的過程式程序設(shè)計語言(諸如“C”程序設(shè)計語言或類似的程序設(shè)計語言))的任何組合編寫。程序代碼可以完全在用戶的計算機上作為獨立的軟件包執(zhí)行,或者部分在用戶的計算機上、部分在遠(yuǎn)程計算機上執(zhí)行,或者完全在遠(yuǎn)程計算機或服務(wù)器上執(zhí)行。在后一種情景下,遠(yuǎn)程計算機可以通過任何類型的網(wǎng)絡(luò)(包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN))連接到用戶的計算機,或者可以進(jìn)行與外部計算機的連接(例如,通過使用因特網(wǎng)服務(wù)提供商的因特網(wǎng))。
下面參照根據(jù)本申請的實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖和/或框圖來描述本申請的各方面。將理解的是,流程圖和/或框圖的每個方框以及流程圖和/或框圖中的方框的組合可以通過計算機程序指令實現(xiàn)。這些計算機程序指令可以被提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器以生成機器,使得經(jīng)由計算機或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令創(chuàng)建用于實現(xiàn)流程圖和/或框圖的一個方框或多個方框中指定的功能/動作的手段。
這些計算機程序指令也可以存儲在計算機可讀介質(zhì)中,這些計算機程序指令可以指引計算機、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備以特定的方式運行,使得存儲在該計算機可讀介質(zhì)中的指令生成制造物,該制造物包括實現(xiàn)流程圖和/或框圖的一個方框或多個方框中指定的功能/動作的指令。
計算機程序指令也可以加載到計算機、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上以使一系列操作性操作在該計算機、其它可編程裝置或其它設(shè)備上執(zhí)行以生成計算機實現(xiàn)的處理,使得在該計算機或其它可編程裝置上執(zhí)行的指令提供用于實現(xiàn)流程圖和/或框圖的一個方框或多個方框中指定的功能/動作的處理。
盡管已通過示例的方式且就示例性的特定實施例描述了實現(xiàn),但要理解的是,本發(fā)明的實現(xiàn)不限于公開的實施例。相反,意圖是覆蓋本領(lǐng)域技術(shù)人員將清楚的各種修改和類似的布置。因此,所附權(quán)利要求的范圍應(yīng)被賦予最廣泛的解釋,以便包含所有這樣的修改和類似的布置。