用于在廣播內(nèi)容上提供附加信息的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種用于在廣播內(nèi)容上提供附加信息的方法和系統(tǒng)，尤其涉及一種用于在單獨(dú)的觀眾終端上提供與顯示在電視上的廣播內(nèi)容相對(duì)應(yīng)的附加信息的方法和系統(tǒng)。用于在廣播內(nèi)容上提供附加信息的方法由語音特征提取服務(wù)器執(zhí)行，包括以下步驟：從廣播內(nèi)容中提取音頻特征數(shù)據(jù)以分組至提供的存儲(chǔ)空間中預(yù)定的單元；以及從存儲(chǔ)的一條或多條語音特征信息中檢測(cè)從觀看終端接收的與語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息，并發(fā)送檢測(cè)到的特征信息至觀看終端，其中觀看終端根據(jù)預(yù)設(shè)方法從輸入音頻信號(hào)中提取語音特征數(shù)據(jù)并發(fā)送語音特征數(shù)據(jù)至語音特征提取服務(wù)器，確定與接收到的語音特征信息中的語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置，并在該時(shí)間位置顯示附加信息。
【專利說明】用于在廣播內(nèi)容上提供附加信息的方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于在廣播內(nèi)容上提供附加信息的方法及系統(tǒng)，尤其涉及一種用于為獨(dú)立的觀眾終端提供與顯示在電視上的廣播內(nèi)容相對(duì)應(yīng)的附加信息的方法和系統(tǒng)。
【背景技術(shù)】
[0002]目前，隨著數(shù)字技術(shù)(現(xiàn)有的模擬電視已被數(shù)字電視替代)的發(fā)展，電視(TVs)逐漸被數(shù)字化，一方面，提供具有其他屬性的內(nèi)容的廣播和通信正在加速結(jié)合。也就是說，主動(dòng)權(quán)從不定向的模擬廣播轉(zhuǎn)變至與觀眾互動(dòng)的雙向數(shù)字廣播。另外，觀眾利用廣播內(nèi)容的方法也是多樣化的，包括通過數(shù)字多媒體廣播、網(wǎng)絡(luò)等途徑接收廣播內(nèi)容。
[0003]此外，電視商務(wù)已經(jīng)在實(shí)際使用以通過電視實(shí)現(xiàn)電子商務(wù)，例如通過廣播內(nèi)容通知的各種商品、位置等附加信息被實(shí)時(shí)的提供給觀眾。也就是說，觀眾可以通過電視購(gòu)買各種各樣的產(chǎn)品以及進(jìn)行金融業(yè)務(wù)，還可以在觀看時(shí)從廣播內(nèi)容中獲取例如商品、位置等信息。例如，觀眾可以使用網(wǎng)絡(luò)電視購(gòu)買想要的商品，以及在使用DMB接收器時(shí)通過直接連接至與廣播內(nèi)容一并提供的統(tǒng)一資源定位器(Uniform Resource Locator, URL)獲取想要的信息。
[0004]然而，附加信息主要以與顯示的廣播內(nèi)容的圖像重疊的方式輸出，可能妨礙觀眾觀看廣播內(nèi)容的體驗(yàn)。這是由于附加信息被疊加在電視或DMB接收器顯示的圖像上而遮蔽所顯示圖像的一部分。
[0005]另外，當(dāng)觀眾希望接入包含在顯示圖像中的URL時(shí)，(例如個(gè)人電腦或移動(dòng)終端等)會(huì)執(zhí)行設(shè)備中例如網(wǎng)頁瀏覽器的程序以顯示廣播內(nèi)容，從而打擾觀眾的觀看體驗(yàn)。當(dāng)然，可以將一個(gè)顯示屏分離為兩個(gè)顯示屏并在其中一個(gè)顯示屏上顯示廣播內(nèi)容并在另一個(gè)顯示屏上顯示接入的網(wǎng)頁以實(shí)現(xiàn)同時(shí)顯示。然而，這樣會(huì)使廣播內(nèi)容的圖像變小并且還存在例如妨礙觀眾觀看體驗(yàn)的問題。上述問題成為電視商務(wù)靈活化的主要障礙。也就是說，隨著電視商務(wù)意味著使用電視或DMB接收器的電子商務(wù)，如果觀眾希望通過電視使用電子商務(wù)，觀眾的觀看體驗(yàn)可能由于上述原因受到妨礙。
[0006]進(jìn)一步地，當(dāng)觀眾使用模擬電視或安裝在公共地點(diǎn)的電視收看廣播內(nèi)容時(shí)，無法看到附加信息。這是因?yàn)橛^眾無法使用附加信息，由于模擬電視自身不能接收附加信息，并且即使公共地點(diǎn)的電視可以接收附加信息，觀眾也無法處理附加信息。
[0007]進(jìn)一步地，為了在觀看廣播內(nèi)容時(shí)使用相關(guān)的附加信息，觀眾需要購(gòu)買網(wǎng)絡(luò)電視等，這會(huì)給觀眾帶來經(jīng)濟(jì)負(fù)擔(dān)。
[0008]為了解決這些問題，可能需要分離出一個(gè)設(shè)備，觀眾通過這個(gè)設(shè)備觀看廣播內(nèi)容(例如電視接收器、臺(tái)式電腦等)，通過另一個(gè)設(shè)備提供附加信息，這樣一種分離需要進(jìn)行廣播內(nèi)容和附加信息的同步。
[0009]在這方面，現(xiàn)有技術(shù)公開了一種只在實(shí)時(shí)廣播中使用GPS的世界時(shí)間同步廣播發(fā)送器和廣播接收器的本地時(shí)間的方法(參見U.S.Patent N0.7，673，316)。然而，現(xiàn)有技術(shù)具有一定缺陷，即不可自動(dòng)識(shí)別觀眾正在觀看哪種類型的內(nèi)容以及不可應(yīng)用于例如點(diǎn)播視頻或點(diǎn)播DVD的內(nèi)容。也就是說，現(xiàn)有技術(shù)具有只可應(yīng)用于由內(nèi)容提供者(ContentProvider, CP)提供的廣播內(nèi)容的缺陷。
[0010]另一種現(xiàn)有技術(shù)公開了一種方法，包括接收觀眾正在觀看內(nèi)容的音頻樣本，確定接收到的音頻樣本內(nèi)容中的時(shí)間位置(如音頻指紋)，檢測(cè)與該時(shí)間位置相對(duì)應(yīng)的附加信息以傳輸該附加信息至觀眾的終端(參見美國(guó)專利公開US2011/0063503)。然而，這種現(xiàn)有技術(shù)基于從遠(yuǎn)程服務(wù)器收到的語音樣本進(jìn)行時(shí)間位置的搜索，因而觀眾的終端和服務(wù)器之間需要周期性的通信以確定觀眾是否改變了觀看內(nèi)容(如換臺(tái)或跳過重播時(shí)間等)。這會(huì)消耗網(wǎng)絡(luò)帶寬并加大服務(wù)器載荷。盡管網(wǎng)絡(luò)帶寬的消耗和/或服務(wù)器載荷可通過延長(zhǎng)服務(wù)器和觀看終端之間的通信時(shí)間周期而得到減輕，但可能導(dǎo)致另一個(gè)問題，即現(xiàn)有技術(shù)不能敏感的響應(yīng)觀眾觀看內(nèi)容的變化。

【發(fā)明內(nèi)容】

[0011]技術(shù)問題
[0012]為了解決上述問題，本發(fā)明提供了一種用于提供與觀眾正在觀看的內(nèi)容相關(guān)的附加信息的方法和系統(tǒng)，可以傳輸附加信息至單獨(dú)的終端，獨(dú)立于正在顯示相關(guān)內(nèi)容的終端。
[0013]進(jìn)一步地，本發(fā)明提供了一種用于在廣播內(nèi)容上提供附加信息的方法和系統(tǒng)，可以自動(dòng)確定觀眾正在觀看的內(nèi)容。
[0014]進(jìn)一步地，本發(fā)明提供了一種用于在廣播內(nèi)容上提供附加信息的方法和系統(tǒng)，可以減少系統(tǒng)載荷并最小化網(wǎng)絡(luò)帶寬消耗。
[0015]技術(shù)方案
[0016]根據(jù)本發(fā)明一方面，一種由語音特征提取服務(wù)器執(zhí)行的，用于為通過數(shù)據(jù)通信網(wǎng)絡(luò)連接的觀看終端在廣播內(nèi)容上提供附加信息的方法，所述方法包括:從所述廣播內(nèi)容中提取音頻特征數(shù)據(jù)并將所述音頻特征數(shù)據(jù)分組至預(yù)定的單元，以作為語音特征信息存儲(chǔ)至預(yù)留的存儲(chǔ)空間；以及從所述存儲(chǔ)的一條或多條語音特征信息中檢測(cè)從所述觀看終端接收的與所述語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息，并發(fā)送所述檢測(cè)到的特征信息至所述觀看終端，其中所述觀看終端用于按照預(yù)設(shè)方法從輸入音頻信號(hào)中提取所述語音特征數(shù)據(jù)，以發(fā)送所述語音特征數(shù)據(jù)至所述語音特征提取服務(wù)器，確定與所述接收到的語音特征信息中的所述語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置，并顯示與所述時(shí)間位置相關(guān)的所述附加信息。
[0017]所述方法進(jìn)一步包括發(fā)送與所述語音特征信息相對(duì)應(yīng)的所述附加信息至所述觀看終端。
[0018]所述方法進(jìn)一步包括根據(jù)從所述觀看終端接收到的附加信息請(qǐng)求，發(fā)送與所述附加信息相關(guān)的所述附加信息，所述觀看終端用于請(qǐng)求包括所述時(shí)間位置的所述附加信息，并在接收作為所述附加信息請(qǐng)求的響應(yīng)的所述附加信息時(shí)顯示與所述時(shí)間位置有關(guān)的所述附加信息。
[0019]所述從所述廣播內(nèi)容中提取音頻特征數(shù)據(jù)并將所述音頻特征數(shù)據(jù)分組至預(yù)定的單元包括:將所述音頻特征數(shù)據(jù)分組至預(yù)定的時(shí)間單元或預(yù)定的容量單元。
[0020]根據(jù)本發(fā)明另一方面，一種由觀看終端執(zhí)行的，用于為觀眾在廣播內(nèi)容上提供附加信息的方法，所述方法包括:使用預(yù)定的方法從輸入音頻數(shù)據(jù)中提取第η個(gè)語音特征數(shù)據(jù)，以發(fā)送所述第η個(gè)語音特征數(shù)據(jù)至與數(shù)據(jù)網(wǎng)絡(luò)連接的語音特征提取服務(wù)器；從接收到的作為所述第η個(gè)語音特征數(shù)據(jù)的響應(yīng)的第η個(gè)語音特征信息確定與所述第η個(gè)語音特征數(shù)據(jù)相關(guān)的第η個(gè)時(shí)間位置；以及顯示與所述第η個(gè)時(shí)間位置相關(guān)的所述附加信息，η為自然數(shù)，所述語音特征提取服務(wù)器用于從語音特征信息中檢測(cè)與所述第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的所述第η個(gè)語音特征信息，音頻特征數(shù)據(jù)從所述廣播內(nèi)容的所述語音特征信息中被提取并被分組至預(yù)定的單元，以及發(fā)送所述第η個(gè)語音特征信息。
[0021]所述顯示所述附加信息包括:發(fā)送包括關(guān)于所述第η個(gè)時(shí)間位置的所述附加信息請(qǐng)求至所述語音特征提取服務(wù)器；從所述語音特征提取服務(wù)器接收作為所述附加信息請(qǐng)求的響應(yīng)的所述附加信息；以及顯示與所述第η個(gè)時(shí)間位置相關(guān)的所述附加信息，其中所述語音特征提取服務(wù)器用于當(dāng)接收到所述附加信息請(qǐng)求時(shí)發(fā)送與所述第η個(gè)時(shí)間位置相關(guān)的所述附加信息。
[0022]所述方法進(jìn)一步包括:從所述語音特征提取服務(wù)器接收與所述第η個(gè)語音特征信息相對(duì)應(yīng)的所述附加信息。
[0023]所述方法進(jìn)一步包括:當(dāng)預(yù)定事件發(fā)生時(shí)，提取第(η+1)個(gè)語音特征數(shù)據(jù)；從一條或多條預(yù)存儲(chǔ)的語音特征信息中檢測(cè)與所述第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第(η+1)個(gè)語音特征信息；從所述第(η+1)個(gè)語音特征信息中確定與所述第(η+1)個(gè)語音特征數(shù)據(jù)相關(guān)的所述第η個(gè)時(shí)間位置；以及顯示與所述第(η+1)個(gè)時(shí)間位置相關(guān)的所述附加信息。
[0024]所述方法進(jìn)一步包括:當(dāng)在一條或多條預(yù)存儲(chǔ)語音特征信息中未檢測(cè)到與所述第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的所述語音特征信息時(shí)，發(fā)送所述第(η+1)個(gè)語音特征數(shù)據(jù)至所述語音特征提取服務(wù)器；以及從所述語音特征提取服務(wù)器140接收與所述第(η+1)個(gè)語音特征數(shù)據(jù)相關(guān)的所述第(η+1)個(gè)語音特征信息。
[0025]所述提取第(η+1)個(gè)語音特征數(shù)據(jù)包括:當(dāng)預(yù)定時(shí)間段失效時(shí)提取所述第(η+1)個(gè)語音特征數(shù)據(jù)。
[0026]根據(jù)本發(fā)明另一個(gè)方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括存儲(chǔ)于其中的計(jì)算機(jī)可執(zhí)行程序，其中當(dāng)處理器執(zhí)行所述程序時(shí)，所述程序使得所述處理器執(zhí)行根據(jù)權(quán)利要求1-10中任一項(xiàng)所述的用于在廣播內(nèi)容上提供附加信息的方法。
[0027]有益效果
[0028]根據(jù)本發(fā)明實(shí)施例，因此可發(fā)送與觀眾正在看的內(nèi)容相關(guān)的附加信息至與正在顯示相關(guān)內(nèi)容的終端分開的獨(dú)立終端。
[0029]進(jìn)一步地，根據(jù)本發(fā)明實(shí)施例，也可減少用于在廣播內(nèi)容上提供附加信息的系統(tǒng)的負(fù)載，并最小化網(wǎng)絡(luò)帶寬消耗。
【專利附圖】

【附圖說明】
[0030]圖1為本發(fā)明一實(shí)施例的用于提供附加信息的系統(tǒng)的結(jié)構(gòu)示意圖。
[0031]圖2為本發(fā)明一實(shí)施例的語音特征提取服務(wù)器的框圖。
[0032]圖3為在電視屏幕上顯示的廣播內(nèi)容的圖像的實(shí)例。
[0033]圖4為現(xiàn)有技術(shù)中附加信息在電視屏幕上顯示的實(shí)例。
[0034]圖5為本發(fā)明一實(shí)施例中附加信息在觀看終端上顯示的實(shí)例。
[0035]圖6為本發(fā)明一實(shí)施例中通過語音特征提取服務(wù)器存儲(chǔ)廣播內(nèi)容的語音特征信息的方法的流程圖。[0036]圖7為本發(fā)明一實(shí)施例中提供附加信息的方法的流程圖。
[0037]圖8為本發(fā)明另一實(shí)施例中提供附加信息的方法的流程圖。
【具體實(shí)施方式】
[0038]本發(fā)明可能具有多種修改并實(shí)現(xiàn)于多個(gè)實(shí)施例中，因而特定的實(shí)施例將在附圖中闡述并將在最佳模式中詳細(xì)介紹。然而，應(yīng)當(dāng)理解的是，本發(fā)明并不限于這些特定的實(shí)施例，并且本發(fā)明可包括本發(fā)明精神和技術(shù)范圍所包含的任何修改，等同和替代。在以下的描述中，將不會(huì)詳細(xì)介紹那些可能不必要的使本發(fā)明實(shí)施例變得不清楚的公知的功能和構(gòu)造。
[0039]例如第一、第二等術(shù)語可用于描述不同的部件，但是這些部件不應(yīng)被這些術(shù)語限制。以上術(shù)語僅用于將一個(gè)部件與其它部件區(qū)分開。
[0040]這里使用的術(shù)語只用于描述特定的實(shí)施例，并不限制本發(fā)明。對(duì)于單數(shù)的表示，除非在文中明確指出，否則應(yīng)包括復(fù)數(shù)的表示。在本應(yīng)用中，應(yīng)該理解的是，術(shù)語“包含或包括”或“具有”以及多種變形是用于詳細(xì)說明特征、圖形、步驟、操作、部件、元件及其結(jié)合的呈現(xiàn)，并不意味著排除一個(gè)或多個(gè)特征、圖形、步驟、操作、部件、元件及其結(jié)合的呈現(xiàn)或補(bǔ)充的可能性。下面，將參照附圖對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。
[0041]圖1為本發(fā)明一實(shí)施例的用于提供附加信息的系統(tǒng)的結(jié)構(gòu)示意圖。
[0042]如圖1所示，用于提供附加信息的系統(tǒng)100包括廣播服務(wù)提供商110，廣播網(wǎng)絡(luò)120，電視130，語音特征提取服務(wù)器140，觀看終端例如智能手機(jī)150-1，筆記本150-2等(下文中統(tǒng)稱為150-m，m為自然數(shù))，數(shù)據(jù)網(wǎng)絡(luò)160，以及網(wǎng)絡(luò)服務(wù)器170。此外，盡管圖中并沒有示出，所述用于提供附加信息的系統(tǒng)100還可包括收音機(jī)(未示出)。
[0043]廣播服務(wù)提供商110通過廣播網(wǎng)絡(luò)120例如人造衛(wèi)星、地面電波、網(wǎng)絡(luò)、電纜等將廣播內(nèi)容發(fā)送給電視130，收音機(jī)(未示出)和/或語音特征提取服務(wù)器140。廣播內(nèi)容總體是指分布于例如衛(wèi)星、地面電波、電纜等廣播媒介的語音和/或視頻，并且廣播網(wǎng)絡(luò)120是指一種廣播網(wǎng)絡(luò)，通過該廣播網(wǎng)絡(luò)可以將來自廣播服務(wù)提供商HO的廣播內(nèi)容發(fā)送至電視130、收音機(jī)(未示出)和/或語音特征提取服務(wù)器140。
[0044]電視機(jī)130或者收音機(jī)(未示出)接收廣播內(nèi)容并且將其轉(zhuǎn)換為視頻和/或語音并輸出，以使觀眾可以在聽覺上和/或視覺上識(shí)別廣播內(nèi)容。
[0045]語音特征提取服務(wù)器140將音頻特征信息存儲(chǔ)在預(yù)留的存儲(chǔ)空間，音頻特征信息從廣播內(nèi)容被提取并被分組至預(yù)定的單元。就這一點(diǎn)而言，語音特征提取服務(wù)器140可以接收來自廣播服務(wù)提供商110的廣播內(nèi)容。可替代地，語音特征提取服務(wù)器140可通過外部數(shù)據(jù)輸入輸出設(shè)備(例如CD播放器，USB端口等)接收廣播內(nèi)容。語音特征信息的產(chǎn)生和提取將在后面詳細(xì)介紹。
[0046]進(jìn)一步地，語音特征提取服務(wù)器140從存儲(chǔ)于存儲(chǔ)空間中的一條或多條語音特征信息中檢測(cè)出與由觀看終端150-m接收到的語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息并發(fā)送檢測(cè)到的語音特征信息到觀看終端150-m。
[0047]此外，語音特征提取服務(wù)器140通過數(shù)據(jù)網(wǎng)絡(luò)160將與從電視機(jī)130或收音機(jī)(未示出)輸出的廣播內(nèi)容相關(guān)的附加信息發(fā)送至觀看終端150-m。這里，數(shù)據(jù)網(wǎng)絡(luò)160是指廣播網(wǎng)絡(luò)，數(shù)據(jù)可以通過該網(wǎng)絡(luò)提供給觀看終端150-m，并且可以包括因特網(wǎng)、移動(dòng)網(wǎng)絡(luò)、局域網(wǎng)等。
[0048]基于觀眾的操作，一旦觀看終端150-m被調(diào)用至附加信息接收模式，觀看終端150-m按照預(yù)定的方式從麥克風(fēng)提供的音頻信號(hào)中產(chǎn)生語音特征數(shù)據(jù)，并將產(chǎn)生的語音特征數(shù)據(jù)發(fā)送到語音特征提取服務(wù)器140。進(jìn)一步地，根據(jù)接收到的作為發(fā)送語音特征數(shù)據(jù)的響應(yīng)的語音特征信息，觀看終端150-m分析該語音特征信息并從語音特征信息中確定與語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置，以確定觀眾正在觀看廣播內(nèi)容的哪一部分。語音特征數(shù)據(jù)的產(chǎn)生和時(shí)間位置的確定將會(huì)在后面進(jìn)行詳細(xì)描述。
[0049]此外，觀看終端150-m通過數(shù)據(jù)網(wǎng)絡(luò)160接收來自于語音特征提取服務(wù)器140的附加信息并將該附加信息與當(dāng)前屏幕上增在現(xiàn)實(shí)的圖像同步顯示。因此，觀眾可在當(dāng)前的實(shí)時(shí)觀看中識(shí)別廣播內(nèi)容上的附加信息。這里，觀看終端150-m可為智能手機(jī)、移動(dòng)手機(jī)，平板電腦、個(gè)人數(shù)字助手(Personal Digital Assistant, PDA)、個(gè)人電腦(PC)等。而且，附加信息可以是包含與廣播內(nèi)容有關(guān)的信息的數(shù)據(jù)，例如，關(guān)于廣播內(nèi)容本身的信息、關(guān)于表演者使用的產(chǎn)品的信息、關(guān)于拍攝地點(diǎn)的信息、與廣播內(nèi)容相關(guān)的網(wǎng)址等等。
[0050]與此同時(shí)，當(dāng)觀看終端150-m連接到網(wǎng)絡(luò)服務(wù)器170時(shí)，網(wǎng)絡(luò)服務(wù)器170負(fù)責(zé)針對(duì)觀看終端150-m的請(qǐng)求提供相關(guān)的數(shù)據(jù)。例如，假設(shè)網(wǎng)絡(luò)服務(wù)器170的地址包含在來自語音特征提取服務(wù)器140的附加信息中，并且觀看終端150-m基于觀眾的選擇進(jìn)入網(wǎng)絡(luò)服務(wù)器170的地址。在這種情況下，網(wǎng)絡(luò)服務(wù)器170可以將預(yù)存的數(shù)據(jù)發(fā)送給觀看終端150-m。
[0051]如上所述，語音特征提取服務(wù)器140從來自廣播服務(wù)提供商110接收到的廣播內(nèi)容中提取音頻特征數(shù)據(jù)并將提取的音頻特征數(shù)據(jù)分組存儲(chǔ)在‘一個(gè)預(yù)定的單元’。然后，語音特征提取服務(wù)器檢測(cè)到與從觀看終端150-m接收到的語音特征數(shù)據(jù)相對(duì)應(yīng)的附加信息并將其發(fā)送至觀看終端150-m。進(jìn)一步地，語音特征提取服務(wù)器140可發(fā)送與語音特征信息相對(duì)應(yīng)的附加信息。
[0052]觀看終端150-m隨后分析語音特征信息并確定觀眾正在收看的是廣播內(nèi)容的哪一部分，以使與這部分相對(duì)應(yīng)的附加信息可被輸出。
[0053]在這種配置下，可將輸出廣播內(nèi)容的設(shè)備和輸出附加信息的設(shè)備分開，并且在不打擾或妨礙廣播內(nèi)容觀看體驗(yàn)的情況下輕松的為觀眾提供附加信息。下面，將參照附圖2、3對(duì)語音特征提取服務(wù)器140和觀看終端150-m的操作進(jìn)行詳細(xì)描述。
[0054]圖2為本發(fā)明一實(shí)施例的語音特征提取服務(wù)器的框圖。
[0055]如圖2所示，語音特征提取服務(wù)器140包括廣播內(nèi)容接收單元210，語音特征信息提取單元220，數(shù)據(jù)庫單元230，以及服務(wù)器通信單元250。此外，雖然未在該圖中具體示出，如前所述，語音特征提取服務(wù)器可進(jìn)一步包括外部的輸入輸出設(shè)備用以接收來自外部設(shè)備或存儲(chǔ)介質(zhì)(例如CD播放器，USB端口等)的數(shù)據(jù)以及向外部設(shè)備或存儲(chǔ)介質(zhì)發(fā)送數(shù)據(jù)。
[0056]首先，廣播內(nèi)容接收單元210接收到來自通過廣播網(wǎng)絡(luò)120連接的廣播服務(wù)提供商110的廣播內(nèi)容并提供廣播內(nèi)容至語音特征提取單元220。這里，廣播接收單元210可包含一個(gè)或多個(gè)機(jī)頂盒，并且按照發(fā)送廣播內(nèi)容的廣播頻道的數(shù)量設(shè)置機(jī)頂盒。例如，如果電視頻道的數(shù)量目前是100個(gè)(S卩，如果廣播內(nèi)容提供商的數(shù)量(例如，節(jié)目提供商(ProgramProvider, PPs)的數(shù)量，如CNN、NBC等，是100)，廣播內(nèi)容接收單元210可具有100個(gè)機(jī)頂盒。另一方面，可以理解的是，廣播內(nèi)容可通過外部輸入輸出設(shè)備(未示出)接收。
[0057]語音特性信息提取單元220按照預(yù)定的方法，使用輸入的廣播內(nèi)容提取語音特征信息。更具體地，語音特征信息提取單元220從廣播內(nèi)容中提取音頻特征數(shù)據(jù)并將提取的語音特征數(shù)據(jù)分組至預(yù)定的單元以產(chǎn)生語音特征信息。
[0058]例如，語音特征信息提取單元220按照預(yù)定的方法從廣播內(nèi)容(即音頻特征數(shù)據(jù))中提取關(guān)于音頻頻率成分的信息，并將提取的信息分組至預(yù)定的時(shí)間單元以產(chǎn)生語音特征信息。例如，假設(shè)廣播內(nèi)容的時(shí)長(zhǎng)為60分鐘，并且預(yù)定的時(shí)間單元為10分鐘。那么語音特征信息提取單元220通過提取廣播內(nèi)容中的音頻特征數(shù)據(jù)可產(chǎn)生共計(jì)六條語音特征信息。每一條語音特征信息可為關(guān)于具有10分鐘長(zhǎng)度的廣播內(nèi)容的語音的特征信息。
[0059]另一個(gè)例子是，語音特征信息提取單元220根據(jù)預(yù)定的方法從廣播內(nèi)容中提取音頻特征數(shù)據(jù)，并將提取的音頻數(shù)據(jù)分組至預(yù)定的容量單元以產(chǎn)生語音特征信息。例如，假設(shè)在全部廣播內(nèi)容的容量?jī)?nèi)的音頻特征數(shù)據(jù)具有300KB的容量，而且預(yù)定的容量為50KB。在這種情況，語音特征信息提取單元220從廣播內(nèi)容中提取音頻特征數(shù)據(jù)以產(chǎn)生共計(jì)六條語音特征信息。
[0060]這里，音頻特征數(shù)據(jù)可為音頻指紋數(shù)據(jù)，而且從廣播內(nèi)容的語音中提取音頻指紋的技術(shù)對(duì)本領(lǐng)域技術(shù)人員來說是公知的，因此其具體描述不再贅述。
[0061]數(shù)據(jù)庫單元230存儲(chǔ)由語音特征信息提取單元220提取的語音特征信息，并且每條附加信息都與一條語音特征信息相匹配。這里，在語音特征提取服務(wù)器140的管理員操作下，附加信息可為存儲(chǔ)在數(shù)據(jù)庫單元230中的信息。換句話說，附加信息可以不是與語音特征提取服務(wù)器140接收的廣播內(nèi)容相伴隨的信息，而是通過獨(dú)立于廣播內(nèi)容的接收的方法進(jìn)入并存儲(chǔ)的信息。例如，附加信息可為語音特征提取服務(wù)器140的管理員通過操作連接于語音特征提取服務(wù)器140的輸入單元(例如鍵盤、鼠標(biāo)等)而產(chǎn)生的信息。另一個(gè)例子是，附加信息可為通過因特網(wǎng)、局域網(wǎng)等，從其他裝置接收的信息。
[0062]如上所述，附加信息與語音特征信息匹配，這僅僅是為了進(jìn)行說明。例如，附加信息可以與廣播內(nèi)容的全部容量匹配。換句話說，附加信息可包括與附加信息相匹配的語音特征信息的持續(xù)時(shí)間中顯示的關(guān)于廣播內(nèi)容的信息或關(guān)于全部廣播內(nèi)容的信息。
[0063]服務(wù)器通信單元240包括通過數(shù)據(jù)網(wǎng)絡(luò)160連接到觀看終端150_m的調(diào)制解調(diào)器，以發(fā)送數(shù)據(jù)至觀看終端150-m或者從其接收數(shù)據(jù)。
[0064]如上所述，語音特征提取服務(wù)器140提取音頻特征數(shù)據(jù)，將這些提取的音頻特征數(shù)據(jù)分組至預(yù)定的單元(例如，時(shí)間單元和/或容量單元)以生產(chǎn)語音特征信息，并將產(chǎn)生的語音特征信息存儲(chǔ)至數(shù)據(jù)庫單元230。在下文中，將詳細(xì)介紹觀看終端150-m的操作，其使用從語音特征提取服務(wù)器140接收的語音特征信息以使觀眾正在觀看的廣播內(nèi)容和附加信息同步。
[0065]再如圖1所示，一旦觀看終端150-m初始化至附加信息接收模式，就會(huì)通過輸入的語音信號(hào)，為每個(gè)預(yù)定的時(shí)間產(chǎn)生第η個(gè)語音特征數(shù)據(jù)(η為自然數(shù))，并將產(chǎn)生的語音特征數(shù)據(jù)發(fā)送至語音特征提取服務(wù)器140。這里，語音特征數(shù)據(jù)可為音頻指紋，并且從廣播內(nèi)容的語音中提取音頻指紋的技術(shù)對(duì)本領(lǐng)域技術(shù)人員來說是顯而易見的，因此其具體描述不再贅述。此外，第η個(gè)語音特征數(shù)據(jù)是指所獲得的順序?yàn)棣堑恼Z音特征數(shù)據(jù)。
[0066]根據(jù)接收到的第η個(gè)語音特征數(shù)據(jù)，語音特征提取服務(wù)器140從存儲(chǔ)在數(shù)據(jù)庫單元中的一條或多條語音特征信息中檢測(cè)與接收到的第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第η個(gè)語音特征信息，并將檢測(cè)到的第η個(gè)語音特征信息發(fā)送至觀看終端150-m。在這種情況下，語音特征提取服務(wù)器140也可將與檢測(cè)到的第η個(gè)語音特征信息相對(duì)應(yīng)的附加信息發(fā)送至觀看終端150-m。例如，當(dāng)?shù)讦莻€(gè)語音特征信息被分組至10分鐘的單元時(shí)，幾乎不會(huì)產(chǎn)生對(duì)數(shù)據(jù)網(wǎng)絡(luò)160的帶寬消耗，因?yàn)榕c長(zhǎng)度為10分鐘的音頻相對(duì)應(yīng)的音頻指紋的數(shù)據(jù)量只有50ΚΒ。就這一點(diǎn)而言，第η個(gè)語音特征信息指的是包括與第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的“數(shù)據(jù)量”的語音特征信息。
[0067]根據(jù)接收到的作為發(fā)送第η個(gè)語音特征數(shù)據(jù)的響應(yīng)的第η個(gè)語音特征信息，觀看終端150-m從第η個(gè)語音特征信息確定與第η個(gè)語音特征相對(duì)應(yīng)的第η個(gè)時(shí)間位置。
[0068]這里，該時(shí)間位置指的是在與語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息中的時(shí)間位置。例如，假設(shè)第η個(gè)語音特征信息被分組至10分鐘的單元，觀眾正在觀看的廣播內(nèi)容具有I秒鐘到10分鐘的時(shí)長(zhǎng)，并且第η個(gè)語音特征數(shù)據(jù)在第η個(gè)語音特征信息內(nèi)相當(dāng)于5分鐘的時(shí)長(zhǎng)。觀看終端150-m將第η個(gè)語音特征信息和第η個(gè)語音特征數(shù)據(jù)進(jìn)行比較來確定在第η個(gè)語音特征信息中與第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置的數(shù)量。也就是說，在上述假設(shè)下，觀看終端150-m可以確定接收到的第η個(gè)語音特征信息是否具有觀眾正在觀看的廣播內(nèi)容的I秒到10分鐘的時(shí)長(zhǎng)，然后比較第η個(gè)語音特征信息和第η個(gè)語音特征數(shù)據(jù)，來確定第η個(gè)語音特征數(shù)據(jù)是否匹配觀眾正在觀看的廣播內(nèi)容片長(zhǎng)中5分鐘的長(zhǎng)度。因此，在上述假設(shè)中，第η個(gè)時(shí)間位置也可等同于5分鐘的長(zhǎng)度。
[0069]此后，觀看終端可顯示與確定的第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息。該附加信息，如上所述，可通過觀看終端150-m和第η個(gè)語音特征信息一起被接收，或者可通過請(qǐng)求語音特征提取服務(wù)器140發(fā)送與確定的第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息而被接收。換句話說，觀看終端150-m可一同接收第η個(gè)語音特征信息和附加信息，或者在確定第η個(gè)時(shí)間位置后通過請(qǐng)求語音特征提取服務(wù)器140發(fā)送與確定的第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息來接收該附加信息。因此，基于接收與第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息請(qǐng)求，語音特征提取服務(wù)器140將從與第η個(gè)語音特征信息相對(duì)應(yīng)的附加信息中檢索與第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息，并且將檢索到的附加信息發(fā)送至觀看終端150-m。
[0070]另一方面，當(dāng)觀看終端150顯示附加信息時(shí)，也可考慮從第η個(gè)語音特征信息的產(chǎn)生到第η個(gè)時(shí)間位置的確定之間所消耗的時(shí)間長(zhǎng)度。一個(gè)例子是，假設(shè)從第η個(gè)語音特征信息的產(chǎn)生到第η個(gè)時(shí)間位置的確定之間所消耗的時(shí)間長(zhǎng)度等于“2秒鐘”，觀看終端150-m將會(huì)顯示長(zhǎng)度在“5分2秒”的附加信息，取代長(zhǎng)度在第η個(gè)時(shí)間位置長(zhǎng)度為“5分鐘”的附加信息。
[0071]另一方面，當(dāng)預(yù)定事件發(fā)生時(shí)，觀看終端150-m在提取第η個(gè)語音特性數(shù)據(jù)后，提取第(η+1)個(gè)語音特征數(shù)據(jù)。例如，如果預(yù)定的時(shí)間段在提取第η個(gè)語音特征數(shù)據(jù)失效，那么觀看終端150-m可從麥克風(fēng)接收的音頻信號(hào)中提取第(η+1)個(gè)語音特征數(shù)據(jù)。另外一個(gè)例子是，基于觀眾對(duì)輸入單元(如觸摸板，鍵盤等)的操作，觀看終端150-m可從麥克風(fēng)接收的音頻信號(hào)中提取第(η+1)個(gè)的語音特征數(shù)據(jù)。
[0072]進(jìn)一步地，觀看終端150-m對(duì)比了提取的第(η+1)個(gè)語音特征信息和一片或更多片預(yù)存的語音特征信息來判斷第(η+1)個(gè)時(shí)間位置。在觀看終端150-m，判斷第(η+1)個(gè)時(shí)間位置可能與判斷第η個(gè)時(shí)間位置的操作相同或相似。換句話說，觀看終端150-m可存儲(chǔ)接收到的語音特征信息；并且當(dāng)預(yù)定事件發(fā)生時(shí)，觀看終端150-m將會(huì)提取第(η+1)個(gè)語音特征數(shù)據(jù)并將提取到的第(η+1)個(gè)語音特征數(shù)據(jù)和一條或多條的預(yù)存的語音特征信息比較來確定第(η+1)個(gè)時(shí)間位置(B卩，在第(η+1)個(gè)語音特征數(shù)據(jù)產(chǎn)生時(shí)的廣播內(nèi)容的時(shí)長(zhǎng))。
[0073]進(jìn)一步地，觀看終端150-m顯示與確定的第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息。與確定的第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息可為從語音特征提取服務(wù)器140接收的并已被存儲(chǔ)于觀看終端150-m中的信息，或者為通過觀看終端150-m請(qǐng)求語音特征服務(wù)器140發(fā)送與第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息而接收的信息。
[0074]進(jìn)一步地，當(dāng)?shù)?η+1)個(gè)時(shí)間位置不能被確定時(shí),觀看終端150-m將第(η+1)個(gè)語音特征數(shù)據(jù)發(fā)送至語音特征提取服務(wù)器140。原因是與第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息并沒有存儲(chǔ)在觀看終端150-m中。因此，一旦語音特提取服務(wù)器140接收到第(η+1)個(gè)語音特征數(shù)據(jù)，將從數(shù)據(jù)庫單元230中檢索與該第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第(η+1)個(gè)語音特征信息，并且發(fā)送檢索到的第(η+1)個(gè)語音特征數(shù)據(jù)至觀看終端150-m。在這之后，觀看終端150-m利用接收到的第(η+1)個(gè)語音特征數(shù)據(jù)確定第(η+1)個(gè)時(shí)間位置，并且顯示與第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息。
[0075]如上所述，根據(jù)本發(fā)明的用于提供附加信息的系統(tǒng)100中，語音特征提取服務(wù)器140僅檢測(cè)與第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第η個(gè)語音特征信息，以發(fā)送至觀看終端150-m，并且觀看終端150-m確定第η個(gè)時(shí)間位置以將附加信息與觀眾正在觀看的廣播內(nèi)容同步顯示。
[0076]確定在觀看終端150-m播放的第η個(gè)時(shí)間位置是一個(gè)任務(wù)，以對(duì)第η個(gè)語音特征數(shù)據(jù)的時(shí)間位置進(jìn)行定位，這對(duì)于語音特征提取服務(wù)器140來說是一個(gè)非常耗時(shí)的任務(wù)。這是因?yàn)榇罅康恼Z音特征信息被存儲(chǔ)在語音特征提取服務(wù)器140的數(shù)據(jù)庫單元230中，并且語音特征數(shù)據(jù)是從大量的觀看終端150-m接收而來的。
[0077]因此，根據(jù)本發(fā)明的用于提供附加信息的系統(tǒng)100，觀看終端150-m被設(shè)計(jì)為執(zhí)行確定第η個(gè)時(shí)間位置的操作，從而減少語音特征提取服務(wù)器140的載荷以及減少網(wǎng)絡(luò)帶寬的消耗。原因是語音特征提取服務(wù)器140被設(shè)計(jì)成從觀看終端150-m接收少量的語音特征數(shù)據(jù)并做出響應(yīng)，發(fā)送少量的語音特征信息至觀看終端150-m。
[0078]此外，與語音特征數(shù)據(jù)相對(duì)應(yīng)的音頻指紋可以和與語音特征信息相對(duì)應(yīng)的音頻指紋不同，因?yàn)榭梢允褂枚喾N方法從語音信號(hào)中提取音頻指紋。如上所述，由于使用的單獨(dú)的音頻指紋相互之間不同，通過不同方式產(chǎn)生的語音特征信息可被存儲(chǔ)于語音特征提取服務(wù)器140的數(shù)據(jù)庫單元230中。也就是說，語音特征提取服務(wù)器140可以對(duì)每個(gè)廣播內(nèi)容使用多種音頻指紋產(chǎn)生方法來產(chǎn)生多種語音特征信息。例如，語音特征提取服務(wù)器140可對(duì)每個(gè)廣播內(nèi)容按照產(chǎn)生與第一音頻指紋產(chǎn)生方法和第二音頻指紋產(chǎn)生方法產(chǎn)生音頻特征數(shù)據(jù)。
[0079]這里，假設(shè)一個(gè)場(chǎng)景，觀看終端150-m利用第一種音頻指紋產(chǎn)生方法(下文中稱為第一種方法)和第二種音頻指紋生產(chǎn)方法(下文中稱為第二種方法)來產(chǎn)生音頻特征數(shù)據(jù)，并且由第一種方法產(chǎn)生的語音特征數(shù)據(jù)被發(fā)送至語音特征提取服務(wù)器140。然后，語音特征提取服務(wù)器140從由第一種方法產(chǎn)生的語音特征信息之中檢測(cè)與接收到的語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息，并且從第二種方法產(chǎn)生的語音特征信息之中檢索與“檢測(cè)到的語音特征信息”相對(duì)應(yīng)的語音特征信息，以發(fā)送“檢索到的語音特征信息”至觀看終端150-m。隨后，觀看終端150-m接收語音特征信息并且比較由第二種方法產(chǎn)生的語音特征數(shù)據(jù)以及接收到的語音特征信息來確定時(shí)間位置。[0080]這是因?yàn)樵谡Z音特征信息之中，適合檢測(cè)與語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息的音頻指紋生產(chǎn)方法可與適合準(zhǔn)確確定與語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置的音頻指紋產(chǎn)生方法不同。
[0081]假設(shè)，為了方便理解和解釋，附加信息存儲(chǔ)在語音特征提取服務(wù)器140中，除了語音特征提取服務(wù)器，附加信息也可以存儲(chǔ)在服務(wù)器和/或設(shè)備中。因此，顯而易見的是，存儲(chǔ)附加信息的服務(wù)器和/或設(shè)備不限制本發(fā)明的范圍。
[0082]下面，將參照?qǐng)D3至圖5對(duì)現(xiàn)有技術(shù)和本發(fā)明的實(shí)例的比較進(jìn)行描述。
[0083]圖3為在電視屏幕上顯示的廣播內(nèi)容的圖像的實(shí)例；圖4為現(xiàn)有技術(shù)中附加信息在電視屏幕上顯示的實(shí)例；圖5為本發(fā)明一實(shí)施例中附加信息在觀看終端上顯示的實(shí)例。
[0084]首先，如圖3所示，該實(shí)例是，在電視機(jī)130上顯示了相當(dāng)于新聞的廣播內(nèi)容，新聞的內(nèi)容介紹了一款NIKE的新產(chǎn)品。
[0085]此外，如圖4所示，該實(shí)例是，根據(jù)現(xiàn)有技術(shù)，廣播內(nèi)容410新聞介紹了一款NIKE的新產(chǎn)品，并且新聞節(jié)目430本身也顯示在電視130上。在現(xiàn)有技術(shù)中，與廣播內(nèi)容相關(guān)的附加信息重疊的顯示在廣播內(nèi)容的圖像上，或者，如圖4所示，附加信息需要顯示在一個(gè)保留的空間，減少了顯示廣播內(nèi)容的區(qū)域。這是因?yàn)閺V播內(nèi)容和附加信息兩者應(yīng)該顯示在一個(gè)設(shè)備上，或者兩者之一應(yīng)該顯示在這個(gè)設(shè)備上。此外，為了讓觀眾使用電子商務(wù)或附加信息，觀眾可能需要使用遙控器440。然而，遙控器440具有一個(gè)問題，即，由于其用于更換電視頻道，因而不是為了使用廣播內(nèi)容的附加信息的合適的接口。
[0086]反之，如圖5所示，根據(jù)本發(fā)明，廣播內(nèi)容的新聞完全顯示在電視機(jī)130上，并且一款NIKE的新產(chǎn)品介紹510和新聞節(jié)目520本身，從某種程度上說即為附加信息，顯示在觀看終端150-m上。于是，觀眾可以通過觀看終端150-m獲得對(duì)NIKE的這款新產(chǎn)品的介紹，而且還可以進(jìn)入購(gòu)買這款新產(chǎn)品的網(wǎng)站。
[0087]因此，根據(jù)本發(fā)明，由于顯示附加信息的設(shè)備獨(dú)立于顯示廣播內(nèi)容的設(shè)備，對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的是，對(duì)附加信息的使用不打擾觀眾的觀看體驗(yàn)并且可以促進(jìn)電子商務(wù)變的靈活。
[0088]圖6為本發(fā)明一實(shí)施例中通過語音特征提取服務(wù)器存儲(chǔ)廣播內(nèi)容的語音特征信息的方法的流程圖。
[0089]下面，將參照?qǐng)D6對(duì)本發(fā)明實(shí)施例中通過語音特征提取服務(wù)器存儲(chǔ)廣播內(nèi)容的語音特征信息的方法進(jìn)行描述。
[0090]以下描述的每個(gè)步驟可由語音特征提取服務(wù)器140的單獨(dú)部件執(zhí)行，為了方便理解和解釋，后面的描述的步驟將全部由語音特征提取服務(wù)器140執(zhí)行。因此，執(zhí)行每個(gè)步驟的實(shí)體將不再贅述。
[0091]在步驟S610，當(dāng)廣播內(nèi)容從通過廣播網(wǎng)絡(luò)120連接的廣播服務(wù)提供商110接收，或者當(dāng)廣播內(nèi)容通過外部輸入輸出設(shè)備(未示出)接收，音頻特征數(shù)據(jù)從廣播內(nèi)容中被提取出，并且被分組至預(yù)定的單元來提取語音特征信息(步驟S620)。例如，語音特征提取服務(wù)器140根據(jù)預(yù)定的方法，將廣播內(nèi)容(即音頻特征數(shù)據(jù))語音頻率成分的信息提取出，并將提取到的信息分組至預(yù)定的單元以產(chǎn)生語音特征信息。另一個(gè)例子是，語音特征信息提取單元220根據(jù)預(yù)定的方法提取廣播內(nèi)容的語音特征數(shù)據(jù)，將提取到的信息分組至預(yù)定的單元來產(chǎn)生語音特征信息。這里，音頻特征數(shù)據(jù)可為音頻指紋，而且提取音頻指紋的技術(shù)對(duì)本領(lǐng)域技術(shù)人員來說是公知的，因此其描述不再贅述。
[0092]在步驟S630，提取到的語音特征信息存儲(chǔ)在一個(gè)預(yù)留的存儲(chǔ)區(qū)域(即數(shù)據(jù)庫單元230)。
[0093]在步驟S640，與相關(guān)廣播內(nèi)容相對(duì)應(yīng)的附加信息也被存儲(chǔ)在這個(gè)預(yù)留的存儲(chǔ)區(qū)域中。這里，附加信息可在語音特征提取服務(wù)器140管理者的操作下被存儲(chǔ)在數(shù)據(jù)庫230。換句話說，附加信息可以不是與語音特征提取服務(wù)器140接收的廣播內(nèi)容相伴隨的信息，而是通過獨(dú)立于廣播內(nèi)容的接收的方法接收到的信息。進(jìn)一步地，附加信息可包括與每條語音特征信息相匹配的信息或者關(guān)于全部廣播內(nèi)容的信息。
[0094]圖7為本發(fā)明一實(shí)施例中提供附加信息的方法的流程圖。
[0095]下面將參照附圖7介紹用于提供廣播內(nèi)容的附加信息的方法。以下解釋的各步驟可分別由附圖1和2中描述的語音特征提取服務(wù)器140以及觀看終端150-m執(zhí)行，為了便于理解和解釋，接下來將總體描述由語音特征提取服務(wù)器140和觀看終端150-m執(zhí)行全部步驟。另外，以下解釋的各步驟可為在存儲(chǔ)廣播內(nèi)容的特征信息之后進(jìn)行的步驟，如圖6所
/Jn ο
[0096]當(dāng)觀看終端150-m在步驟S710中觀眾操作的基礎(chǔ)上被調(diào)用至附加信息接受模式時(shí)，它從音頻信號(hào)中提取并發(fā)送第η個(gè)語音特征數(shù)據(jù)，所述音頻信號(hào)根據(jù)步驟S720中預(yù)定的方法通過麥克風(fēng)接收。這里，音頻特征數(shù)據(jù)可為音頻指紋，并且用于從廣播內(nèi)容的語音信號(hào)提取音頻指紋的技術(shù)對(duì)本領(lǐng)域技術(shù)人員來說是公知的，因而其描述不再贅述。
[0097]在步驟S730中，語音特征提取服務(wù)器140檢測(cè)與接收到的第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第η個(gè)語音特征信息。也就是說，語音特征提取服務(wù)器140可通過對(duì)比接收到的第η個(gè)語音特征數(shù)據(jù)和預(yù)存儲(chǔ)于數(shù)據(jù)庫單元230中的一條或多條語音特征信息從而檢測(cè)與所述第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第η個(gè)語音特征信息。
[0098]在步驟S740中，語音特征提取服務(wù)器140發(fā)送檢測(cè)到的第η個(gè)語音特征信息至觀看終端150-m。
[0099]在步驟S750中，觀看終端150-m使用接收到的第η個(gè)語音特征信息和第η個(gè)語音特征數(shù)據(jù)確定第η個(gè)時(shí)間位置。也就是說，觀看終端150-m從η個(gè)語音特征信息中確定與第η個(gè)語音信息數(shù)據(jù)相對(duì)應(yīng)的第η個(gè)時(shí)間位置。這里，時(shí)間位置是指語音特征信息中的時(shí)間位置，相當(dāng)于語音特征數(shù)據(jù)。例如，假設(shè)第η個(gè)語音特征信息被分組至一個(gè)10分鐘單元并且觀眾正在收看的廣播內(nèi)容具有I秒鐘至10分鐘之間不等的時(shí)長(zhǎng)。另外，假設(shè)第η個(gè)語音特征數(shù)據(jù)在第η個(gè)語音特征信息中相當(dāng)于5分鐘的長(zhǎng)度。然后，觀看終端150-m將會(huì)比較第η個(gè)語音特征信息和第η個(gè)語音特征數(shù)據(jù)并隨后確定與第η個(gè)語音特征信息中的第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置的量。也就是說，在以上假設(shè)中，觀看終端150-m可以確定接收到的第η個(gè)語音特征信息具有觀眾正在收看的廣播內(nèi)容是否具有I秒鐘到10分鐘之間不等的時(shí)長(zhǎng)并比較第η個(gè)語音特征信息和第η個(gè)語音特征數(shù)據(jù)以確定第η個(gè)語音特征數(shù)據(jù)在觀眾正在收看的廣播內(nèi)容的時(shí)長(zhǎng)中具有5分鐘的長(zhǎng)度。因而，在上述假設(shè)中，第η個(gè)時(shí)間位置可為5分鐘長(zhǎng)度。
[0100]在步驟S760中，觀看終端150-m傳遞用于請(qǐng)求相當(dāng)于第η個(gè)時(shí)間位置的附加信息的附加信息請(qǐng)求至語音特征提取服務(wù)器140，并在步驟S770中，響應(yīng)所述接收到的附加信息請(qǐng)求，語音特征提取服務(wù)器140檢索與第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息并將其發(fā)送至觀看終端150-m。
[0101]在步驟S780中，在接收到附加信息的基礎(chǔ)上，觀看終端150-m顯示與第η個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息。在這種情況下，觀看終端150-m可在考慮第η個(gè)語音特征數(shù)據(jù)的產(chǎn)生至確定第η個(gè)時(shí)間位置之間消耗的時(shí)間長(zhǎng)度來顯示所述附加信息。
[0102]圖8為本發(fā)明另一實(shí)施例中提供附加信息的方法的流程圖。
[0103]下面將參照?qǐng)D8介紹根據(jù)本發(fā)明另一個(gè)實(shí)施例的用于提供廣播內(nèi)容的附加信息的方法。
[0104]下面將要解釋的每個(gè)步驟都可由如圖1所示的觀看終端150-m執(zhí)行。因此，將不再贅述執(zhí)行各步驟的實(shí)體。
[0105]在步驟S810中，當(dāng)預(yù)定的事件發(fā)生時(shí)，提取第(η+1)個(gè)語音特征數(shù)據(jù)(S820)。例如，當(dāng)預(yù)定的時(shí)間段在提取第η個(gè)語音特征數(shù)據(jù)后已經(jīng)失效，觀看終端150-m可從通過麥克風(fēng)輸入的音頻信號(hào)提取第(η+1)個(gè)語音特征數(shù)據(jù)，觀看終端150-m可通過基于觀看者操作輸入單元而輸入的音頻信號(hào)來提取第(η+1)個(gè)語音特征數(shù)據(jù)。
[0106]在步驟S830中，將提取到的第(η+1)個(gè)語音特征數(shù)據(jù)與一條或多條余存儲(chǔ)語音特征信息比較，以確定第(η+1)個(gè)時(shí)間位置。在觀看終端150-m，確定第(η+1)個(gè)時(shí)間位置可能與確定第η個(gè)時(shí)間位置的操作相同或相似。換句話說，觀看終端150-m可存儲(chǔ)接收到的語音特征信息；并且當(dāng)預(yù)定的事件發(fā)生時(shí)，觀看終端150-m可提取第(η+1)個(gè)語音特征數(shù)據(jù)并與一條或多條余存儲(chǔ)的語音特征信息相比較，以確定第(η+1)個(gè)時(shí)間位置(B卩，在第(η+1)個(gè)語音特征數(shù)據(jù)產(chǎn)生時(shí)，廣播內(nèi)容的時(shí)長(zhǎng))。
[0107]在步驟S840中，如果可能確定第(η+1)個(gè)時(shí)間位置，所述方法進(jìn)入步驟S850，SP顯示與確定的第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息。與確定的第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息可為已從語音特征提取服務(wù)器140接收到的信息并已存儲(chǔ)于觀看終端150-m中，或可為通過請(qǐng)求語音特征提取服務(wù)器140發(fā)送與第(η+1)個(gè)時(shí)間位置相對(duì)應(yīng)的附加信息而接收到的信息。
[0108]同時(shí),作為步驟S840中確定的結(jié)果,如果第(η+1)個(gè)時(shí)間位置未被確定,所述方法跳至步驟S860，第(η+1)個(gè)語音特征被發(fā)送至語音特征提取服務(wù)器140。原因是，第(η+1)個(gè)時(shí)間位置未被定位這種情況可能是由于與第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息未被存儲(chǔ)于觀看終端150-m。
[0109]因此，在步驟S870中，當(dāng)接收第(η+1)個(gè)語音特征數(shù)據(jù)時(shí)，觀看終端150_m從數(shù)據(jù)單元230中檢索與第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第(η+1)個(gè)語音特征數(shù)據(jù)，并且所述觀看終端150-m隨后使用接收到的第(η+1)語音特征信息確定第(η+1)個(gè)時(shí)間位置，以顯示所述附加信息(即，重復(fù)前述步驟S730和其后面的步驟)。如上所述，本發(fā)明的語音特征提取服務(wù)器140可發(fā)送一部分與觀眾正在收看或收聽音的廣播內(nèi)容相應(yīng)的音頻特征數(shù)據(jù)(即語音特征數(shù)據(jù))至150，并且觀看終端150-m可從接收到的語音特征信息確定與語音特征數(shù)據(jù)相關(guān)的時(shí)間位置并將附加信息與觀眾觀看或收聽的廣播內(nèi)容同步顯示。
[0110]根據(jù)本發(fā)明實(shí)施例，顯示廣播內(nèi)容的設(shè)備和顯示附加信息的設(shè)備都是獨(dú)立的。因此，即使觀眾使用附加信息，觀眾觀看廣播內(nèi)容的觀看體驗(yàn)不會(huì)再受到妨礙或被打擾。進(jìn)一步地，根據(jù)本發(fā)明實(shí)施例，顯示附加信息的設(shè)備可為操作簡(jiǎn)單的智能手機(jī)、平板電腦等，可以對(duì)電視商務(wù)的靈活性做出貢獻(xiàn)。即使觀眾通過觸摸智能手機(jī)的觸摸板進(jìn)入顯示附加信息的網(wǎng)頁，觀看體驗(yàn)不會(huì)受到妨礙或停止，可以實(shí)現(xiàn)流暢觀看廣播內(nèi)容以及附加信息的廣泛使用。例如，假設(shè)一種場(chǎng)景，觀眾通過收音機(jī)(未示出)收聽廣播內(nèi)容介紹的一位歌手‘A’的新歌。然后，觀眾可以通過智能手機(jī)150-1實(shí)時(shí)獲取關(guān)于相關(guān)新歌(即作曲人、作詞人、歌詞等)的信息，進(jìn)一步地，可以通過在觸摸板上進(jìn)行簡(jiǎn)單的觸摸操作立即進(jìn)入網(wǎng)頁從而獲取該新歌。
[0111]另一個(gè)例子是，假設(shè)一種場(chǎng)景，觀眾通過電視收看顯示關(guān)于產(chǎn)品‘B’的廣告的廣播內(nèi)容。然后，觀眾可以通過平板電腦(未示出)實(shí)時(shí)獲取關(guān)于相關(guān)產(chǎn)品(即價(jià)格、特征、采購(gòu)活動(dòng)等)，進(jìn)一步地，可以通過在觸摸板上進(jìn)行簡(jiǎn)單的觸摸操作立即進(jìn)入網(wǎng)頁從而獲取相關(guān)產(chǎn)
品O
[0112]進(jìn)一步地，根據(jù)本發(fā)明實(shí)施例，即使觀眾觀看模擬電視130或公共場(chǎng)所電視130，觀眾可以在觀看廣播內(nèi)容時(shí)使用與廣播內(nèi)容相關(guān)的附加信息，并且使用收音機(jī)的聽眾也可以使用與廣播內(nèi)容相關(guān)的附加信息。在過去，沒有網(wǎng)絡(luò)電視的觀眾和使用收音機(jī)的聽眾在觀看或收聽時(shí)不能實(shí)時(shí)使用與廣播內(nèi)容相關(guān)的附加信息。然而，根據(jù)本發(fā)明實(shí)施例，一旦智能手機(jī)150-1產(chǎn)生并發(fā)送語音特征數(shù)據(jù)，語音特征提取服務(wù)器140將會(huì)發(fā)送相關(guān)的附加信息至所述智能手機(jī)150-1，并且智能手機(jī)150-1將隨即與所述廣播信息同步顯示接收到的附加信息。因此，擁有模擬電視130的觀眾以及擁有收音機(jī)(未示出)的聽眾也可以實(shí)時(shí)使用廣播內(nèi)容的附加信息。
[0113]進(jìn)一步地，根據(jù)本發(fā)明實(shí)施例，由于觀眾通過由觀看終端150-m產(chǎn)生的圖像數(shù)據(jù)使用所述附加信息，使得觀眾不需要購(gòu)買另外的網(wǎng)絡(luò)電視。
[0114]進(jìn)一步地，根據(jù)本發(fā)明實(shí)施例，語音特征提取服務(wù)器140僅服務(wù)于檢測(cè)與第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第η個(gè)語音特征信息并發(fā)送該語音特征信息至觀看終端150-m，并且觀看終端150-m確定所述第(η+1)個(gè)時(shí)間位置并在觀眾觀看的廣播內(nèi)容上同步顯示所述附加信息，因此可以減少語音特征提取服務(wù)器140上的載荷并且可以最小化相應(yīng)的網(wǎng)絡(luò)帶寬消耗。這是由于語音特征提取服務(wù)器140設(shè)計(jì)為接收語音特征數(shù)據(jù)的小部分并發(fā)語音特征信息的小部分作為響應(yīng)至觀看終端150-m。
[0115]根據(jù)如上所述的本發(fā)明實(shí)施例的用于在廣播內(nèi)容上提供附加信息的方法可在計(jì)算機(jī)可讀介質(zhì)上以計(jì)算機(jī)可讀代碼的形式實(shí)現(xiàn)。計(jì)算機(jī)可讀介質(zhì)可包括存儲(chǔ)有計(jì)算機(jī)系統(tǒng)可解碼數(shù)據(jù)的任何種類的存儲(chǔ)介質(zhì)。例如，計(jì)算機(jī)存儲(chǔ)介質(zhì)可包括只讀存儲(chǔ)器(Read OnlyMemory, ROM)、隨機(jī)存取存儲(chǔ)器(Random Access Memory, RAM)、磁帶、閃速存儲(chǔ)器、光數(shù)據(jù)存儲(chǔ)器等。進(jìn)一步地，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以代碼形式存儲(chǔ)和執(zhí)行，所述代碼分布于連接至計(jì)算接網(wǎng)絡(luò)的計(jì)算機(jī)系統(tǒng)中并以分布的方式可讀。
[0116]另外，當(dāng)參照本發(fā)明優(yōu)選實(shí)施例做出前述描述時(shí)，在不脫離如下權(quán)利要求的精神和范圍情況下，本領(lǐng)域技術(shù)人員可以做出多種修改和改動(dòng)。
【權(quán)利要求】
1.一種由語音特征提取服務(wù)器執(zhí)行的，用于在廣播內(nèi)容上為通過數(shù)據(jù)通信網(wǎng)絡(luò)連接的觀看終端提供附加信息的方法，所述方法包括: 從所述廣播內(nèi)容中提取音頻特征數(shù)據(jù)并將所述音頻特征數(shù)據(jù)分組至預(yù)定的單元，以作為語音特征信息存儲(chǔ)至預(yù)留的存儲(chǔ)空間；以及 在所述存儲(chǔ)的一條或多條語音特征信息中檢測(cè)從所述觀看終端接收的與語音特征數(shù)據(jù)相對(duì)應(yīng)的語音特征信息，并發(fā)送所述檢測(cè)到的特征信息至所述觀看終端，其中所述觀看終端用于按照預(yù)設(shè)方法從輸入音頻信號(hào)中提取所述語音特征數(shù)據(jù)，以發(fā)送所述語音特征數(shù)據(jù)至所述語音特征提取服務(wù)器，確定與所述接收到的語音特征信息中的所述語音特征數(shù)據(jù)相對(duì)應(yīng)的時(shí)間位置，并顯示與所述時(shí)間位置相關(guān)的所述附加信息。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 發(fā)送與所述語音特征信息相對(duì)應(yīng)的所述附加信息至所述觀看終端。
3.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 基于從所述觀看終端接收到的附加信息請(qǐng)求，發(fā)送與所述附加信息相關(guān)的所述附加信息， 其中所述觀看終端用于請(qǐng)求包括所述時(shí)間位置的所述附加信息，并在接收作為所述附加信息請(qǐng)求的響應(yīng)的所述附加信息時(shí)顯示與所述時(shí)間位置有關(guān)的所述附加信息。
4.根據(jù)權(quán)利要求1所述的方法，其中所述從所述廣播內(nèi)容中提取音頻特征數(shù)據(jù)并將所述音頻特征數(shù)據(jù)分組至預(yù)定的單元包括: 將所述音頻特征數(shù)據(jù)分組至預(yù)定的時(shí)間單元或預(yù)定的容量單元。
5.一種由觀看終端執(zhí)行的，用于在廣播內(nèi)容上為觀眾提供附加信息的方法，所述方法包括: 使用預(yù)定的方法從輸入音頻數(shù)據(jù)中提取第η個(gè)語音特征數(shù)據(jù)，以發(fā)送所述第η個(gè)語音特征數(shù)據(jù)至與數(shù)據(jù)網(wǎng)絡(luò)連接的語音特征提取服務(wù)器； 從接收到的作為所述第η個(gè)語音特征數(shù)據(jù)的響應(yīng)的第η個(gè)語音特征信息確定與所述第η個(gè)語音特征數(shù)據(jù)相關(guān)的第η個(gè)時(shí)間位置；以及 顯示與所述第η個(gè)時(shí)間位置相關(guān)的所述附加信息，η為自然數(shù)， 其中所述語音特征提取服務(wù)器用于從語音特征信息中檢測(cè)與所述第η個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的所述第η個(gè)語音特征信息，音頻特征數(shù)據(jù)從所述廣播內(nèi)容的所述語音特征信息中被提取并被分組至預(yù)定的單元，以及發(fā)送所述第η個(gè)語音特征信息。
6.根據(jù)權(quán)利要求5所述的方法，其中所述顯示所述附加信息包括: 發(fā)送包括關(guān)于所述第η個(gè)時(shí)間位置的所述附加信息請(qǐng)求至所述語音特征提取服務(wù)器；從所述語音特征提取服務(wù)器接收作為所述附加信息請(qǐng)求的響應(yīng)的所述附加信息；以及顯示與所述第η個(gè)時(shí)間位置相關(guān)的所述附加信息，其中所述語音特征提取服務(wù)器用于當(dāng)接收到所述附加信息請(qǐng)求時(shí)發(fā)送與所述第η個(gè)時(shí)間位置相關(guān)的所述附加信息。
7.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括: 從所述語音特征提取服務(wù)器接收與所述第η個(gè)語音特征信息相對(duì)應(yīng)的所述附加信息。
8.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括: 當(dāng)預(yù)定事件發(fā)生時(shí)，提取第(η+1)個(gè)語音特征數(shù)據(jù)； 從一條或多條預(yù)存儲(chǔ)的語音特征信息中檢測(cè)與所述第(η+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的第(n+1)個(gè)語音特征信息； 從所述第(n+1)個(gè)語音特征信息中確定與所述第(n+1)個(gè)語音特征數(shù)據(jù)相關(guān)的所述第n個(gè)時(shí)間位置；以及 顯示與所述第(n+1)個(gè)時(shí)間位置相關(guān)的所述附加信息。
9.根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括: 當(dāng)在一條或多條預(yù)存儲(chǔ)語音特征信息中未檢測(cè)到與所述第(n+1)個(gè)語音特征數(shù)據(jù)相對(duì)應(yīng)的所述語音特征信息時(shí)，發(fā)送所述第(n+1)個(gè)語音特征數(shù)據(jù)至所述語音特征提取服務(wù)器；以及 從所述語音特征提取服務(wù)器140接收與所述第(n+1)個(gè)語音特征數(shù)據(jù)相關(guān)的所述第(n+1)個(gè)語音特征信息。
10.根據(jù)權(quán)利要求8所述的方法，其中所述提取第(n+1)個(gè)語音特征數(shù)據(jù)包括: 當(dāng)預(yù)定時(shí)間段失效時(shí)提取所述第(n+1)個(gè)語音特征數(shù)據(jù)。
11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括存儲(chǔ)于其中的計(jì)算機(jī)可執(zhí)行程序，其中當(dāng)處理器執(zhí)行所述程序時(shí)，所述程序使得所述處理器執(zhí)行根據(jù)權(quán)利要求1-10中任一項(xiàng)所述的用于在廣播內(nèi)容上提供附加信息的方法。
【文檔編號(hào)】H04N21/23GK103748887SQ201280034697
【公開日】2014年4月23日 申請(qǐng)日期:2012年7月10日 優(yōu)先權(quán)日:2011年7月25日
【發(fā)明者】曺永奉, 金度亨 申請(qǐng)人:伊普拉特亞韓國(guó)株式會(huì)社