用于自動文件檢測的對來自基于文件的媒體的特有信息的獲取、恢復(fù)和匹配的制作方法
【專利說明】用于自動文件檢測的對來自基于文件的媒體的特有信息的獲取、恢復(fù)和匹配
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年4月5日提交的第61/809，001號美國臨時專利申請的優(yōu)先權(quán)，其整體通過引用合并到本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明一般地涉及媒體處理系統(tǒng)，具體地涉及用于自動文件檢測的對來自基于文件的媒體的特有信息的獲取、恢復(fù)和匹配。
【背景技術(shù)】
[0004]對于收益，廣播網(wǎng)絡(luò)和運營商的收入依賴于商業(yè)廣告(commercial)。然而，商業(yè)廣告由許多不同的單位和個人生產(chǎn)和提供。嵌入非商業(yè)性的普通節(jié)目素材內(nèi)的商業(yè)廣告對于許多觀眾/聽眾而言可能具有諸如響度不合理的討厭的特征。假設(shè)廣播網(wǎng)絡(luò)或運營商的節(jié)目潛在地有大量的聽眾，則廣播網(wǎng)絡(luò)或廣播運營商可能收到對具有討厭的特征的商業(yè)廣告的大量投訴(complaint)，其中這些討厭的特征在節(jié)目中。
[0005]如法律所要求的為了應(yīng)對這些投訴并且遵守相關(guān)的觀眾保護(hù)規(guī)定，廣播網(wǎng)絡(luò)或運營商在監(jiān)視廣播網(wǎng)絡(luò)或運營商的廣播頻道或者廣播網(wǎng)絡(luò)或運營商接收或發(fā)送/廣播的媒體數(shù)據(jù)比特流中可能需要部署相當(dāng)數(shù)量的人力資源。通過監(jiān)視收集的信息可以用于響應(yīng)于投訴或?qū)徲媮泶_定這些頻道或比特流是否包括具有討厭的特征的商業(yè)廣告。即使當(dāng)廣播網(wǎng)絡(luò)或運營商在監(jiān)視其節(jié)目上花費大量資源時，是否能夠有效地識別這些商業(yè)廣告的問題也還是成問題的。
[0006]在本部分中描述的方法是能夠被執(zhí)行的方法，但是不一定是先前已經(jīng)被構(gòu)思或執(zhí)行的方法。因此，除非另有說明，否則不應(yīng)該假定:在該部分中描述的任何方法僅因其被包括在該部分中而被認(rèn)為是現(xiàn)有技術(shù)。類似地，除非另有說明，否則不應(yīng)該假定關(guān)于一種或更多種方法而識別出的問題在基于該部分的任何現(xiàn)有技術(shù)中已經(jīng)被意識到。
【附圖說明】
[0007]在附圖的圖中以示例性方式而非限制性方式來說明本發(fā)明，其中，相同的附圖標(biāo)記指代相同的要素，并且其中:
[0008]圖1圖示了媒體指紋檔案系統(tǒng)；
[0009]圖2圖示了媒體測量系統(tǒng)；
[0010]圖3圖示了搜索媒體數(shù)據(jù)中的次要媒體內(nèi)容部分以及對媒體數(shù)據(jù)中的次要媒體內(nèi)容部分執(zhí)行測量的示例算法或處理流程；
[0011 ] 圖4A和圖4B圖不了不例處理流程；以及
[0012]圖5圖示了可以在其上實現(xiàn)如本文中所描述的計算機或計算設(shè)備的示例硬件平臺ο
【具體實施方式】
[0013]本文中描述了涉及用于自動文件檢測的對來自基于文件的媒體的特有信息的獲取、恢復(fù)和匹配的示例實施方式。在下面的描述中，出于說明的目的，闡述了大量特定細(xì)節(jié)以提供對本發(fā)明的全面理解。然而，明顯地，在沒有這些特定細(xì)節(jié)的情況下，仍然可以實踐本發(fā)明。在其他實例中，并不會無遺漏地詳細(xì)描述已知的結(jié)構(gòu)和裝置，以避免不必要地封閉本發(fā)明、使本發(fā)明含糊不清或者混淆本發(fā)明。
[0014]在本文中根據(jù)以下概要來描述示例實施方式:
[0015]1.總體概述
[0016]2.媒體數(shù)據(jù)和媒體內(nèi)容部分
[0017]3.媒體指紋檔案系統(tǒng)
[0018]4.媒體測量系統(tǒng)
[0019]5.檢測次要內(nèi)容部分的算法
[0020]6.示例處理流程
[0021]7.實現(xiàn)機構(gòu)一一硬件概述
[0022]8.等同、擴(kuò)展、替代和其他
[0023]1.總體概述
[0024]本概述提供本發(fā)明的實施方式的一些方面的基本描述。應(yīng)當(dāng)注意，該概述并不是實施方式的各方面的廣泛的或窮盡的概括。此外，應(yīng)當(dāng)注意，此概述不意在被理解為識別實施方式的任何特別顯著的方面或要素，也并不意在被理解為具體地敘述實施方式的任何范圍，也并不意在被理解為一般地敘述本發(fā)明。此概述僅以簡述和簡化的形式提供與示例實施方式有關(guān)的一些概念，并且此概述應(yīng)當(dāng)僅被理解為下面緊接著的示例實施方式的更詳細(xì)描述的概念性序言。
[0025]在一些實施方式中，如由商業(yè)廣告整合者(commercial aggregator)、媒體網(wǎng)絡(luò)、廣播公司、大網(wǎng)絡(luò)運營商等操作的具有指紋引擎或服務(wù)器側(cè)指紋導(dǎo)出單元的媒體指紋檔案系統(tǒng)對要與下游媒體系統(tǒng)中的媒體數(shù)據(jù)中的主要媒體內(nèi)容部分嵌入在一起的次要媒體內(nèi)容部分進(jìn)行處理；根據(jù)次要媒體內(nèi)容部分的媒體數(shù)據(jù)單元生成媒體指紋；并且將媒體指紋存儲在指紋檔案庫中。
[0026]如本文中所用，指紋檔案庫可以是在線的基于云的數(shù)據(jù)庫、專有數(shù)據(jù)庫等。“媒體數(shù)據(jù)單元”可以包括持續(xù)某時間單位的媒體樣本數(shù)據(jù)。媒體數(shù)據(jù)單元的示例可以是32毫秒、64毫秒等的時間單位的多個連續(xù)的媒體樣本或幀?！按我襟w內(nèi)容部分”可以是各種類型的媒體中的商業(yè)廣告、促銷廣告(promot1nal advertisement)等?！爸饕襟w內(nèi)容部分”可以是各種類型的媒體中的節(jié)目、表演、比賽廣播、音樂會、電影等?！懊襟w數(shù)據(jù)”可以包括例如在分配的廣告時間間隙中嵌入有次要媒體內(nèi)容部分的主要媒體內(nèi)容部分。媒體的示例包括但不限于:純音頻、純視頻、音頻視頻、媒體文件、媒體比特流等。除了媒體指紋以外，包括但不限于除了媒體指紋，針對相應(yīng)次要媒體內(nèi)容部分順序分配的標(biāo)識符，針對相應(yīng)次要媒體內(nèi)容部分的特有字母數(shù)字標(biāo)記等以外的其他特有標(biāo)識符的其他信息也可以被存儲、被存檔并且可以使用指紋檔案庫中的媒體指紋使這些其他信息可訪問。
[0027]媒體指紋檔案系統(tǒng)可以被配置成支持一個或多個(下游)媒體測量系統(tǒng)。在一些實施方式中，指紋引擎或下游媒體測量系統(tǒng)的客戶端側(cè)指紋導(dǎo)出單元能夠?qū)崟r地、近實時地、離線地、非實時地等從傳入的信號、比特流、文件等提取/導(dǎo)出/生成媒體指紋。
[0028]在示例實施方式中，如由網(wǎng)絡(luò)運營商或網(wǎng)站等操作的媒體測量系統(tǒng)對要被廣播、下載或以其他方式分發(fā)給觀眾/聽眾的媒體數(shù)據(jù)進(jìn)行處理；從媒體數(shù)據(jù)的媒體數(shù)據(jù)單元生成查詢指紋；將指紋識別查詢發(fā)送至媒體指紋檔案系統(tǒng)；以及從媒體指紋檔案系統(tǒng)接收指紋識別響應(yīng)，以確定查詢指紋中的任一查詢指紋是否與媒體數(shù)據(jù)中的次要媒體內(nèi)容部分相對應(yīng)。
[0029]響應(yīng)于指示存在特定的次要媒體內(nèi)容部分的肯定指紋識別響應(yīng)，針對特定次要媒體內(nèi)容部分能夠執(zhí)行包括但不限于響度測量等的一組媒體測量。
[0030]如果未容易地發(fā)現(xiàn)查詢指紋和存檔的指紋之間的指紋匹配，則能夠?qū)γ襟w數(shù)據(jù)內(nèi)的媒體特征和其他識別信息進(jìn)行分析。例如，下游媒體測量系統(tǒng)能夠?qū)γ襟w數(shù)據(jù)中的日期(time of day)、持續(xù)時間、場景變換的頻率、面部識別、圖/表(figure/form)識別、語音存在、音樂存在、音頻瞬態(tài)的識別、視覺頻譜內(nèi)容、音頻頻譜內(nèi)容、視頻效果、備忘錄(tickler)、預(yù)先存在的次要節(jié)目標(biāo)識符、網(wǎng)絡(luò)水印、等級水印、加字幕的/嵌入的文本、掌聲、節(jié)目和場景變換、響度等進(jìn)行分析。能夠使用分類器或分類算法并使用基于這樣的分類器的存在或出現(xiàn)的加權(quán)來確定特定媒體內(nèi)容部分或媒體數(shù)據(jù)單元是否為次要媒體內(nèi)容部分。出于本發(fā)明的目的，應(yīng)當(dāng)注意，除了那些本文中列舉的以外，分類器或分類算法可以使用其他媒體特征來確定媒體內(nèi)容類型。能夠?qū)Υ罅俊按我襟w內(nèi)容”(例如，訓(xùn)練數(shù)據(jù)、標(biāo)記數(shù)據(jù)等)的分析進(jìn)行分析，以確定應(yīng)該使用什么樣的分類器或者應(yīng)該為它們相應(yīng)的分類器分配什么權(quán)重值，以便對媒體內(nèi)容類型進(jìn)行分類。另外，能夠?qū)Χ鄠€分類器進(jìn)行組合以增強它們對媒體內(nèi)容類型進(jìn)行正確分類的實力。例如，能夠在組合的分類器中將面部識別與語音的存在進(jìn)行組合，以識別畫外音(voice-over)(例如，在屏幕上沒有一個人的語音等)，畫外音可以用作確定特定內(nèi)容部分是否為次要媒體內(nèi)容部分的因素。
[0031]在一些實施方式中，如果媒體內(nèi)容部分被確定為次要媒體內(nèi)容部分(例如，商業(yè)廣告等)，則次要媒體內(nèi)容部分的(例如，多音頻頻道)音量水平或響度設(shè)置可以被確定、被加標(biāo)簽或者甚至被調(diào)整成符合法律和/或商業(yè)要求。如果確定媒體內(nèi)容部分不是次要媒體內(nèi)容部分(例如，不是商業(yè)廣告等)，則媒體內(nèi)容部分可以保持例如如由電影制作人、廣播公司、媒體藝術(shù)家等期望的原始音量水平或響度設(shè)置。
[0032]在一些實施方式中，媒體指紋檔案系統(tǒng)和媒體測量系統(tǒng)可以被部署在同一地理位置處。在一些其他實施方式中，媒體指紋檔案系統(tǒng)和媒體測量系統(tǒng)可以被部署在不同的地理位置處。這些系統(tǒng)可以通過網(wǎng)絡(luò)云進(jìn)行通信或者訪問媒體指紋識別服務(wù)。在示例實施方式中，媒體測量系統(tǒng)可以位于運營商設(shè)施處，而支持在線訪問并且向媒體測量系統(tǒng)提供在線指紋識別服務(wù)的媒體指紋檔案系統(tǒng)可以位于商業(yè)廣告整合設(shè)施處。
[0033]作為一個可能的非限制性應(yīng)用，如由降低商業(yè)廣告響度(CALM)法案要求的，如本文中描述的技術(shù)能夠用于對媒體節(jié)目進(jìn)行抽查。能夠使用這些技術(shù)對媒體網(wǎng)絡(luò)或在具有大量(例如，50兆，200兆等)任一時長的潛在商業(yè)廣告的運營商的所有頻道上的運營商的媒體節(jié)目執(zhí)行抽查。
[0034]代替對數(shù)小時的、包括混合有商業(yè)廣告內(nèi)容的大量主要節(jié)目素材的節(jié)目安排進(jìn)行捕獲，人工地監(jiān)視/識別節(jié)目安排中的廣告內(nèi)容時段，以及如在其他方法中對具有顯著用戶介入/牽連的商業(yè)廣告內(nèi)容進(jìn)行測量，如本文中描述的技術(shù)提供對媒體網(wǎng)絡(luò)或運營商的媒體節(jié)目中的廣告內(nèi)容的自動且可靠的檢測、測量和控制，而無需攜帶識別次要媒體內(nèi)容部分的帶內(nèi)數(shù)據(jù)。盡管如本文中描述的技術(shù)能夠在存在帶內(nèi)數(shù)據(jù)的情況下工作，但是通常攜帶這樣的帶內(nèi)數(shù)據(jù)能夠給編碼的媒體信號增加比特開銷要求。另外，可以容易地使用這樣的帶內(nèi)數(shù)據(jù)來識別商業(yè)廣告，從而方便了于在家庭觀看環(huán)境中繞過那些商業(yè)廣告的商業(yè)廣告繞過技術(shù)(這對內(nèi)容提供者來說是糟糕的)。
[0035]如本文中描述的技術(shù)可以被部署在廣泛的媒體系統(tǒng)中:從很大的媒體網(wǎng)絡(luò)/媒體運營商/媒體站的媒體系統(tǒng)到本地有線網(wǎng)絡(luò)中的前端的媒體系統(tǒng)或者到小的停播的廣播電臺的媒體系統(tǒng)。如本文中描述的媒體測量系統(tǒng)可以被設(shè)置為專用系統(tǒng)或除了媒體測量以外還具有其他功能或具有在一個或多個計算設(shè)備上運行的媒體測量應(yīng)用程序的媒體系統(tǒng)中包括的模塊。技術(shù)可以被實現(xiàn)和/或發(fā)布為軟件、硬件、固件或前述中的兩個或更多個的組合。還能夠為第三方系統(tǒng)提供者提供工具包(例如，系統(tǒng)開發(fā)工具包或SDK等)，以在他們相應(yīng)的系統(tǒng)中實現(xiàn)如本文中描述的技術(shù)。
[0036]在一些實施方式中，如本文中描述的機構(gòu)形成媒體處理系統(tǒng)的一部分，包括但不限于:整合系統(tǒng)、分發(fā)系統(tǒng)、接收系統(tǒng)、廣播網(wǎng)絡(luò)系統(tǒng)、廣播站系統(tǒng)、廣播運營商系統(tǒng)、有線廣播系統(tǒng)、衛(wèi)星廣播系統(tǒng)、無線(over-the-air)廣播系統(tǒng)、有線分發(fā)系統(tǒng)、衛(wèi)星分發(fā)系統(tǒng)、無線收發(fā)器系統(tǒng)、有線接收系統(tǒng)、衛(wèi)星接收系統(tǒng)