用于帶靜態(tài)區(qū)域排除的時間幀內(nèi)插的方法和系統(tǒng)的制作方法
【專利摘要】一種圖像處理裝置、系統(tǒng)和方法，它從一組視頻幀中排除靜態(tài)區(qū)域，對已從中排除了靜態(tài)區(qū)域的該組視頻幀在時間上進(jìn)行內(nèi)插以產(chǎn)生內(nèi)插視頻幀，并通過將靜態(tài)區(qū)域與時間內(nèi)插視頻幀進(jìn)行組合來生成視頻幀。
【專利說明】用于帶靜態(tài)區(qū)域排除的時間幀內(nèi)插的方法和系統(tǒng)
【背景技術(shù)】
[0001]視頻系統(tǒng)已經(jīng)部分發(fā)展到通過網(wǎng)絡(luò)來傳送視頻和多媒體數(shù)據(jù)并顯示該視頻以供觀看。在一些實(shí)例中，視頻可被壓縮、轉(zhuǎn)換以及以其他方式處理來便于由各種顯示設(shè)備傳輸、接收以及顯示。對視頻觀看體驗(yàn)而言，重要的是被顯示供用戶觀看的視頻的質(zhì)量。在被處理以供顯示的各視頻部分包括視頻偽像和其他視覺上可感知的不規(guī)則性的情況下，用戶的視頻觀看體驗(yàn)可能受損。
[0002]已經(jīng)提出了多種技術(shù)來通過內(nèi)插視頻幀以補(bǔ)償視頻處理中的運(yùn)動。在許多方面，一些運(yùn)動內(nèi)插技術(shù)難以生成準(zhǔn)確地表示內(nèi)插視頻幀內(nèi)的運(yùn)動和靜態(tài)區(qū)域的內(nèi)插視頻幀。因而，看來提高視頻內(nèi)插的有效性和效率是重要的。
【專利附圖】

【附圖說明】
[0003]本文中所公開的各方面通過示例而非限制地在附圖中示出。為說明的簡單和清楚而非限制起見，在附圖中示出的各方面不一定按比例繪制。此外，在認(rèn)為合適的地方，在附圖中重復(fù)附圖標(biāo)記以指示相應(yīng)或相似的元件。
[0004]圖1A和IB是根據(jù)本文的一些實(shí)施例的對應(yīng)視頻基幀的說明性描繪。
[0005]圖1C、ID和IE是圖1A視頻幀在各處理階段的說明性描繪。
[0006]圖1F、IG和IH是根據(jù)本文的一些實(shí)施例的圖1B視頻幀在各處理階段的說明性描繪。
[0007]圖2是根據(jù)一個實(shí)施例的過程的流程圖。
[0008]圖3是根據(jù)一個實(shí)施例的包括流程圖的系統(tǒng)的說明性框圖。
[0009]圖4A-4H是根據(jù)本文的一些實(shí)施例的在各處理階段對應(yīng)視頻幀的說明性描繪。
[0010]圖5示出了根據(jù)本文的一些實(shí)施例的一個系統(tǒng)。
[0011]圖6是根據(jù)本文的一實(shí)施例的圖5的系統(tǒng)的實(shí)施例的圖示。
【具體實(shí)施方式】
[0012]以下描述了可支持用于提高生成視頻的內(nèi)插幀的效率和準(zhǔn)確性的過程和操作的圖像處理方法、設(shè)備或系統(tǒng)。本公開內(nèi)容提供了與用于實(shí)現(xiàn)這些過程和操作的系統(tǒng)有關(guān)的多個具體細(xì)節(jié)。然而，本領(lǐng)域技術(shù)人員將領(lǐng)會，沒有這些具體細(xì)節(jié)也可實(shí)踐本公開內(nèi)容的諸實(shí)施例。因而，在一些實(shí)例中，諸如控制機(jī)制和全軟件指令序列等各方面未被詳細(xì)示出以便不模糊本公開內(nèi)容的其他方面。本領(lǐng)域技術(shù)人員利用本文所包括的描述將能在無需過度實(shí)驗(yàn)的情況下實(shí)現(xiàn)適當(dāng)?shù)墓δ堋?br> [0013]在說明書中對“ 一個實(shí)施例”、“ 一些實(shí)施例”、“一實(shí)施例”、“示例實(shí)施例”、“一實(shí)例”、“一些實(shí)例”等的引用表明所描述的實(shí)施例可包括特定特征、結(jié)構(gòu)或特性，但不一定每個實(shí)施例均包括該特定特征、結(jié)構(gòu)或特性。此外，這樣的短語不一定是指同一個實(shí)施例。此外，當(dāng)結(jié)合實(shí)施例描述特定特征、結(jié)構(gòu)或特性時，認(rèn)為本領(lǐng)域技術(shù)人員知道結(jié)合無論是否明顯描述的其他實(shí)施例來實(shí)現(xiàn)這些特征、結(jié)構(gòu)或特性。[0014]本文的一些實(shí)施例可以用硬件、固件、軟件或它們的任意組合來實(shí)現(xiàn)。各實(shí)施例還可實(shí)現(xiàn)為儲存在機(jī)器可讀介質(zhì)上的可執(zhí)行指令，這些指令可由一個或多個處理器讀取和執(zhí)行。一種機(jī)器可讀存儲介質(zhì)可包括用于以機(jī)器(例如，計(jì)算設(shè)備)可讀的形式存儲信息的任意有形的非暫時性機(jī)構(gòu)。在一些方面，機(jī)器可讀存儲介質(zhì)可包括只讀存儲器(ROM);隨機(jī)存取存儲器(RAM);磁盤存儲介質(zhì)；光存儲介質(zhì)；閃存設(shè)備；以及電子或光學(xué)形式的信號。盡管在本文中將固件、軟件、例程、以及指令描述為執(zhí)行某些動作，但應(yīng)當(dāng)明白，這些描述僅僅是出于方便起見且這些動作實(shí)際上得自執(zhí)行該固件、軟件、例程以及指令的計(jì)算設(shè)備、處理器、控制器以及其他設(shè)備。
[0015]幀內(nèi)插可用于多個不同的視頻過程中，包括例如幀率轉(zhuǎn)換、分布式視頻編碼以及其他過程。一般而言，運(yùn)動內(nèi)插過程涉及標(biāo)識現(xiàn)有基幀或關(guān)鍵幀并生成要插在這些基幀之間的中間視頻幀。在一些方面，包括基幀和其間的內(nèi)插幀的視頻序列的回放造成該視頻中的運(yùn)動的更平滑或更流暢的動畫。
[0016]圖1A和IB是來自視頻序列的一對基幀的說明性描繪。如這些附圖中所示，每一附圖包括在基幀的上邊緣和下邊緣處的靜態(tài)文本區(qū)域。在圖1A和IB的示例中，靜態(tài)區(qū)域包括處于圖1A和IB的兩個視頻幀中的相同位置(即，靜態(tài))的文本。在一些實(shí)例中，靜態(tài)區(qū)域可包括標(biāo)題、標(biāo)識語等。
[0017]圖1C是基于圖1A和IB的基幀生成的常規(guī)內(nèi)插視頻幀的說明性描繪。如圖所示，靜態(tài)文本區(qū)域的措詞不是非常清晰。相反，圖1C的靜態(tài)文本包括諸如邊緣模糊、重影等視頻偽像。圖1C中存在的視頻偽像可能是嘗試內(nèi)插包括靜態(tài)區(qū)域的視頻幀的運(yùn)動內(nèi)插過程的結(jié)果。圖1D和IE兩者都包括來自圖1C的靜態(tài)文本中的一些的詳細(xì)視圖，包括在靜態(tài)區(qū)域中或其附近的視頻偽像。
[0018]圖1F是基于基幀IA和IB的、根據(jù)將在下文更詳細(xì)描述的內(nèi)插過程生成的內(nèi)插幀的說明性描繪。如圖1F所示，ID的內(nèi)插幀中的靜態(tài)區(qū)域文本是清晰的，而沒有圖1C、1D和IE中示出的視頻偽像。即，圖1F的內(nèi)插視頻幀是準(zhǔn)確地呈現(xiàn)包括靜態(tài)和非靜態(tài)區(qū)域的視頻幀中的靜態(tài)區(qū)域的運(yùn)動內(nèi)插過程的結(jié)果。圖1G和IH兩者都包括來自圖1F的靜態(tài)文本中的一些的詳細(xì)視圖，示出了內(nèi)插視頻幀中的靜態(tài)文本區(qū)域的銳度。
[0019]圖2是由附圖標(biāo)記200來概括地表示的內(nèi)插過程的概覽的流程圖的說明性描繪。根據(jù)本文的一個實(shí)施例，過程200可被用來內(nèi)插各視頻幀。過程200可包括檢測一組基幀中的靜態(tài)區(qū)域的操作205?；鶐梢赃x自包括多個視頻幀的視頻序列，并且該組基幀可包括至少兩個基幀。在操作205，對被標(biāo)識以供處理的基幀進(jìn)行分析以確定這些基幀是否包括任何靜態(tài)區(qū)域。
[0020]在操作205中確定基幀包括靜態(tài)區(qū)域的情況下，在操作210，將這些靜態(tài)區(qū)域從基幀中排除。在操作210中從基幀排除了靜態(tài)區(qū)域之后，在操作215對基幀在時間上進(jìn)行內(nèi)插以生成按時間位于基幀之間的內(nèi)插幀。
[0021]在一些方面，在操作205中確定基幀不包括任何可檢測的靜態(tài)區(qū)域的情況下，可以使用另選的運(yùn)動內(nèi)插過程來對基幀進(jìn)行內(nèi)插。在一些方面，過程200可被修改以例如繞過操作210和220。在另一實(shí)施例中，過程200可如圖2所示地繼續(xù)，其中檢測到的和被排除的靜態(tài)區(qū)域在邏輯上是“空”的或無的。
[0022]在操作220，將先前從基幀排除的靜態(tài)區(qū)域與操作215的內(nèi)插幀進(jìn)行組合，以生成包括內(nèi)插幀和靜態(tài)區(qū)域的經(jīng)組合的視頻幀。操作220的輸出可被用于可使用或包括運(yùn)動內(nèi)插過程的幀轉(zhuǎn)換過程或其他視頻過程。
[0023]如上所述，過程200是根據(jù)本文的一實(shí)施例的內(nèi)插過程的概覽的流程圖。圖3是系統(tǒng)的說明性框圖，該系統(tǒng)包括貫穿該系統(tǒng)的各功能框的流程。根據(jù)本文的各實(shí)施例，可以沒有限制地使用硬件、固件、軟件以及其組合來用各種方式實(shí)現(xiàn)圖3的各功能框。
[0024]系統(tǒng)300的輸入包括基幀，包括視頻幀F(xiàn)i和Fi+1，其中i表示時間。因此，每一基幀出現(xiàn)在視頻序列中的不同時刻處。在框305，分析基幀以檢測基幀中的靜態(tài)區(qū)域(如果有的話)。在一些方面，靜態(tài)區(qū)域檢測模塊305可用于計(jì)算基幀中的靜態(tài)元素的二進(jìn)制圖。用于表示基幀的檢測到的靜態(tài)區(qū)域的計(jì)算得到的二進(jìn)制圖或其他機(jī)制可被存儲或記錄在存儲器中。圖4A和4B分別是基幀F(xiàn)i和Fi+1的說明性示例。
[0025]系統(tǒng)模塊或框310可從基幀(Fi和Fi+1)中排除靜態(tài)區(qū)域，如靜態(tài)區(qū)域檢測模塊305所檢測到的。在一些實(shí)施例中，模塊310可用于標(biāo)記或以其他方式指示構(gòu)成檢測到的靜態(tài)區(qū)域的靜態(tài)元素。模塊310所標(biāo)記的靜態(tài)元素可對應(yīng)于與模塊305所生成的二進(jìn)制圖相關(guān)聯(lián)的靜態(tài)元素。在本示例中，靜態(tài)區(qū)域是通過用特定“突出顯示”顏色以突出顯示檢測到的靜態(tài)區(qū)域來標(biāo)記的。在一些實(shí)施例中，可以使用用于標(biāo)記靜態(tài)區(qū)域以供進(jìn)一步處理的其他機(jī)制和技術(shù)。圖4C和4D是模塊310的輸出(例如，F(xiàn)’ i和F’ i+1)的說明性示例，其中已經(jīng)標(biāo)記或強(qiáng)調(diào)了基幀中的靜態(tài)區(qū)域。由模塊310用來標(biāo)記或指示靜態(tài)區(qū)域的位置和范圍的具體突出顯示顏色或其他機(jī)制可被空間內(nèi)插模塊315用來識別靜態(tài)區(qū)域。
[0026]空間內(nèi)插模塊315用于“填充”被排除區(qū)域。在一些方面，對被排除靜態(tài)區(qū)域的“填充”使用被確定“可能”位于靜態(tài)區(qū)域之下或之后的元素和對象替換了靜態(tài)區(qū)域中的元素。在一些實(shí)施例中，可以使用一個或多個圖像修復(fù)(inpainting)算法來“填充”被排除靜態(tài)區(qū)域的地區(qū)。在一些方面，用于特定使用情況的特定圖像修復(fù)算法可依賴于視頻幀的內(nèi)容(例如，運(yùn)動、紋理、顏色、光照等的量)。圖4E和4F是模塊315的輸出(例如，F(xiàn)'和F” i+1)的說明性示例，其中已經(jīng)排除了基幀中的靜態(tài)區(qū)域并用所確定的“可能的”背景色和/或紋理進(jìn)行了填充。
[0027]在一些方面，模塊310和315的功能可由執(zhí)行靜態(tài)區(qū)域排除操作和空間內(nèi)插操作兩種操作的一個模塊來實(shí)現(xiàn)。在一些實(shí)施例中，共享資源可被用于模塊310和315的各功能(以及一些其他操作，但未被具體描述)。
[0028]模塊320可用于對模塊315輸出的視頻幀(B卩，視頻幀F(xiàn)'和F”i+1)在時間上進(jìn)行內(nèi)插。即，模塊320對排除或移除了靜態(tài)區(qū)域并對其進(jìn)行了圖像修復(fù)的基幀進(jìn)行內(nèi)插。以此方式，模塊320可以提供在時間上位于基幀之間的按時間內(nèi)插的視頻幀(B卩，視頻幀F(xiàn)”i+1/2)。圖4G是模塊320的輸出(例如，F(xiàn)”i+1/2)的說明性示例，其中所生成的在時間上內(nèi)插的幀不包括靜態(tài)區(qū)域，且靜態(tài)區(qū)域的地區(qū)被進(jìn)行了圖像修復(fù)。
[0029]模塊325用于將模塊320所生成的內(nèi)插視頻幀(即，視頻幀F(xiàn)” i+1/2)與由模塊305檢測的先前檢測到的靜態(tài)區(qū)域進(jìn)行組合。模塊325的輸入包括所生成的在時間上的內(nèi)插幀F(xiàn)”i+1/2以及來自靜態(tài)區(qū)域檢測模塊305的靜態(tài)區(qū)域。模塊325所輸出的經(jīng)組合視頻幀的示例在圖4H中描繪，其中該視頻幀包括時間內(nèi)插幀和靜態(tài)區(qū)域。
[0030]圖5 TjK出系統(tǒng)500的一實(shí)施例。在各實(shí)施例中，系統(tǒng)500可以是媒體系統(tǒng)，但系統(tǒng)500不限于這一上下文。例如，系統(tǒng)500可被包括在個人計(jì)算機(jī)(PC)、膝上型計(jì)算機(jī)、超膝上型計(jì)算機(jī)、平板、觸摸墊、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個人數(shù)字助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如，智能電話、智能平板、或智能電視機(jī))、移動因特網(wǎng)設(shè)備(MID)、消息收發(fā)設(shè)備、數(shù)據(jù)通信設(shè)備等等中。
[0031]在各實(shí)施例中，系統(tǒng)500包括耦合到顯示器520的平臺502。平臺502可接收來自內(nèi)容設(shè)備的內(nèi)容，該內(nèi)容設(shè)備例如是內(nèi)容服務(wù)設(shè)備530或內(nèi)容遞送設(shè)備540或其他類似內(nèi)容源。包括一個或多個導(dǎo)航部件的導(dǎo)航控制器550可被用來與例如平臺502和/或顯示器520進(jìn)行交互。下文將更詳細(xì)地描述這些組件中的每一個。
[0032]在各實(shí)施例中，平臺502可包括芯片組505、處理器510、存儲器512、存儲514、圖形子系統(tǒng)515、應(yīng)用516和/無線電裝置518的或任何組合。芯片組505可在處理器510、存儲器512、存儲514、圖形子系統(tǒng)515、應(yīng)用516和/或無線電裝置518之間提供相互通信。例如，芯片組505可包括能夠提供與存儲514的相互通信的存儲適配器(未示出)。
[0033]處理器510可被實(shí)現(xiàn)為復(fù)雜指令集計(jì)算機(jī)(CISC)或精簡指令集計(jì)算機(jī)(RISC)處理器、x86指令集兼容處理器、多核或任何其它微處理器或中央處理單元(CPU)。在各實(shí)施例中，處理器510可包括雙核處理器、雙核移動處理器等等。
[0034]存儲器512可被實(shí)現(xiàn)為易失性存儲設(shè)備，例如但不限于隨機(jī)存取存儲器(RAM)、動態(tài)隨機(jī)存取存儲器(DRAM)或靜態(tài)RAM (SRAM)0
[0035]存儲514可被實(shí)現(xiàn)為非易失性存儲設(shè)備，例如但不限于磁盤驅(qū)動器、光盤驅(qū)動器、磁帶驅(qū)動器、內(nèi)部存儲設(shè)備、附屬存儲設(shè)備、閃存、電池備用SDRAM (同步DRAM)和/或網(wǎng)絡(luò)可接入存儲設(shè)備。在各實(shí)施例中，例如在包含多個硬盤驅(qū)動器時，存儲514可包括用于提高對有價值數(shù)字媒體的存儲性能增強(qiáng)的保護(hù)的技術(shù)。
[0036]圖形子系統(tǒng)515可執(zhí)行諸如靜止或視頻之類的圖像處理以供顯示。圖形子系統(tǒng)515可以是例如圖像處理單元(GPU)或視覺處理單元(VPU)。模擬或數(shù)字接口可用于通信地耦合圖形子系統(tǒng)515和顯示器520。例如，接口可以是高清多媒體接口、顯示器端口、無線HDMI和/或無線HD適應(yīng)技術(shù)中的任何一種。圖形子系統(tǒng)515可被集成至處理器510或芯片組505。圖形子系統(tǒng)515可以是與芯片組505可通信地耦合的獨(dú)立卡。
[0037]本文描述的圖形和/或視頻處理技術(shù)可在各種硬件架構(gòu)中實(shí)現(xiàn)。例如，圖形和/或視頻功能可集成在芯片組內(nèi)?；蛘?，可使用分立的圖形和/或視頻處理器。作為又一實(shí)施例，可由包括多核處理器的通用處理器實(shí)現(xiàn)圖形和/或視頻功能。在另一個實(shí)施例中，可在消費(fèi)者電子設(shè)備中實(shí)現(xiàn)這些功能。
[0038]無線電裝置518可包括能夠使用各合適的無線通信技術(shù)來發(fā)送和接收信號的一個或多個無線電裝置。這樣的技術(shù)可涉及跨一個或多個無線網(wǎng)絡(luò)的通信。示例性無線網(wǎng)絡(luò)包括(但不限于)無線局域網(wǎng)(WLAN)、無線個域網(wǎng)(WPAN)、無線城域網(wǎng)(WMAN)、蜂窩網(wǎng)絡(luò)以及衛(wèi)星網(wǎng)絡(luò)。在跨這些網(wǎng)絡(luò)進(jìn)行通信時，無線電裝置518可根據(jù)一個或多個適用的任何版本的標(biāo)準(zhǔn)來操作。
[0039]在各實(shí)施例中。顯示器520可包括任何電視機(jī)類監(jiān)視器或顯示器。顯示器520可包括例如計(jì)算機(jī)顯示屏、觸摸屏顯示器、視頻監(jiān)視器、電視機(jī)類設(shè)備和/或電視機(jī)。顯示器520可以是數(shù)字和/或模擬的。在各實(shí)施例中，顯示器520可以是全息顯示器。而且，顯示器520可以是可接收視覺投影的透明表面。這樣的投影可傳達(dá)各種形式的信息、圖像和/或?qū)ο?。例如，這樣的投影可以是移動增強(qiáng)現(xiàn)實(shí)(MAR)應(yīng)用的視覺覆蓋。在一個或多個軟件應(yīng)用516的控制下，平臺502可以在顯示器520上顯示用戶界面522。
[0040]在各實(shí)施例中，內(nèi)容服務(wù)設(shè)備530可由任何國內(nèi)、國際和/或獨(dú)立的服務(wù)來主存，并且因此平臺502例如可經(jīng)由因特網(wǎng)對它進(jìn)行訪問。內(nèi)容服務(wù)設(shè)備530可耦合到平臺502和/或顯示器520。平臺502和/或內(nèi)容服務(wù)設(shè)備530可耦合到網(wǎng)絡(luò)560以向網(wǎng)絡(luò)560傳遞媒體信息并對來自網(wǎng)絡(luò)560的媒體信息進(jìn)行傳遞(例如，發(fā)送和/或接收)。內(nèi)容遞送設(shè)備540也可耦合到平臺502和/或顯示器520。
[0041]在各實(shí)施例中，內(nèi)容服務(wù)設(shè)備530可包括電纜電視盒、個人計(jì)算機(jī)、網(wǎng)絡(luò)、電話、能夠遞送數(shù)字信息和/或內(nèi)容的啟用因特網(wǎng)的設(shè)備或裝置、以及能夠經(jīng)由網(wǎng)絡(luò)560或直接地在內(nèi)容提供者和平臺502和/或顯示器520之間單向或雙向傳遞內(nèi)容的任何其他類似設(shè)備。將明白，內(nèi)容可經(jīng)由網(wǎng)絡(luò)560單向和/或雙向地傳遞到和傳遞自系統(tǒng)500中的各組件中的任一個和內(nèi)容提供者。內(nèi)容的示例可包括任何媒體信息，包括例如視頻、音樂、醫(yī)療和游戲信息等等。
[0042]內(nèi)容服務(wù)設(shè)備530接收內(nèi)容，如包括媒體信息、數(shù)字信息和/或其他內(nèi)容的電纜電視節(jié)目安排。內(nèi)容提供者的示例可包括任何電纜或衛(wèi)星電視或無線電或因特網(wǎng)內(nèi)容提供者。所提供的示例不旨在限制本發(fā)明的各實(shí)施例。
[0043]在各實(shí)施例中，平臺502可接收來自具有一個或多個導(dǎo)航部件的導(dǎo)航控制器550的控制信號。例如，控制器550的導(dǎo)航部件可被用來與用戶界面522進(jìn)行交互。在各實(shí)施例中，導(dǎo)航控制器550可以是定點(diǎn)設(shè)備，該定點(diǎn)設(shè)備可以是允許用戶向計(jì)算機(jī)輸入空間數(shù)據(jù)(例如，連續(xù)和多維)的計(jì)算機(jī)硬件組件(具體而言，人類接口設(shè)備)。許多系統(tǒng)，如圖形用戶界面(GUI)以及電視機(jī)和監(jiān)視器，允許用戶使用身體姿勢來控制計(jì)算機(jī)或電視機(jī)并向計(jì)算機(jī)或電視機(jī)提供數(shù)據(jù)。
[0044]控制器550的導(dǎo)航部件的移動可通過顯示在顯示器(例如顯示器520)上的指針、光標(biāo)、焦點(diǎn)環(huán)或其他視覺指示符的移動來在該顯示器上反應(yīng)。例如，在軟件應(yīng)用516的控制下，位于導(dǎo)航控制器550上的導(dǎo)航部件可被映射到例如用戶界面522上顯示的虛擬導(dǎo)航部件。在各實(shí)施例中，控制器550可以不是單獨(dú)組件，而是集成到平臺502和/或顯示器520上。然而，各實(shí)施例并不限于這些元件或本文中示出或描述的上下文。
[0045]在各實(shí)施例中，例如，驅(qū)動程序(未示出)可包括在被激活時可使用戶能在初始啟動后觸摸按鈕將平臺502像電視機(jī)一樣立即開啟和關(guān)閉的技術(shù)。在平臺被“關(guān)閉”時，程序邏輯可以允許平臺502將內(nèi)容流傳輸?shù)矫襟w適配器或其他內(nèi)容服務(wù)設(shè)備530或內(nèi)容遞送設(shè)備540。另外，例如，芯片組505可包括用于5.1環(huán)繞聲音頻和/或高清晰度7.1環(huán)繞聲音頻的硬件和/或軟件支持程序。驅(qū)動程序可包括用于集成圖形平臺的圖形驅(qū)動程序。在各實(shí)施例中，圖形驅(qū)動器可包括外圍部件互連(PCI)高速圖形卡。
[0046]在各實(shí)施例中，可以集成系統(tǒng)500中示出的組件中的任何一個或多個。例如，平臺502和內(nèi)容服務(wù)設(shè)備530可被集成，或者平臺502和內(nèi)容遞送設(shè)備540可被集成，或者例如平臺502、內(nèi)容服務(wù)設(shè)備530以及內(nèi)容遞送設(shè)備540可被集成。在各實(shí)施例中，平臺502和顯示器520可以是一集成單元。例如，顯示器520和內(nèi)容服務(wù)設(shè)備530可被集成，或者顯示器520和內(nèi)容遞送設(shè)備540可被集成。這些示例不旨在限制本發(fā)明。
[0047]在各種實(shí)施例中，系統(tǒng)500可被實(shí)現(xiàn)為無線系統(tǒng)、有線系統(tǒng)或兩者的結(jié)合。當(dāng)被實(shí)現(xiàn)為無線系統(tǒng)時，系統(tǒng)500可包括適于在無線共享媒體上通信的組件或接口，諸如一個或多個天線、發(fā)射器、接收器、收發(fā)器、放大器、過濾器、控制邏輯等。無線共享媒體的示例可包括無線頻譜的一些部分，諸如RF頻譜等。當(dāng)被實(shí)現(xiàn)為有線系統(tǒng)時，系統(tǒng)500可包括適于在有線通信媒體上通信的組件和接口，諸如輸入/輸出(I/O)適配器、將I/O適配器與相應(yīng)的有線通信媒體連接的物理連接器、網(wǎng)絡(luò)接口卡(NIC)、盤控制器、視頻控制器、音頻控制器等。有線通信媒體的示例可包括導(dǎo)線、電纜、金屬引線、印刷電路板(PCB)、背板、交換結(jié)構(gòu)、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等。
[0048]平臺502可建立一個或多個邏輯的或物理的通道以傳送信息。信息可包括媒體信息和控制信息。媒體信息可涉及表示對用戶有意義的內(nèi)容的任何數(shù)據(jù)。例如，內(nèi)容示例可包括來自語音會話、視頻會議、流視頻、電子郵件(“email”)消息、語音郵件消息、字母數(shù)字符號、圖形、圖像、視頻、文本等的數(shù)據(jù)。例如，來自語音會話的數(shù)據(jù)可以是語言信息、寂靜時間、背景噪聲、舒適噪聲、音調(diào)等。控制信息可以指表示對自動系統(tǒng)有意義的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可用于將媒體信息路由使其貫穿系統(tǒng)，或者指示節(jié)點(diǎn)以預(yù)定方式處理媒體信息。然而，這些實(shí)施例并不限于這些元件或圖5中示出或描述的范圍。
[0049]如上所述，系統(tǒng)500可以用不同的物理樣式或形狀因子來實(shí)現(xiàn)。圖6示出了其中可實(shí)現(xiàn)系統(tǒng)500的小形狀因子設(shè)備600的各實(shí)施例。例如，在各實(shí)施例中，設(shè)備600可被實(shí)現(xiàn)為具有無線能力的移動計(jì)算設(shè)備。例如，移動計(jì)算設(shè)備可以指具有處理系統(tǒng)和諸如一個或多個電池之類的移動功率源或電源的任何設(shè)備。
[0050]例如，移動計(jì)算設(shè)備的示例可包括個人計(jì)算機(jī)(PC)、膝上型計(jì)算機(jī)、超膝上型計(jì)算機(jī)、平板、觸摸墊、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個人數(shù)字助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如，智能電話、智能平板、或智能電視機(jī))、移動因特網(wǎng)設(shè)備(MID)、消息收發(fā)設(shè)備、數(shù)據(jù)通信設(shè)備等等。
[0051]移動計(jì)算設(shè)備的示例還可包括被安排成由人來穿戴的計(jì)算機(jī)，如腕計(jì)算機(jī)、手指計(jì)算機(jī)、指環(huán)計(jì)算機(jī)、眼鏡計(jì)算機(jī)、帶扣計(jì)算機(jī)、臂帶計(jì)算機(jī)、鞋子計(jì)算機(jī)、衣物計(jì)算機(jī)以及其他可穿戴計(jì)算機(jī)。例如，在各實(shí)施例中，移動計(jì)算設(shè)備可被實(shí)現(xiàn)為能夠執(zhí)行計(jì)算機(jī)應(yīng)用以及語音通信和/或數(shù)據(jù)通信的智能電話。盡管以示例的方法用被實(shí)現(xiàn)為智能電話的移動計(jì)算設(shè)備對一些實(shí)施例進(jìn)行描述，但是可以認(rèn)識到，也可使用其它無線移動計(jì)算設(shè)備實(shí)現(xiàn)其它的實(shí)施例。各實(shí)施例不限于該上下文。
[0052]如圖6所不，設(shè)備600可包括外殼602、顯不器604、輸入/輸出(I/O)設(shè)備606和天線608。設(shè)備600還可包括導(dǎo)航部件612。顯示器604可包括用于顯示適于移動計(jì)算設(shè)備的信息的任何合適的顯示裝置。I/O設(shè)備606可包括用于將信息輸入到移動計(jì)算設(shè)備中的任何合適的I/O設(shè)備。I/O設(shè)備606的示例可包括字母數(shù)字鍵盤、數(shù)字小鍵盤、觸摸板、輸入鍵、按鈕、開關(guān)、搖臂開關(guān)、話筒、揚(yáng)聲器、語音設(shè)備設(shè)備和軟件等。也可通過話筒將信息輸入到設(shè)備600中。這些信息可由語音識別設(shè)備數(shù)字化。各實(shí)施例不限于該上下文。
[0053]可使用硬件元件、軟件元件或兩者的組合來實(shí)現(xiàn)各種實(shí)施例。硬件元件的示例可包括處理器、微處理器、電路、電路元件(例如，晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(ASIC)、可編程邏輯設(shè)備(PLD)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、邏輯門、寄存器、半導(dǎo)體器件、芯片、微型芯片、芯片組等。軟件的示例可包括軟件成分、程序、應(yīng)用軟件、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、規(guī)程、軟件接口、應(yīng)用程序接口(API)、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、字、數(shù)值、符號或其任意組合。確定是否使用硬件元件和/或軟件元件實(shí)現(xiàn)一實(shí)施例可根據(jù)任意數(shù)量的因素而變化，諸如期望計(jì)算速率、功率電平、熱容限、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度以及其它設(shè)計(jì)或操作限制。
[0054]至少一個實(shí)施例的一個或多個方面可以由存儲在機(jī)器可讀介質(zhì)上的代表性指令來實(shí)現(xiàn)，該指令表示處理器中的各種邏輯，其在被機(jī)器讀取時使得該機(jī)器生成執(zhí)行本文描述的技術(shù)的邏輯。被稱為“IP核”的這些表示可以被存儲在有形的機(jī)器可讀介質(zhì)上，并被提供給多個客戶或生產(chǎn)設(shè)施以加載到實(shí)際制造該邏輯或處理器的制造機(jī)器中。
[0055]本文討論的所有系統(tǒng)和過程可被實(shí)現(xiàn)在儲存于一個或多個計(jì)算機(jī)可讀介質(zhì)上的程序代碼中。這樣的介質(zhì)可包括例如軟盤、⑶_R0M、DVD-R0M、一種或多種類型的“盤”、磁帶、存儲卡、閃存驅(qū)動器、固態(tài)驅(qū)動器、以及固態(tài)隨機(jī)存取存儲器(RAM)或只讀存儲器(ROM)存儲單元。各實(shí)施例因而不限于硬件和軟件的任何具體組合。
[0056]本文中僅僅出于說明目的描述了各實(shí)施例。本領(lǐng)域技術(shù)人員將從這一描述中認(rèn)識至IJ，各實(shí)施例不限于所描述的實(shí)施例，而是可以在只受權(quán)利要求書的精神和范圍所限定的各種修改和更改的情況下來實(shí)施。
【權(quán)利要求】
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括: 從一組視頻幀中排除靜態(tài)區(qū)域； 對已從中排除了所述靜態(tài)區(qū)域的該組視頻幀在時間上進(jìn)行內(nèi)插以產(chǎn)生內(nèi)插視頻幀；以及 將所述靜態(tài)區(qū)域與所述時間內(nèi)插視頻幀進(jìn)行組合來生成視頻幀。
2.如權(quán)利要求1所述的方法，其特征在于，所述靜態(tài)區(qū)域包括所述一組視頻幀中的多個區(qū)域。
3.如權(quán)利要求1所述的方法，其特征在于，還包括檢測所述一組視頻幀中的靜態(tài)區(qū)域。
4.如權(quán)利要求3所述的方法，其特征在于，還包括: 生成與所述一組視頻幀的對應(yīng)于檢測到的靜態(tài)區(qū)域的地區(qū)相關(guān)聯(lián)的靜態(tài)圖； 基于所述靜態(tài)圖來排除所述靜態(tài)區(qū)域；以及 基于所述靜態(tài)圖將所述靜態(tài)區(qū)域與所述內(nèi)插視頻幀進(jìn)行組合。
5.如權(quán)利要求1所述的方法，其特征在于，所述排除包括: 從所述一組視頻幀中移除所述靜態(tài)區(qū)域；以及 在空間上內(nèi)插所述一組視頻幀以填充從中移除了所述靜態(tài)區(qū)域的地區(qū)。`
6.如權(quán)利要求1所述的方法，其特征在于，所述一組視頻幀包括多個已標(biāo)識的視頻關(guān)鍵幀。
7.一種生成內(nèi)插視頻序列的系統(tǒng),所述系統(tǒng)包括: 其上存儲有處理器可執(zhí)行指令的機(jī)器可讀介質(zhì)；以及 執(zhí)行所述指令以進(jìn)行以下操作的處理器: 從一組視頻幀中排除靜態(tài)區(qū)域； 對已從中排除了所述靜態(tài)區(qū)域的該組視頻幀在時間上進(jìn)行內(nèi)插以產(chǎn)生內(nèi)插視頻幀；以及 將所述靜態(tài)區(qū)域與所述時間內(nèi)插視頻幀進(jìn)行組合來生成視頻幀。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述靜態(tài)區(qū)域包括所述一組視頻幀中的多個區(qū)域。
9.如權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括檢測所述一組視頻幀中的靜態(tài)區(qū)域。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述處理器被進(jìn)一步指令來: 生成與所述一組視頻幀的對應(yīng)于檢測到的靜態(tài)區(qū)域的地區(qū)相關(guān)聯(lián)的靜態(tài)圖； 基于所述靜態(tài)圖來排除所述靜態(tài)區(qū)域；以及 基于所述靜態(tài)圖將所述靜態(tài)區(qū)域與所述內(nèi)插視頻幀進(jìn)行組合。
11.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述排除包括: 從所述一組視頻幀中移除所述靜態(tài)區(qū)域；以及 在空間上內(nèi)插所述一組視頻幀以填充從中移除了所述靜態(tài)區(qū)域的地區(qū)。
12.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述一組視頻幀包括多個已標(biāo)識的視頻關(guān)鍵幀。
13.一種其上存儲了處理器可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，所述介質(zhì)包括: 從一組視頻幀中排除靜態(tài)區(qū)域的指令； 對已從中排除了所述靜態(tài)區(qū)域的該組視頻幀在時間上進(jìn)行內(nèi)插以產(chǎn)生內(nèi)插視頻幀的指令；以及 將所述靜態(tài)區(qū)域與所述時間內(nèi)插視頻幀進(jìn)行組合來生成視頻幀的指令。
14.如權(quán)利要求13所述的介質(zhì)，其特征在于，所述靜態(tài)區(qū)域包括所述一組視頻幀中的多個區(qū)域。
15.如權(quán)利要求13所述的介質(zhì)，其特征在于，還包括檢測所述一組視頻幀中的靜態(tài)區(qū)域。
16.如權(quán)利要求15所述的介質(zhì)，其特征在于，還包括: 生成與所述一組視頻幀的對應(yīng)于檢測到的靜態(tài)區(qū)域的地區(qū)相關(guān)聯(lián)的靜態(tài)圖的指令； 基于所述靜態(tài)圖來排除所述靜態(tài)區(qū)域的指令；以及 基于所述靜態(tài)圖將所述靜態(tài)區(qū)域與所述內(nèi)插視頻幀進(jìn)行組合的指令。
17.如權(quán)利要求13所述的介質(zhì)，其特征在于，所述排除包括: 從所述一組視頻幀中移除所述靜態(tài)區(qū)域；以及 在空間上內(nèi)插所述一組視頻幀以填充從中移除了所述靜態(tài)區(qū)域的地區(qū)。
18.如權(quán)利要求13所述的的介質(zhì)，其特征在于，所述一組視頻幀包括多個已標(biāo)識的視頻關(guān)鍵幀。`
【文檔編號】H04N7/01GK103533286SQ201310268219
【公開日】2014年1月22日 申請日期:2013年6月28日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】M·R·格爾姆蒂諾夫, A·韋謝洛夫 申請人:英特爾公司