两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

用于視頻圖像數(shù)據(jù)中的運動估計的方法和裝置的制作方法

文檔序號:7940129閱讀:273來源:國知局
專利名稱:用于視頻圖像數(shù)據(jù)中的運動估計的方法和裝置的制作方法
技術領域
本發(fā)明涉及一種用于視頻圖像數(shù)據(jù)中的運動估計的方法和裝置,并且特別針對場
率上轉(zhuǎn)換運動估計視頻圖像數(shù)據(jù)。本發(fā)明還涉及一種電視機、計算機程序產(chǎn)品和包括計算 機程序的數(shù)據(jù)載體。
背景技術
本發(fā)明涉及一種運動估計和運動補償設備,更具體地涉及一種對運動矢量進行估 計并對色度子采樣的視頻幀的隔行掃描序列執(zhí)行運動補償預測的運動估計和運動補償設 備。 下文中,將關于對視頻處理裝置(如具有行存儲設備的微處理器或微控制器)內(nèi) 的用于基于行的運動估計和運動補償?shù)囊曨l信號進行的處理來描述本發(fā)明及其潛在問題, 而應當注意,本發(fā)明不限于該應用,而還可以用于其他視頻處理裝置。 基于100Hz陰極射線管(CRT)的高端電視機的市場倡導要求開發(fā)可靠的場/幀 率上轉(zhuǎn)換(FRU)技術來移除畫面中的偽像,如大面積閃爍和線條閃爍。對要在CRT上顯示 的缺失圖像場進行插值而不執(zhí)行對連續(xù)圖像場中的運動目標的運動估計和補償?shù)臉藴蔉RU 方法,在許多應用中是令人滿意的,特別是在圖像的較好的質(zhì)量和上述偽像的減少的方面 尤其如此。然而,許多畫面包含引起所謂的運動抖動的運動目標,如人、字幕等。
參照圖1更好地理解該問題,其中,假設原始圖像場(即,發(fā)送和接收到的圖像場) 中的運動目標(白方塊)的運動軌跡是直線的。如果缺失場是由通過上述標準FRU方法 (即,沒有運動估計和補償)插值產(chǎn)生的,則插值后的場中的運動目標(黑灰方塊)的運動 不在觀察者預期的位置上(虛方塊)。這樣的偽像是可見的并引入模糊效應,特別是快速運 動目標的模糊效應。典型地,這些模糊效應顯著地降低了所顯示圖像的質(zhì)量。
為了避免這樣的模糊效應并減少偽像,提出了多種運動估計和運動補償(或簡稱 MEMC)的方法。該MEMC提供了,對接收到的圖像場內(nèi)的運動部分或目標的檢測,然后根據(jù)所 估計的運動通過對所估計的場中的缺失目標或部分進行插值來對缺失場進行插值。
圖2示意性示出了兩個連續(xù)圖像場之間運動目標的位置的改變。在兩個連續(xù)接收 的圖像場之間,運動目標將已改變了它們的位置,例如位置A中先前場/幀T中的目標MO隨 后在當前場/幀T+l中位于位置B。這表明,從先前場T至當前場T+1存在運動。連續(xù)圖像 場中目標的這種運動可以由所謂的運動矢量表示。運動矢量AB表示從先前場T中的位置 A至當前場T+1中的位置B的目標MO的運動。該運動矢量AB典型地具有水平和垂直矢量 分量。從先前場T中的點A開始并將該運動矢量AB應用于目標MO,然后將目標MO平移到 當前場T+1中的位置B。必須通過考慮運動目標M0的相應位置A、 B,對先前場T和當前場 T+1插值來計算必須進行插值的缺失場T+l/2中的目標MO的缺失位置I 。如果目標MO在 先前場/幀和當前場/幀之間沒有改變其位置,例如,如果A和B是相同的,則通過將A平 移運動矢量lABl/2來獲得缺失場中位置I。這樣,利用位于正確位置的運動目標插值出缺 失場T+l/2,從而有效地避免模糊效應。
例如Gerard de Haan在EP 765 571B1和US 6, 034, 734中描述了以上述方式操 作的MEMC實現(xiàn)方式。 理論上,對于幀或場中的每個像素,必須計算相應的運動矢量。然而,為場或幀內(nèi) 的大量像素計算運動矢量,需要大量計算,因此存儲器需求顯著增加。特別地,使用典型地 具有提高的分辨率的現(xiàn)代等離子和LCD電視,隨著像素數(shù)目的相應增加以及要計算的運動 矢量的數(shù)目的隨之增加,上述情況將一起出現(xiàn)。為了降低該巨大的計算量和存儲器工作,越 來越需要能夠僅使用減少的運動矢量集合的MEMC實現(xiàn)方式。
為了減少所需的運動矢量的數(shù)目,存在許多不同的方法 第一種方法采用所謂的基于塊的MEMC。該第一種方法假設圖像中的目標的尺寸始 終大于單個像素的尺寸。因此,將圖像場劃分成若干圖像塊。對于MEMC,僅針對導致所使用 運動矢量顯著減少的這些塊中的每個塊來計算單個運動矢量。例如在EP 874 523Al中描 述了該方法。 第二種方法采用所謂的基于行的MEMC。在該第二種方法中,算法基于場的單行或 該行的一部分的減少的視頻輸入數(shù)據(jù)集合。然而,在該基于行的MEMC中,到目前為止還沒 有用于有效減少運動矢量的本領域已知的方法。 應當清楚,對于多數(shù)視頻應用,場或幀內(nèi)或該場/幀的行的不同像素不會逐場/幀 變化。因此,對于這些像素,典型地,應用零運動矢量,即,具有零幅度和零角度的運動矢量。 在許多應用中,那些零運動矢量顯然構成了場/幀內(nèi)最常用的運動矢量。另一方面,還存在 具有相同運動矢量的大量像素,特別是那些在畫面中被分配至相同運動目標的像素。
因此,本發(fā)明基于提供一種在運動估計處理內(nèi)更高效地使用運動矢量的可能性的 目的。本發(fā)明還基于減少運動估計實現(xiàn)方式中的存儲器需求和/或計算需求的目的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明,提供了一種包括權利要求l的特征的方法、和/或一種包括權利要求 15的特征的裝置、和/或一種包括權利要求23的特征的電視機、和/或一種包括權利要求 24的特征的計算機程序產(chǎn)品、和/或一種包括權利要求25的特征的數(shù)據(jù)載體。
因此,本發(fā)明提供了 -—種特別針對運動畫面的連續(xù)幀中的場率上轉(zhuǎn)換,用于視頻圖像數(shù)據(jù)中的運動 估計的方法,所述方法包括以下步驟提供包括畫面的視頻行或畫面的視頻行的一部分的 視頻圖像數(shù)據(jù)在內(nèi)的視頻信號;通過對視頻圖像數(shù)據(jù)進行檢測和分析并根據(jù)檢測到的運動 導出運動矢量來執(zhí)行運動估計;計算運動矢量的直方圖,以導出當前幀或場中最多和較少 使用的運動矢量。-—種特別針對運動畫面的連續(xù)幀或場中的場率上轉(zhuǎn)換,用于視頻圖像數(shù)據(jù)中的 運動估計的裝置,其中,該裝置被配置為執(zhí)行根據(jù)本發(fā)明的方法。- —種電視機,包括提供視頻輸入信號的模擬或數(shù)字輸入端子;從包括畫面的視 頻行或該視頻行的一部分的視頻圖像數(shù)據(jù)在內(nèi)的視頻輸入信號產(chǎn)生視頻信號的設備;執(zhí)行 根據(jù)本發(fā)明的基于行的運動估計和運動補償并提供運動補償后的圖像輸出信號的裝置;使 用該運動補償后的圖像輸出信號來顯示運動補償后的畫面的屏幕。-—種包括代碼的計算機程序產(chǎn)品,所述代碼被配置為實現(xiàn)根據(jù)本發(fā)明的方法。
5
- —種包括根據(jù)本發(fā)明的計算機程序產(chǎn)品的數(shù)據(jù)載體。 在運動估計處理期間,計算適合于在后續(xù)運動補償處理中使用的若干運動矢量。 可能針對幀或場的每個像素,或備選地僅針對這些像素中的一些像素(例如,行內(nèi)或行的 一部分內(nèi)的若干所選像素),執(zhí)行運動矢量的計算。還可能的是,將該運動矢量分配給幀或 場的預定義塊或部分。 本發(fā)明的一個基本思想是提供包含以下信息的運動矢量直方圖,所述信息為在所
計算的運動矢量中哪些在畫面的當前幀或場中最多使用哪些甚至不使用。由于僅使用所計
算的運動矢量的一部分,在運動矢量直方圖中存儲的該信息實現(xiàn)了顯著和高效運動估計處
理,因此還實現(xiàn)了高效運動補償處理。因此,這顯著地減少了總存儲器需求和計算工作。 本發(fā)明的另一優(yōu)點在于,特別是在現(xiàn)代視頻應用中,整個運動估計和運動補償處
理變得越來越快這一事實。而這是建立TV面板的高精度畫面的的關鍵問題。 本發(fā)明還描述了一種用于運動估計和運動補償?shù)姆椒ǎ摲椒▋H沿一個方向操
作,并因此使用至少一個單行緩沖存儲器(所謂的行存儲器)來執(zhí)行運動估計和運動補償
操作。這提供了將芯片嵌入式存儲器減少成針對先前場或幀的一個單行存儲器和針對當前
場或幀的一個單行存儲器的可能性。這有利地實現(xiàn)了顯著的硅面積減小和成本節(jié)省實現(xiàn)方式。 在本發(fā)明的優(yōu)選實施例中,MEMC僅限于沿水平方向的運動,這是由于自然場景中 多數(shù)運動具有該方向。 在視頻信號處理中,通常在已經(jīng)存取了先前和當前運動軌跡的其他應用(例如, 所謂去隔行器應用或時間噪聲降低應用)中使用行存儲器。在優(yōu)選實施例中,附加地,這些 現(xiàn)有的視頻應用的行存儲器現(xiàn)在還用于MEMC操作。通過使用視頻信號處理系統(tǒng)的現(xiàn)有行 存儲器,不必進一步向存儲器總線添加其他存儲器帶寬,并且存儲器帶寬保持不變。
因此,該解決方案提供了通過向視頻處理系統(tǒng)添加最小的存儲器或在最優(yōu)情況下 不添加附加存儲器來完成MEMC操作的可能性。 參照附圖,在其他從屬權利要求和以下描述中將找到本發(fā)明的優(yōu)點、實施例和其 他進展。 在優(yōu)選實施例中,該方法用于基于行的運動估計。 在優(yōu)選實施例中,計算步驟包括以下子步驟將計數(shù)器分配給每個不同的運動矢 量;通過以給定值使計數(shù)器遞增或遞減來對相同運動矢量的出現(xiàn)進行計數(shù);將分配給不同 運動矢量的不同計數(shù)器值進行比較;按照當前幀或場中不同運動矢量的出現(xiàn)的順序來對不 同運動矢量分排序。 在優(yōu)選實施例中,選擇具有最高等級和/或作為最常用的運動矢量的運動矢量。
在優(yōu)選實施例中,該方法還包括運動補償,其中,將所選運動矢量用于運動補償來 對畫面進行插值。 在優(yōu)選實施例中,將具有最高排位和/或最常使用的運動矢量存儲在存儲器中。
在優(yōu)選實施例中,針對整個幀或場來完成計算直方圖的步驟。 在優(yōu)選實施例中,通過將幀或場劃分成水平條紋并針對每個條紋檢測最常用的矢 量,針對幀或場的一部分,來執(zhí)行計算直方圖的步驟。 在優(yōu)選實施例中,執(zhí)行計算直方圖的步驟,以對幀或場內(nèi)的滾動新聞條信息、字幕或任何其他書寫信息進行檢測。 在優(yōu)選實施例中,取決于所選運動矢量的阻尼值被用于改變具有相似計數(shù)器值的 運動矢量。 在優(yōu)選實施例中,運動矢量排位的直方圖信息被用于檢測可靠和不可靠運動矢 在優(yōu)選實施例中,運動矢量僅包含針對沿一個方向特別沿水平方向的目標運動的 運動數(shù)據(jù)。 在優(yōu)選實施例中,從第一行存儲器導出先前幀的圖像數(shù)據(jù),從第二行存儲器導出 當前幀的圖像數(shù)據(jù)。 在優(yōu)選實施例中,第一行存儲器和/或第二行存儲器還被使用在去隔行器應用和 /或時間噪聲降低應用中。 在優(yōu)選實施例中,提供直方圖發(fā)生器來建立運動矢量的運動矢量直方圖,以導出 當前幀或場中最多和較少使用的運動矢量。 在優(yōu)選實施例中,該裝置還包括直方圖發(fā)生器,用于提供運動矢量的運動矢量直 方圖以導出當前幀或場中最多和較少使用的運動矢量。 在優(yōu)選實施例中,直方圖發(fā)生器還包括計數(shù)設備,用于通過以給定值對計數(shù)器遞 增或遞減來對相同運動矢量的出現(xiàn)進行計數(shù);排序設備,被設計為對分配給不同運動矢量 的不同計數(shù)器值進行比較,還被設計為基于當前幀或場中不同運動矢量的出現(xiàn)來對不同的 運動矢量分排序,以及選擇最常用的運動矢量用于運動補償。 在優(yōu)選實施例中,提供運動矢量直方圖存儲器來存儲最常用的運動矢量。 在優(yōu)選實施例中,提供用于存儲先前幀的圖像數(shù)據(jù)的第一行存儲器和用于存儲當
前幀的圖像數(shù)據(jù)的第二行存儲器。 在優(yōu)選實施例中,第一行存儲器和/或第二行存儲器被配置為還在去隔行器設備 和/或時間噪聲降低設備中使用。 在優(yōu)選實施例中,該裝置是集成電路和/或在微控制器或微處理器內(nèi)實現(xiàn)。


為了更完全地理解本發(fā)明及其優(yōu)點,現(xiàn)在結(jié)合附圖參照以下描述。以下使用在附
圖中示意性示出的示例實施例更詳細地說明本發(fā)明,在附圖中 圖1示出了標準(即,非運動補償?shù)?FRU方法的結(jié)果; 圖2示出了兩個連續(xù)接收到的圖像場之間運動目標的位置的變化; 圖3通過當前幀和相應的先前幀示出了基于行的運動估計的運動估計原理; 圖4示出了根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的第一實施例的框圖; 圖5示出了示意運動估計的匹配處理的示例; 圖6示出了提供運動矢量直方圖的基本原理; 圖7示出了示意根據(jù)本發(fā)明的基于行的運動估計的實施例的框圖; 圖8示出了示意使用自適應偽像隱藏的根據(jù)本發(fā)明的基于行的運動補償?shù)膶嵤?br> 例的框圖; 圖9示出了使用被分配給同樣用于運動估計設備的去隔行器設備的行存儲器的、根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的第二實施例的框圖。 在所有附圖中,除非另外明確說明,相同或至少具有相同功能的元件、特征和信號 被提供了相同的參考符號、描述和縮寫。
具體實施例方式
在本發(fā)明的以下描述中,首先提供運動估計和運動補償?shù)暮喍谈攀觥?MEMC方法主要由兩部分組成,運動估計和運動補償方法。運動估計執(zhí)行對運動的
測量,并導出以像素每畫面(即,場或幀)為單位的顯示區(qū)域的速度。同樣運動方向?qū)⒂烧?br> 號或負號來指示。這些所測量的運動信息以運動矢量的形式來描述。運動矢量用于運動補
償,以在精確的時間位置對畫面進行插值,并避免所謂的抖動效應和/或所謂的運動模糊效應。 圖3通過當前畫面(場或幀)10(n)和相應的先前畫面ll(n-l)示出了基于行的運 動估計的運動估計原理。根據(jù)時間位置,將運動矢量12、13按其長度分成兩個部分,其中, 第一矢量部分12指向先前畫面11,第二矢量部分13指向當前畫面10。為了插值當前和先 前畫面10、 11之間的缺失畫面14(n-l/2),考慮來自兩個時間畫面10、 11的像素15來進行 補償。在基于行的MEMC中,在相同時刻僅使用相同行16內(nèi)的像素15,并且僅針對場或幀的 單行16執(zhí)行MEMC。對于這種類型的MEMC,將當前畫面10的像素15與先前畫面11的相應 像素15進行比較以估計和補償缺失畫面14的相應像素15。 圖4示出了根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的框圖。MEMC系統(tǒng)由參考數(shù)字20表 示。MEMC系統(tǒng)20包括輸入端子21、總線22、兩個行存儲器23、24、運動估計設備25、運動 補償設備26、以及輸出端子27。假設,總線22是外部總線,特別是外部存儲器總線22。然 而,還可能的是,總線22是內(nèi)部總線22。在輸入側(cè),總線22連接至外部存儲器設備28,如 SDRAM、DDR-RAM等。將要在面板29 (如等離子或LCD面板或CRT屏幕)中顯示的圖像數(shù)據(jù) 存儲在該外部存儲器28中。經(jīng)由輸入端子21和存儲器總線22,將該圖像數(shù)據(jù)X1、X1'傳送 至兩個行存儲器23、24。根據(jù)本發(fā)明,僅需要兩個行存儲器23、24,而第一行存儲器23用于 對先前畫面的圖像數(shù)據(jù)XI進行緩沖,另一行存儲器24用于對當前畫面的圖像數(shù)據(jù)XI'進 行存儲。 本專利申請中所使用的行存儲器23、24指示了大小為幀或場的一個視頻行或至 少小于輸入視頻信號流或?qū)嶋H處理視頻信號流的嵌入式存儲器。場表示包括奇或偶數(shù)行的 視頻圖像或畫面。幀表示由一幅畫面的完整視頻信息組成的視頻圖像,即,由奇數(shù)行的場和 偶數(shù)行的相應場構成的視頻圖像。行表示一個視頻畫面的場內(nèi)的整個水平行或該行的至少 一部分。 行存儲器23、24在它們的輸出側(cè)均耦合至運動估計設備25和運動補償設備26。 這使得能夠?qū)⒃谛写鎯ζ?3、24中存儲的圖像數(shù)據(jù)X1、X1'分別傳送至運動估計設備25和 運動補償設備26。在圖4中,與運動估計設備25相對應的數(shù)據(jù)信號由X2、 X2'表示,并且 與運動補償設備26相對應的數(shù)據(jù)信號由X3、X3'表示。 運動估計設備25通過采用匹配處理,由存儲在行存儲器23、24中的圖像數(shù)據(jù)X2、 X2'產(chǎn)生運動矢量信號X4。將該矢量信號X4傳送至運動補償設備26。運動補償設備26使 用存儲在行存儲器23、24中的圖像數(shù)據(jù)X3、X3'并將矢量數(shù)據(jù)X4應用于該圖像數(shù)據(jù)X3、X3'
8來執(zhí)行運動補償。在輸出端子27處,運動補償設備27提供包括針對運動補償后的畫面的 信息在內(nèi)的視頻信號X5。經(jīng)由輸出端子27將該視頻信號X5傳送至顯示器29,如LCD面板 29等。 關于圖5,下文中將更詳細地描述運動估計設備25的操作 為了運動估計,采用匹配處理來選擇最適于給定數(shù)量的像素30的相應像素序列 32。為了該選擇,從當前幀32的行存儲器24中獲取應針對其確定運動的中心像素31周圍 的當前幀的行的給定數(shù)量的像素30。下文中,該給定量的像素30被表示為像素序列30。在 本實施例中,像素序列30包括9個單個像素33。應當理解,該序列還可以包括更多或更少 數(shù)量的像素33。 為了選擇,將像素33的亮度簡檔用作匹配參數(shù)。亮度是沿給定方向的光強的密度 的光度測量。它描述了通過特定面積或從該特定面積發(fā)出和落在給定立體角內(nèi)的光量。因 此,亮度是運動畫面幀中明度的光度測量。如果亮度為高,則畫面亮,如果亮度為低則該畫 面暗。因此,亮度是畫面的黑白部分。 該亮度簡檔用于從先前幀35中找出與當前幀32的9像素序列30最符合的9像 素序列34。在圖5的實施例中,將當前幀32的9像素序列30的亮度簡檔與先前幀35的若 干相應的9像素序列34的亮度簡檔進行比較。為了導出真實的運動,9像素序列30將沿著 水平方向36在搜索范圍上移動。假設顯示出(與當前幀32的9像素序列30)最佳亮度簡 檔匹配的先前幀35的9像素序列34是正確的像素序列。然后,將這些像素序列30、34用 于計算運動矢量。 該搜索范圍的典型值包括,例如64個像素(+31..,32)。然而,還可以使用少于 64個像素;然而,該比較的結(jié)果質(zhì)量逐漸下降。另一方面,還可以使用多于64個像素。則 選擇結(jié)果的質(zhì)量提高,然而,這需要更多的計算量。因此,典型地,采用在選擇結(jié)果的最佳質(zhì) 量與同時地最小計算量之間提供最優(yōu)化的折衷。 在優(yōu)選實施例中,針對每個所選運動矢量37,以上述方式來執(zhí)行單個匹配處理。通 過為每個像素序列30分配質(zhì)量等級和/或失敗等級來執(zhí)行該匹配處理。然后,將質(zhì)量等級 和/或失敗等級分配給經(jīng)歷匹配處理的那些像素序列30中的每一個。選擇具有最高質(zhì)量 等級和/或最低失敗等級的那些像素序列30作為最可能的像素序列。然后,將這些像素序 列30用于計算針對水平運動的運動矢量。典型地,但非必要地,將SAD方法(SAD =絕對差 的和)和/或ADRC方法用于亮度和/或色度值的比較。
使用預詵的運動矢量樣本來講行運動估i十: 假設場景中目標的運動是逐幀(場)恒定的,并且目標大于像素序列(例如,上述 9個像素),則如果針對亮度簡檔的匹配檢查預選的運動矢量37(所謂的運動矢量樣本37) 的集合38,則可以更高效地執(zhí)行匹配處理(參見圖5)。例如,可以從鄰近像素獲取一個所 選運動矢量37。如果將已經(jīng)估計的運動矢量存儲在特別針對不同運動矢量樣本設計的矢量 存儲器中,則可以從先前行獲取第二所選運動矢量。 指示目標沒有運動的零矢量典型地是最常用的運動矢量樣本之一。使用該零矢 量,以便于更高效地檢測未示出運動的畫面內(nèi)的區(qū)域。原則上,將要考慮的預選運動矢量37
的數(shù)量完全取決于期望的運動矢量質(zhì)量類型。
所選運動矢暈的變化:
為了建立運動估計處理,并遵循與恒定運動的偏離,出于測試操作目的,可能需要 特定預選運動矢量的變化。這表明對于預選運動矢量樣本,將加上或減去特定量的運動。這 可以通過向這些運動矢量應用具有不同運動速度量值的變化來實現(xiàn)。所測試的實現(xiàn)方式在 先前確定的運動矢量上,在交替更新+/-1像素和+/_4像素的奇像素和偶像素之間進行檢 查。根據(jù)需要或根據(jù)提出的需求,對變化的選擇是可調(diào)整和可變的,例如對變化的選擇取決 于輸入視頻信號的分辨率。 對于基于行的運動估計,運動矢量針對場景中的真實運動快速收斂將是非常有利 的。因此,針對幀或場的第一行以不同方式處理對所測試的運動矢量的選擇。對于幀或場 的第一行,由于需要進行測試的第一行之上的行不存在,因此無法以正常方式進行測試。在 每個場的第一行中,為正常測試上方行的運動矢量的所選運動矢量加載例如根據(jù)三角函數(shù) 逐像素變化的矢量值。三角函數(shù)在可調(diào)整的最小值和可調(diào)整的最大值之間振蕩。出于該目 的,還可以采用其他規(guī)則振蕩函數(shù)(例如鋸齒函數(shù)、正弦函數(shù)等)來確定第一行的運動矢 ^配處理: 在優(yōu)選實施例中,匹配處理將失敗值分配至每個所測試的運動矢量。在另一實施 例中,該值還可以是質(zhì)量值。還可以評估失敗值和質(zhì)量值用于匹配處理。優(yōu)選地,將絕對差 的和(SAD)用作失敗值或至少用于導出失敗值。理想地,為了找到最優(yōu)運動矢量,需要失敗 值為零。然而,典型地,失敗值不同于零。因此,然后,選擇與最低失敗值相對應的運動矢量 作為表示局部場景中目標運動的最可能的運動矢量。
矢暈選擇的衰減、矢暈阻尼: 在優(yōu)選實施例中,使用取決于不同運動矢量的矢量衰減的阻尼值。這使得能夠以 相等失敗值控制運動矢量和/或為運動矢量選擇處理提供特定方向。
矢量存儲器: 有利地,將不同運動矢量存儲在矢量存儲器中。然后,從矢量存儲器取出這些運動 矢量(如果需要),用于其他處理和/或用于后繼像素的運動估計。 運動估計處理形成遞歸過程。因此,該矢量存儲器的大小主要取決于匹配處理的 期望質(zhì)量等級。在一個實施例中,所測試的實現(xiàn)方式僅包括矢量存儲器的一行。在該矢量 存儲器中,將交替存儲每隔一個的運動矢量,使得對來自上方的所測量行的運動矢量的存 取是可能的。 通過提供矢暈肓方圖的魯棒性改進: 在優(yōu)選實施例中,計算運動矢量直方圖以便創(chuàng)建高度可靠并均勻的運動矢量場。 該矢量直方圖允許矢量多數(shù)排序?qū)С鰧嶋H場景中最多和較少使用的運動矢量。
圖6示出了優(yōu)選實施例,以示意根據(jù)本發(fā)明的提供運動矢量直方圖的基本原理。 圖6示出了提供運動矢量直方圖的矢量直方圖發(fā)生器40 。在圖6中的實施例中,矢量直方 圖發(fā)生器40包括由+1遞增設備42控制的切換設備41 。切換設備41 一方面受運動矢量信 息43控制,另一方面受遞增設備42的控制,該遞增設備42在出現(xiàn)下個相同的運動矢量43 的情況下將切換設備41轉(zhuǎn)換至計數(shù)設備45的下個輸入端子。包括不同計數(shù)器單元44的 計數(shù)設備45對每個運動矢量的出現(xiàn)進行計數(shù),并針對每次運動矢量的出現(xiàn)將計數(shù)器加1。 排序設備46(例如包括簡單的比較裝置)耦合至計數(shù)設備45的不同計數(shù)器單元44的輸出
10端子。該排序設備46選擇最常用的運動矢量并應用該運動矢量用于估計確定。然后,可以 將該最常用的運動矢量存儲在運動矢量直方圖存儲器47中。 可以針對整個幀或場或僅針對幀或場的部分,完成運動矢量直方圖的提供。將畫 面分成水平條紋,并且為每個條紋返回最常用的矢量是非常高效的。在最優(yōu)選實施例中,可 以以非常可靠的方式來檢測畫面內(nèi)的滾動新聞條信息。 圖7示出了示意如上所述和如在圖4中所示的運動估計設備25中實現(xiàn)的根據(jù)本 發(fā)明的基于行的運動估計的實施例的框圖。 運動估計設備25包括匹配設備80、成本/質(zhì)量功能設備81、以及矢量選擇器設 備82,這些設備以串聯(lián)的方式布置在運動估計設備25的輸入側(cè)83和運動估計設備25的輸 出側(cè)84之間,其中,在運動估計設備25的輸入側(cè)83,提供存儲在兩個行存儲器23、24中的 圖像數(shù)據(jù)信號X1、X1',運動矢量信號X4出現(xiàn)在運動估計設備25的輸出側(cè)84。在設備元件 80-82中,實現(xiàn)關于圖5描述的匹配處理和矢量選擇。 運動估計設備25還包括一方面連接至輸入側(cè)83另一方面連接至輸出側(cè)84的矢 量質(zhì)量設備85。矢量質(zhì)量設備85由圖像數(shù)據(jù)信號X1、X1'和運動矢量信號X4產(chǎn)生包括矢 量質(zhì)量的信息在內(nèi)的質(zhì)量信號X6。 運動估計設備25還包括以串聯(lián)的方式布置在輸出側(cè)84和匹配設備80之間的反 饋路徑中的矢量直方圖設備86和矢量多數(shù)設備87。這里,在設備元件86、87中,產(chǎn)生矢量 直方圖來如圖6所示并且參照圖6描述的提供實際場景中最多和較少使用的矢量的排序。 因此,原件86、87對應于圖6的矢量直方圖發(fā)生器40。 運動估計設備25還可以包括另一行存儲器88來存儲運動矢量數(shù)據(jù)X4和/或針 對矢量質(zhì)量的數(shù)據(jù)X6。 運動估計設備25還包括矢量樣本設備89。該矢量樣本設備89還可以被布置在 反饋路徑中,并在其輸入側(cè)與行存儲器88、矢量多數(shù)設備87連接,并有利地與另一設備90 連接。該另一設備90通過使用具有特定幅度的特殊信號(例如,正弦信號、鋸齒信號等) 來執(zhí)行運動矢量樣本的改變。然后,該特定信號被用于幀或場的第一行的測試和/或匹配 處理和/或更新處理。然而,還可以隨機更新幀或場的不同行。在矢量樣本設備89的輸出 側(cè),矢量樣本設備89在其輸出側(cè)連接至匹配設備80。 運動估計設備25還包括垂直運動估計設備91 。對于垂直運動,上述一維運動估計 算法不能充分補償沿垂直方向的運動。然而,垂直運動的出現(xiàn)可以被用于通過將畫面分成 不同的區(qū)域來導出針對每個區(qū)域的垂直運動,以減少畫面的相同區(qū)域中的補償。在這種情 況下,將對相同畫面的不同區(qū)域中的行的亮度值進行求和,并針對該畫面的每一行單獨存 儲相同畫面的不同區(qū)域中的行的亮度值。這導致了針對相同畫面的不同區(qū)域的累積的垂直 簡檔。然后,將整個畫面劃分成較小的區(qū)域,來導出針對這些區(qū)域中的每一個的垂直運動。 在垂直運動估計設備91中執(zhí)行該垂直運動估計處理,垂直運動估計設備91連接至輸入側(cè) 83并在其輸出側(cè)提供基于部分的垂直運動索引X7。 因此,如上所述的垂直MEMC可以與水平MEMC無關地執(zhí)行也可以與水平MEMC組合 地來執(zhí)行,其中,可以分別根據(jù)特定情況或存在的運動來執(zhí)行組合。此外,這樣的方法允許 實現(xiàn)垂直MEMC,垂直MEMC不需要大量的附加存儲器容量來分析連續(xù)幀/場的數(shù)據(jù),而需要 大量的附加存儲器容量是現(xiàn)有技術的大多數(shù)方法的情況。
運動估計設備25還包括矢量阻尼設備92。在該阻尼設備92中,如上所述的阻尼 值可以被用于對矢量樣本設備89的矢量樣本進行阻尼,并向矢量選擇器82提供阻尼后的 矢量樣本。 下文中,將關于圖8更詳細地描述在圖4的運動補償設備26中執(zhí)行的運動補償處 理。圖8示出了示意使用如上所述的自適應偽像隱藏的根據(jù)本發(fā)明的基于行的運動補償?shù)?實施例的框圖。 運動補償設備26包括補償設備100,補償設備100根據(jù)由運動估計設備25估計的 運動矢量X4執(zhí)行時間運動插值。在優(yōu)選實施例中,補償設備100包括中值濾波器,該中值 濾波器使用矢量補償?shù)南惹靶?、矢量補償后的當前行和未補償?shù)南惹靶械牧炼戎底鳛檩斎?數(shù)據(jù)。附加地,同樣可以補償色度值。 根據(jù)矢量質(zhì)量,將在矢量存儲器的局部區(qū)域中從上方行搜索到被指示為可靠矢量 的替換矢量。如果找不到可靠矢量,則自適應模糊嘗試覆蓋該偽像。 運動補償設備26還包括垂直運動控制設備101,該垂直運動控制設備101將控制 信號X8提供給補償設備100,以便同樣將垂直運動的信息并入補償設備100。
運動補償設備26還包括不良矢量修正設備102。基于由運動估計設備25提供的 信息X4、X6,不良矢量修正設備102對不良矢量進行修正。然后,這些與修正后的不良矢量 有關的信息X9(與控制信號X8 —同)被用于執(zhí)行補償設備100內(nèi)的運動補償。然后,補償 設備100在其輸出側(cè)產(chǎn)生運動補償后的圖像數(shù)據(jù)信號XIO。 運動補償設備26還包括自適應模糊設備103?;谶\動補償后的圖像數(shù)據(jù)信號 X10和由不良矢量修正設備102產(chǎn)生的模糊控制信號,該自適應模糊設備103執(zhí)行自適應模 糊。自適應模糊設備103產(chǎn)生可能與圖4的圖像信號X5相對應的自適應模糊后的圖像數(shù) 據(jù)信號X5'。 圖9示出了使用被分配至同樣用于運動估計設備的去隔行器設備的行存儲器的、 根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的第二實施例的框圖。 與圖4中的第一實施例不同,去隔行器設備113被布置在行存儲器110、111、112 和運動補償設備26之間。去隔行器設備113典型地用于將由視頻數(shù)據(jù)流表示的場轉(zhuǎn)換成 隨后同樣由另一視頻數(shù)據(jù)流表示的完整幀。 基于存儲器、用于視頻處理的片上解決方案具有現(xiàn)有的內(nèi)部行緩沖器 110-112 (所謂的行存儲器110-112),該內(nèi)部行緩沖器110-112承載來自先前和當前場或幀 的視頻數(shù)據(jù)。這些行緩沖器110-112可以位于例如自適應操作運動的時間噪聲降低或去隔 行單元113內(nèi)。利用所提出的基于行的MEMC,這些行緩沖器附加地可以針對運動估計進行 重用。為此并且為了降低來自影片源的運動抖動偽像,使用下拉(pull-down)模式的指示 當前插值序列的影片檢測器。行緩沖器選擇器根據(jù)先前和當前視頻輸入信號將視頻信號數(shù) 據(jù)傳送至運動估計設備。該技術允許將現(xiàn)有的存儲器資源同樣用于運動估計,也可以防止 用于時間上轉(zhuǎn)換處理的附加帶寬。因此,針對運動估計和運動補償?shù)男酒娣e可以降低為 最小。 去隔行器設備113使用3個行存儲器110、 111 、 112,這三個行存儲器在它們的輸入 側(cè)耦合至存儲器總線22并且在它們的輸出側(cè)提供行數(shù)據(jù)??梢栽谌ジ粜衅髟O備內(nèi)對由行 存儲器110、111、112提供的該行數(shù)據(jù)進行處理,然后將該行數(shù)據(jù)提供給運動補償設備26。根據(jù)本發(fā)明,這些行存儲器110、111、112附加地還用于運動估計設備25。為此,系統(tǒng)20附 加地包括選擇器設備114,其中將影片序列X0提供給該選擇器設備114。然后,可以經(jīng)由存 儲器總線22將該影片序列XO存儲在外部存儲器28中,并可以通過行存儲器110U11和 112從該外部存儲器28讀出該影片序列XO。對于IMC操作,存儲在去隔行器設備113的行 存儲器110、 111 、 112中的該數(shù)據(jù)還可以用于MEMC。為此,然后,同樣將存儲在行存儲器110、 111U12中的數(shù)據(jù)提供給運動估計設備25和運動補償設備26。 盡管以上已經(jīng)示出并描述了本發(fā)明的實施例和應用,但對于本領域技術人員顯而 易見的是,在不背離這里描述的本發(fā)明的構思的前提下,更多修改(除了以上所述)是可能 的。因此,本發(fā)明僅受限于所附權利要求的精神。因此,以上詳細描述應當視為示意性的而 非限制性的,并且應當理解以下權利要求包括在意在限定本發(fā)明的精神和范圍的這些權利 要求中描述的所有等同物。以上描述并不意在否定要求保護的本發(fā)明的范圍也不意在否定 其任何等同物。 還應當注意,應當將上述實施例、示例和數(shù)字數(shù)據(jù)理解為僅是示例性的。這表明在 MEMC系統(tǒng)中可以實現(xiàn)附加系統(tǒng)設備和功能單元以及操作方法和標準。
應當理解,上述數(shù)字數(shù)據(jù)僅是示意性的并適于最好地提供優(yōu)化的模糊效應。
在這一點,還應當注意,盡管本發(fā)明的以上實施例始終參照基于行的MEMC系統(tǒng), 但本發(fā)明不一定必須基于所謂的基于行的MEMC系統(tǒng)。事實上,本發(fā)明總體上涉及使用視頻 圖像數(shù)據(jù)的運動估計(即,特別地,所謂的基于塊的運動估計、基于行的運動估計等)的所 有實現(xiàn)方式。應當理解,對于那些沒有應用基于行的運動估計的實現(xiàn)方式,典型地可以采用 除了行存儲器以外的其他存儲器設備。
權利要求
一種特別針對運動畫面的連續(xù)幀/場中的場/幀率上轉(zhuǎn)換,用于視頻圖像數(shù)據(jù)中的運動估計的方法,所述方法包括以下步驟-提供包括畫面的視頻行或畫面的視頻行的一部分的視頻圖像數(shù)據(jù)在內(nèi)的視頻信號(X1、X’);-通過對視頻圖像數(shù)據(jù)進行檢測和分析并根據(jù)檢測到的運動導出運動矢量來執(zhí)行運動估計;-計算運動矢量的直方圖,以導出當前幀或場中最多和較少使用的運動矢量。
2. 根據(jù)權利要求1所述的方法,其中,所述方法用于基于行的運動估計。
3. 根據(jù)前述權利要求中至少一項所述的方法,其中,所述計算步驟包括以下子步驟-將計數(shù)器分配給每個不同的運動矢量;-通過使計數(shù)器遞增或遞減給定值來對相同運動矢量的出現(xiàn)進行計數(shù);-將分配給不同運動矢量的不同計數(shù)器值進行比較;-按照當前幀或場中不同運動矢量的出現(xiàn)的順序來對不同運動矢量排序。
4. 根據(jù)前述權利要求中至少一項所述的方法,其中,選擇具有最高排位的運動矢量和/或最常使用的運動矢量。
5. 根據(jù)權利要求4所述的方法,其中,所述方法還包括運動補償,其中,將所選擇的運動矢量用于運動補償以對畫面(14)進行插值。
6. 根據(jù)前述權利要求中至少一項所述的方法,其中,將具有最高排位的運動矢量和/或最常使用的運動矢量存儲在存儲器(47)中。
7. 根據(jù)前述權利要求中至少一項所述的方法,其中,針對整個幀或場來執(zhí)行計算直方圖的步驟。
8. 根據(jù)權利要求1-6中至少一項所述的方法,其中,通過將幀或場劃分成水平條紋并針對每個條紋檢測最常使用的矢量,針對幀或場的部分,來執(zhí)行計算直方圖的步驟。
9. 根據(jù)權利要求8所述的方法,其中,執(zhí)行計算直方圖的步驟,以對幀或場內(nèi)的滾動新聞條信息、字幕或任何其他書寫信息進行檢測。
10. 根據(jù)前述權利要求中至少一項所述的方法,其中,取決于所選運動矢量的阻尼值被用于改變具有相似計數(shù)器值的運動矢量。
11. 根據(jù)前述權利要求中至少一項所述的方法,其中,運動矢量排位的直方圖信息被用于檢測可靠和不可靠運動矢量。
12. 根據(jù)前述權利要求中至少一項所述的方法,其中,運動矢量僅包含針對沿一個方向特別是沿水平方向的目標運動的運動數(shù)據(jù)。
13. 根據(jù)權利要求12所述的方法,其中,先前幀/場的圖像數(shù)據(jù)(XI)從第一行存儲器(23)中導出,當前幀/場的圖像數(shù)據(jù)(X1')從第二行存儲器(24)中導出。
14. 根據(jù)權利要求13所述的方法,其中,第一行存儲器(23)和/或第二行存儲器(24)還被用于去隔行器應用(113)和/或時間噪聲降低應用中。
15. —種特別針對運動畫面的連續(xù)場/幀中的運動估計和補償后的場/幀率上轉(zhuǎn)換,用于視頻圖像數(shù)據(jù)中的運動估計的裝置(20),其中,所述裝置(20)被配置為執(zhí)行根據(jù)先前權利要求中至少一項所述的方法。
16. 根據(jù)權利要求15所述的裝置,其中,提供直方圖發(fā)生器(40)來建立運動矢量的運動矢量直方圖,以導出當前幀或場中最多和較少使用的運動矢量。
17. 根據(jù)權利要求16所述的裝置,其中,提供直方圖發(fā)生器(40)來提供運動矢量的運動矢量直方圖,以導出當前幀或場中最多和較少使用的運動矢量。
18. 根據(jù)權利要求16或17所述的裝置,其中,直方圖發(fā)生器(40)還包括_計數(shù)設備(45),用于通過使計數(shù)器遞增或遞減給定值來對相同運動矢量的出現(xiàn)進行計數(shù);-排序設備(46),被設計為對分配給不同運動矢量的不同計數(shù)器值進行比較,還被設計為基于當前幀或場中不同運動矢量的出現(xiàn)來對不同的運動矢量排序,以及選擇最常使用的運動矢量用于運動補償。
19. 根據(jù)權利要求16-18中至少一項所述的裝置,其中,提供運動矢量直方圖存儲器(47)來存儲最常使用的運動矢量。
20. 根據(jù)權利要求16-19中至少一項所述的裝置,其中,提供用于存儲先前幀的圖像數(shù)據(jù)的第一行存儲器(23)和用于存儲當前幀的圖像數(shù)據(jù)的第二行存儲器(24)。
21. 根據(jù)權利要求20所述的裝置,其中,第一行存儲器(23)和/或第二行存儲器(24)被配置為還在去隔行器設備(113)和/或時間噪聲降低設備中使用。
22. 根據(jù)權利要求16-21中至少一項所述的裝置,其中,所述裝置是集成電路(20)和/ 或在微控制器或微處理器內(nèi)實現(xiàn)。
23. —種電視機,包括-模擬或數(shù)字輸入端子,提供視頻輸入信號;-從包括畫面的視頻行或畫面的視頻行的一部分的視頻圖像數(shù)據(jù)在內(nèi)的視頻輸入信號產(chǎn)生視頻信號(X1、X1')的設備;-執(zhí)行根據(jù)權利要求1-14中至少一項所述的基于行的運動估計并提供運動補償后的圖像輸出信號(X5、X5')的裝置(20);-屏幕,使用運動補償后的圖像輸出信號(X5、X5')來顯示運動補償后的畫面。
24. —種包括代碼的計算機程序產(chǎn)品,所述代碼被配置為實現(xiàn)根據(jù)權利要求1至15中任一項所述的方法。
25. —種包括根據(jù)權利要求24所述的計算機程序產(chǎn)品的數(shù)據(jù)載體。
全文摘要
本發(fā)明涉及一種特別針對視頻圖像數(shù)據(jù)的基于行的場率上轉(zhuǎn)換運動估計和運動補償,用于視頻圖像數(shù)據(jù)中的使用提供最多和較少使用的矢量排序的矢量直方圖的運動估計的方法和設備。本發(fā)明還涉及一種電視機、一種計算機程序產(chǎn)品和包括計算機程序的數(shù)據(jù)載體。
文檔編號H04N5/44GK101796813SQ200880106002
公開日2010年8月4日 申請日期2008年8月5日 優(yōu)先權日2007年9月10日
發(fā)明者福爾克爾·布盧姆 申請人:Nxp股份有限公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
威远县| 祥云县| 永兴县| 三穗县| 无锡市| 民丰县| 得荣县| 溧阳市| 南召县| 于都县| 当涂县| 普定县| 长宁区| 阿克陶县| 孙吴县| 政和县| 通许县| 罗田县| 开封县| 行唐县| 科技| 泸州市| 横峰县| 平邑县| 田东县| 鹤庆县| 进贤县| 郎溪县| 南昌市| 会泽县| 莲花县| 正安县| 佛冈县| 察哈| 盖州市| 阳城县| 北流市| 德阳市| 手游| 石狮市| 海城市|