專利名稱:圖像處理裝置、圖像處理方法和程序的制作方法
技術領域:
本發(fā)明涉及具有用于轉換位深度(即,位數(shù))的色調(palette)(即,灰 度)轉換功能的圖像處理裝置、圖像處理方法和程序。
背景技術:
例如,考慮具有N位像素值的圖像。如果這種圖像要由顯示具有M位 像素值(其中M小于N)的圖像的顯示裝置顯示,則首先將N位圖像轉換為 M位圖像。換句話說,進行色調轉換以轉換圖像的色調。
一種用于將圖像從N位色調轉換到M位色調的方法涉及通過丟棄最低 有效位,然后將結果量化為M位像素值來簡單地將N位像素值截取為M位。
在這種量化色調轉換中,例如256級(tone)色調(=28)可以使用8位表 示,而僅僅16級色調(=24)可以使用4位表示。為此,如果通過丟棄8位灰度 級圖像的最低有效位并且使用4個最高有效位量化結果來進行色調轉換,則 在級改變的位置將出現(xiàn)條紋。
存在色調轉換方法來避免這種條紋的出現(xiàn),并且在轉換后圖像中創(chuàng)建表 示轉換前色調級的假象(illusion)。誤差擴散方法是上面的一種示例。通過這 種誤差擴散方法,例如可以轉換256級圖像的色調以獲得對人眼看起來表示 256級的16級圖像,而實際僅使用16級。
換句話說,如果簡單丟棄最低有效位,則顯示圖像中的量化誤差變得明 顯,這使得難以保持畫面質量。結果,還存在誤差擴散方法,其考慮人類視 覺的特性并且執(zhí)行AS調制以將這種量化誤差調制到圖像的上界(upper range)內。在誤差擴散中,量化誤差典型地使用二維(2D)濾波器濾波。這 種2D濾波器包括Jarvis、 Judice和Ninke濾波器、以及Floyd-Steinberg濾波 器(例如參見Hitoshi Kiya, "Yoku wakaru dijitaru gazou shori" (Digital image processing made easy),第6版,CQ出版,2000年1月,196-213頁)
發(fā)明內容
同時,還可構思進行IDAS調制而不是2D。
然而,在具有色調轉換功能的圖像處理裝置中,如果對輸入源使用ID 色調轉換,則可能產生大的、視覺上顯而易見的噪聲。此外,與色調轉換正 交(orthogonal)的顏色分量的變化也可能被注意到。這是因為在正交于ID 色調轉換的方向上產生類似于普通抖動的效果。結果,典型誤差擴散技術非 有意地應用于垂直分量。
此外,在一些視頻重放系統(tǒng)中,原始源可能以特定畫面尺寸輸出。如果 誤差擴散技術應用到這種系統(tǒng),則誤差擴散將應用到在視頻系統(tǒng)中內部處理 的信號。
在此情況下的問題是,因為處理了不同于原始信號的信號,所以即使在 誤差擴散的應用不適合給定源的情況下也應用了誤差擴散。結果,整體圖像 表示幾乎不改進,并且替代地,可能導致作為抖動的缺點之一的降低的S/N比。
因此,希望提供一種圖像處理裝置、圖像處理方法和程序,能夠避免誤 差擴散的不適當應用,并且#4居源的特性適應性地應用色調轉換功能。
根據本發(fā)明的第一實施例的圖像處理裝置包括處理子系統(tǒng),配置來對 于原始視頻源執(zhí)行各種處理;色調轉換器,配置來轉換色調位深度,其具有 用于在轉換后的圖像中創(chuàng)建表示轉換前的色調級的假象的可修改的色調轉換 功能;以及控制器,配置來至少根據原始源信息和系統(tǒng)范圍的(system-wide) 設置信息開啟所述色調轉換器、關閉所述色調轉換器、或修改所述色調轉換 器的色調轉換功能。
根據本發(fā)明的第二實施例的圖像處理方法包括以下步驟對于原始視頻 源執(zhí)行各種處理;至少根據原始源信息和系統(tǒng)范圍的設置信息開啟色調轉換 器、關閉所述色調轉換器、或修改所述色調轉換器的色調轉換功能;當已經 關閉所述色調轉換器時,停止色調轉換功能的表示;并且當已經開啟所述色 調轉換器時,轉換經歷各種處理的圖像信號的色調位深度,以便在轉換后的 圖像中創(chuàng)建表示轉換前的色調級的假象。
根據本發(fā)明的第三實施例的程序使得計算機執(zhí)行包括以下步驟的圖像處 理對于原始視頻源執(zhí)行各種處理;至少根據原始源信息和系統(tǒng)范圍的設置 信息開啟色調轉換器、關閉所述色調轉換器、或修改所述色調轉換器的色調 轉換功能;當已經關閉所述色調轉換器時,停止色調轉換功能的表示;并且當已經開啟所述色調轉換器時,轉換經歷各種處理的圖像信號的色調位深度, 以便在轉換后的圖像中創(chuàng)建表示轉換前的色調級的假象。
根據本發(fā)明的實施例,避免誤差擴散的不適當應用,并且根據源的特性 適應性地應用色調轉換功能。
圖1是圖示根據本發(fā)明實施例的、具有1DSBM功能的視頻系統(tǒng)圖像處 理裝置的示例性基本配置的框圖2是圖示根據本發(fā)明實施例的、構成SBM處理器的主要部分的色調 轉換器的示例性配置的框圖3圖示圖2中示出的抖動加法器的示例性配置;
圖4圖示要經歷色調轉換的像素的序列;
圖5圖示在HDMI規(guī)范1.3中獲得的信息;
圖6是用于說明在本發(fā)明的實施例中、用于根據來自各個塊的信息切換 HPF的濾波器系數(shù)的處理的流程圖; 圖7圖示源視頻信息的示例;以及
圖8是圖示已經應用根據本發(fā)明的實施例的圖像處理裝置的記錄和重放 裝置的示例性配置的框圖。
具體實施例方式
以下,將結合附圖描述本發(fā)明的實施例。將以以下順序進行描述
1. 第一實施例(圖像處理裝置的示例性基本配置)
2. 第二實施例(對其應用了圖像處理裝置的記錄和重放裝置的示例性配 置)
<1.第一實施例>
圖1是圖示根據本發(fā)明實施例的、具有1DSBM功能的視頻系統(tǒng)圖像處 理裝置的示例性基本配置的框圖。
根據本實施例的視頻信號圖像處理裝置100實現(xiàn)1D超級位映射(SBM)
功能。這里,SBM指這樣的技術,當將多位信號處理結果量化為各位時,通 過在與人類視覺特性協(xié)調的上界內添加噪聲實現(xiàn)信號傳輸而沒有多位分量的 損失。本實施例的圖像處理裝置100配置來根據源的特性進行SBM。換句話說, 在本實施例中,沒有簡單地將1D SBM應用于輸入視頻信號。替代地,基于 原始源信息和關于最終輸出的信息適應性地控制SBM。例如,通過根據源切 換高通濾波器(隨后要描述的HPF)的系數(shù),可以控制SBM的激活或停用。
圖1中示出的圖像處理裝置100包括AV解碼器llO、畫面質量調節(jié)器 120、 1/P塊130、特征分析塊140、 SBM處理器150、源特性信息存儲體160 以及用作控制器的CPU 170。在本實施例中,AV解碼器llO、畫面質量調節(jié) 器120、 1/P塊130和特征分析塊140共同形成處理子系統(tǒng)。
AV解碼器110根據預定壓縮編碼格式解碼輸入音頻和視頻的壓縮數(shù)據 (即,AV解碼器IIO解壓縮壓縮的數(shù)據)。換句話說,AV解碼器110將原始 源轉換為視頻信號。
畫面質量調節(jié)器120具有用于調節(jié)由AV解碼器IIO解碼的視頻信號的 畫面質量的功能。
I/P (隔行掃描/逐行掃描)塊130進行IP轉換,并且將結果輸出到特征 分析塊140和SBM處理器150。
特征分析塊140獲取視頻信號的特征點信息。例如,特征分析塊140可 以全部以每個像素為基礎獲取平坦(flat)部分、灰噪聲部分、蚊狀(mosquito) 部分和細節(jié)部分。此外,特征分析塊140還可以獲取關于特定像素的其他信 息,包括黑色部分、邊緣強度信息、平坦部分信息和色度級信息。
在通過CPU 170的控制下,SBM處理器150可以通過根據源切換高通濾 波器(隨后要描述的HPF)的系數(shù),停用SBM或修改SBM如何進行。
圖2是圖示根據本實施例的、構成SBM處理器的主要部分的色調轉換 器的示例性配置的框圖。
色調轉換器200具有色調轉換功能,用于取例如已經通過噪聲降低處理 擴展到14位圖像的8位圖像的視頻信號,并且將該視頻信號的色調轉換為可 以由給定顯示設備處理和顯示的位深度(如8位、10位或12位)。
色調轉換器200包括抖動加法器210和IDAS調制器220。
抖動加法器210通過將隨機噪聲加到形成那些目標像素的像素值IN(x,y) 使目標像素抖動,然后將結果輸出到1DAS調制器220。
ID AS調制器220對于來自抖動加法器210的抖動 目標像素執(zhí)行ID △Z調制,并且將由得到的像素值OUT(x,y)構成的圖像輸出為色調轉換器200圖3圖示圖2中示出的抖動加法器210的示例性配置。
如圖3所示,抖動加法器210包括算術單元211、高通濾波器(HPF)212、 隨機噪聲輸出單元213和系數(shù)設置單元214。
算術單元211以光柵掃描順序提供有目標像素的像素值IN(x,y),如圖4 所示。算術單元211還提供有來自HPF212的輸出。算術單元211將HPF212 的輸出加到目標像素值IN(x,y),然后將得到的和值提供到ID AZ調制器220 作為抖動的像素值F(x,y)。
基于由系數(shù)設置單元214設置的濾波器系數(shù),HPF 212濾波由隨機噪聲 輸出單元213輸出的隨機噪聲,然后將得到的隨機噪聲的高范圍分量提供到 算術單元2H。
隨機噪聲輸出單元213根據例如高斯分布生成隨機噪聲,并且將結果輸 出到HPF212。
主要地,系數(shù)設置單元214通過確定濾波器系數(shù)HPF-CE1、 HPF-CE2或 HPF-CE3配置HPF 212?;谌祟愐曈X的空間頻率特性以及顯示設備的分辨 率,確定這些濾波器系數(shù)。在本實施例中,系數(shù)設置單元214根據來自CPU 170 的控制指令從濾波器系數(shù)HPF-CE1、 HPF-CE2和HPF-CE3中選擇一個。
因此如上所述,在抖動加法器210中,系數(shù)設置單元214才艮據來自CPU 170的指令從濾波器系數(shù)HPF-CE1 、HPF-CE2和HPF-CE3選擇HPF 212的濾 波器系數(shù)。隨后,HPF 212執(zhí)行算術計算,如取由系數(shù)設置單元214設置的 濾波器系數(shù)和由隨機噪聲輸出單元213輸出的隨機噪聲之間的乘積的和。通 過這樣做,HPF 212濾波由隨機噪聲輸出單元213輸出的隨機噪聲。
結果,HPF 212將隨機噪聲的高范圍分量提供到算術單元211 。
算術單元211將目標像素的14位像素值IN(x,y)和來自HPF 212的隨機 噪聲的高范圍分量加到一起。這導致例如在位長上等于目標像素的位長的14 位和值,或導致更大位長的和值。算術單元211然后將得到的和值輸出到1D 調制器220作為抖動的像素值F(x,y)。
除了控制裝置的整體操作外,CPU 170不簡單地將ID SBM應用到輸入 視頻信號,而是替代地,基于原始源信息和關于最終輸出的信息適應性地控 制SBM。例如,CPU 170可以通過根據源切換高通濾波器(隨后要描述的 HPF)的系數(shù),停用SBM或修改SBM如何進行。CPU 170根據各種信息進行SBM處理器150的開啟/關閉控制。CPU 170 還根據來自電視(TV)的信息進行自動切換控制,以便切換SBM位長。根 據來自AV解碼器110、畫面質量調節(jié)器120、 I/P塊130和特征分析塊140 的信息,CPU 170切換在SBM處理器150中提供的色調轉換器200的抖動加 法器210中的HPF 212的濾波器系數(shù)。
為了以下原因,在本實施例中適應性地控制SBM。
如果簡單地將id sbm應用到輸入視頻信號,則與sbm方向正交的噪 聲分量可能變得明顯。為此,使用圖像分析的結果控制id sbm,使得正交 噪聲不容易明顯。
此外,在一些視頻重放系統(tǒng)中,原始源可能以特定畫面尺寸輸出。如果 將誤差擴散技術應用于這種系統(tǒng),則誤差擴散將被應用于在視頻系統(tǒng)中內部 處理的信號。
在此情況下的問題是,因為處理不同于原始信號的信號,所以即使在誤 差擴散的應用不合適給定源的情況下也應用該誤差擴散。結果,整體圖像表 示幾乎不改進,并且替代地,可能導致作為抖動的缺點之一的降低的S/N比。
因為由視頻信號重放系統(tǒng)以更改的狀態(tài)如此輸出原始源,所以在此控制 SBM,使得將來自應用到原始源的多個處理的結果用來修改SBM設置,并 且進一步增加SBM的效果。
現(xiàn)在將描述由圖1中示出的圖像處理裝置100的CPU 170^l行的控制的 具體示例。
CPU 170根據指示正使用數(shù)字輸出還是模擬輸出的使用信息切換SBM 開啟或關閉。替代地,CPU 170可以根據數(shù)字或模擬分類,從HPF-CEl、 HPF-CE2和HPF-CE3中為HPF 212選擇濾波器系數(shù)。
例如,在通過HDMI的數(shù)字輸出的情況下,CPU 170可以使用HDMI監(jiān) 視器信息(如在圖5中示出的HDMI規(guī)范1.3中獲得的HDMI監(jiān)視器信息) 來自動切換SBM位長。例如,可以控制14位值變?yōu)?2位、10位或8位值。
CPU 170根據來自AV解碼器110、畫面質量調節(jié)器120、 1/P塊130和 特征分析塊140的信息,切換在SBM處理器150中提供的色調轉換器200的抖動加法器210中的HPF212的濾波器系數(shù)。CPU 170還開啟或關閉SBM。 圖6是用于說明用于在本實施例中根據來自各個塊的信息切換HPF的濾 波器系數(shù)的處理的流程圖。 (步驟ST1 )
在步驟ST1中,^r查原始源的編解碼器類型。編解碼器類型可以是例如 MPEG2、 MPEG4 - AVC或VC _ 1 。 (步驟ST2 )
在步驟ST2中,檢查輸入和輸出尺寸的組合。下面給出示例性輸入尺寸。 輸入1920x1080/24p、 1920xl080/60i、 1440xl080/60i、 1280x720/60p、 720x480/60p、 720x480/60i等。 下面給出示例性輸出尺寸。
輸出1920xl080/60p、 1920xl080/24p、 1920xl080/60i、 1280x720/60p、 720x480/60p、 720x480/60i。 (步驟ST3 )
在步驟ST3中,檢查畫面質量調節(jié)功能。例如,可以檢查如噪聲降低(NR) 的功能開啟還是關閉。 (步驟ST4 )
在步驟ST4中,檢查在圖像輸出前是否執(zhí)行I/P轉換。例如,可以檢查 是否將60i轉換為60p。 (步驟ST5 )
在步驟ST5中,檢查來自特征分析塊140的特征信息。關于目標像素的 信息可以包括例如黑色部分、邊緣強度信息、平坦部分信息和色度級信息。 (步驟ST6 )
在步驟ST6中,將從每個塊獲得的分數(shù)得到的信息用作用于關閉SBM 處理器150的基礎,或替代地,用于將HPF 212的濾波器系數(shù)改變?yōu)闉V波器 系數(shù)HPF-CE1 、 HPF-CE2或HPF-CE3的基礎。
圖7圖示源視頻信息的示例。源視頻信息按類別包括如編解碼器類型、 原始源分辨率、主輸出分辨率、外部定標器(scaler )、特殊場景信息和HDMI 輸出信息。
前面如此描述了關于本發(fā)明的第 一 實施例的SBM功能的配置和功能。 下文中,將描述已經應用了圖1中示出的圖像處理裝置的記錄和重放裝置的配置和功能,作為本發(fā)明的第二實施例。 <2.第二實施例>
圖8是圖示已經應用根據本發(fā)明的實施例的圖像處理裝置的記錄和重放 裝置的示例性配置的框圖。
根據本實施例的記錄和重放裝置10配置為這樣的裝置,其能夠將外部提 供的視頻內容記錄到記錄介質(如硬盤驅動器(HDD)或光盤)上,此外重 放已經記錄到這種記錄介質上的視頻內容。記錄和重放裝置IO可以配置為多 功能設備,其操作為使用光盤作為記錄介質的光盤記錄器、以及使用硬盤作 為記錄介質的HDD記錄器。
視頻內容(這里也可以簡稱為"內容")可以是例如從廣播臺接收的電視 廣播節(jié)目、外部輸入的視頻節(jié)目或從如DVD或BD (藍光盤TM )的介質讀取 的視頻節(jié)目的內容。
這里,電視廣播包括經由波段(airwave)(例如如地面數(shù)字或模擬廣播、 BS (廣播衛(wèi)星)廣播和CS (通信衛(wèi)星)廣播)廣播的節(jié)目內容。此外,電視 廣播還包括經由網絡(如有線電視廣播、IPTV (因特網協(xié)議TV)和VOD (視 頻點播))傳遞的節(jié)目內容。
現(xiàn)在將概述根據本實施例的記錄和重放裝置10的特性。 當記錄或重放視頻內容時,根據本實施例的記錄和重放裝置10分析視頻 內容的整體視頻,并且預先獲取表示內容的特性部分的特征點信息。然后, 當另一次重放該視頻內容時,記錄和重放裝置IO應用特征點信息來調節(jié)重放 一見頻的畫面質量。
換句話說,例如當記錄節(jié)目內容時,根據本實施例的記錄和重放裝置10 分析該節(jié)目的內容,并且記錄表示該節(jié)目的視頻的特征的信息(即,特征點 信息)。當隨后重播節(jié)目內容時,記錄和重放裝置10使用特征點信息來動態(tài)
地控制用于該節(jié)目內容的輸出畫面質量調節(jié)功能,從而改進輸出視頻的畫面
質f 。
更具體地,當記錄如電視廣播節(jié)目或電影的視頻內容時,記錄和重放裝
置10分析視頻內容的整體視頻。記錄和重放裝置10然后檢測 目內容中的 特征,如場景改變、淡入淡出(fade)、交叉衰落(cross-fade )、字符出現(xiàn)的 場景和具有大鐘擺(ticker)或字幕的場景。這些特征記錄為特征點信息。隨后,當在視頻內容的重放期間控制輸出畫面質量調節(jié)功能時,記錄和 重放裝置10應用特征點信息作為相對于用于畫面質量調節(jié)的普通控制參數(shù) 的反饋,從而根據視頻的特征動態(tài)地控制輸出畫面質量調節(jié)。
此時,用戶還能夠通過輪轉(toggling)解鎖的配置設置選擇特征點信息 將影響畫面質量調節(jié)多少。
下文中,將詳細描述用于在根據本實施例的記錄和重放裝置10中實現(xiàn)上 述的配置。
現(xiàn)在將結合圖8描述根據本實施例的記錄和重放裝置IO的硬件配置。 圖8是圖示根據本實施例的記錄和重放裝置10的配置的框圖。在圖8
中,"A,,指示音頻信號,而"V"指示視頻信號。
如圖8所示,記錄和重放裝置10包括模擬調諧器11、 A/D轉換器12、
模擬輸入端口 13、 DV (數(shù)字視頻)輸入端口 14、 DV解碼器15和數(shù)字調諧
器16。
記錄和重放裝置10還包括i丄INK端口 17、 USB端口 18、通信單元19、 AV編碼器20、流處理器30、 AV解碼器40、定標器42和音頻處理器44。
記錄和重放裝置10還包括HDD52、光盤驅動器54、特征點提取塊60、 輸出畫面質量調節(jié)塊70、圖形處理器80、顯示處理器82和D/A轉換器84。
記錄和重放裝置10還包括ROM (只讀存儲器)92、 RAM (隨機存取存 儲器)94、用戶接口 96和CPU (中央處理單元)170。
在圖8中示出的記錄和重放裝置10中,AV解碼器40、輸出畫面質量調 節(jié)塊70、圖形處理器80、顯示處理器82和CPU170的視頻處理子系統(tǒng)具有 類似于圖1中示出的圖像處理裝置的那些部件的功能。
可能形成具有等同于特征分析塊140和SBM處理器150的功能塊的顯 示處理器82。也可能將特征分析塊140的功能并入特征點提取塊60而不是 顯示處理器82。
已經結合圖1到6詳細描述了 SBM處理和其控制,因此這里省略其進 一步描述。
下文中,將描述記錄和重放裝置IO的各個組件的配置和功能。 模擬調諧器ll調諧到由用于模擬廣播的天線1接收的波段中希望的頻 道,解調用于該頻道的電磁波,并且生成節(jié)目內容接收機信號(即,音頻/視頻模擬信號)。此外,模擬調諧器11對于接收機信號執(zhí)行預定的視頻信號處理,例如如中頻放大、顏色信號分離、色差信號生成和同步信號提取。然后模擬調諧器11輸出得到的視頻信號。
A/D轉換器12獲取從模擬調諧器11或模擬輸入端口 13輸入的音頻和視
頻模擬信號,以預定的采樣頻率將獲取的模擬信號轉換為數(shù)字信號,并且將
結果輸出到AV編碼器20。
模擬輸入端口 13獲取從外部設備2輸入的音頻和視頻模擬信號。類似地,DV輸入端口 14獲取從外部設備3 (如DV兼容的數(shù)字攝像機)
輸入的音頻和視頻DV信號。
DV解碼器15解碼這種DV信號,并且將結果輸出到AV編碼器20。數(shù)字調諧器16調諧到由用于衛(wèi)星或地面數(shù)字廣播的天線4接收的波段中
希望的頻道,然后在該頻道上將節(jié)目內容的音頻和視頻數(shù)字數(shù)據(即,比特
流)輸出到流處理器30。
其他外部輸入端口 (如i丄INK端口 17和USB端口 18 )可以連接到外
部設備5和6,如HDV (高清晰度視頻)兼容的數(shù)字攝像機。經由i丄INK端
口 17將來自外部設備5由IEEE 1394傳送的音頻和視頻HDV信號(即,流)
輸入流處理器30。
通信單元19經由IP網絡(如以太網7)與外部裝置(未示出)交換各種數(shù)據。例如,通信單元19可以接收經由以太網7傳送的IPTV節(jié)目內容的音頻和視頻信號,然后將這種信號輸出到流處理器30。
AV編碼器20是通過作為壓縮和編碼音頻和視頻信號的編碼單元的示例配置的硬件。AV編碼器20獲取從如A/D轉換器12、 DV解碼器15、以及隨后描述的定標器42和音頻處理器44的組件輸入的音頻和視頻信號,并且使用預定的編解碼器類型編碼信號。
AV編碼器20是與HD (高清晰度)和SD (標準清晰度)視頻兼容的高性能編碼器,因此除了 SD分辨率以外能夠以HD分辨率編碼視頻信號。
此外,AV編碼器20還與立體聲和多聲道音頻兼容,因此除了兩聲道音頻信號以外能夠編碼多聲道音頻信號。
AV編碼器20編碼要以對應于由CPU 170確定的記錄才莫式的比特率記錄的內容的音頻和視頻信號。AV編碼器20將以此方式編碼的音頻/視頻信號的壓縮數(shù)據(即,比特流)輸出到流處理器30。當將數(shù)據記錄到記錄介質或從記錄介質回放數(shù)據時,流處理器30以預定
方式處理要記錄或回放的數(shù)據(即,流)。例如,當記錄數(shù)據時,流處理器
30復用并加密由AV編碼器20編碼的壓縮數(shù)據,然后在執(zhí)行緩沖控制的同時將結果記錄到記錄單元50中的記錄介質。(記錄單元50包括HDD52和光盤驅動器54。)相反,當重放數(shù)據時,流處理器30從記錄單元50中的記錄介質讀取壓縮數(shù)據,解密并解復用讀取的數(shù)據,然后將結果輸出到AV解碼器40。
AV解碼器40是通過作為解碼壓縮的音頻和視頻信號的解碼單元的示例配置的硬件。AV解碼器40獲取從流處理器30輸入的音頻和視頻信號的壓縮數(shù)據,并且使用預定的編解碼器類型解碼(即,解壓縮壓縮的數(shù)據)。
由上面的視頻的AV編碼器20和AV解碼器40使用的編解碼器類型包括例如MPEG-2、 H.264AVC (高級視頻編碼)和VC1。對于音頻,編解碼器類型可以包括例如杜比AC3、 MPEG-2 AAC (高級音頻編碼)和LPCM(線性脈沖編碼調制)。
此外,如上所述,以多種陣列的格式的音頻A見頻信號可以從外部源輸入記錄和重放裝置10。取決于視頻質量,這種視頻信號的格式(即,畫面尺寸)可以包括例如480i、 480p、 720p、 1080i和1080p。
例如,1080i指以30 fJDs的幀速率傳輸?shù)摹⒕哂懈粜袙呙韪袷降?總共1125條中的)1080條可視水平掃描線的視頻信號。1080i信號的分辨率是1920x1080或1440x1080像素。
另一方面,720p指以60fi)s的幀速率傳輸?shù)摹⒕哂兄鹦袙呙韪袷降?總共750條中的)720條可視水平掃描線的視頻信號。720p信號的分辨率是1280x720或960x720像素。
在上面給出的視頻信號格式中,480i和480p由于它們小數(shù)目的掃描線和低分辨率而分類在SD視頻類別(下文中稱為SD類別)中。
相反,720p、 1080i和1080p由于它們大lt目的掃描線和高分辨率而分類在HD視頻類別(下文中稱為HD類別)中。
同時,音頻信號格式(即,聲道的數(shù)目)可以例如包括1CH、 2CH、 5.1CH、 7.1 CH、 4CH、 5CH和6CH。
例如,5.1 CH指從6個揚聲器輸出的多聲道音頻信號位于相對于聽眾的正前、右前、左前、右后和左后的5個揚聲器,以及用于產生低頻效果(LFE)的第6個亞低音揚聲器(subwoofer )。
在上面給出的音頻信號格式中,1 CH (單聲道)和2CH (立體聲)由于它們相對小數(shù)目的聲道和低聲音質量而分類在立體聲音頻類別(下文中稱為立體聲類別)中。
相反,5.1 CH、 6.1 CH、 7.1 CH、 4 CH和5 CH由于它們相對大數(shù)目的聲道和高聲音質量而分類在多聲道音頻類別(下文中稱為多聲道類別)中。
記錄和重放裝置10還包括用于將以上述格式之一輸入的各種音頻/視頻信號轉換為與特定記錄介質兼容的預定記錄格式的格式轉換器。格式轉換器
包括定標器42 (視頻格式轉換器)和音頻處理器44 (音頻格式轉換器)。
基于來自CPU 170的指今,定標器42將從AV解碼器40輸入的視頻信號的格式轉換為預定記錄格式。(換句話說,定標器42調節(jié)畫面尺寸。)例如,如果以屬于HD類別的格式(如,720p或1080p)輸入視頻信號,則定標器42可以將該視頻信號轉換為與記錄介質兼容的預定記錄格式1080i。在轉換畫面尺寸后,定標器42將得到的視頻信號輸出到AV編碼器20。
以此方式,定標器42不但包括用于在HD和SD分辨率之間轉換畫面尺寸的典型定標器功能,而且包括用于在屬于相同的視頻格式類別的多種格式之間轉換畫面尺寸的功能。這里,這種畫面尺寸轉換功能包括例如在HD類別中將視頻從720p轉換到1080i。
基于來自CPU170的指令,音頻處理器44將從AV解碼器W輸入的音頻信號的格式轉換為預定記錄格式。(換句話說,音頻處理器44修改聲道的數(shù)目。)例如,如果以屬于多聲道類別(如7.1CH、 4CH或5CH)的才各式輸入音頻信號,則音頻處理器44可以將音頻信號轉換為預定的多聲道記錄格式5.1 CH,所述5.1 CH與記錄和重放裝置IO兼容。在修改聲道的數(shù)目后,音頻處理器44將得到的音頻信號輸出到AV編碼器20。
以此方式,音頻處理器44不但包括用于在不同類別的音頻格式之間轉換聲道數(shù)目的功能,而且還包括用于在屬于相同音頻格式類別的多種格式之間轉換聲道數(shù)目的功能。這里,這種聲道數(shù)目轉換功能包括例如在多聲道類別中將音頻從5 CH轉換為5.1 CH。
記錄和重放裝置10還包括記錄單元50,其將如內容的音頻和視頻數(shù)據的信息記錄到記錄介質。根據本實施例的記錄和重放裝置10中的記錄單元50可以包括例如硬盤驅動器(HDD) 52和光盤驅動器54。HDD 52從用作記錄介質的硬盤讀取各種信息,并且將各種信息寫入所述硬盤。例如,HDD52可以將從流處理器30輸入的音頻/視頻信號流記錄到硬盤。此外,HDD52可以讀取記錄到硬盤上的數(shù)據,并且將讀取的數(shù)據輸出到流處理器30。
類似地,光盤驅動器54從用作記錄介質的光盤讀取各種信息,并且將各種信息寫入所述光盤。例如,用戶可以將具有記錄在其上的視頻內容的銷售的可移除記錄介質(如DVD或BD)插入光盤驅動器54。通過這樣做,光盤驅動器54能夠從可移除記錄介質讀取和重放;規(guī)頻內容。
以此方式,記錄和重放裝置10中的記錄單元50具有2個主要組件HDD52和光盤驅動器54。通過這些組件,可以將記錄在HDD52上的內容記錄到光盤驅動器54上,反之亦然。
任意記錄介質可用作上述記錄介質。例如,可以使用如硬盤的磁盤,以及如下一代DVD (如藍光盤)和DVD - R、 DVD - RW或DVD - RAM盤的光介質。
替代地,其他任意記錄介質可以用作上述記錄介質,如^f茲光或類似光盤,以及如閃存的各種半導體存儲器。
此外,記錄介質可以是記錄和重放裝置10中固定的記錄介質,或可以加載到記錄和重放裝置10中并從記錄和重放裝置IO上載的可移除記錄介質。
使用例如具有用于分析視頻信號并提取關于內容視頻中的特征點的信息的功能的硬件配置特征點提取塊60。當將外部獲取的內容記錄到記錄單元50中的記錄介質上時,或當重放記錄到記錄介質上的內容時,特征點提取塊60根據來自CPU 170的指令分析內容的視頻信號。然后特征點提取塊60從視頻信號提取表示內容視頻中的特征點的信息,并且將得到的信息輸出到CPU170。
輸出畫面質量調節(jié)塊70配置為例如具有用于調節(jié)輸出畫面質量的功能的硬件。當重放記錄在記錄單元50中的記錄介質上的內容時,輸出畫面質量調節(jié)塊70根據來自CPU 170的指令調節(jié)重放內容的輸出畫面質量。此時,CPU 170基于特定內容,使用與重放內容有關的特征點信息動態(tài)地控制輸出畫面質量調節(jié)塊70的操作。
當重放數(shù)據時,圖形處理器80生成信息,如指示記錄和重放裝置10的配置設置或操作條件的字幕或顯示數(shù)據。然后圖形處理器80將這種顯示數(shù)據和字幕覆蓋到從輸出畫面質量調節(jié)塊70輸出的重放視頻。
顯示處理器82處理由圖形處理器80生成的合成視頻,例如根據輸出格式調節(jié)畫面尺寸。顯示處理器82還包括之前描述的sbm功能。
在通過cpu 170的控制下,顯示處理器82不簡單將1d sbm應用到輸入視頻信號。替代地,基于原始源信息和關于最終輸出的信息適應性地控制sbm。例如,顯示處理器82通過根據源切換高通濾波器(hpf)的系數(shù),可以停用sbm或修改如何進行sbm。
d/a轉換器84取從顯示處理器82輸入的數(shù)字視頻信號和從av解碼器40輸入的數(shù)字音頻信號,將信號轉換為模擬信號,并且將結果輸出到監(jiān)視器8和一個或多個揚聲器9。
cpu 170用作計算處理裝置和控制裝置,并且控制記錄和重放裝置10中的各個組件。cpu 170根據rom 92中存儲的或從記錄單元50加載到ram94中的程序,使用ram94執(zhí)行各種處理。rom92存儲如由cpu 170使用的程序和計算參數(shù)的信息,并且還用作用于減少通過cpu 170對記錄單元50的訪問的緩沖器。ram 94暫時存儲由cpu 170執(zhí)行的程序、以及在這種程
序的執(zhí)行期間改變的參數(shù)或其他信息。此外,cpu no還用作其他組件,如
特性信息獲取器、分析器、控制例程生成器和畫面質量調節(jié)控制器。
用戶接口 96用作輸入單元,從而用戶輸入關于記錄和重放裝置10的各種指令。用戶接口 96可以包括可操作鍵(如按鈕、開關和操縱桿)或其他可操作部件(如觸摸面板或遙控器)。用戶接口 96還包括響應于對于上面的可操作部件執(zhí)行的輸入操作生成輸入信號、然后將生成的輸入信號輸出到cpu170的輸入控制電路。通過操作用戶接口 96,記錄和重放裝置io的用戶能夠輸入各種數(shù)據并且將用于處理操作的指令發(fā)布到記錄和重放裝置10。
在接收對于用戶接口 96進行的用戶輸入時,cpu 170基于用戶輸入,例如控制內容的記錄或重放,或配置安排的廣播節(jié)目的記錄。
現(xiàn)在將描述由如圖8所示配置的記錄和重放裝置10執(zhí)行的記錄操作。例如當已經安排用于記錄的記錄節(jié)目內容時,或當直接響應于用戶指令記錄節(jié)目內容時,執(zhí)行這種記錄操作。此外,當記錄外部輸入的內容時,或當在hdd52和光盤驅動器54之間復制內容時,也可以執(zhí)行這種記錄操作。
首先,將描述用于將外部輸入的模擬信號編碼并且記錄在記錄介質上的情況的序列。例如,在使用天線1接收模擬電視廣播時,通過A/D轉換器12將從模擬調諧器11輸出的模擬視頻信號和模擬音頻信號數(shù)字化。隨后,通過AV編碼器20編碼數(shù)字音頻和視頻信號,并且轉換為比特流。此外,數(shù)字音頻和視頻信號通過流處理器30復用并加密,然后在緩沖控制下的同時記錄到HDD52或光盤驅動器54中的記錄介質上。
上面如此描述了以從模擬調諧器11輸出的模擬信號的形式記錄輸入信號的示例。然而,也可以給出如下的其他的記錄示例。
(1)可能記錄經由模擬輸入端口 13從外部設備2獲取的外部模擬輸入信號。
(2 )可能使用DV解碼器15來經由DV輸入端口 14解碼和獲取來自DV兼容的數(shù)字攝像機或類似的外部設備3的DV信號。對于上面的兩種情況的任一,序列是相似的。
現(xiàn)在將描述用于下面情況的序列,其中,在被解碼后,外部輸入數(shù)字信號(即,比特流)重新編碼為與特定記錄介質兼容的數(shù)字記錄格式,然后記錄到該'特定記錄介質。
例如,在使用天線4接收數(shù)字電視廣播時,通過流處理器30將從數(shù)字調諧器16輸出的比特流解擾碼并解復用為音頻信號和視頻信號,然后輸入到AV解碼器40。隨后,通過AV解碼器40解碼數(shù)字視頻信號和數(shù)字音頻信號。
通過定標器42適當?shù)貙⒔獯a的數(shù)字視頻信號調節(jié)大小到預定的畫面尺寸,然后輸入AV編碼器20。同時,通過音頻處理器44適當?shù)貙⒔獯a的數(shù)字音頻信號轉換為預定數(shù)目的聲道,然后輸入AV編碼器20。
隨后,類似于上述模擬信號,通過AV編碼器20將轉換的數(shù)字音頻/視頻信號編碼(即,重新編碼)。然后轉換的數(shù)字音頻/視頻信號通過流處理器30復用和加密,并且在緩沖控制下的同時記錄到HDD 52或光盤驅動器54中的記錄介質上。
以此方式,當要記錄的輸入信號是壓縮的數(shù)字信號(即,流)時,當適當時重新編碼該信號。換句話說,壓縮的數(shù)字信號首先通過AV解碼器40解碼為流數(shù)據,通過定標器42和音頻處理器44轉換為不同的格式,通過AV編碼器20重新編碼為與特定記錄介質兼容的預定記錄格式,然后記錄在該記錄介質上。還應該理解,在輸入數(shù)字信號原始處于與該記錄介質兼容的預定格式的情況下,可以省略重新編碼。上面如此描述了記錄從數(shù)字調諧器16輸出的數(shù)字廣播的音頻/視頻信號的示例。然而,也可以如下給出其他的記錄示例。
(1) 可能記錄經由i丄INK端口 17從HDV攝像機或類似外部設備5獲取的HDV信號(即,流)。
(2) 可能記錄經由以太網7和通信單元19接收的IPTV輸入流。
(3 )可能讀取已經直接記錄到HDD 52或其他記錄介質上的外部流。這里,直接記錄指將例如從經由USB端口 18連接的外部設備6獲取的輸入流或接收的數(shù)字廣播的HD視頻流記錄到HDD 52上。
(4 )還可能將從光盤驅動器54中的光盤讀取的流記錄到HDD 52上。對于所有上面的情況,序列是相似的。
此外,當將像上述的各種外部提供的內容記錄到根據本實施例的記錄和重放裝置10的記錄單元50中的記錄介質時,也處理要記錄的內容,以便提取特征點信息并且創(chuàng)建控制例程。
更具體地,當記錄內容時,從流處理器30將要記錄的內容的視頻信號輸入特征點提取塊60。通過特征點提取塊60和CPU 170分析#見頻信號,并且提取表示要記錄的內容的整體視頻的特征的特征點信息。
基于特征點信息,生成用于當在隨后的重放期間調節(jié)內容的畫面質量時控制輸出畫面質量調節(jié)塊70的控制例程。例如,將控制例程存儲在記錄單元50的HDD 52中。
以此方式,當相對于根據本實施例的記錄和重放裝置10中的記錄單元50記錄內容時,根據關于內容視頻的特征點信息,為每組內容創(chuàng)建和記錄控制例程。
現(xiàn)在將描述由如圖8所示配置的記錄和重放裝置IO執(zhí)行的重放操作。當重放在過去或在追逐(chase)播放期間記錄的內容時執(zhí)行這種重放操作,其中當剩余的內容仍在記錄的過程中的同時從開始起重放內容。
首先,通過記錄單元50的HDD 52或光盤驅動器54,從其上記錄內容的記錄介質讀取要重放的內容的數(shù)據(即,視頻、音頻和字幕或其他數(shù)據)。通過流處理器30將如此讀取的比特流解密和解復用為音頻流和視頻流。
接下來,通過AV解碼器40分別解碼視頻流和音頻流(即,壓縮的數(shù)據)。然后將解碼的視頻流(即,重放視頻信號)輸入到輸出畫面質量調節(jié)塊70,并且為了畫面質量調節(jié)進行處理。此時,CPU 170基于特征點信息,遵循之前為當前內容創(chuàng)建的控制例程,控制輸出畫面質量調節(jié)塊70。通過這樣做,在要重放的內容的視頻中的適當位置執(zhí)行適當?shù)漠嬅尜|量調節(jié)。
息添加到調節(jié)的視頻流。此外,通過顯示處理器82調節(jié)各參數(shù)(如視頻流的畫面尺寸),以便匹配輸出格式。然后將得到的視頻流數(shù)字輸出,或替代地,輸入D/A轉換器84。
此外,視頻處理器82不簡單地將1D SBM應用于輸入視頻信號。替代地,由CPU 170基于原始源信息和關于最終輸出的信息適應性地控制SBM。例如,顯示處理器82可以通過根據源切換高通濾波器(HPF)的系數(shù),停用SBM或f,改SBM如<可進4亍。
同時,從AV解碼器40輸出的音頻流適當?shù)亟洑v預定的音頻處理,然后輸入D/A轉換器84。
結果,通過D/A轉換器84將表示音頻和視頻流的數(shù)字信號分別轉換為模擬信號,然后輸出到外部設備,如監(jiān)視器8和一個或多個揚聲器9。監(jiān)視器8顯示重放內容的視頻,而一個或多個揚聲器9輸出重放內容的音頻。
根據本實施例的記錄和重放裝置IO還可以執(zhí)行處理,以便即使當重放如上所述的這種內容時,也提取和分析關于要重放的內容的特征點信息。
例如,如當通過可移除記錄介質(如零售的DVD或BD )將內容提供到記錄和重放裝置10時,對于記錄到可移除記錄介質上的內容不進行如特征點信息的提取的處理。
因此,在此情況下,當重放內容時(例如,當首次重放內容時),執(zhí)行特征點信息的提取和處理,并且創(chuàng)建用于調節(jié)內容的畫面質量的控制例程。
更具體地,當重放內容時,從流處理器30將從記錄單元50讀取的要重放的內容的視頻信號輸入特征點提取塊60。然后執(zhí)行與記錄內容時執(zhí)行的處理類似的處理,其中基于來自視頻信號的分析的結果提取要重放的內容的特征點信息,基于該特征點信息創(chuàng)建控制例程,然后將控制例程記錄到記錄單元50中的記錄介質。通過這樣做,在隨后的內容的重放期間基于控制例程最佳地調節(jié)要重放的內容的畫面質量。
如之前所述,根據本實施例的圖像處理裝置100配置來根據源的特性進行SBM。換句話說,在本實施例中,不簡單地將1DSBM應用于輸入視頻信號,替代地,基于原始源信息和關于最終輸出的信息適應性地控制1DSBM。
例如,通過根據源切換高通濾波器(HPF)的系數(shù),可以停用SBM或可以修 改SBM。
結果,根據本發(fā)明的實施例,避免誤差擴散的不適當應用,并且根據源 的特性適應性地應用色調轉換功能。換句話說,變得可能適應性地利用SBM 的優(yōu)點。
還可能將上述方法形成為對應于之前描述的序列并且配置用于由CPU 或類似計算機執(zhí)行的程序。此外,這種程序可以提供在記錄介質上,如半導 體存儲器、磁盤、光盤或軟盤,其中程序可以由已經在其中設置記錄介質的 計算機來訪問和執(zhí)行。
本申請包含涉及于2008年9月26日向日本專利局提交的日本優(yōu)先權專 利申請JP 2008-249276中公開的主題內容,在此通過引用并入其全部內容。
本領域的技術人員應該理解,取決于設計要求和其他因素,可以出現(xiàn)各 種修改、組合、子組合和替換,只要他們在權利要求或其等同物的范圍內。
權利要求
1.一種圖像處理裝置,包括處理子系統(tǒng),配置來對于原始視頻源執(zhí)行各種處理;色調轉換器,配置來轉換色調位深度,其具有用于在轉換后的圖像中創(chuàng)建表示轉換前的色調級的假象的可修改的色調轉換功能;以及控制器,配置來至少根據原始源信息和系統(tǒng)范圍的設置信息開啟所述色調轉換器、關閉所述色調轉換器、或修改所述色調轉換器的色調轉換功能。
2. 如權利要求1所述的圖像處理裝置,其中所述色調轉換器包括濾波器,配置來根據設置的濾波器系數(shù)濾波已經產 生的隨機噪聲,以及
3. 如權利要求1或2所述的圖像處理裝置,其中 所述控制器根據來自電視的信息控制所述色調轉換器中的位長的自動切換。
4. 如權利要求3所述的圖像處理裝置,其中所述控制器使用在數(shù)字輸出期間從監(jiān)視器信息獲得的信息,控制所述色 調轉換器中的位長的自動切換。
5. 如權利要求1到3的任一所述的圖像處理裝置,其中 所述控制器根據來自處理子系統(tǒng)的各種信息,開啟所述色調轉換器,關閉所述色調轉換器,或切換所述色調轉換器的色調轉換功能中的濾波器系數(shù)。
6. 如權利要求5所述的圖像處理裝置,其中所述控制器根據指示正使用數(shù)字輸出還是模擬輸出的使用信息,開啟或 關閉所述色調轉換器。
7. 如權利要求5或6所述的圖像處理裝置,其中 所述控制器根據數(shù)字或模擬分類修改所述濾波器系數(shù)。
8. 如權利要求1到7的任一所述的圖像處理裝置,其中所述色調轉換器 包括抖動加法器,配置來通過將隨機噪聲添加到形成目標圖像的像素值,將 抖動應用到所述目標圖像,以及ai:調制器,配置來將一維as調制應用到來自所述抖動加法器的抖動的目標圖像,并且輸出由得到的像素值構成的圖像。
9. 如權利要求1到8的任一所述的圖像處理裝置,其中 所述處理子系統(tǒng)包括解碼器,配置來將原始源轉換為視頻信號, 畫面質量調節(jié)器,配置來調節(jié)解碼的視頻信號的畫面質量, I/P單元,配置來將畫面質量調節(jié)器的輸出從隔行掃描I轉換為逐 行掃描P格式,并且將結果提供到所述色調轉換器,以及特征分析器,配置來獲取關于從I/P單元輸出的視頻信號的特征點息,并且其中所述控制器配置來根據來自所述解碼器、畫面質量調節(jié)器、1/P單元和特 征分析器的信息,開啟所述色調轉換器,關閉所述色調轉換器,或修改所述 色調轉換器的色調轉換功能。
10. —種圖像處理方法,包括以下步驟 對于原始^L頻源-執(zhí)行各種處理;至少根據原始源信息和系統(tǒng)范圍的設置信息,開啟色調轉換器、關閉所述色調轉換器、或修改所述色調轉換器的色調轉換功能;當已經關閉所述色調轉換器時,停止色調轉換功能的表示;以及當已經開啟所述色調轉換器時,轉換經歷各種處理的圖像信號的色調位深度,以便在轉換后的圖像中創(chuàng)建表示轉換前的色調級的假象。
11. 一種使得計算機執(zhí)行包括以下步驟的圖像處理的程序 對于原始視頻源執(zhí)行各種處理;至少根據原始源信息和系統(tǒng)范圍的設置信息,開啟色調轉換器、關閉所述色調轉換器、或修改所述色調轉換器的色調轉換功能;當已經關閉所述色調轉換器時,停止色調轉換功能的表示;以及當已經開啟所述色調轉換器時,轉換經歷各種處理的圖像信號的色調位深度,以便在轉換后的圖像中創(chuàng)建表示轉換前的色調級的假象。
全文摘要
一種圖像處理裝置避免誤差擴散的不適當應用,并且根據源的特性適應性地應用色調轉換功能。處理子系統(tǒng)對于原始視頻源執(zhí)行各種處理。色調轉換器轉換色調位深度,其具有用于在轉換后的圖像中創(chuàng)建表示轉換前的色調級的假象的可修改的色調轉換功能??刂破髦辽俑鶕荚葱畔⒑拖到y(tǒng)范圍的設置信息開啟所述色調轉換器、關閉所述色調轉換器、或修改所述色調轉換器的色調轉換功能。本發(fā)明還涉及圖像處理方法和程序。
文檔編號H04N5/00GK101686307SQ20091017852
公開日2010年3月31日 申請日期2009年9月27日 優(yōu)先權日2008年9月26日
發(fā)明者太田正志, 廣田洋一, 池田潔, 濱田敏道, 長沼宏昌, 高橋巨成 申請人:索尼株式會社