專利名稱：圖像處理裝置及方法、圖像顯示裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可減少因攝像元件的時(shí)間積分效果引起的顯示視頻的動(dòng)態(tài) 模糊、呈現(xiàn)髙品質(zhì)顯示視頻的圖像顯示裝置及利用該裝置的圖像顯示方法， 以及圖像處理裝置及利用該裝置的圖像處理方法。
背景技術(shù)：
在實(shí)現(xiàn)動(dòng)態(tài)圖像的用途方面以往主要使用陰極射線管(CRT: Cathode Ray Tube)，與陰極射線管相比，LCD (Liquid Crystal Display:液晶顯示 器)在顯示動(dòng)態(tài)圖像時(shí)，存在觀賞者感覺(jué)到動(dòng)態(tài)部分的輪廓模糊、即所謂 動(dòng)態(tài)模糊的缺點(diǎn)。該動(dòng)態(tài)模糊認(rèn)為是由LCD的顯示方式本身所引起的(例 如，參照日本專利第3295437號(hào)說(shuō)明書；"石黑秀一、栗田泰市郎《采用8 倍速CRT的保持發(fā)光型顯示器的動(dòng)態(tài)畫質(zhì)的相關(guān)研究》，信學(xué)技報(bào)，社團(tuán) 法人電子信息通信學(xué)會(huì)，EID96-4(1996-06), p.19-26")。
在掃描電子束使熒光體發(fā)光從而進(jìn)行顯示的CRT中，各像素的發(fā)光雖 然存在熒光體的少許殘留光，但仍呈大致脈沖狀。稱之為脈沖型顯示方式。 另一方面，在LCD中，通過(guò)對(duì)液晶施加電場(chǎng)而累積的電荷直到下一次施加 電場(chǎng)為止，以較高的比例加以保持。特別是在TFT方式的情況下，對(duì)構(gòu)成 像素的每一點(diǎn)設(shè)置TFT開關(guān)，通常還對(duì)各像素設(shè)置輔助電容，從而所累積 電荷的保持能力極高。因此，像素直到施加基于下一幀或場(chǎng)(以下以幀為 代表)的圖像信息的電場(chǎng)而被改寫為止都持續(xù)發(fā)光。稱之為保持型顯示方 式。
在上述那樣的保持型顯示方式中，由于圖像顯示光的脈沖響應(yīng)具有在 時(shí)間上的寬度，因此時(shí)間頻率特性變差，隨之空間頻率特性也下降，從而 發(fā)生動(dòng)態(tài)模糊。即，由于人的視線流暢地跟蹤運(yùn)動(dòng)物體，所以若像保持型 那樣發(fā)光時(shí)間長(zhǎng)，則通過(guò)時(shí)間積分效果，圖像的運(yùn)動(dòng)就變得不流暢，看起 來(lái)不自然。
5為了改善上述保持型顯示方式的動(dòng)態(tài)模糊，已知有通過(guò)在幀間內(nèi)插圖
像來(lái)變換幀率(幀數(shù))的技術(shù)。該技術(shù)被稱為FRC(Frame Rate Converter: 幀率變換)，在液晶顯示裝置等中已實(shí)用化。
以往，變換幀率的方法有僅多次重復(fù)讀出同一幀、或采用幀間線性內(nèi) 插(線性插值)的幀內(nèi)插等各種方法(例如，參照山內(nèi)達(dá)郎《電視方式變 換》，電視學(xué)會(huì)雜志，Vo1.45， No.12， pp.l534-1543(1991))。然而，在采 用線性插值的幀內(nèi)插處理的情況下，隨著幀率變換會(huì)發(fā)生運(yùn)動(dòng)不自然(顫 抖、抖動(dòng))，并且不能充分改善上述保持型顯示方式引起的動(dòng)態(tài)模糊的問(wèn) 題，不足以改善畫質(zhì)。
因此，為了消除上述顫抖的影響來(lái)改善動(dòng)態(tài)畫質(zhì)，提出了利用運(yùn)動(dòng)矢 量的運(yùn)動(dòng)補(bǔ)償型幀內(nèi)插處理。根據(jù)此處理，捕捉動(dòng)態(tài)圖像本身來(lái)補(bǔ)償圖像 的運(yùn)動(dòng)，所以分辨率不會(huì)變低，也不會(huì)發(fā)生顫抖，可以獲得極自然的動(dòng)態(tài) 圖像。而且，由于內(nèi)插圖像信號(hào)是通過(guò)運(yùn)動(dòng)補(bǔ)償形成的，所以能充分改善 上述保持型顯示方式所引起的動(dòng)態(tài)模糊的問(wèn)題。
上述日本專利第3295437號(hào)說(shuō)明書中揭示了一種技術(shù)，通過(guò)與運(yùn)動(dòng)相 適應(yīng)地生成內(nèi)插幀，用于提高顯示圖像的幀頻，改善導(dǎo)致動(dòng)態(tài)模糊的空間 頻率特性的降低。該技術(shù)根據(jù)前后幀與運(yùn)動(dòng)相適應(yīng)地形成內(nèi)插到顯示圖像 的幀間的至少---個(gè)內(nèi)插圖像信號(hào)，將形成的內(nèi)插圖像信號(hào)內(nèi)插到幀間并依 次進(jìn)行顯示。
圖1是表示以往的液晶顯示裝置中的FRC驅(qū)動(dòng)顯示電路的簡(jiǎn)要結(jié)構(gòu)的 框圖，圖中，F(xiàn)RC驅(qū)動(dòng)顯示電路由以下構(gòu)成通過(guò)在輸入圖像信號(hào)的幀間 內(nèi)插實(shí)施了運(yùn)動(dòng)補(bǔ)償處理的圖像信號(hào)來(lái)變換輸入圖像信號(hào)的幀數(shù)的FRC部 100;具有液晶層和用于對(duì)該液晶層施加掃描信號(hào)及數(shù)據(jù)信號(hào)的電極的有源 矩陣型液晶顯示面板203;以及用于根據(jù)經(jīng)FRC部100進(jìn)行了幀率變換的 閣像信號(hào)驅(qū)動(dòng)液晶顯示面板203的掃描電極及數(shù)據(jù)電極的電極驅(qū)動(dòng)部204。
FRC部100包括從輸入圖像信號(hào)檢測(cè)出運(yùn)動(dòng)矢量信息的運(yùn)動(dòng)矢量檢 測(cè)部101;以及根據(jù)運(yùn)動(dòng)矢量檢測(cè)部101獲得的運(yùn)動(dòng)矢量信息生成內(nèi)插幀的 內(nèi)插幀生成部102。
在上述結(jié)構(gòu)中，運(yùn)動(dòng)矢量檢測(cè)部101例如可以利用塊匹配法、梯度法等求出運(yùn)動(dòng)矢量信息，或者當(dāng)輸入圖像信號(hào)中以某種形式包含運(yùn)動(dòng)矢量信
息時(shí)，也可以利用該信息。例如，用MPEG方式進(jìn)行壓縮編碼的圖像數(shù)據(jù) 中包含編碼時(shí)算出的動(dòng)態(tài)圖像的運(yùn)動(dòng)矢量信息，就可以采用獲取該運(yùn)動(dòng)矢 量信息的結(jié)構(gòu)。
圖2是用于說(shuō)明采用圖1所示的以往的FRC驅(qū)動(dòng)顯示電路的幀率變換 處理的圖。FRC部100進(jìn)行以下處理通過(guò)使用從運(yùn)動(dòng)矢量檢測(cè)部101輸 出的運(yùn)動(dòng)矢量信息進(jìn)行運(yùn)動(dòng)補(bǔ)償處理，從而生成幀間的內(nèi)插幀(圖中涂成 灰色的圖像)，將該生成的內(nèi)插幀信號(hào)與輸入幀信號(hào)一起依次輸出，從而 將輸入圖像信號(hào)的幀率從例如每秒60幀(60Hz)變換到每秒120幀 (120Hz)。
圖3是用于說(shuō)明采用運(yùn)動(dòng)矢量檢測(cè)部101及內(nèi)插幀生成部102的內(nèi)插 幀生成處理的圖。運(yùn)動(dòng)矢量檢測(cè)部101利用梯度法等從圖2所示的例如幀 #1和幀#2檢測(cè)出運(yùn)動(dòng)矢量205。目卩，運(yùn)動(dòng)矢量檢測(cè)部101在幀#1和幀#2 的l/60秒期間，通過(guò)測(cè)定向哪個(gè)方向運(yùn)動(dòng)且運(yùn)動(dòng)多少，求出運(yùn)動(dòng)矢量205。 接著，內(nèi)插幀生成部102利用求出的運(yùn)動(dòng)矢量205,在幀#1和幀#2之間分 配內(nèi)插矢量206。通過(guò)根據(jù)該內(nèi)插矢量206使對(duì)象(這里是汽車)從幀#1 的位置移動(dòng)到1/120秒后的位置，從而生成內(nèi)插幀207。
這樣，通過(guò)利用運(yùn)動(dòng)矢量信息進(jìn)行運(yùn)動(dòng)補(bǔ)償幀內(nèi)插處理，提髙顯示幀 頻，從而可以使LCD (保持型顯示方式)的顯示狀態(tài)接近CRT (脈沖型顯 示方式)的顯示狀態(tài)，能夠改善由顯示動(dòng)態(tài)圖像時(shí)發(fā)生的動(dòng)態(tài)模糊引起的 圖像劣化。
這里，在上述運(yùn)動(dòng)補(bǔ)償幀內(nèi)插處理中，為了進(jìn)行運(yùn)動(dòng)補(bǔ)償，運(yùn)動(dòng)矢量 的檢測(cè)不可缺少。作為檢測(cè)該運(yùn)動(dòng)矢量的典型方法，提出了例如塊匹配法、 梯度法等。在梯度法中，在連續(xù)的兩幀間對(duì)各像素或每個(gè)小塊檢測(cè)運(yùn)動(dòng)矢 量，由此對(duì)兩幀間的內(nèi)插幀的各像素或各小塊進(jìn)行內(nèi)插。即，通過(guò)對(duì)兩幀 間的任意位置的圖像進(jìn)行正確的位置修正并內(nèi)插，從而進(jìn)行幀數(shù)變換。
通過(guò)如上所述那樣進(jìn)行運(yùn)動(dòng)補(bǔ)償型幀內(nèi)插處理，提高顯示幀頻，從而 能夠改善由保持型顯示引起的動(dòng)態(tài)模糊所造成的畫質(zhì)劣化，但有時(shí)輸入圖 像信號(hào)中包含有因攝像元件的時(shí)間積分效果引起的動(dòng)態(tài)模糊(也稱為攝像機(jī)模糊)，此攝像元件的時(shí)間積分效果所引起的動(dòng)態(tài)模糊會(huì)造成畫質(zhì)劣化。
因此，例如日本國(guó)專利特開2002-373330號(hào)公報(bào)提出了去除此攝像元件的 時(shí)間積分效果引起的動(dòng)態(tài)模糊并且生成自然的圖像、提高清晰感的圖像處 理裝置。以下，結(jié)合圖4對(duì)此日本國(guó)專利特開2002-373330號(hào)公報(bào)所述的 以往的圖像處理裝置進(jìn)行說(shuō)明。
圖4是表示以往的圖像處理裝置的的結(jié)構(gòu)的功能框圖。提供給圖像處 理裝置的輸入圖像被提供給對(duì)象提取部lll、區(qū)域確定部113、混合比計(jì)算 部114、以及前景背景分離部115。對(duì)象提取部111粗略地提取出與輸入圖 像中包含的前景對(duì)象對(duì)應(yīng)的圖像對(duì)象，并將提取出的圖像對(duì)象提供給運(yùn)動(dòng) 檢測(cè)部112。對(duì)象提取部111例如通過(guò)檢測(cè)與輸入圖像中包含的前景對(duì)象對(duì) 應(yīng)的圖像對(duì)象的輪廓，從而粗略地提取出與前景對(duì)象對(duì)應(yīng)的圖像對(duì)象。
對(duì)象提取部111粗略地提取出與輸入圖像中包含的背景對(duì)象對(duì)應(yīng)的圖 像對(duì)象，并將提取出的圖像對(duì)象提供給運(yùn)動(dòng)檢測(cè)部112。對(duì)象提取部111 例如根據(jù)輸入圖像與提取出的前景對(duì)象所對(duì)應(yīng)的圖像對(duì)象之差，粗略地提 取出與背景對(duì)象對(duì)應(yīng)的圖像對(duì)象。另外，例如對(duì)象提取部111也可以根據(jù) 設(shè)置于內(nèi)部的背景存儲(chǔ)器中所存儲(chǔ)的背景圖像與輸入圖像之差，粗略地提 取與前景對(duì)象對(duì)應(yīng)的圖像對(duì)象、及與背景對(duì)象對(duì)應(yīng)的圖像對(duì)象。
運(yùn)動(dòng)檢測(cè)部112例如利用塊匹配法、梯度法、相位相關(guān)法、以及像素 遞歸法等方法，計(jì)算出與粗略地提取出的前景對(duì)象對(duì)應(yīng)的圖像對(duì)象的運(yùn)動(dòng) 矢量，并將算出的運(yùn)動(dòng)矢量及運(yùn)動(dòng)矢量的位置信息(確定與運(yùn)動(dòng)矢量對(duì)應(yīng) 的像素的位置的信息)提供給區(qū)域確定部113及動(dòng)態(tài)模糊提取部116。在運(yùn) 動(dòng)檢測(cè)部112輸出的運(yùn)動(dòng)矢量中包含有與運(yùn)動(dòng)量v對(duì)應(yīng)的信息。另外，例 如運(yùn)動(dòng)檢測(cè)部112也可以將圖像對(duì)象中確定像素的像素位置信息和每個(gè)圖 像對(duì)象的運(yùn)動(dòng)矢量一起輸出到動(dòng)態(tài)模糊去除部116。
運(yùn)動(dòng)量v是以像素間隔為單位表示與正在運(yùn)動(dòng)的對(duì)象對(duì)應(yīng)的圖像的位 賈變化的值。例如，當(dāng)與前景對(duì)應(yīng)的對(duì)象的圖像以某幀為基準(zhǔn)進(jìn)行移動(dòng)以 在下一幀中顯示于相距4個(gè)像素量的位置時(shí)，與前景對(duì)應(yīng)的對(duì)象的圖像運(yùn) 動(dòng)量v為4。
區(qū)域確定部113將輸入圖像的像素分別確定在前景區(qū)域、背景區(qū)域、
8或混合區(qū)域中的某一個(gè)中，并將表示每個(gè)像素屬于前景區(qū)域、背景區(qū)域、 或混合區(qū)域中的哪一個(gè)的信息(以下稱為區(qū)域信息〉提供給混合比計(jì)算部
114、前景背景分離部115以及動(dòng)態(tài)模糊去除部116。
混合比計(jì)算部114基于輸入圖像及區(qū)域確定部113提供的區(qū)域信息， 計(jì)算出與混合區(qū)域中包含的像素對(duì)應(yīng)的混合比(以下稱為混合比a),并 將算出的混合比提供給前景背景分離部115?；旌媳萢是表示像素值中與背 景對(duì)象對(duì)應(yīng)的圖像成分(以下稱為背景成分)的比例的值。
前景背景分離部115基于區(qū)域確定部113提供的區(qū)域信息及混合比計(jì) 算部114提供的混合比ci，將輸入圖像分離為僅僅由前景對(duì)象所對(duì)應(yīng)的圖 像成分(以下稱為前景成分)形成的前景成分圖像、和僅僅由背景成分形 成的背景成分圖像，并將前景成分圖像提供給動(dòng)態(tài)模糊去除部116，將背景 成分圖像提供給修正部117。
動(dòng)態(tài)模糊去除部116基于從運(yùn)動(dòng)矢量獲知的運(yùn)動(dòng)量v及區(qū)域信息，決 定表示前景成分圖像中包含的一個(gè)以上像素的處理單位。處理單位是指定 成為動(dòng)態(tài)模糊量調(diào)整處理對(duì)象的一組像素的數(shù)據(jù)。動(dòng)態(tài)模糊去除部116基 丁-前景背景分離部115提供的前景成分圖像、運(yùn)動(dòng)檢測(cè)部112提供的運(yùn)動(dòng) 矢量及其位置信息、以及處理單位，去除前景成分圖像中包含的動(dòng)態(tài)模糊， 并將去除了動(dòng)態(tài)模糊的前景成分圖像輸出到動(dòng)態(tài)模糊去除圖像處理部118。
修正部117修正背景成分圖像中與混合區(qū)域?qū)?yīng)的像素的像素值。背 景成分圖像中與混合區(qū)域?qū)?yīng)的像素的像素值是從分離前的混合區(qū)域的像 素的像素值去除前景成分而計(jì)算出的。因而，背景成分圖像中與混合區(qū)域 對(duì)應(yīng)的像素的像素值與相鄰背景區(qū)域的像素的像素值相比，對(duì)應(yīng)于混合比 a而減少。修正部117對(duì)上述背景成分圖像中與混合區(qū)域?qū)?yīng)的像素的像 素值的混合比a所對(duì)應(yīng)的增益的降低進(jìn)行修正，并將修正后的背景成分圖 像提供給動(dòng)態(tài)模糊去除圖像處理部118。
動(dòng)態(tài)模糊去除圖像處理部118對(duì)每個(gè)去除了動(dòng)態(tài)模糊的前景成分圖像 及修正后的背景成分圖像，應(yīng)用邊緣增強(qiáng)程度不同的邊緣增強(qiáng)處理。在此, 對(duì)作為靜止圖像的背景成分圖像，執(zhí)行與前景成分圖像相比更增強(qiáng)邊緣的 邊緣增強(qiáng)處理。通過(guò)這樣，能夠在對(duì)包含噪聲的圖像應(yīng)用邊緣增強(qiáng)處理時(shí)不發(fā)生不自然的圖像劣化，進(jìn)一步增加背景成分圖像的清晰感。
另一方面，對(duì)前景成分圖像執(zhí)行與背景成分圖像相比邊緣增強(qiáng)程度較 少的增強(qiáng)處理。通過(guò)這樣，即使去除了動(dòng)態(tài)模糊的前景成分畫像中包含有 噪聲，仍然可在前景成分圖像中提髙清晰感并且減少不自然的圖像劣化。

發(fā)明內(nèi)容
然而，在上述日本國(guó)專利特開2002-373330號(hào)公報(bào)所述的圖像處理裝 置中，需要用于去除前景成分圖像中包含的動(dòng)態(tài)模糊的動(dòng)態(tài)模糊去除部 116、和對(duì)背景成分圖像中與混合區(qū)域?qū)?yīng)的像素的像素值進(jìn)行修正的修正 部117等，存在會(huì)導(dǎo)致處理/結(jié)構(gòu)非常復(fù)雜的問(wèn)題。而且，在采用此圖像處 理裝置的情況下，存在以下問(wèn)題雖然對(duì)背景靜止而前景對(duì)象在運(yùn)動(dòng)的圖 像可以去除攝像元件的時(shí)間積分效果引起的動(dòng)態(tài)模糊，但除此以外例如對(duì) 不僅前景對(duì)象的圖像在運(yùn)動(dòng)、背景圖像也在運(yùn)動(dòng)的圖像卻不能去除動(dòng)態(tài)模 糊。這樣，僅限于對(duì)特定的圖像內(nèi)容可獲得所要的效果，因此不能說(shuō)是實(shí) 用的。
再有，在上述日本國(guó)專利特開2002-373330號(hào)公報(bào)所述的圖像處理裝 置中，存在以下問(wèn)題在去除了動(dòng)態(tài)模糊的前景成分圖像中包含有噪聲的 情況下，若使邊緣增強(qiáng)的程度增大，則會(huì)導(dǎo)致不自然的圖像劣化，因此減 小對(duì)前景成分圖像的邊緣增強(qiáng)的程度，這樣一來(lái)就不能充分提髙前景成分 圖像的清晰感。
另外，例如在日本國(guó)專利特開平1-215185號(hào)公報(bào)中提出了以下方法 用簡(jiǎn)單的結(jié)構(gòu)去除攝像元件的時(shí)間積分效果引起的動(dòng)態(tài)模糊，從輸入圖像 信號(hào)檢測(cè)出被拍攝物體的運(yùn)動(dòng)，并可根據(jù)該運(yùn)動(dòng)檢測(cè)結(jié)果，改變對(duì)輸入圖 像信號(hào)的輪廓補(bǔ)償量(邊緣增強(qiáng)程度)。由此，通過(guò)對(duì)輸入圖像信號(hào)的運(yùn) 動(dòng)量大的區(qū)域增大對(duì)輸入圖像信號(hào)的邊緣增強(qiáng)程度，能夠減少攝像元件的 時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高圖像的清晰感，并且能夠 防止邊緣增強(qiáng)過(guò)度造成的畫質(zhì)劣化(靜止區(qū)域的噪音增加)。
在此，將用于減少上述保持型顯示方式引起的動(dòng)態(tài)模糊的運(yùn)動(dòng)補(bǔ)償型 幀率變換處理(FRC處理)、與減少上述攝像元件的時(shí)間積分效果引起的動(dòng)態(tài)模糊的邊緣增強(qiáng)處理組合時(shí)，存在以下問(wèn)題例如，若采用在減少攝 像元件的時(shí)間積分效果引起的動(dòng)態(tài)模糊的邊緣增強(qiáng)處理的后級(jí)實(shí)施FRC處 理的結(jié)構(gòu)，則會(huì)對(duì)增強(qiáng)了邊緣的圖像信號(hào)進(jìn)行FCR處理的運(yùn)動(dòng)矢量檢測(cè)， 從而例如在像梯度法那樣基于圖像信號(hào)的平滑梯度進(jìn)行矢量計(jì)算時(shí)，會(huì)誘 發(fā)運(yùn)動(dòng)矢量的誤檢測(cè)。
因而，希望采用在邊緣增強(qiáng)處理的前級(jí)實(shí)施FRC處理的結(jié)構(gòu)，但在此 情況下，存在以下問(wèn)題。艮P， FRC處理所生成的內(nèi)插圖像信號(hào)經(jīng)常發(fā)生運(yùn) 動(dòng)矢量的誤檢測(cè)等引起的圖像劣化(圖像破綻)，若對(duì)包含這樣的圖像劣 化的內(nèi)插圖像信號(hào)實(shí)施與對(duì)輸入圖像信號(hào)實(shí)施的邊緣增強(qiáng)處理相同的邊緣 增強(qiáng)處理，則圖像劣化被增強(qiáng)而變得顯眼。
本發(fā)明是鑒于如上所述實(shí)際情況而作出的，其目的在于提供一種能夠 抑制圖像劣化、減少保持型顯示方式引起的動(dòng)態(tài)模糊、同時(shí)減少攝像元件 的時(shí)間積分效果引起的顯示視頻的動(dòng)態(tài)模糊、實(shí)現(xiàn)髙品質(zhì)的顯示視頻的圖 像顯示裝置及方法、圖像處理裝置及方法。
本申請(qǐng)的第一項(xiàng)發(fā)明是一種圖像顯示裝置，該圖像顯示裝置包括頻率
變換單元，該頻率變換單元基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量信 息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插 到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù)或 場(chǎng)數(shù)，該圖像顯示裝置的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增強(qiáng) 程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣增 強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理。
本申請(qǐng)的第二項(xiàng)發(fā)明的特征在于，所述邊緣增強(qiáng)處理對(duì)所述輸入圖像 信號(hào)的運(yùn)動(dòng)量大的區(qū)域，使增強(qiáng)所述圖像信號(hào)的高頻分量的量增大。
本申請(qǐng)的第三項(xiàng)發(fā)明的特征在于，所述邊緣增強(qiáng)處理對(duì)所述輸入圖像 信號(hào)的運(yùn)動(dòng)量大的區(qū)域，擴(kuò)大進(jìn)行所述增強(qiáng)的圖像信號(hào)的頻率范圍。
本申請(qǐng)的第四項(xiàng)發(fā)明的特征在于，可根據(jù)所述輸入圖像信號(hào)的運(yùn)動(dòng)方 向，改變對(duì)所述圖像信號(hào)進(jìn)行邊緣增強(qiáng)的濾波器的特性。
本申請(qǐng)的第五項(xiàng)發(fā)明的特征在于，所述頻率變換單元包括在所述輸 入圖像信號(hào)中包含的連續(xù)幀間或場(chǎng)間檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)部；基
ii于該檢測(cè)出的運(yùn)動(dòng)矢量在所述幀間或所述場(chǎng)間分配內(nèi)插矢量的內(nèi)插矢量分
配部；基于該分配的內(nèi)插矢量生成內(nèi)插圖像信號(hào)的內(nèi)插圖像生成部以及 將該生成的內(nèi)插圖像信號(hào)內(nèi)插到所述幀間或所述場(chǎng)間的圖像內(nèi)插部，基于 所述運(yùn)動(dòng)矢量檢測(cè)部所檢測(cè)出的運(yùn)動(dòng)矢量，求取所述輸入圖像信號(hào)的運(yùn)動(dòng) 量/運(yùn)動(dòng)方向。
本申請(qǐng)的第六項(xiàng)發(fā)明的特征在于，設(shè)置了將所述運(yùn)動(dòng)矢量檢測(cè)部所檢 測(cè)出的運(yùn)動(dòng)矢量平滑化的低通濾波器。
本申請(qǐng)的第七項(xiàng)發(fā)明的特征在于，所述頻率變換單元包括在所述輸 入圖像信號(hào)中包含的連續(xù)幀間或場(chǎng)間檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)部；基 于該檢測(cè)出的運(yùn)動(dòng)矢量在所述幀間或所述場(chǎng)間分配內(nèi)插矢量的內(nèi)插矢量分 配部；基于該分配的內(nèi)插矢量生成內(nèi)插圖像信號(hào)的內(nèi)插圖像生成部；以及 將該生成的內(nèi)插圖像信號(hào)內(nèi)插到所述幀間或所述場(chǎng)間的圖像內(nèi)插部，基于 所述內(nèi)插矢量分配部所分配的內(nèi)插矢量，求取所述輸入圖像信號(hào)的運(yùn)動(dòng)量/ 運(yùn)動(dòng)方向。
本申請(qǐng)的第八項(xiàng)發(fā)明的特征在于，設(shè)置了將所述內(nèi)插矢量分配部所分
配的內(nèi)插矢量平滑化的低通濾波器。
本申請(qǐng)的第九項(xiàng)發(fā)明的特征在于，所述頻率變換單元在所述輸入圖像 信號(hào)的幀間或場(chǎng)間內(nèi)插多個(gè)所述內(nèi)插圖像信號(hào)，可根據(jù)與所述輸入圖像信 號(hào)在時(shí)間上的距離，改變對(duì)各個(gè)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度。
本申請(qǐng)的第十項(xiàng)發(fā)明是一種圖像顯示方法，該圖像顯示方法包括頻率 變換步驟，該頻率變換步驟基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量信 息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插 到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù)或 場(chǎng)數(shù)，該圖像顯示方法的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增強(qiáng) 程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣增 強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理。
本申請(qǐng)的第十一項(xiàng)發(fā)明是一種圖像處理裝置，該圖像處理裝置包括頻 率變換單元，該頻率變換單元基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量 信息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù) 或場(chǎng)數(shù)，該圖像處理裝置的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增 強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣 增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處 理。
本申請(qǐng)的第十二項(xiàng)發(fā)明是一種圖像處理方法，該圖像處理方法包括頻 率步驟步驟，該頻率變換步驟基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量 信息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi) 插到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù) 或場(chǎng)數(shù)，該圖像處理方法的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增 強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣 增強(qiáng)程度小的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng) 處理。
根據(jù)本發(fā)明，通過(guò)使得對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度小于對(duì)輸入圖
像信號(hào)的邊緣增強(qiáng)程度，從而能夠使FRC處理所產(chǎn)生的圖像劣化不顯眼， 提高顯示圖像的清晰感。


圖1是表示以往的液晶顯示裝置中的FRC驅(qū)動(dòng)顯示電路的簡(jiǎn)要結(jié)構(gòu)的 框閣。
圖2是用于說(shuō)明采用圖1所示的以往的FRC驅(qū)動(dòng)顯示電路的幀率變換 處理的圖。
圖3是用于說(shuō)明采用運(yùn)動(dòng)矢量檢測(cè)部及內(nèi)插幀生成部的內(nèi)插幀生成處 理的圖。
圖4是表示以往的圖像處理裝置的的結(jié)構(gòu)的功能框圖。 圖5是表示減少攝像元件的時(shí)間積分效果引起的顯示視頻動(dòng)態(tài)模糊的 閣像處理裝置的簡(jiǎn)要結(jié)構(gòu)的功能框圖。
圖6是表示邊緣增強(qiáng)部的一個(gè)結(jié)構(gòu)例的框圖。
圖7是表示邊緣增強(qiáng)部的一個(gè)結(jié)構(gòu)例的動(dòng)作的說(shuō)明圖。
13圖8是表示邊緣增強(qiáng)部的其它結(jié)構(gòu)例的框圖。 圖9是表示邊緣增強(qiáng)部的其它結(jié)構(gòu)例的動(dòng)作的說(shuō)明圖。 圖10是表示本發(fā)明第一實(shí)施方式的圖像處理裝置的簡(jiǎn)要結(jié)構(gòu)的功能 框圖。
圖11是用于說(shuō)明將幀率變換成5倍時(shí)的內(nèi)插圖像信號(hào)生成方法的圖。 圖12是表示本發(fā)明第二實(shí)施方式的圖像處理裝置的簡(jiǎn)要結(jié)構(gòu)的功能 框圖。
圖13是表示本發(fā)明第三實(shí)施方式的圖像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。
圖14是表示本發(fā)明第四實(shí)施方式的圖像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。
標(biāo)號(hào)說(shuō)明
1…運(yùn)動(dòng)檢測(cè)部、2…邊緣增強(qiáng)部、21…高通濾波器、22…增益調(diào)整部、 23…求和部、24…濾波器、100…FRC部、101…運(yùn)動(dòng)矢量檢測(cè)部、102…內(nèi) 插幀生成部、103…內(nèi)插矢量分配部、104…時(shí)基變換部、105…幀緩沖器 (FB) 、 106…原幀矢量分配部、107…幀緩沖器(FB) 、 111…對(duì)象提取 部、U2…運(yùn)動(dòng)檢測(cè)部、113…區(qū)域確定部、114…混合比計(jì)算部、115…前 景背景分離部、U6…動(dòng)態(tài)模糊去除部、117…修正部、118…動(dòng)態(tài)模糊去除 圖像處理部、203…液晶顯示面板、204…電極驅(qū)動(dòng)部、205…運(yùn)動(dòng)矢量、206… 內(nèi)插矢量、207…內(nèi)插幀。
具體實(shí)施例方式
下面，參照附圖，詳細(xì)說(shuō)明本發(fā)明的優(yōu)選圖像處理裝置的實(shí)施方式， 對(duì)于與上述已有例相同的部分添加相同標(biāo)號(hào)，省略其說(shuō)明。此外，本發(fā)明 可以適用于場(chǎng)信號(hào)及內(nèi)插場(chǎng)信號(hào)、幀信號(hào)及內(nèi)插幀信號(hào)中的任一方，但由 于兩者(場(chǎng)和幀)有相似的關(guān)系，所以以幀信號(hào)及內(nèi)插幀信號(hào)為代表例進(jìn) 行說(shuō)明。
首先，結(jié)合圖5至圖9，對(duì)本發(fā)明的圖像處理裝置中的邊緣增強(qiáng)部的 結(jié)構(gòu)例進(jìn)行說(shuō)明。在此，圖5是表示減少攝像元件的時(shí)間積分效果引起的
14顯示視頻動(dòng)態(tài)模糊的圖像處理裝置的簡(jiǎn)要結(jié)構(gòu)的功能框圖，圖6是表示邊 緣增強(qiáng)部的一個(gè)結(jié)構(gòu)例的框圖，圖7是表示邊緣增強(qiáng)部的一個(gè)結(jié)構(gòu)例的動(dòng) 作的說(shuō)明圖，圖8是表示邊緣增強(qiáng)部的其它結(jié)構(gòu)例的框圖，圖9是表示邊 緣增強(qiáng)部的其它結(jié)構(gòu)例的動(dòng)作的說(shuō)明圖。
如圖5所示，減少攝像元件的時(shí)間積分效果引起的顯示視頻動(dòng)態(tài)模糊 的圖像處理裝置包括檢測(cè)輸入圖像信號(hào)中每預(yù)定圖像區(qū)域的運(yùn)動(dòng)量的運(yùn) 動(dòng)檢測(cè)部1;以及根據(jù)所述運(yùn)動(dòng)檢測(cè)部1所檢測(cè)出的輸入圖像信號(hào)的運(yùn)動(dòng)量 增強(qiáng)該輸入圖像信號(hào)的髙頻分量的邊緣增強(qiáng)部2。
在此，運(yùn)動(dòng)檢測(cè)部1可以采用塊匹配法、梯度法等，在輸入圖像信號(hào) 的連續(xù)兩幀間對(duì)各像素或每個(gè)小塊(例如由8像素X8像素形成的運(yùn)動(dòng)檢測(cè)
塊)求取運(yùn)動(dòng)矢量，在輸入圖像信號(hào)中以某種形式包含有運(yùn)動(dòng)矢量信息時(shí)， 也可以利用該運(yùn)動(dòng)矢量信息。例如，用MPEG方式進(jìn)行壓縮編碼的圖像數(shù) 據(jù)中包含編碼時(shí)算出的動(dòng)態(tài)圖像的運(yùn)動(dòng)矢量信息，就可以采用獲取該運(yùn)動(dòng) 矢量信息的結(jié)構(gòu)。
邊緣增強(qiáng)部2基于運(yùn)動(dòng)檢測(cè)部1所檢測(cè)出的運(yùn)動(dòng)矢量及其位置信息， 可以改變?cè)鰪?qiáng)該輸入圖像信號(hào)的高頻分量的程度、頻率范圍，對(duì)該輸入圖 像信號(hào)進(jìn)行邊緣增強(qiáng)處理。即，邊緣增強(qiáng)部2根據(jù)輸入圖像信號(hào)的畫面內(nèi) 閣像運(yùn)動(dòng)量的分布，在畫面內(nèi)切換增強(qiáng)該輸入圖像信號(hào)的高頻分量的程度、 頻率范圍。通過(guò)邊緣增強(qiáng)部2與運(yùn)動(dòng)相適應(yīng)地進(jìn)行了清晰化處理的圖像信 號(hào)，由另外構(gòu)成或一體構(gòu)成的陰極射線管、液晶顯示面板等顯示器件(未 圖示)顯示輸出。
艮卩，在輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域中，由于攝像元件的時(shí)間積分 效果，高頻分量衰減的可能性很髙，所以為了補(bǔ)償此衰減的高頻分量，利 用邊緣增強(qiáng)部2進(jìn)行適當(dāng)?shù)倪吘壴鰪?qiáng)處理。由此，能夠減少可觀察到的動(dòng) 態(tài)模糊，提高顯示圖像的清晰感。
圖6表示上述邊緣增強(qiáng)部2的一個(gè)結(jié)構(gòu)例。輸入圖像信號(hào)被輸入到髙 通濾波器21及求和器23。高通濾波器21基于輸入的濾波器系數(shù)，從輸入 圖像信號(hào)中提取出圖像的髙頻分量，即去除圖像的低頻分量，生成邊緣圖 像信號(hào)。輸入的濾波器系數(shù)可根據(jù)上述運(yùn)動(dòng)檢測(cè)部1所檢測(cè)出的運(yùn)動(dòng)量分
15級(jí)地改變。然后，當(dāng)此濾波器系數(shù)變化時(shí)，髙通濾波器21改變所提取圖像的頻率、所去除圖像的頻率、以及所提取圖像的增益。
髙通濾波器21所生成的邊緣圖像信號(hào)被提供給增益調(diào)整部22。增益調(diào)整部22基于輸入的增益調(diào)整系數(shù)，使髙通濾波器21提供的邊緣圖像信號(hào)放大或衰減。輸入的增益調(diào)整系數(shù)可根據(jù)上述運(yùn)動(dòng)檢測(cè)部1所檢測(cè)出的運(yùn)動(dòng)量分級(jí)地改變。然后，當(dāng)此增益調(diào)整系數(shù)變化時(shí)，增益調(diào)整部22改變邊緣圖像信號(hào)的放大率(衰減率)。
例如，增益調(diào)整部22在指定1以上放大率的增益調(diào)整系數(shù)輸入時(shí)，放大邊緣圖像信號(hào)，在指定不足1的放大率的增益調(diào)整系數(shù)輸入時(shí)，使邊緣圖像信號(hào)衰減。經(jīng)增益調(diào)整部22調(diào)整了增益的邊緣圖像信號(hào)被提供給求和部23。求和部23對(duì)輸入圖像信號(hào)、與增益調(diào)整部22提供的調(diào)整了增益的邊緣圖像信號(hào)求和，并輸出求和后的圖像信號(hào)。
如上所述構(gòu)成的邊緣增強(qiáng)部2例如在輸入圖像信號(hào)的運(yùn)動(dòng)量為0的區(qū)域中不進(jìn)行邊緣增強(qiáng)處理(使邊緣增強(qiáng)處理無(wú)效，將輸入圖像信號(hào)原狀輸出)。另外，如圖7(a)所示，對(duì)于輸入圖像信號(hào)的運(yùn)動(dòng)量小的區(qū)域，將髙通濾波器21所提取圖像的頻率限制在高頻區(qū)域，并且將增益調(diào)整部22的邊緣圖像信號(hào)的放大率抑制為1。對(duì)于輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域，如圖7(b)所示,將高通濾波器21所提取圖像的頻率范圍擴(kuò)張到低頻區(qū)域一側(cè)，并且使增益調(diào)整部22的邊緣圖像信號(hào)的放大率增大為1以上。
這樣，在輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域中，由于攝像元件的時(shí)間積分效果，高頻分量衰減的可能性很大，所以通過(guò)進(jìn)一步增強(qiáng)邊緣增強(qiáng)的程度，對(duì)該衰減的高頻分量進(jìn)行補(bǔ)償，由此能夠減少可觀察到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰感。另外，在輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域中，更大范圍的頻率分量有衰減的趨勢(shì)，所以通過(guò)進(jìn)一步擴(kuò)大進(jìn)行所述增強(qiáng)的輸入圖像信號(hào)的頻率范圍，由此能夠減少可觀察到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
艮P,雖然在上述邊緣增強(qiáng)部2的一個(gè)示例中包括高通濾波器21和增益調(diào)整部22，但也可以至少包括髙通濾波器21和增益調(diào)整部22中的某一個(gè)。另外，由于在輸入圖像信號(hào)的運(yùn)動(dòng)量為0的區(qū)域中未發(fā)生動(dòng)態(tài)模糊(攝像機(jī)模糊)，所以可以不進(jìn)行邊緣增強(qiáng)處理。
接下來(lái)，圖8表示上述邊緣增強(qiáng)部2的其它結(jié)構(gòu)例。在圖8所示的示例中，邊緣增強(qiáng)部2由濾波器24構(gòu)成。濾波器24基于輸入的濾波器系數(shù)，放大輸入圖像信號(hào)的高頻分量，生成邊緣增強(qiáng)圖像信號(hào)。輸入的濾波器系數(shù)可根據(jù)上述運(yùn)動(dòng)檢測(cè)部1所檢測(cè)出的運(yùn)動(dòng)量分級(jí)地改變。然后，當(dāng)此濾波器系數(shù)變化時(shí)，濾波器24改變輸入圖像信號(hào)的高頻分量的增益。
例如，在輸入圖像信號(hào)的運(yùn)動(dòng)量為0的區(qū)域中，使輸入圖像信號(hào)原狀通過(guò)(使邊緣增強(qiáng)處理無(wú)效)。另外，如圖9(a)所示，對(duì)于輸入圖像信號(hào)的運(yùn)動(dòng)量小的區(qū)域，將輸入圖像信號(hào)的髙頻分量放大2倍，使輸入圖像信號(hào)的低頻分量原狀通過(guò)，生成邊緣增強(qiáng)圖像信號(hào)。對(duì)于輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域，如圖9(b)所示，將輸入圖像信號(hào)的髙頻分量放大2.5倍，使輸入圖像信號(hào)的低頻分量原狀通過(guò)，生成邊緣增強(qiáng)圖像信號(hào)。
這樣，在輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域中，由于攝像元件的時(shí)間積分效果，高頻分量衰減的可能性很大，所以通過(guò)進(jìn)一步增強(qiáng)邊緣增強(qiáng)的程度，對(duì)該袞減的高頻分量進(jìn)行補(bǔ)償，由此能夠減少可觀察到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。另一方面，在輸入圖像信號(hào)的運(yùn)動(dòng)量小的區(qū)域中，由于攝像元件的時(shí)間積分效果，髙頻分量衰減的可能性較小，所以可以減弱邊緣增強(qiáng)的程度，防止過(guò)度邊緣增強(qiáng)造成的邊緣部分的畫質(zhì)劣化。另外，由于在輸入圖像信號(hào)的運(yùn)動(dòng)量為O的區(qū)域中未發(fā)生動(dòng)態(tài)模糊(攝像機(jī)模糊)，所以可以不進(jìn)行邊緣增強(qiáng)處理。另外，本發(fā)明的邊緣增強(qiáng)部2的結(jié)構(gòu)當(dāng)然不限于上述結(jié)構(gòu)。
在上述圖像處理裝置的示例中，說(shuō)明了可根據(jù)輸入圖像信號(hào)的運(yùn)動(dòng)量改變邊緣增強(qiáng)程度的方法，但也可以根據(jù)輸入圖像信號(hào)的運(yùn)動(dòng)量以及輸入圖像信號(hào)的運(yùn)動(dòng)方向，來(lái)改變?yōu)V波器的特性例如濾波器的抽頭形狀。例如，在僅有水平方向運(yùn)動(dòng)的圖像信號(hào)中，由于垂直方向上不發(fā)生攝像元件的時(shí)間積分效果引起的高頻分量的衰減，因此希望進(jìn)行水平方向的濾波處理，所以在從輸入圖像信號(hào)檢測(cè)出的運(yùn)動(dòng)矢量只有水平方向分量時(shí)，將圖6的高通濾波器21或圖8的濾波器24的抽頭形狀切換為一維水平抽頭。
同樣，在從輸入圖像信號(hào)中檢測(cè)出的運(yùn)動(dòng)矢量只有垂直方向分量時(shí)(視頻在垂直方向上運(yùn)動(dòng)時(shí))，切換為一維垂直抽頭形狀的濾波器即可，在從輸入圖像信號(hào)中檢測(cè)出的運(yùn)動(dòng)矢量具有水平方向分量和垂直方向分量時(shí)
(視頻在傾斜方向上運(yùn)動(dòng)時(shí))，切換為傾斜方向抽頭形狀的濾波器即可。這樣，通過(guò)根據(jù)運(yùn)動(dòng)矢量的方向切換為各向同性或各向異性或橢圓形等抽頭形狀的濾波器，能實(shí)現(xiàn)更理想的濾波處理。
另外，在以輸入圖像信號(hào)的例如由8像素X8像素形成的運(yùn)動(dòng)檢測(cè)塊為單位檢測(cè)運(yùn)動(dòng)矢量、基于此運(yùn)動(dòng)矢量控制邊緣增強(qiáng)處理的情況下，由于對(duì)每個(gè)8像素X8像素的塊區(qū)域?qū)嵤┎煌倪吘壴鰪?qiáng)處理，所以有時(shí)會(huì)在塊
邊界上產(chǎn)生偽像(圖像劣化)。為了去除這樣的弊病，有例如在運(yùn)動(dòng)檢測(cè)部1與邊緣增強(qiáng)部2之間設(shè)置對(duì)運(yùn)動(dòng)矢量的低通濾波器、從而將運(yùn)動(dòng)矢量平滑化的方法。這樣，通過(guò)使畫面內(nèi)的運(yùn)動(dòng)矢量的變化平滑，可以防止由于邊緣增強(qiáng)處理急劇變化而產(chǎn)生的塊邊界的偽像。
另外，在用具有時(shí)間積分效果的攝像元件拍攝的自然圖像中包含有上述動(dòng)態(tài)模糊(攝像機(jī)模糊)，但動(dòng)畫、CG (計(jì)算機(jī)圖形)圖像中原本未包含如上所述的動(dòng)態(tài)模糊(攝像機(jī)模糊)。若對(duì)這樣未包含動(dòng)態(tài)模糊(攝像機(jī)模糊)的圖像過(guò)度地進(jìn)行高頻分量的增強(qiáng)，則可能在邊緣部分產(chǎn)生圖像劣化。因而，在動(dòng)畫、CG的圖像信號(hào)輸入時(shí)，即使是輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域，也希望減弱上述動(dòng)態(tài)模糊減少(清晰化)處理的強(qiáng)度或不進(jìn)行處理。
例如，基于從電視廣播數(shù)據(jù)中分離提取出的EPG (Electronic ProgramGuide:電子節(jié)目指南)數(shù)據(jù)中包含的種類信息，判定輸入圖像信號(hào)的種類類別，在判定輸入圖像信號(hào)的種類類別是例如動(dòng)畫時(shí)，即使是輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域，也只要像對(duì)運(yùn)動(dòng)量小的區(qū)域一樣進(jìn)行控制即可，即減小邊緣增強(qiáng)部2增強(qiáng)髙頻分量的程度、縮小增強(qiáng)的頻率范圍、或者使邊緣增強(qiáng)部2的邊緣增強(qiáng)處理無(wú)效。
與上述相同，在節(jié)目標(biāo)志、反射式字幕之類的字符文字、圖標(biāo)等CG圖像合成為自然圖像的一部分的情況下，對(duì)于該CG圖像合成的區(qū)域，即使在背景的自然圖像的運(yùn)動(dòng)量大時(shí)或該CG圖像的移動(dòng)速度快時(shí)，也希望減弱上述動(dòng)態(tài)模糊減少(清晰化)處理的強(qiáng)度或不進(jìn)行處理。例如，可以從輸入圖像信號(hào)中檢測(cè)出節(jié)目標(biāo)志、反射式字幕之類的字
符文字、圖標(biāo)等CG圖像合成(重疊)的區(qū)域位置，對(duì)該CG圖像合成(重疊)的區(qū)域，像對(duì)圖像的運(yùn)動(dòng)量小或無(wú)運(yùn)動(dòng)的區(qū)域一樣進(jìn)行控制即可，即減小邊緣增強(qiáng)部2增強(qiáng)髙頻分量的程度、縮小增強(qiáng)的頻率范圍、或者使邊緣增強(qiáng)部2的邊緣增強(qiáng)處理無(wú)效。
再者，由于攝像元件的時(shí)間積分效果引起的動(dòng)態(tài)模糊(攝像機(jī)模糊)也會(huì)隨著視頻拍攝時(shí)攝像元件的曝光時(shí)間即快門速度而變化，所以例如即使是在輸入圖像信號(hào)的運(yùn)動(dòng)量大的情況下，當(dāng)該輸入圖像信號(hào)的拍攝時(shí)的快門速度快即曝光時(shí)間短時(shí)，也希望減弱上述動(dòng)態(tài)模糊減少(清晰化)處理的強(qiáng)度。因而，例如在關(guān)于視頻拍攝時(shí)的快門速度的信息被添加到電視廣播數(shù)據(jù)中的情況下，可以從電視廣播數(shù)據(jù)中分離 獲取關(guān)于快門速度的信息，根據(jù)該關(guān)于快門速度的信息，控制邊緣增強(qiáng)部2增強(qiáng)髙頻分量的程度及/或增強(qiáng)的頻率范圍，使其可變，或者不進(jìn)行邊緣增強(qiáng)處理。
另外，在視頻拍攝時(shí)，按照拍攝者的意圖有時(shí)將焦點(diǎn)對(duì)準(zhǔn)拍攝畫面內(nèi)的全體而拍攝，有吋將焦點(diǎn)僅對(duì)準(zhǔn)拍攝畫面內(nèi)的一部分而拍攝等。在將焦點(diǎn)僅對(duì)準(zhǔn)拍攝畫面內(nèi)的一部分時(shí)，就有意地使焦點(diǎn)對(duì)準(zhǔn)的被拍攝物體以外拍攝為模糊的視頻。對(duì)這樣有意模糊化而拍攝的區(qū)域，希望減弱上述動(dòng)態(tài)模糊減小(清晰化)處理的強(qiáng)度，或者不進(jìn)行動(dòng)態(tài)模糊減小(清晰化)處理。
在將焦點(diǎn)僅對(duì)準(zhǔn)拍攝畫面內(nèi)的一部分時(shí)， 一般可通過(guò)使攝像機(jī)的拍攝景深變淺來(lái)實(shí)現(xiàn)。此拍攝景深由多種要素決定，這些要素包括攝像機(jī)鏡頭的光圈數(shù)、攝像機(jī)與被拍攝物體之間的距離、攝像機(jī)的設(shè)定狀態(tài)(光圈、增益、電子光圈)等。例如作為使拍攝景深變淺的要素，可以列舉出減小攝像機(jī)鏡頭的光圈數(shù)、或縮短到被拍攝物體的距離、或打開光圈等。因而，在將關(guān)于這樣的拍攝景深的信息添加到電視廣播數(shù)據(jù)中而發(fā)送的情況下，例如作為元數(shù)據(jù)添加的情況下，可以從電視廣播數(shù)據(jù)中獲取關(guān)于拍攝景深的信息，判定該拍攝景深的狀態(tài)，并根據(jù)該判定結(jié)果控制邊緣增強(qiáng)部2增強(qiáng)高頻分量的程度及/或增強(qiáng)的頻率范圍，使其可變，或者不進(jìn)行邊緣增強(qiáng)處理。
19再者，在運(yùn)動(dòng)矢量檢測(cè)塊中，例如進(jìn)行DCT等頻率解析，檢查高頻分量的量，由此可以檢測(cè)上述CG圖像重疊的部分、或用快門速度快的攝像機(jī)所拍攝的圖像中盡管運(yùn)動(dòng)速度快但動(dòng)態(tài)模糊少的部分。B卩，在某個(gè)運(yùn)動(dòng)檢測(cè)塊中運(yùn)動(dòng)量大且高頻分量少時(shí)，認(rèn)為是運(yùn)動(dòng)快且動(dòng)態(tài)模糊造成髙頻分量喪失的部分。換言之，認(rèn)為這種情況不是CG圖像重疊的部分或用快門速度快的攝像機(jī)拍攝的圖像中動(dòng)態(tài)模糊少的部分，而是用快門速度慢的攝像機(jī)拍攝的圖像中動(dòng)態(tài)模糊多的部分。因此，照常進(jìn)行邊緣增強(qiáng)處理即可。
另一方面，在某個(gè)運(yùn)動(dòng)檢測(cè)塊中運(yùn)動(dòng)量大且高頻分量多時(shí)，認(rèn)為是CG圖像重疊的部分、或用快門速度快的攝像機(jī)拍攝的圖像中動(dòng)態(tài)模糊少的部分在運(yùn)動(dòng)，因此減小邊緣增強(qiáng)程度即可。這樣，通過(guò)解析圖像信號(hào)并將運(yùn)動(dòng)量和高頻分量的量合成進(jìn)行判定，可以決定適當(dāng)?shù)膭?dòng)態(tài)模糊減少處理的強(qiáng)度。
利用上述圖像處理裝置，無(wú)論圖像內(nèi)容是什么，都可以減少攝像元件的時(shí)間積分效果引起的顯示視頻的動(dòng)態(tài)模糊，實(shí)現(xiàn)高品質(zhì)的顯示視頻，接下來(lái)作為本發(fā)明的實(shí)施方式，說(shuō)明適用于液晶顯示器、有機(jī)EL顯示器、電
泳顯示器等具有保持型顯示特性的圖像顯示裝置的圖像處理裝置，即可以減少攝像元件的時(shí)間積分效果引起的顯示視頻的動(dòng)態(tài)模糊和保持型顯示特性引起的動(dòng)態(tài)模糊兩者、實(shí)現(xiàn)高品質(zhì)的顯示視頻的圖像處理裝置。(第一實(shí)施方式)
結(jié)合圖IO，對(duì)本發(fā)明第一實(shí)施方式的圖像處理裝置進(jìn)行說(shuō)明，對(duì)于與上述圖像處理裝置相同的部分添加相同標(biāo)號(hào)，省略其說(shuō)明。在此，圖10是表示本實(shí)施方式的圖像處理裝置的簡(jiǎn)要結(jié)構(gòu)的功能框圖。
如圖10所示，本實(shí)施方式的圖像處理裝置包括FRC部IOO， FRC部100通過(guò)在輸入圖像信號(hào)的幀間或場(chǎng)間內(nèi)插實(shí)施了運(yùn)動(dòng)補(bǔ)償處理的圖像信^，來(lái)變換所述輸入圖像信號(hào)的幀數(shù)；以及邊緣增強(qiáng)部2，邊緣增強(qiáng)部2增強(qiáng)通過(guò)該FRC部100變換了幀數(shù)的圖像信號(hào)的髙頻分量。
FRC部100包括運(yùn)動(dòng)矢量檢測(cè)部101，運(yùn)動(dòng)矢量檢測(cè)部101從一幀前的輸入圖像信號(hào)和當(dāng)前幀的輸入圖像信號(hào)檢測(cè)出運(yùn)動(dòng)矢量；內(nèi)插矢量分配部103;內(nèi)插矢量分配部103對(duì)運(yùn)動(dòng)矢量檢測(cè)部101所檢測(cè)出的運(yùn)動(dòng)矢量進(jìn)行評(píng)價(jià)，并基于該評(píng)價(jià)結(jié)果向幀間的內(nèi)插塊分配最適當(dāng)?shù)膬?nèi)插矢量；內(nèi) 插幀生成部102，內(nèi)插幀生成部102基于內(nèi)插矢量分配部103輸入的內(nèi)插矢 量，利用一幀前的輸入圖像信號(hào)和當(dāng)前幀的輸入圖像信號(hào)來(lái)生成內(nèi)插幀 以及時(shí)基變換部104，時(shí)基變換部104通過(guò)交替地輸出輸入幀和內(nèi)插幀，輸 出幀率是原始輸入圖像信號(hào)的2倍的圖像信號(hào)。
然后，邊緣增強(qiáng)部2可以基于FRC部100的運(yùn)動(dòng)矢量檢測(cè)部101所檢 測(cè)出的運(yùn)動(dòng)矢量，改變?cè)鰪?qiáng)髙頻分量的程度、增強(qiáng)的頻率范圍，對(duì)圖像信 號(hào)進(jìn)行邊緣增強(qiáng)處理。即，本實(shí)施方式的運(yùn)動(dòng)矢量檢測(cè)部101相當(dāng)于結(jié)合 圖5所述的圖像處理裝置中的運(yùn)動(dòng)檢測(cè)部l，在輸入圖像信號(hào)的運(yùn)動(dòng)量大的 區(qū)域中，由于攝像元件的時(shí)間積分效果，髙頻分量衰減的可能性很髙，所 以為了補(bǔ)償此衰減的髙頻分量，通過(guò)邊緣增強(qiáng)部2進(jìn)行適當(dāng)?shù)倪吘壴鰪?qiáng)處 理。
通過(guò)邊緣增強(qiáng)部2與運(yùn)動(dòng)相適應(yīng)地進(jìn)行了清晰化處理的圖像信號(hào)由另 外構(gòu)成或一體構(gòu)成的液晶顯示面板等顯示器件(未圖示)顯示輸出。由此， 能夠減少了可觀察到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。另外，在應(yīng)用 于具有保持型顯示特性的圖像顯示裝置時(shí)，可以減少攝像元件的時(shí)間積分 效果引起的顯示視頻的動(dòng)態(tài)模糊和保持型顯示特性引起的動(dòng)態(tài)模糊兩者、 實(shí)現(xiàn)高品質(zhì)的顯示視頻。
另外，在本實(shí)施方式中雖然采用利用邊緣增強(qiáng)部2對(duì)輸入圖像信號(hào)和 FRC部100的內(nèi)插幀生成部102所生成的內(nèi)插圖像信號(hào)兩者實(shí)施邊緣增強(qiáng) 處理的結(jié)構(gòu)，但并不限于此，也可以僅對(duì)輸入圖像信號(hào)實(shí)施邊緣增強(qiáng)處理。 這樣一來(lái)，可以減少邊緣增強(qiáng)部2的處理量。
另外，在本實(shí)施方式中雖然采用利用邊緣增強(qiáng)部2對(duì)輸入圖像信號(hào)和 FRC部100的內(nèi)插幀生成部102所生成的內(nèi)插圖像信號(hào)兩者實(shí)施邊緣增強(qiáng) 處理的結(jié)構(gòu)，但也可以使得對(duì)輸入圖像信號(hào)的邊緣增強(qiáng)處理與對(duì)內(nèi)插圖像 信號(hào)的邊緣增強(qiáng)處理為不同的處理。
艮P,存在運(yùn)動(dòng)矢量的誤檢測(cè)等引起內(nèi)插圖像信號(hào)發(fā)生圖像劣化(圖像 破綻)的情況，若對(duì)這樣劣化了的內(nèi)插圖像實(shí)施邊緣增強(qiáng)處理，則圖像劣 化了的部分也被實(shí)施邊緣增強(qiáng)處理，使得圖像劣化變得更加顯眼，因此通
21過(guò)減小對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度，使其小于對(duì)輸入圖像信號(hào)(原圖 像信號(hào))的邊緣增強(qiáng)程度，或者只將對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)處理無(wú)效， 從而可以使運(yùn)動(dòng)補(bǔ)償型幀率變換處理造成的圖像劣化不顯眼，可以減小攝 像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰 感。
例如，通過(guò)縮小對(duì)內(nèi)插圖像信號(hào)進(jìn)行增強(qiáng)的頻率范圍，使其小于對(duì)輸 入圖像信號(hào)(原圖像信號(hào))進(jìn)行增強(qiáng)的頻率范圍，由此可以使運(yùn)動(dòng)補(bǔ)償型 幀率變換處理造成的圖像劣化不顯眼，可以減小攝像元件的時(shí)間積分效果 引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
另外，對(duì)于本實(shí)施方式的FRC部100，說(shuō)明了將輸入圖像信號(hào)的幀率 變換為2倍的結(jié)構(gòu)，但不限于此，也可以是將輸入圖像信號(hào)的幀率變換為 1.5倍、3倍等的結(jié)構(gòu)，或者輸入圖像信號(hào)由電影膠片視頻生成的結(jié)構(gòu)，例 如在進(jìn)行了 3-2下拉后的圖像信號(hào)的情況下，抽出相當(dāng)于24Hz的主要圖像 信號(hào)(所謂進(jìn)行逆3-2下拉處理)，在此幀間內(nèi)插4幅內(nèi)插圖像信號(hào)來(lái)將 幀率變換為120Hz (5倍)。
這樣生成多幅內(nèi)插圖像信號(hào)時(shí)，可以使多個(gè)內(nèi)插幀各自的所述邊緣增 強(qiáng)處理不同。例如，如圖ll(a)所示，單向地從原圖像生成4幅內(nèi)插圖像時(shí)， 在時(shí)間上離開原圖像的第四幅內(nèi)插圖像與原圖像之間的運(yùn)動(dòng)矢量的長(zhǎng)度變 大，運(yùn)動(dòng)矢量檢測(cè)時(shí)的計(jì)算誤差變大，因而內(nèi)插圖像信號(hào)有時(shí)會(huì)發(fā)生圖像 劣化。在這樣的情況下，通過(guò)減小對(duì)在時(shí)間上離開原圖像信號(hào)的內(nèi)插圖像 信號(hào)的邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或在時(shí)間上接近原圖像信號(hào)的內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像 元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
另外，如圖ll(b)所示，當(dāng)四幅內(nèi)插圖像中的前兩幅由前面的原圖像生 成、后兩幅由后面的原圖像生成時(shí)，或者如圖ll(c)所示，根據(jù)與前后原圖 像之間的距離改變加權(quán)求和比率或混合比率而生成內(nèi)插圖像時(shí)，由于中間 的第二幅及第三幅內(nèi)插圖像信號(hào)在時(shí)間上遠(yuǎn)離原圖像信號(hào)，所以通過(guò)減小 邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或靠近原圖像信號(hào)的第一幅及第四幅內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
如上所述，在本實(shí)施方式的圖像處理裝置中，通過(guò)根據(jù)FRC部100得 到的輸入圖像信號(hào)的運(yùn)動(dòng)量，適當(dāng)?shù)乜刂七吘壴鰪?qiáng)部2的邊緣增強(qiáng)處理， 由此可以減小攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高 顯示圖像的清晰感，并且能夠防止過(guò)度的邊緣增強(qiáng)造成的畫質(zhì)劣化。
在此，對(duì)輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且 對(duì)內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊 緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理，由此，即使在內(nèi)插圖像信號(hào)發(fā)生 圖像劣化時(shí)，也可以使其不顯眼，可以提高顯示圖像的清晰感。
另外，希望在運(yùn)動(dòng)矢量檢測(cè)部101與邊緣增強(qiáng)部2之間設(shè)置對(duì)運(yùn)動(dòng)矢 量的低通濾波器，使畫面內(nèi)運(yùn)動(dòng)矢量的變化平滑，從而防止由于畫面內(nèi)邊 緣增強(qiáng)處理急劇變化而產(chǎn)生的偽像，如上所述。
另外，在本實(shí)施方式的情況下，在FRC處理后進(jìn)行邊緣增強(qiáng)處理，因 此FRC部100的運(yùn)動(dòng)矢量檢測(cè)部101中的運(yùn)動(dòng)矢量檢測(cè)處理不受邊緣增強(qiáng) 處理的影響，可以穩(wěn)定地工作。而且，由于原狀使用運(yùn)動(dòng)矢量檢測(cè)部101 生成的運(yùn)動(dòng)矢量信息，所以可以用比后文描述的第三至第四實(shí)施方式更簡(jiǎn) 舉的結(jié)構(gòu)來(lái)實(shí)現(xiàn)。
但是，F(xiàn)RC部IOO的輸出圖像信號(hào)雖然是交替地輸出原圖像與內(nèi)插圖 像，但由于邊緣增強(qiáng)部2中將FRC部100所生成的運(yùn)動(dòng)矢量信息原狀應(yīng)用 于原圖像和內(nèi)插圖像，所以存在對(duì)內(nèi)插圖像沒(méi)有進(jìn)行正確的邊緣增強(qiáng)處理 的情況。B卩，F(xiàn)RC部100所生成的運(yùn)動(dòng)矢量信息的運(yùn)動(dòng)量、位置適合輸入 圖像信號(hào)，但不適合內(nèi)插圖像信號(hào)，所以在使用FRC部100所生成的運(yùn)動(dòng) 矢量信息的情況下，希望僅對(duì)輸入圖像信號(hào)(原圖像信號(hào))進(jìn)行邊緣增強(qiáng) 處理。另外，對(duì)上述課題的其它改善方法將在后文中作為第三至第四實(shí)施 方式描述。
(第二實(shí)施方式)
結(jié)合圖12，對(duì)本發(fā)明第二實(shí)施方式的圖像處理裝置進(jìn)行說(shuō)明，對(duì)于與 上述圖像處理裝置相同的部分添加相同標(biāo)號(hào)，省略其說(shuō)明。在此，圖12是 表示本實(shí)施方式的圖像處理裝置的簡(jiǎn)要結(jié)構(gòu)的功能框圖。
23與上述第一實(shí)施方式相同，本實(shí)施方式的圖像處理裝置包括FRC部 IOO，F(xiàn)RC部100通過(guò)在輸入圖像信號(hào)的幀間或場(chǎng)間內(nèi)插實(shí)施了運(yùn)動(dòng)補(bǔ)償處 理的圖像信號(hào)，變換所述輸入圖像信號(hào)的幀數(shù)；以及邊緣增強(qiáng)部2，邊緣增 強(qiáng)部2增強(qiáng)通過(guò)該FRC部IOO變換了幀數(shù)的圖像信號(hào)的高頻分量。在上述 第一實(shí)施方式中，基于運(yùn)動(dòng)矢量檢測(cè)部101所檢測(cè)出的運(yùn)動(dòng)矢量，控制邊 緣增強(qiáng)部2的邊緣增強(qiáng)處理，使其可變，而在本實(shí)施方式中，采用基于內(nèi)
插矢量分配部103所評(píng)價(jià) 分配的內(nèi)插矢量控制邊緣增強(qiáng)部2的邊緣增強(qiáng) 處理使其可變的結(jié)構(gòu)。
對(duì)此內(nèi)插矢量分配處理進(jìn)行說(shuō)明。考慮運(yùn)動(dòng)矢量檢測(cè)部101所檢測(cè)出 的運(yùn)動(dòng)矢量是對(duì)一幀前的輸入圖像信號(hào)n-l的運(yùn)動(dòng)矢量的情況。即，在輸 入圖像信號(hào)n-l的各運(yùn)動(dòng)矢量檢測(cè)塊中，各運(yùn)動(dòng)矢量檢測(cè)塊的運(yùn)動(dòng)矢量表 示該塊在下一幀的輸入圖像信號(hào)n中移動(dòng)到哪個(gè)位置。那么，在將幀率變 換為例如2倍時(shí)，內(nèi)插幀的時(shí)間位置在輸入圖像信號(hào)n-l與輸入圖像信號(hào)ii 的中間位置。從而，進(jìn)行以下處理求取使輸入圖像信號(hào)n-l中的各運(yùn)動(dòng) 矢量進(jìn)至內(nèi)插幀的時(shí)間位置時(shí)插入到內(nèi)插幀上的哪個(gè)塊，并將該運(yùn)動(dòng)矢量 分配給被插入的塊。此為向內(nèi)插幀的內(nèi)插矢量分配處理。
在此，通常進(jìn)一步分割通過(guò)運(yùn)動(dòng)矢量檢測(cè)部101檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng) 矢量檢測(cè)塊，來(lái)設(shè)定通過(guò)內(nèi)插矢量分配部103分配最適當(dāng)?shù)膬?nèi)插矢量的內(nèi) 插塊。例如，在運(yùn)動(dòng)矢量檢測(cè)塊為8像素X8像素時(shí)，將運(yùn)動(dòng)矢量檢測(cè)塊進(jìn) 一步八分為2像素X4像素來(lái)設(shè)定內(nèi)插塊。
另外，內(nèi)插矢量分配部103通過(guò)計(jì)算被檢測(cè)塊的圖像信息與運(yùn)動(dòng)矢量 從被檢測(cè)塊指向的塊的圖像信息之間的差值(稱為DFD (移位區(qū)域差 (Displaced Field Difference)))等，來(lái)評(píng)價(jià)運(yùn)動(dòng)矢量檢測(cè)部101所求取 的運(yùn)動(dòng)矢量的正確性，由此將更適當(dāng)?shù)膬?nèi)插矢量分配給上述內(nèi)插塊。DFD 是表示候選矢量的正確程度的指標(biāo)，DFD的值越小，則表示被檢測(cè)塊與運(yùn) 動(dòng)矢量從被檢測(cè)塊指向的塊之間的匹配越好，對(duì)應(yīng)的候選矢量更加適合。
因而，在本實(shí)施方式中，由于可以基于FRC部IOO的內(nèi)插矢量分配部 103所求取的內(nèi)插矢量，改變通過(guò)邊緣增強(qiáng)部2增強(qiáng)高頻分量的程度、增強(qiáng) 的頻率范圍，所以至少可以對(duì)FRC部IOO的輸出圖像信號(hào)中的內(nèi)插圖像信號(hào)進(jìn)行更加精細(xì)且適當(dāng)?shù)倪吘壴鰪?qiáng)處理。
另外，在本實(shí)施方式的情況下，雖然采用利用邊緣增強(qiáng)部2對(duì)輸入圖 像信號(hào)和FRC部100的內(nèi)插幀生成部102所生成的內(nèi)插圖像信號(hào)兩者實(shí)施 邊緣增強(qiáng)處理的結(jié)構(gòu)，但不限于此，也可以只對(duì)輸入圖像信號(hào)實(shí)施邊緣增 強(qiáng)處理。這樣一來(lái)，可以減少邊緣增強(qiáng)部2的處理量。
另外，在本實(shí)施方式中，雖然采用利用邊緣增強(qiáng)部2對(duì)輸入圖像信號(hào) 和FRC部100的內(nèi)插幀生成部102所生成的內(nèi)插圖像信號(hào)兩者實(shí)施邊緣增 強(qiáng)處理的結(jié)構(gòu)，但也可以使得對(duì)輸入圖像信號(hào)的邊緣增強(qiáng)處理與對(duì)內(nèi)插圖 像信號(hào)的邊緣增強(qiáng)處理為不同的處理。
艮P，存在運(yùn)動(dòng)矢量的誤檢測(cè)等引起內(nèi)插圖像信號(hào)發(fā)生圖像劣化(圖像 破綻)的情況，若對(duì)這樣劣化了的內(nèi)插圖像實(shí)施邊緣增強(qiáng)處理，則圖像劣 化了的部分也被實(shí)施邊緣增強(qiáng)處理，使得圖像劣化會(huì)變得更加顯眼，因此 通過(guò)減小對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度，使其小于對(duì)輸入圖像信號(hào)(原 圖像信號(hào))的邊緣增強(qiáng)程度，或者只將對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)處理無(wú) 效，從而可以使運(yùn)動(dòng)補(bǔ)償型幀率變換處理造成的圖像劣化不顯眼，可以減 小攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的 清晰感。
例如，通過(guò)縮小對(duì)內(nèi)插圖像信號(hào)進(jìn)行增強(qiáng)的頻率范圍，使其小于對(duì)輸 入圖像信號(hào)(原圖像信號(hào))進(jìn)行增強(qiáng)的頻率范圍，由此可以使運(yùn)動(dòng)補(bǔ)償型 幀率.變換處理造成的圖像劣化不顯眼，可以減小攝像元件的時(shí)間積分效果 引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
另外，對(duì)于本實(shí)施方式的FRC部100，說(shuō)明了將輸入圖像信號(hào)的幀率 變換為2倍的結(jié)構(gòu)，但不限于此，也可以是將輸入圖像信號(hào)的幀率變換為 1.5倍、3倍等的結(jié)構(gòu)，或者輸入圖像信號(hào)由電影膠片視頻生成的結(jié)構(gòu)，例 如，在進(jìn)行了 3-2下拉后的圖像信號(hào)的情況下，抽出相當(dāng)于24Hz的主要圖 像信號(hào)(所謂進(jìn)行逆3-2下拉處理)，在此幀間內(nèi)插4幅內(nèi)插圖像信號(hào)來(lái) 變換幀率為120Hz (5倍)。
這樣生成多幅內(nèi)插圖像信號(hào)時(shí)，可以使多個(gè)內(nèi)插幀各自的所述邊緣增 強(qiáng)處理不同。例如，如圖ll(a)所示，單向地從原圖像生成4幅內(nèi)插圖像時(shí)，
25在時(shí)間上離開原圖像的第四幅內(nèi)插圖像與原圖像之間的運(yùn)動(dòng)矢量的長(zhǎng)度變 大，運(yùn)動(dòng)矢量檢測(cè)時(shí)的計(jì)算誤差變大，因而內(nèi)插圖像信號(hào)有時(shí)會(huì)發(fā)生圖像 劣化。在這樣的情況下，通過(guò)減少對(duì)在時(shí)間上離開原圖像信號(hào)的內(nèi)插圖像 信號(hào)的邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或在時(shí)間上接近原圖像信號(hào)的內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像 元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰感。 另外，如圖ll(b)所示，當(dāng)四幅內(nèi)插圖像中的前兩幅由前面的原圖像生 成，后兩幅由后面的原圖像生成時(shí)，或者如圖11(C)所示，根據(jù)與前后原圖 像之間的距離改變加權(quán)求和比率或混合比率而生成內(nèi)插圖像時(shí)，由于中間 的第二幅及第三幅內(nèi)插圖像信號(hào)在時(shí)間上遠(yuǎn)離原圖像信號(hào)，所以通過(guò)減小 邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或靠近原圖像信號(hào)的第一幅及第四幅內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像 元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
如上所述，在本實(shí)施方式的圖像處理裝置中，通過(guò)根據(jù)FRC部100得 到的輸入圖像信號(hào)的運(yùn)動(dòng)量，適當(dāng)?shù)乜刂七吘壴鰪?qiáng)部2的邊緣增強(qiáng)處理， 由此可以減小攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙 顯示圖像的清晰感，并且能夠防止過(guò)度的邊緣增強(qiáng)造成的畫質(zhì)劣化。
在此，對(duì)輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且 對(duì)內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊 緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理，因此，即使在內(nèi)插圖像信號(hào)發(fā)生 閣像劣化時(shí)，也可以使其不顯眼，可以提高顯示圖像的清晰感。
另外，希望在內(nèi)插矢量分配部103與邊緣增強(qiáng)部2之間設(shè)置對(duì)內(nèi)插矢 量的低通濾波器，使畫面內(nèi)內(nèi)插矢量的變化平滑，從而防止由于畫面內(nèi)邊 緣增強(qiáng)處理急劇變化而產(chǎn)生的偽像。
另外，在本實(shí)施方式的情況下，F(xiàn)RC部100的運(yùn)動(dòng)矢量檢測(cè)部101中 的運(yùn)動(dòng)矢量檢測(cè)處理不受邊緣增強(qiáng)處理的影響，可以穩(wěn)定地工作。而且， 由于原狀使用FRC部100的內(nèi)插矢量分配部103所分配的內(nèi)插矢量信息， 所以可以用比后文描述的第三至第四實(shí)施方式更簡(jiǎn)單的結(jié)構(gòu)來(lái)實(shí)現(xiàn)。
但是，F(xiàn)RC部IOO的輸出圖像信號(hào)雖然是交替地輸出原圖像與內(nèi)插圖像，但由于邊緣增強(qiáng)部2中將FRC部100所生成的內(nèi)插矢量信息原狀應(yīng)用 于原圖像和內(nèi)插圖像雙方，所以存在對(duì)原圖像沒(méi)有進(jìn)行正確的邊緣增強(qiáng)處 理的情況。另外，對(duì)上述課題的改善方法將在后文中作為第三至第四實(shí)施 方式描述。
(第三實(shí)施方式)
結(jié)合圖13，對(duì)本發(fā)明第三實(shí)施方式的圖像處理裝置進(jìn)行說(shuō)明，對(duì)于與 上述圖像處理裝置相同的部分添加相同標(biāo)號(hào)，省略其說(shuō)明。在此，圖13是 表示本實(shí)施方式的圖像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。
在圖13中，運(yùn)動(dòng)矢量檢測(cè)部101根據(jù)通過(guò)幀緩沖器(FB) 105得以延 遲的一幀前的輸入圖像信號(hào)n-l、和當(dāng)前幀的輸入圖像信號(hào)n,求取各運(yùn)動(dòng) 檢測(cè)塊的運(yùn)動(dòng)矢量。內(nèi)插矢量分配部103用檢測(cè)出的運(yùn)動(dòng)矢量，對(duì)內(nèi)插幀 進(jìn)行適當(dāng)?shù)姆峙涫噶縑的分配。內(nèi)插幀生成部102用分割的矢量V生成內(nèi) 插幀圖像，并將其與矢量V—起輸出。原幀矢量分配部106用運(yùn)動(dòng)矢量檢 測(cè)部101所求取的運(yùn)動(dòng)矢量，對(duì)原幀進(jìn)行適當(dāng)?shù)氖噶縑的分配，并輸出該 分配的矢量V。
在此，對(duì)原幀進(jìn)行適當(dāng)?shù)氖噶縑的分配是指對(duì)原幀也進(jìn)行與所述第二 實(shí)施方式中詳細(xì)描述的向內(nèi)插幀的矢量分配處理相同的處理。本來(lái)，運(yùn)動(dòng) 矢量檢測(cè)部101所檢測(cè)出的運(yùn)動(dòng)矢量是指對(duì)作為原幀的輸入圖像信號(hào)n的 運(yùn)動(dòng)矢量，但這里是指對(duì)運(yùn)動(dòng)矢量檢測(cè)塊的矢量。進(jìn)行將此矢量重新分配 給內(nèi)插塊的處理。若內(nèi)插塊與運(yùn)動(dòng)矢量檢測(cè)塊同樣大，則也可原狀使用。 若內(nèi)插塊比運(yùn)動(dòng)矢量檢測(cè)塊要小，則重新分配。
時(shí)基變換部104通過(guò)交替地輸出從內(nèi)插幀生成部102輸出的內(nèi)插幀和 原幀，來(lái)向邊緣增強(qiáng)部2輸出幀率為原始輸入圖像信號(hào)的2倍的圖像信號(hào)。 另外，時(shí)基變換部104將輸出內(nèi)插幀的同時(shí)從內(nèi)插幀生成部102輸出的分 配矢量V、和輸出原幀的同時(shí)從原幀矢量分配部106輸出的分配矢量V分 別輸出到邊緣增強(qiáng)部2。
邊緣增強(qiáng)部2基于從時(shí)基變換部104輸出的分配矢量V，對(duì)幀率變換 后的圖像信號(hào)進(jìn)行邊緣增強(qiáng)處理。此時(shí)，分配矢量V越大，越增強(qiáng)邊緣增 強(qiáng)的程度或越擴(kuò)大進(jìn)行增強(qiáng)的頻率范圍，由此補(bǔ)償因攝像元件的時(shí)間積分
27效果而衰減了的髙頻分量。
另外，在本實(shí)施方式中，雖然采用利用邊緣增強(qiáng)部2對(duì)內(nèi)插圖像信號(hào) 和輸入圖像信號(hào)(原圖像信號(hào))兩者實(shí)施邊緣增強(qiáng)處理的結(jié)構(gòu)，但不限于 此，也可以僅對(duì)輸入圖像信號(hào)實(shí)施邊緣增強(qiáng)處理。此時(shí)，可以減少邊緣增 強(qiáng)部2的處理量。
另外，在本實(shí)施方式中，雖然也采用利用邊緣增強(qiáng)部2對(duì)輸入圖像信 號(hào)和FRC部100的內(nèi)插幀生成部102所生成的內(nèi)插圖像信號(hào)兩者實(shí)施邊緣 增強(qiáng)處理的結(jié)構(gòu)，但也可以使得對(duì)輸入圖像信號(hào)的邊緣增強(qiáng)處理與對(duì)內(nèi)插 圖像信號(hào)的邊緣增強(qiáng)處理為不同的處理。
艮P，存在運(yùn)動(dòng)矢量的誤檢測(cè)等引起內(nèi)插圖像信號(hào)發(fā)生圖像劣化(圖像 破綻)的情況，若對(duì)這樣劣化了的內(nèi)插圖像實(shí)施邊緣增強(qiáng)處理，則圖像劣 化了的部分也被實(shí)施邊緣增強(qiáng)處理，使得圖像劣化變得更加顯眼，因此通 過(guò)減小對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度，使其小于對(duì)輸入圖像信號(hào)(原圖 像信號(hào))的邊緣增強(qiáng)程度，或者只將對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)處理無(wú)效， 從而可以使運(yùn)動(dòng)補(bǔ)償型幀率變換處理造成的圖像劣化不顯眼，可以減小攝 像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰 感。
例如，通過(guò)縮小對(duì)內(nèi)插圖像信號(hào)進(jìn)行增強(qiáng)的頻率范圍，使其小于對(duì)輸 入圖像信號(hào)(原圖像信號(hào))進(jìn)行增強(qiáng)的頻率范圍，由此可以使運(yùn)動(dòng)補(bǔ)償型 幀率變換處理造成的圖像劣化不顯眼，可以減小攝像元件的時(shí)間積分效果 引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
另外，對(duì)于本實(shí)施方式的FRC部100，說(shuō)明了將輸入圖像信號(hào)的幀率 變換為2倍的結(jié)構(gòu)，但不限于此，也可以是將輸入圖像信號(hào)的幀率變換為 1.5倍、3倍等的結(jié)構(gòu)，或者輸入圖像信號(hào)由電影膠片視頻生成的結(jié)構(gòu)，例 如，在進(jìn)行了3-2下拉后的圖像信號(hào)的情況下，抽出相當(dāng)于24Hz的主要圖 像信號(hào)(所謂進(jìn)行逆3-2下拉處理)，在此幀間內(nèi)插4幅內(nèi)插圖像信號(hào)來(lái) 變換幀率為120Hz (5倍)。
這樣生成多幅內(nèi)插圖像信號(hào)時(shí)，可以使多個(gè)內(nèi)插幀各自的所述邊緣增 強(qiáng)處理不同。例如，如圖ll(a)所示，單向地從原圖像生成4幅枚內(nèi)插圖像時(shí)，在時(shí)間上離開原圖像的第四幅內(nèi)插圖像與原圖像之間的運(yùn)動(dòng)矢量的長(zhǎng) 度變大，運(yùn)動(dòng)矢量檢測(cè)時(shí)的計(jì)算誤差變大，因而內(nèi)插圖像信號(hào)有時(shí)會(huì)發(fā)生 圖像劣化。在這樣的情況下，通過(guò)減少對(duì)在時(shí)間上離開原圖像信號(hào)的內(nèi)插 圖像信號(hào)的邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或在時(shí)間上接近原圖像信號(hào) 的內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小 攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清 晰感。
另外，如圖ll(b)所示，當(dāng)四幅內(nèi)插圖像中的前兩幅由前面的原圖像生 成、后兩幅由后面的原圖像生成時(shí)，或者如圖ll(C)所示，根據(jù)與前后原圖 像之間的距離改變加權(quán)求和比率或混合比率而生成內(nèi)插圖像時(shí)，由于中間 的第二幅及第三幅內(nèi)插圖像信號(hào)在時(shí)間上遠(yuǎn)離原圖像信號(hào)，所以通過(guò)減小 邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或靠近原圖像信號(hào)的第一幅及第四幅內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像 元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰感。
另外，在本實(shí)施方式中，雖然采用利用運(yùn)動(dòng)矢量檢測(cè)部101對(duì)原幀n 檢測(cè)運(yùn)動(dòng)矢量、利用原幀矢量分配部106對(duì)原幀n分配該運(yùn)動(dòng)矢量、利用 吋基變換部104交替地輸出內(nèi)插幀和原幀n的結(jié)構(gòu)，但也可以采用對(duì)原幀 n-l檢測(cè)運(yùn)動(dòng)矢量、利用原幀矢量分配部106對(duì)原幀n-l分配該運(yùn)動(dòng)矢量、 利用時(shí)基變換部104交替地輸出原幀n-l和內(nèi)插幀的結(jié)構(gòu)。
如上所述，本實(shí)施方式的圖像處理裝置中，在FRC部100內(nèi)部對(duì)內(nèi)插 幀圖像信號(hào)和原幀圖像信號(hào)分別實(shí)施與圖像的運(yùn)動(dòng)量相對(duì)應(yīng)的適當(dāng)?shù)倪吘?增強(qiáng)處理，因此可以減小攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài) 模糊，提髙顯示圖像的清晰感，并且能夠防止過(guò)度的邊緣增強(qiáng)造成的畫質(zhì) 劣化。
在此，對(duì)輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且 對(duì)內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊 緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理，因此，即使在內(nèi)插圖像信號(hào)發(fā)生 圖像劣化時(shí)，也可以使其不顯眼，可以提高顯示圖像的清晰感。
另外，在本實(shí)施方式的情況下，F(xiàn)RC部100的運(yùn)動(dòng)矢量檢測(cè)部101中的運(yùn)動(dòng)矢量檢測(cè)處理不受邊緣增強(qiáng)處理的影響，可以穩(wěn)定地工作。而且， 由于在對(duì)原幀和內(nèi)插幀分別進(jìn)行適當(dāng)?shù)氖噶糠峙浜筮M(jìn)行邊緣增強(qiáng)處理，所 以與上述第一至第二實(shí)施方式相比，可以進(jìn)行更正確的邊緣增強(qiáng)處理。 (第四實(shí)施方式)
結(jié)合圖14，對(duì)本發(fā)明第四實(shí)施方式的圖像處理裝置進(jìn)行說(shuō)明，對(duì)于與 上述圖像處理裝置相同的部分添加相同標(biāo)號(hào)，省略其說(shuō)明。在此，圖14是 表示本實(shí)施方式的圖像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。
本實(shí)施方式的圖像處理裝置與圖13所示的第三實(shí)施方式相似。與第三 實(shí)施方式的不同點(diǎn)在于，邊緣增強(qiáng)部設(shè)置于FRC部100的內(nèi)部，且數(shù)量增 加為邊緣增強(qiáng)部2A與邊緣增強(qiáng)部2B這兩個(gè)，以及邊緣增強(qiáng)部與時(shí)基變換 部104的順序反轉(zhuǎn)。
邊緣增強(qiáng)部2A基于從內(nèi)插幀生成部102輸出的分配矢量V,對(duì)內(nèi)插幀 圖像信號(hào)進(jìn)行邊緣增強(qiáng)處理。邊緣增強(qiáng)部2B基于從原幀分配部106輸出的 分配矢量V，對(duì)原幀圖像信號(hào)進(jìn)行邊緣增強(qiáng)處理。此時(shí)，分配矢量V越大， 越增強(qiáng)邊緣增強(qiáng)的程度或越擴(kuò)大進(jìn)行增強(qiáng)的頻率范圍，由此補(bǔ)償因攝像元 件的時(shí)間積分效果而衰減了的高頻分量。
時(shí)基變換部104通過(guò)交替地輸出邊緣增強(qiáng)部2A輸出的內(nèi)插幀、和從邊 緣增強(qiáng)部2B輸出的原幀，來(lái)輸出幀率為原始輸入圖像信號(hào)的2倍的圖像信 號(hào)。
另外，在本實(shí)施方式中，雖然采用利用邊緣增強(qiáng)部2A及邊緣增強(qiáng)部 2B對(duì)內(nèi)插圖像信號(hào)和輸入圖像信號(hào)(原圖像信號(hào))兩者實(shí)施邊緣增強(qiáng)處理 的結(jié)構(gòu)，但不限于此，也可以僅對(duì)輸入圖像信號(hào)實(shí)施邊緣增強(qiáng)處理。例如， 內(nèi)插幀生成部102所生成的內(nèi)插圖像信號(hào)中有可能因運(yùn)動(dòng)矢量的誤檢測(cè)等 而引起圖像劣化，所以也可以省略對(duì)內(nèi)插圖像信號(hào)進(jìn)行邊緣增強(qiáng)處理的邊 緣增強(qiáng)部2A。這樣，通過(guò)省略邊緣增強(qiáng)部2A，可以使結(jié)構(gòu)更簡(jiǎn)單。
另外，在本實(shí)施方式中，雖然采用利用邊緣增強(qiáng)部2A及邊緣增強(qiáng)部 2B對(duì)輸入圖像信號(hào)和FRC部100的內(nèi)插幀生成部102所生成的內(nèi)插圖像信 號(hào)兩者實(shí)施邊緣增強(qiáng)處理的結(jié)構(gòu)，但也可以使得對(duì)輸入圖像信號(hào)的邊緣增 強(qiáng)處理與對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)處理為不同的處理。
30艮P，存在運(yùn)動(dòng)矢量的誤檢測(cè)等引起內(nèi)插圖像信號(hào)發(fā)生圖像劣化(圖像 破綻)的情況，若對(duì)這樣劣化了的內(nèi)插圖像實(shí)施邊緣增強(qiáng)處理，則圖像劣 化了的部分也被實(shí)施邊緣增強(qiáng)處理，圖像劣化會(huì)變得更加顯眼，因此通過(guò) 減小對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度，使其小于對(duì)輸入圖像信號(hào)(原圖像 信號(hào))的邊緣增強(qiáng)程度，或者只將對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)處理無(wú)效， 從而可以使運(yùn)動(dòng)補(bǔ)償型幀率變換處理造成的圖像劣化不顯眼，可以減小攝 像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰 感。
例如，通過(guò)縮小對(duì)內(nèi)插圖像信號(hào)進(jìn)行增強(qiáng)的頻率范圍，使其小于對(duì)輸 入圖像信號(hào)(原圖像信號(hào))進(jìn)行增強(qiáng)的頻率范圍，由此可以使運(yùn)動(dòng)補(bǔ)償型 幀率變換處理造成的圖像劣化不顯眼，可以減小攝像元件的時(shí)間積分效果 引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
另外，對(duì)于本實(shí)施方式的FRC部100，說(shuō)明了將輸入圖像信號(hào)的幀率 變換為2倍的結(jié)構(gòu)，但不限于此，也可以是將輸入圖像信號(hào)的幀率變換為 1.5倍、3倍等的結(jié)構(gòu)，或者輸入圖像信號(hào)由電影膠片視頻生成的結(jié)構(gòu)，例 如，在進(jìn)行了 3-2下拉后的圖像信號(hào)的情況下，抽出相當(dāng)于24Hz的主要圖 像信號(hào)(所謂進(jìn)行逆3-2下拉處理)，在此幀間內(nèi)插4幅內(nèi)插圖像信號(hào)來(lái) 變換幀率為120Hz (5倍)。
這樣生成多幅內(nèi)插圖像信號(hào)時(shí)，可以使多個(gè)內(nèi)插幀各自的所述邊緣增 強(qiáng)處理不同。例如，如圖ll(a)所示，單向地從原圖像生成4幅內(nèi)插圖像時(shí)， 在時(shí)間上離開原圖像的第四幅內(nèi)插圖像與原圖像之間的運(yùn)動(dòng)矢量的長(zhǎng)度變 大，運(yùn)動(dòng)矢量檢測(cè)時(shí)的計(jì)算誤差變大，因而內(nèi)插圖像信號(hào)有時(shí)會(huì)發(fā)生圖像 劣化。在這樣的情況下，通過(guò)減少對(duì)在時(shí)間上離開原圖像信號(hào)的內(nèi)插圖像 信號(hào)的邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或在時(shí)間上接近原圖像信號(hào)的內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像 元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。
另外，如圖ll(b)所示，當(dāng)四幅內(nèi)插圖像中的前兩幅由前面的原圖像生 成、后兩幅由后面的原圖像生成時(shí)，或者如圖ll(c)所示，根據(jù)與前后原圖 像之間的距離改變加權(quán)求和比率或混合比率而生成內(nèi)插圖像時(shí)，由于中間的第二幅及第三幅內(nèi)插圖像信號(hào)在時(shí)間上遠(yuǎn)離原圖像信號(hào)，所以通過(guò)減小 邊緣增強(qiáng)程度，增大對(duì)原圖像信號(hào)或靠近原圖像信號(hào)的第一幅及第四幅內(nèi) 插圖像信號(hào)的邊緣增強(qiáng)程度，由此可以使圖像劣化不顯眼，可以減小攝像 元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模糊，提髙顯示圖像的清晰感。
另外，在本實(shí)施方式中，雖然采用利用運(yùn)動(dòng)矢量檢測(cè)部101對(duì)原幀n 檢測(cè)運(yùn)動(dòng)矢量、利用原幀矢量分配部106對(duì)原幀n分配該運(yùn)動(dòng)矢量、利用 邊緣增強(qiáng)部2B對(duì)原幀n進(jìn)行邊緣增強(qiáng)處理的結(jié)構(gòu)，但也可以采用對(duì)原幀 n-l檢測(cè)運(yùn)動(dòng)矢量、利用原幀矢量分配部106對(duì)原幀n-l分配該運(yùn)動(dòng)矢量、 利用邊緣增強(qiáng)部2B對(duì)原幀n-l進(jìn)行邊緣增強(qiáng)處理的結(jié)構(gòu)。
如上所述，本實(shí)施方式的圖像處理裝置中，在FRC部100內(nèi)部對(duì)內(nèi)插 幀圖像信號(hào)和原幀圖像信號(hào)分別實(shí)施與圖像的運(yùn)動(dòng)量對(duì)應(yīng)的適當(dāng)?shù)倪吘壴?強(qiáng)處理，因此可以減小攝像元件的時(shí)間積分效果引起的可觀測(cè)到的動(dòng)態(tài)模 糊，提髙顯示圖像的清晰感，并且能夠防止過(guò)度的邊緣增強(qiáng)造成的畫質(zhì)劣 化。
在此，對(duì)輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且 對(duì)內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊 緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理，因此，即使在內(nèi)插圖像信號(hào)發(fā)生 圖像劣化時(shí)，也可以使其不顯眼，可以提高顯示圖像的清晰感。
另外，在本實(shí)施方式的情況下，F(xiàn)RC部100的運(yùn)動(dòng)矢量檢測(cè)部101中 的運(yùn)動(dòng)矢量檢測(cè)處理不受邊緣增強(qiáng)處理的影響，可以穩(wěn)定地工作。而且， 由于在對(duì)原幀和內(nèi)插幀分別進(jìn)行了適當(dāng)?shù)氖噶糠峙浜筮M(jìn)行邊緣增強(qiáng)處理， 所以與上述第一至第二實(shí)施方式相比，可以進(jìn)行更正確的邊緣增強(qiáng)處理。 另外，由于包括邊緣增強(qiáng)部2A和邊緣增強(qiáng)部2B這兩個(gè)邊緣增強(qiáng)部，所以 各邊緣增強(qiáng)處理只要是上述第三實(shí)施方式的一半即可。
在.匕述說(shuō)明中，對(duì)涉及本發(fā)明的圖像處理裝置及方法的實(shí)施方式的一 個(gè)示例進(jìn)行了說(shuō)明，根據(jù)這些說(shuō)明，也可以容易地理解利用計(jì)算機(jī)將本圖 像處理方法作為程序執(zhí)行的處理程序、以及將該處理程序記錄到利用計(jì)算 機(jī)可讀取的記錄介質(zhì)的程序記錄介質(zhì)。
另外，如上所述，本發(fā)明的圖像處理裝置可以與圖像顯示裝置構(gòu)成為
32一體，也可以獨(dú)立于圖像顯示裝置另外設(shè)置。而且，不限于此，還可以設(shè) 置于例如各種記錄介質(zhì)重放裝置等視頻輸出機(jī)器內(nèi)。
而且，在上述各實(shí)施方式中，對(duì)可根據(jù)輸入圖像信號(hào)的運(yùn)動(dòng)量改變對(duì) 圖像信號(hào)的邊緣增強(qiáng)程度進(jìn)行了說(shuō)明，但可知本發(fā)明不限于此，無(wú)論輸入 圖像信號(hào)的運(yùn)動(dòng)量如何，都可以將其適用于以預(yù)先確定的邊緣增強(qiáng)程度實(shí) 施邊緣增強(qiáng)處理的情況。在此情況下，通過(guò)減小對(duì)內(nèi)插圖像信號(hào)的邊緣增 強(qiáng)程度，使其小于對(duì)輸入圖像信號(hào)的邊緣增強(qiáng)程度，，由此即使在內(nèi)插圖 像信號(hào)發(fā)生畫像劣化時(shí)，也可以使其不顯眼，可以提高顯示圖像的清晰感。
權(quán)利要求
1.一種圖像顯示裝置，包括頻率變換單元，該頻率變換單元基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量信息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù)或場(chǎng)數(shù)，該圖像顯示裝置的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理。
2. 如權(quán)利要求l所述的圖像顯示裝置，其特征在于， 所述邊緣增強(qiáng)處理對(duì)所述輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域，使增強(qiáng)所述圖像信號(hào)的高頻分量的量增大。
3. 如權(quán)利要求1或2所述的圖像顯示裝置，其特征在于， 所述邊緣增強(qiáng)處理對(duì)所述輸入圖像信號(hào)的運(yùn)動(dòng)量大的區(qū)域，擴(kuò)大進(jìn)行所述增強(qiáng)的圖像信號(hào)的頻率范圍。
4. 如權(quán)利要求1至3中的任一項(xiàng)所述的圖像顯示裝置，其特征在于， 可根據(jù)所述輸入圖像信號(hào)的運(yùn)動(dòng)方向，改變對(duì)所述圖像信號(hào)進(jìn)行邊緣增強(qiáng)的濾波器的特性。
5. 如權(quán)利要求2至4中的任一項(xiàng)所述的圖像顯示裝置，其特征在于， 所述頻率變換單元包括在所述輸入圖像信號(hào)中包含的連續(xù)幀間或場(chǎng)問(wèn)檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)部；基于該檢測(cè)出的運(yùn)動(dòng)矢量向所述幀間或所述場(chǎng)間分配內(nèi)插矢量的內(nèi)插 矢量分配部；基于該分配的內(nèi)插矢量生成內(nèi)插圖像信號(hào)的內(nèi)插圖像生成部；以及 將該生成的內(nèi)插圖像信號(hào)內(nèi)插到所述幀間或所述場(chǎng)間的圖像內(nèi)插部，基于所述運(yùn)動(dòng)矢量檢測(cè)部所檢測(cè)出的運(yùn)動(dòng)矢量，求取所述輸入圖像信號(hào)的運(yùn)動(dòng)量/運(yùn)動(dòng)方向。
6. 如權(quán)利要求5所述的圖像顯示裝置，其特征在于，設(shè)置了將所述運(yùn)動(dòng)矢量檢測(cè)部所檢測(cè)出的運(yùn)動(dòng)矢量平滑化的低通濾波器。
7. 如權(quán)利要求2至4中的任一項(xiàng)所述的圖像顯示裝置，其特征在于，所述頻率變換單元包括在所述輸入圖像信號(hào)中包含的連續(xù)幀間或場(chǎng)間檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)部；基于該檢測(cè)出的運(yùn)動(dòng)矢量向所述幀間或所述場(chǎng)間分配內(nèi)插矢量的內(nèi)插矢量分配部；基于該分配的內(nèi)插矢量生成內(nèi)插圖像信號(hào)的內(nèi)插圖像生成部；以及將該生成的內(nèi)插圖像信號(hào)內(nèi)插到所述幀間或所述場(chǎng)間的圖像內(nèi)插部，基于所述內(nèi)插向量分配部所分配的運(yùn)動(dòng)矢量，求取所述輸入圖像信號(hào)的運(yùn)動(dòng)量/運(yùn)動(dòng)方向。
8. 如權(quán)利要求7所述的圖像顯示裝置，其特征在于，設(shè)置了將所述內(nèi)插矢量分配部所分配的運(yùn)動(dòng)矢量平滑化的低通濾波器。
9. 如權(quán)利要求1至8中的任一項(xiàng)所述的圖像顯示裝置，其特征在于，所述頻率變換單元將多個(gè)所述內(nèi)插圖像信號(hào)內(nèi)插到所述輸入圖像信號(hào)的幀間或場(chǎng)間，可根據(jù)與所述輸入圖像信號(hào)在時(shí)間上的距離，改變對(duì)各個(gè)內(nèi)插圖像信^的邊緣增強(qiáng)程度。
10. —種圖像顯示方法，包括頻率變換步驟，該頻率變換步驟基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量信息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù)或場(chǎng)數(shù)，該圖像顯示方法的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理。
11. —種圖像處理裝置，包括頻率變換單元，該頻率變換單元基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量信息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插到所述輸入圖像信號(hào)的幀間或場(chǎng)間，從而變換所述輸入圖像信號(hào)的幀數(shù)或場(chǎng)數(shù)，該圖像處理裝置的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理。
12. —種圖像處理方法，包括頻率變換步驟，該頻率變換步驟基于輸入圖像信號(hào)的幀間或場(chǎng)間的運(yùn)動(dòng)矢量信息，將對(duì)所述輸入圖像信號(hào)實(shí)施運(yùn)動(dòng)補(bǔ)償處理而生成的內(nèi)插圖像信號(hào)內(nèi)插到所述輸入圖像信號(hào)的幀間或場(chǎng)問(wèn)，從而變換所述輸入圖像信號(hào)的幀數(shù)或場(chǎng)數(shù)，該圖像處理方法的特征在于，對(duì)所述輸入圖像信號(hào)以第一邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理，并且對(duì)所述內(nèi)插圖像信號(hào)以小于所述第一邊緣增強(qiáng)程度的第二邊緣增強(qiáng)程度實(shí)施邊緣增強(qiáng)處理、或者不進(jìn)行邊緣增強(qiáng)處理。
全文摘要
本發(fā)明提供一種能夠抑制圖像劣化、減少保持型顯示方式引起的動(dòng)態(tài)模糊、同時(shí)能減少攝像元件的時(shí)間積分效果引起的顯示視頻的動(dòng)態(tài)模糊、實(shí)現(xiàn)高品質(zhì)的顯示視頻的圖像顯示裝置及方法、圖像處理裝置及方法。包括運(yùn)動(dòng)矢量檢測(cè)部(101)，該運(yùn)動(dòng)矢量檢測(cè)部(101)檢測(cè)輸入圖像信號(hào)的幀間的每個(gè)預(yù)定區(qū)域的運(yùn)動(dòng)矢量；以及邊緣增強(qiáng)部(2)，該邊緣增強(qiáng)部(2)根據(jù)所述運(yùn)動(dòng)矢量檢測(cè)部(101)所檢測(cè)出的輸入圖像信號(hào)的運(yùn)動(dòng)量，增強(qiáng)該輸入圖像信號(hào)及FRC部(100)所生成的內(nèi)插圖像信號(hào)的高頻分量。由此，通過(guò)補(bǔ)償因攝像元件的時(shí)間積分效果而衰減的高頻分量，從而可以減少可觀察到的動(dòng)態(tài)模糊，提高顯示圖像的清晰感。另外，通過(guò)減小對(duì)內(nèi)插圖像信號(hào)的邊緣增強(qiáng)程度，使其小于對(duì)輸入圖像信號(hào)的邊緣增強(qiáng)程度，由此使內(nèi)插圖像信號(hào)的圖像劣化不顯眼，提高顯示圖像的清晰感。
文檔編號(hào)H04N5/208GK101663885SQ200880012509
公開日2010年3月3日 申請(qǐng)日期2008年4月18日 優(yōu)先權(quán)日2007年4月27日
發(fā)明者上野雅史, 古川浩之, 吉井隆司, 吉田育弘, 山本健一郎, 椿郁子 申請(qǐng)人:夏普株式會(huì)社