專利名稱：處理運(yùn)動圖像的圖像處理方法、設(shè)備和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用來處理運(yùn)動圖像的方法、設(shè)備和程序。更具體地說，本發(fā)明涉及減少 由拍照引起的運(yùn)動模糊的可能性。
背景技術(shù)：
一般而言，當(dāng)通過相機(jī)拍攝運(yùn)動圖像時(shí)，由于1/60秒的曝光而引起運(yùn)動模糊。因 此，在處理運(yùn)動圖像時(shí)減少運(yùn)動模糊是重要的。存在提出了減少運(yùn)動模糊的可能性的若干種方法。然而，多數(shù)方法受如下缺陷之 苦，即要么不適于諸如紋理區(qū)域之類的高頻區(qū)域要么具有例如不連續(xù)性之類的副作用。

發(fā)明內(nèi)容
因此本發(fā)明的目的是改進(jìn)現(xiàn)有技術(shù)。具體而言，在現(xiàn)有技術(shù)中，對在拍攝時(shí)發(fā)生的運(yùn)動模糊(在下文中將被稱為成像 模糊)尚沒有足夠考慮。因此，由成像模糊引起的圖像劣化(模糊圖像)仍然存在而未被 專門校正，結(jié)果難以在顯示設(shè)備上顯示清楚圖像。根據(jù)一個(gè)方面，本發(fā)明涉及一種圖像處理方法，用于以存取單位為增量對由預(yù)定 視頻拍攝設(shè)備拍攝的運(yùn)動圖像進(jìn)行處理，其中成像模糊由示出在利用所述視頻拍攝設(shè)備拍 攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊的屬性的相應(yīng)低通濾波特性(low-pass filter)表示， 所述方法包括以下步驟生成具有針對所述低通濾波特性的逆反屬性(inverse property) 的逆反濾波特性(inverse filter)，以及執(zhí)行將所述逆反濾波特性應(yīng)用于所要處理的所述 存取單位的處理，其中所述生成逆反濾波特性的步驟包括基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù) 的頻域中的迭代算法。根據(jù)另一方面，本發(fā)明涉及一種圖像處理設(shè)備，用于以存取單位為增量對由預(yù)定 視頻拍攝設(shè)備拍攝的運(yùn)動圖像進(jìn)行處理，其中成像模糊由示出在利用所述視頻拍攝設(shè)備拍 攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊的屬性的相應(yīng)低通濾波特性表示，所述設(shè)備包括反向 (reverse)移動平均濾波特性生成單元，用于生成具有針對所述低通濾波特性的相反屬性 (inverseproperty)的反向?yàn)V波特性；以及成像模糊抑制處理單元，用于執(zhí)行將所述反向 濾波特性應(yīng)用于所要處理的所述存取單位的處理，其中所述反向移動平均濾波特性生成單 元適用于根據(jù)基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù)的頻域中的迭代算法來確定所述反向?yàn)V波 特性。 根據(jù)又一方面，本發(fā)明涉及一種存儲在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，用 于以存取單位為增量對由預(yù)定視頻拍攝設(shè)備拍攝的運(yùn)動圖像進(jìn)行處理，其中成像模糊由示 出在利用所述視頻拍攝設(shè)備拍攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊的屬性的相應(yīng)低通濾波 特性表示，所述計(jì)算機(jī)程序使計(jì)算機(jī)執(zhí)行以下步驟生成具有針對所述低通濾波特性的相 反屬性的反向?yàn)V波特性，以及執(zhí)行將所述反向?yàn)V波特性應(yīng)用于所要處理的所述存取單位的 處理，其中所述生成反向?yàn)V波特性的步驟包括基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù)的頻域中的迭代算法。


在下面對優(yōu)選實(shí)施例的描述中，現(xiàn)將聯(lián)系附圖更詳細(xì)地說明本發(fā)明，在附圖中圖1是圖示出本發(fā)明所應(yīng)用于的圖像處理設(shè)備的功能配置的示例的框圖；圖2是圖示出在人類視網(wǎng)膜上形成的圖像模糊的頻率屬性的示圖；圖3是描述由圖1中的圖像處理設(shè)備執(zhí)行的圖像處理的流程圖；圖4是圖示出根據(jù)運(yùn)動向量(運(yùn)動速度)的圖像模糊的頻率屬性的示圖；圖5是圖示出圖1中的圖像處理設(shè)備中的圖像模糊抑制處理單元的功能配置示例 的框圖； 圖6是圖示出圖5中的圖像模糊抑制處理單元的反向運(yùn)動平均濾波器生成單元的 功能配置示例的框圖；圖7是圖示出根據(jù)本發(fā)明的反函數(shù)生成單元的功能配置示例的框圖；圖8是圖示出圖7中的反函數(shù)生成單元的組件的每個(gè)輸出信號的頻率屬性示例的 示圖；圖9是描述根據(jù)本發(fā)明的由反函數(shù)生成單元執(zhí)行的圖像處理的流程圖；圖10是描述相機(jī)快門速度和成像模糊屬性的示圖；圖11是圖示出不同于圖1的示例的示圖，該示例具有本發(fā)明所應(yīng)用于的圖像處理 設(shè)備的功能配置；圖12是圖示出不同于圖1和11的示例的示圖，該示例具有本發(fā)明所應(yīng)用于的圖 像處理設(shè)備的功能配置；圖13是圖示出不同于圖1、11和12的示例的示圖，該示例具有本發(fā)明所應(yīng)用于的 圖像處理設(shè)備的功能配置；圖14是圖示出不同于圖1、11、12和13的示例的示圖，該示例具有本發(fā)明所應(yīng)用 于的圖像處理設(shè)備的功能配置；圖15是圖示出本發(fā)明所應(yīng)用于的圖像處理設(shè)備的全部或者一部分硬件配置的示 例的框圖。
具體實(shí)施例方式本發(fā)明的圖像處理設(shè)備可被用作整個(gè)電視系統(tǒng)或其組件。電視系統(tǒng)指由包括電視 廣播接收設(shè)備在內(nèi)的一個(gè)或多個(gè)AV (音頻和視覺)設(shè)備組成的系統(tǒng)。接著，將參考附圖描述本發(fā)明的實(shí)施例。圖1示出了本發(fā)明所應(yīng)用于的圖像處理 設(shè)備的功能配置的示例。圖像處理設(shè)備1以“存取單位”為增量對運(yùn)動圖像數(shù)據(jù)執(zhí)行各種類型的圖像處理。 術(shù)語“存取單位”指的是諸如幀和場之類的運(yùn)動圖像的增量，并且具體指例如組成運(yùn)動圖像 的每個(gè)幀(靜態(tài)圖像)的全部或者一部分。然而，此后處于簡化目的，假定圖像處理設(shè)備1 以幀為增量對運(yùn)動圖像數(shù)據(jù)執(zhí)行各種類型的圖像處理。圖像處理設(shè)備1由高幀速率變換單元11、成像模糊屬性檢測單元12以及成像模糊 抑制處理單元13組成，如圖1所示。
電視廣播信號等的運(yùn)動圖像信號作為按照例如幀增量的運(yùn)動圖像數(shù)據(jù)被輸入到 高幀速率變換單元11中。
注意到，此后在運(yùn)動圖像和與之相對應(yīng)的運(yùn)動圖像數(shù)據(jù)不必進(jìn)行單獨(dú)區(qū)分的情況 下，它們將被總地簡稱為“運(yùn)動圖像”。類似地，在幀和與之相對應(yīng)的幀數(shù)據(jù)不必進(jìn)行單獨(dú)區(qū) 分的情況下，它們將被總地簡稱為“幀”。在第一幀速率的運(yùn)動圖像被輸入的情況下，高幀速率變換單元11對這種運(yùn)動圖 像執(zhí)行高幀速率變換處理，并且把由此得到的幀速率高于第一幀速率的第二幀速率的運(yùn)動 圖像提供給成像模糊屬性檢測單元12和成像模糊抑制處理單元13。高幀速率變換處理是在輸入時(shí)的第一幀速率低于輸出(顯示)時(shí)的第二幀速率的 情況下執(zhí)行的處理，并且指通過創(chuàng)建新幀并且將每個(gè)新幀插入在組成輸入時(shí)的運(yùn)動圖像的 各個(gè)幀之間來將第一幀速率變換為高于第一幀速率的第二幀速率的處理。注意到，第一幀速率指在輸入到高幀速率變換單元11中時(shí)的運(yùn)動圖像的幀速率。 因此，第一幀速率可以變?yōu)槿我鈳俾?，但是這里假定第一幀速率是當(dāng)通過未示出的視頻 拍攝設(shè)備拍攝運(yùn)動圖像時(shí)的幀速率，即例如是成像幀速率。成像模糊屬性檢測單元12檢測參數(shù)值，這些參數(shù)值指示出組成從高幀速率變換 單元11提供的運(yùn)動圖像的每個(gè)幀的成像模糊屬性。來自成像模糊屬性檢測單元12的檢測 結(jié)果，即示出成像模糊屬性的參數(shù)值，被提供給成像模糊抑制處理單元13。注意到，并不特別限制指示出成像模糊屬性的參數(shù)，而是可以使用各種參數(shù)。然 而，稍后將描述指示出成像模糊屬性的參數(shù)的具體示例。同樣，不特別限制所檢測的示出一個(gè)幀內(nèi)的成像模糊屬性的參數(shù)值的數(shù)目。例如， 示出成像模糊屬性的僅一個(gè)參數(shù)值可被檢測到，或者示出成像模糊屬性的參數(shù)值可被一次 一個(gè)地分別檢測?；蛘撸蓪⒍鄠€(gè)幀之一劃分為若干塊，并且可針對所劃分的每個(gè)塊一次一 個(gè)地分別檢測示出成像模糊屬性的參數(shù)值。針對組成從高幀速率變換單元11提供的運(yùn)動圖像的每個(gè)幀，成像模糊抑制處理 單元13基于在利用成像模糊屬性檢測單元12檢測到的參數(shù)值中與所要處理的幀相對應(yīng)的 值，校正組成所要處理的幀的每個(gè)像素值。就是說，成像模糊抑制處理單元13根據(jù)所要處 理的幀的成像模糊屬性(參數(shù)值)來校正所要處理的幀的每個(gè)像素值，使得成像模糊被抑 制。因此，成像模糊被正被校正的每個(gè)幀的每個(gè)像素值抑制的運(yùn)動圖像以及被變換為 高于輸入時(shí)的第一幀速率的第二幀速率的運(yùn)動圖像在成像模糊抑制處理單元13處被從圖 像處理設(shè)備1輸出到外部。注意到，在圖1的示例中，成像模糊屬性檢測單元12和成像模糊抑制處理單元13 的集合被與高幀速率變換單元11相結(jié)合，但是該集合當(dāng)然可被單獨(dú)使用，或者可被與其他 未示出的塊(執(zhí)行預(yù)定圖像處理的其他圖像處理單元)結(jié)合使用。就是說，僅利用成像模糊屬性檢測單元12和成像模糊抑制處理單元13的集合可 以實(shí)現(xiàn)抑制成像模糊的優(yōu)點(diǎn)。然而，為了使該優(yōu)點(diǎn)更顯著，如上所述將成像模糊屬性檢測單 元12和成像模糊抑制處理單元13與高幀速率變換單元11相結(jié)合是有利的。其原因?qū)⒃?下面描述。在顯示在未示出顯示設(shè)備上的運(yùn)動圖像被形成為人的視網(wǎng)膜上的圖像的情況下被該人辨認(rèn)出的模糊 是如下模糊該模糊結(jié)合了來自該人對運(yùn)動圖像中包括的運(yùn)動對象進(jìn) 行跟蹤的眼的保持模糊(hold blur)以及上面描述的在拍攝運(yùn)動圖像時(shí)加入的成像模糊。成像模糊屬性這里被示出為低通濾波器，稍后將參考圖4等對其進(jìn)行描述。就是 說，成像模糊之后的圖像信號是與向成像模糊之前的圖像信號(理想的圖像信號)應(yīng)用了 低通濾波器的信號相等同的信號。因此，與成像模糊之前的圖像信號相比，成像模糊之后的 圖像信號的頻率屬性下降。就是說，與成像模糊之前的圖像信號相比，成像模糊之后的圖像 信號的增益通常隨著頻率升高而下降。保持模糊的屬性這里也被示出為與成像模糊屬性類似的低通濾波器。就是說，保 持模糊之后的圖像信號是與向保持模糊之前的圖像信號(成像模糊之后的圖像信號)應(yīng)用 了低通濾波器的信號相等同的信號。因此，與保持模糊之前的圖像信號相比，保持模糊之后 的圖像信號的頻率屬性下降。就是說，與保持模糊之前的圖像信號相比，保持模糊之后的圖 像信號的增益通常隨著頻率升高而下降。然而，僅當(dāng)顯示設(shè)備是固定圖像(保持)顯示設(shè) 備時(shí)發(fā)生保持模糊。因此，通過對成像模糊之后的圖像信號(其中頻率屬性由于成像模糊已經(jīng)下降) 執(zhí)行高幀速率變換處理，可以實(shí)現(xiàn)對保持模糊的抑制。然而，即使執(zhí)行了這種高幀速率變換 處理，成像模糊劣化也不改變，并且最終使抑制人類視網(wǎng)膜上的模糊的優(yōu)點(diǎn)減半。這點(diǎn)將參 考圖2進(jìn)行描述。圖2示出了當(dāng)在視頻拍攝設(shè)備(此后稱為相機(jī))的拍攝范圍內(nèi)拍攝到以4[像素 /幀]的運(yùn)動速度移動的實(shí)際對象時(shí)在人類視網(wǎng)膜上形成的圖像模糊的頻率屬性。在圖2 中，水平軸示出頻率并且垂直軸示出相應(yīng)的增益。然而，水平軸的各個(gè)值示出了在奈奎斯特 頻率為1的情況下的相對值。在圖2中，用點(diǎn)斷線示出的曲線h0示出了在不特別執(zhí)行改善模糊(包括成像模糊 和保持模糊)的處理的情況下在人類視網(wǎng)膜上形成的圖像模糊的頻率屬性。就是說，在圖 1示例中的圖像處理設(shè)備1中的運(yùn)動圖像輸入被不變地提供給顯示設(shè)備并被顯示在顯示設(shè) 備上而非被臨時(shí)輸入到圖像處理設(shè)備1中(未被處理)的情況下，當(dāng)人觀看運(yùn)動圖像時(shí)在 視網(wǎng)膜上形成的圖像模糊的頻率屬性是曲線ho。相反，如果例如利用高幀速率變換處理使顯示速度加倍，那么只有保持模糊被改 善，并且在人類視網(wǎng)膜上形成的圖像模糊的頻率屬性變?yōu)閳D中用虛線示出的曲線hi。就是 說，在圖1中的圖像處理設(shè)備1中的運(yùn)動圖像輸入經(jīng)受了利用高幀速率變換單元11進(jìn)行的 高幀速率變換處理并且此后被提供給顯示設(shè)備并被顯示在顯示設(shè)備上而非被臨時(shí)輸入到 成像模糊抑制處理單元13中(成像模糊未被改善)的情況下，當(dāng)人觀看運(yùn)動圖像時(shí)在視網(wǎng) 膜上形成的圖像模糊的頻率屬性是曲線hi。另外，例如，在利用高幀速率變換處理使顯示速度加倍(保持模糊被改善)并且使 成像模糊的程度改善一半之后，在人類視網(wǎng)膜上形成的成像模糊的頻率屬性變?yōu)樵趫D中示 出為實(shí)線的曲線h2。就是說，在圖1中的圖像處理設(shè)備1中的運(yùn)動圖像輸入經(jīng)受了利用高 幀速率變換單元11進(jìn)行的高幀速率變換處理，并且在利用成像模糊抑制處理單元13抑制 成像模糊之后被進(jìn)一步提供給顯示設(shè)備并被顯示在顯示設(shè)備上的情況下，當(dāng)人觀看運(yùn)動圖 像時(shí)在視網(wǎng)膜上形成的圖像模糊的頻率屬性是曲線h2。比較曲線hi和曲線h2，通過利用高幀速率變換處理僅改善保持模糊，人類視網(wǎng)膜上的模糊屬性的改善是不足的，并且對成像模糊的進(jìn)一步改善的必要性變得明顯。然而，如上所述，對于根據(jù)現(xiàn)有技術(shù)的方法，對成像模糊的改善的必要性未得到特別考慮，而只是執(zhí) 行了高幀速率變換處理。因此，對于被實(shí)現(xiàn)為圖1中的實(shí)施例的本發(fā)明的圖像處理設(shè)備，除了高幀速率變 換單元11之外還提供了成像模糊屬性檢測單元12和成像模糊抑制處理單元13，以改善成 像模糊，即把人類視網(wǎng)膜上的模糊屬性從圖2中的曲線h0改善為曲線h2。就是說，成像模糊抑制處理單元13基于在利用成像模糊屬性檢測單元12檢測到 的示出成像模糊屬性的參數(shù)值中與所要處理的幀相對應(yīng)的值，通過校正所要處理的幀的每 個(gè)像素值，來抑制在高幀速率變換之后的幀上的、由成像模糊引起的圖像劣化。就是說，通 過把從本發(fā)明的諸如圖像處理設(shè)備1之類的圖像處理設(shè)備輸出的圖像信號提供給未示出 的顯示設(shè)備，顯示設(shè)備可以顯示抑制了圖像劣化的清楚視頻，作為與其圖像信號相對應(yīng)的 視頻。因而希望將成像模糊屬性檢測單元12和成像模糊抑制處理單元13的集合與高幀 速率變換單元11相結(jié)合。接著，將參考圖3中的流程圖來描述具有圖1的功能配置的圖像處理設(shè)備的圖像處理。在步驟Sl中，高幀速率變換單元11輸入具有第一幀速率的運(yùn)動圖像。在步驟S2中，高幀速率變換單元11把運(yùn)動圖像幀速率變換為高于第一幀速率的 第二幀速率。當(dāng)從第一幀速率變換為第二幀速率的運(yùn)動圖像被從高幀速率變換單元11提供給 成像模糊屬性檢測單元12和成像模糊抑制處理單元13時(shí)，處理前進(jìn)到步驟S3。在步驟S3中，成像模糊屬性檢測單元12從組成運(yùn)動圖像的每個(gè)幀中檢測指示出 成像模糊屬性的一個(gè)或多個(gè)參數(shù)值。在指示出組成運(yùn)動圖像的每個(gè)幀的成像模糊屬性的一個(gè)或多個(gè)參數(shù)被從成像模 糊屬性檢測單元12提供到成像模糊抑制處理單元13之后，處理前進(jìn)到步驟S4。在步驟S4中，成像模糊抑制處理單元13基于在利用成像模糊屬性檢測單元12檢 測到的參數(shù)值中與所要處理的幀相對應(yīng)的一個(gè)或多個(gè)值，針對組成從高幀速率變換單元11 提供的運(yùn)動圖像的每個(gè)幀來校正所要處理的幀的每個(gè)像素值。在步驟S5中，成像模糊抑制處理單元13輸出如下運(yùn)動圖像，該運(yùn)動圖像的每個(gè)幀 的像素值已被校正并且該運(yùn)動圖像已被從第一幀速率修改為第二幀速率。因此，圖3中的 圖像處理結(jié)束。注意到，對于上述描述，為了簡化描述，運(yùn)動圖像已經(jīng)是步驟Sl至S5中的每一步 的處理的處理增量。然而，在現(xiàn)實(shí)中，在許多情況下幀是處理增量。對于圖3中的圖像處理，每一步的處理增量為運(yùn)動圖像等同于，從步驟Sl至S5中 的處理步驟到下一步驟的前進(jìn)條件是如下條件其中所要處理的步驟的處理是針對整個(gè)運(yùn) 動圖像執(zhí)行的。相反地，對于圖3中的圖像處理，每一步的處理增量為幀等同于，從步驟Sl至S5 中的處理步驟到下一步驟的前進(jìn)條件是如下條件其中所要處理的步驟的處理是針對一整 個(gè)幀執(zhí)行的。換言之，每一步的處理增量為幀等同于針對每個(gè)相應(yīng)幀的步驟Sl至S5的連續(xù)處理是獨(dú)立于其他幀(并行)執(zhí)行的。在這種情況下，例如可能發(fā)生如下情形當(dāng)針對第 一幀的步驟S3的處理被執(zhí)行時(shí)，針對不同的第二幀的步驟S2的處理被并行執(zhí)行。

另外，在現(xiàn)實(shí)中，在許多情況下，按照如所要處理的像素的將感興趣的像素(此后 稱為感興趣的像素)的順序來設(shè)置組成所要處理的幀的像素，并且至少步驟S3和S4中的 處理被順序地單獨(dú)執(zhí)行。就是說，步驟S3和S4中的處理增量經(jīng)常是像素。因此，還是對于以下描述，將就步驟S3和S4中的按照像素增量的處理給出描述。 就是說，步驟S3中的處理是成像模糊屬性檢測單元12的處理，并且步驟S4中的處理是成 像模糊抑制處理單元13的處理。因此，對于下面的描述，對于成像模糊屬性檢測單元12和 成像模糊抑制處理單元13，處理增量將被描述為像素。接著，圖1中的圖像處理設(shè)備1的成像模糊抑制處理單元13的若干實(shí)施例將被描 述。具體而言，作為指示出成像模糊屬性的參數(shù)，在使用運(yùn)動向量的絕對值(此后稱為運(yùn)動 速度)的情況下的成像模糊抑制處理單元13的若干示例將被描述。在運(yùn)動速度被用作示出成像模糊屬性的參數(shù)的情況下，成像模糊屬性檢測單元12 順序地將組成所要處理的幀的每個(gè)像素設(shè)置為感興趣的像素，順序地檢測感興趣的像素的 運(yùn)動向量，并且順序地將這些運(yùn)動向量提供給成像模糊抑制處理單元，作為示出感興趣的 像素的成像模糊屬性的參數(shù)值。因此，成像模糊抑制處理單元13針對組成運(yùn)動圖像的每個(gè)幀順序地將組成所要 處理的幀的每個(gè)像素設(shè)置為感興趣的像素，并且基于在從成像模糊屬性檢測單元12提供 的運(yùn)動向量中的感興趣的像素的運(yùn)動向量的絕對值，即基于感興趣的像素的運(yùn)動速度，感 興趣的像素的像素值被順序地校正。現(xiàn)在將描述可將運(yùn)動速度用作示出成像模糊屬性的參數(shù)的原因。通?？梢栽谌Q 于受拍攝的對象的運(yùn)動速度的狀態(tài)下表示成像模糊屬性。注意到，在利用相機(jī)拍攝對象時(shí)，在對象自身在真實(shí)空間中已經(jīng)移動并且相機(jī)是 固定的情況下，受拍攝的對象的運(yùn)動速度自然包括幀中的對象(圖像)的運(yùn)動速度。另外， 在利用相機(jī)拍攝對象時(shí)，在對象在真實(shí)空間中是固定的并且相機(jī)由于手抖而被移動的情況 下，或者在對象和相機(jī)在真實(shí)空間中均被移動的情況下，對象的運(yùn)動速度在這里還包括幀 中的對象(圖像)的相對運(yùn)動速度。因此，可在取決于組成對象的圖像的每個(gè)像素的運(yùn)動速度的狀態(tài)下表示成像模糊 屬性。像素的運(yùn)動速度指示出所要處理的幀中的像素和早先的幀中與之相對應(yīng)的像素 (對應(yīng)點(diǎn))之間的空間距離。例如，在所要處理的幀中的像素和緊接的前一(時(shí)間上的前 一個(gè))幀內(nèi)與之相對應(yīng)的圖像之間的空間距離相當(dāng)于K個(gè)像素(K是0或者更大的任意整 數(shù))的情況下，其像素的運(yùn)動速度變?yōu)镵 [像素/幀]。在這種情況下，假定組成對象的圖像的各個(gè)像素中的一個(gè)預(yù)定像素被設(shè)置為感興 趣的像素，那么可以在取決于感興趣的像素的運(yùn)動速度K[像素/幀]的大小的狀態(tài)下表示 感興趣的像素的成像模糊屬性。更具體地說，例如，在感興趣的像素的運(yùn)動速度是2、3、4[像素/幀]的各個(gè)情況 下，感興趣的像素的成像模糊的頻率屬性可以分別用圖4中的曲線H2至H4來表示。就是說，圖4示出了在感興趣的像素的運(yùn)動速度是2、3、4 [像素/幀]的各個(gè)情況下感興趣的像素的成像模糊的各個(gè)頻率屬性。在圖4中，水平軸示出了頻率并且垂直軸示 出了增益(幅度)。然而，水平軸的每個(gè)值示出了在奈奎斯特頻率為1的情況下的相對值。 以上是可以將運(yùn)動速度用作示出成像模糊屬性的參數(shù)的原因?，F(xiàn)在，如從頻率屬性H2至H4明白的，當(dāng)把感興趣的像素的成像模糊屬性表示為空 間域(spatial region)時(shí)，成像模糊屬性可用移動平均濾波器(低通濾波器)來表示 。換 言之，示出移動平均濾波器(低通濾波器)的轉(zhuǎn)移函數(shù)(transfer function)(此后稱為 成像模糊轉(zhuǎn)移函數(shù)或者點(diǎn)擴(kuò)展函數(shù))由H表示，不發(fā)生圖像模糊的情況下的理想圖像信號 (此后稱為成像模糊之前的信號)被表示為頻域中的F，并且從相機(jī)輸出的實(shí)際圖像信號即 發(fā)生了成像模糊的圖像信號(此后稱為成像模糊之后的信號)由頻域中的G表示，成像模 糊之后的信號G如在下式(1)中表示。G = H*F (1)對于本發(fā)明，希望除去(抑制)成像模糊，為此，應(yīng)當(dāng)根據(jù)已知的成像模糊之后的 信號G和已知的成像模糊的轉(zhuǎn)移函數(shù)H來預(yù)測計(jì)算(forecast-compute)成像模糊之前的 信號F。就是說，下式(2)中的預(yù)測計(jì)算被執(zhí)行。F = inv (H) *G (2)在式(2)中，inv(H)示出了成像模糊的轉(zhuǎn)移函數(shù)H的反函數(shù)。如上所述，成像模 糊的轉(zhuǎn)移函數(shù)H具有低通濾波器的屬性，其反函數(shù)inv(H)由此也自然具有高通濾波器的屬 性。另外，如上所述，對于成像模糊的轉(zhuǎn)移函數(shù)H，其屬性根據(jù)運(yùn)動速度而改變。具體而 言，例如，在感興趣的像素的運(yùn)動速度是2、3、4 [像素/幀]的各個(gè)情況下，感興趣的像素的 成像模糊的轉(zhuǎn)移函數(shù)H的頻率屬性變?yōu)椴煌瑢傩裕鐖D4中的曲線H2至H4中的每一個(gè)所
7J\ ο因此，成像模糊抑制處理單元13根據(jù)運(yùn)動速度修改成像模糊的轉(zhuǎn)移函數(shù)的屬性， 求得具有修改后屬性的轉(zhuǎn)移函數(shù)H的反函數(shù)inv (H)，并且利用反函數(shù)inv (H)執(zhí)行對上述式 (2)的計(jì)算處理，由此可以實(shí)現(xiàn)本發(fā)明的目的，即除去(抑制)成像模糊。作為替代，上述式(2)是頻域計(jì)算，以實(shí)現(xiàn)本發(fā)明的目的，成像模糊抑制處理單元 13可以執(zhí)行與上述式(2)中的計(jì)算處理等價(jià)的對空間域的處理。具體而言，成像模糊抑制 處理單元13例如可以執(zhí)行諸如以下第一至第三處理的處理。第一處理是根據(jù)從成像模糊屬性檢測單元12提供的感興趣的像素的運(yùn)動速度對 示出感興趣的像素的成像模糊的移動平均濾波器(低通濾波器)的屬性進(jìn)行變換的處理。 具體而言，例如，第一處理的一個(gè)示例是如下處理其中，針對多個(gè)運(yùn)動速度中的每一個(gè)每 次預(yù)先準(zhǔn)備一個(gè)移動平均濾波器，并且從多個(gè)移動平均濾波器中選擇與感興趣的像素的運(yùn) 動速度相對應(yīng)的一個(gè)移動平均濾波器。第二處理是由以下處理2-1至2-3組成的處理。處理2-1是如下處理其中，通過對屬性經(jīng)第一處理變換的移動平均濾波器執(zhí)行 傅立葉變換，將其移動平均濾波器顯示為頻率。具體而言，例如在感興趣的像素的運(yùn)動速度 是2、3、4[像素/幀]的各個(gè)情況下，用于獲得圖4中的各個(gè)曲線H2至H4的處理是處理 2-1。就是說，為了在頻域中對其進(jìn)行考慮，用于求得感興趣的像素的成像模糊的轉(zhuǎn)移函數(shù) H的處理是處理2-1。注意到此后處理2-1將被稱為頻率變換處理。
處理2-2是用于計(jì)算利用頻率變換處理(處理2-1)被顯示為頻率的移動平均濾 波器的反數(shù)(inverse number)的處理。就是說，處理2_2是如下處理，該處理根據(jù)頻域生 成在上述式(2)中示出的成像模糊的轉(zhuǎn)移函數(shù)H的反函數(shù)inv (H)。注意到此后處理2-2將 被稱為反函數(shù)生成處理。處理2-3是對利用反函數(shù)生成處理(處理2-2)計(jì)算出的反函數(shù)irw(H)(即被顯 示為頻率的移動平均濾波器的反數(shù))執(zhí)行反向傅立葉變換的處理。就是說，用于生成與反 函數(shù)inv (H)相對應(yīng)的高通濾波器(維納濾波器)的處理是處理2-3。用于生成移動平均濾 波器的反向?yàn)V波器(irwersefilter)的處理是處理2_3。注意到利用處理2_3生成的高通 濾波器被稱為反向移動平均濾波器。換言之，用于把用頻域表示的反向移動平均濾波器變 換為空間域的濾波器的處理是處理2-3。因此，此后處理2-3將被稱為與頻率變換處理(處 理2-1)相對應(yīng)的頻率反向變換處理。第三處理是如下處理輸入與頻域的上述式(2)的信號G相對應(yīng)的空間域的成像 模糊之后的圖像信號g作為輸入圖像，并且對圖像信號g應(yīng)用由頻率反向變換處理(處理 2-3)生成的反向移動平均濾波器。利用第三處理，與頻域的上述式(2)的信號F相對應(yīng)的 空間域的成像模糊之前的圖像信號f被恢復(fù)(預(yù)測計(jì)算)。具體而言，第三處理例如是如下 處理其中，通過對所要處理的幀中 包括感興趣的像素的預(yù)定塊應(yīng)用反向移動平均濾波器， 感興趣的像素的像素值被校正。圖5中示出了可以執(zhí)行第一至第三處理的成像模糊抑制處理單元13的功能配置 的示例。就是說，圖5示出了成像模糊抑制處理單元13的功能配置的示例。對于圖5的示例中的成像模糊抑制處理單元13，向其提供了移動平均濾波器屬性 變換單元21、反向移動平均濾波器生成單元22以及反向移動平均濾波單元23。移動平均濾波屬性變換單元21執(zhí)行上述第一處理。反向移動平均濾波生成單元 22執(zhí)行上述第二處理。反向移動平均濾波單元23執(zhí)行上述第三處理。就是說，反向移動平均濾波器生成單元22例如可以具有諸如圖6中所示的功能配 置。在圖6的反向移動平均濾波生成單元22上設(shè)有頻率變換單元31、反函數(shù)生成單元32 以及頻率反向變換單元33。屬性經(jīng)移動平均濾波器屬性變換單元21變換的移動平均濾波器被作為輸入信號 TO輸入，輸入信號TO是針對頻率變換單元31的空間域信號。因此，頻率變換單元31對輸 入信號TO執(zhí)行上述頻率變換處理，并且輸出由此得到的指示出成像模糊的轉(zhuǎn)移函數(shù)H的信 號Tl。注意到，信號Tl是利用先前設(shè)置數(shù)目的抽頭采樣的信號。因此，相同數(shù)目的抽頭 也被輸入到執(zhí)行上述頻率反向變換處理的頻率反向變換單元33中。反函數(shù)生成單元32對信號Tl執(zhí)行上述反函數(shù)生成處理，并且生成并輸出與由此 得到的反函數(shù)inv(H)相對應(yīng)的信號U1。頻率反向變換單元33對信號Ul執(zhí)行上述頻率反向變換處理，示出反向移動平均 濾波器的信號T3由此被生成并輸出。與信號T3相對應(yīng)的反向移動平均濾波器被輸入到圖 5的反向移動平均濾波單元23中，并被用于執(zhí)行上述第三處理。本發(fā)明現(xiàn)在提出了生成反函數(shù)的特定方法。反函數(shù)由此基于原始模糊圖像和點(diǎn)擴(kuò) 展函數(shù)、基于頻域中的迭代算法被生成。更具體地說，在向低通濾波器TO應(yīng)用傅立葉變換之后，點(diǎn)擴(kuò)展函數(shù)Tl被得到?；诘惴?，反向點(diǎn)擴(kuò)展函數(shù)Ul被生成，并且在向反向點(diǎn) 擴(kuò)展函數(shù)Ul應(yīng)用反向傅立葉變換之后，反向?yàn)V波器T3被得到。 一種利用時(shí)間信息和迭代來減少靜態(tài)圖像中的運(yùn)動模糊的已知方法例如是 Richardson-Lucy算法。但是該算法在被應(yīng)用于運(yùn)動圖像時(shí)非常復(fù)雜，因此當(dāng)把該算法集成 到相應(yīng)芯片設(shè)計(jì)中時(shí)非常昂貴。本發(fā)明因而提出了基于Richardson-Lucy算法的迭代算法，該算法可被應(yīng)用于運(yùn) 動圖像并且同時(shí)可被容易地集成到甚至低資源設(shè)備中。Richardson-Lucy算法基于以下公式
權(quán)利要求
1.一種圖像處理方法，用于以存取單位為增量對由預(yù)定視頻拍攝設(shè)備拍攝的運(yùn)動圖像 進(jìn)行處理，其中在利用所述視頻拍攝設(shè)備拍攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊由示出該成 像模糊的屬性的相應(yīng)低通濾波器表示，所述方法包括以下步驟生成具有針對所述低通濾波器的相反屬性的反向?yàn)V波器，以及 執(zhí)行將所述反向?yàn)V波器應(yīng)用于所要處理的所述存取單位的處理，其中所述生成反向?yàn)V 波器的步驟包括基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù)的頻域中的迭代算法。
2.如權(quán)利要求1所述的方法，其中所述生成步驟包括 向所述低通濾波器應(yīng)用傅立葉變換從而得到所述點(diǎn)擴(kuò)展函數(shù)， 通過所述迭代算法生成反向點(diǎn)擴(kuò)展函數(shù)，以及向所述反向點(diǎn)擴(kuò)展函數(shù)應(yīng)用反向傅立葉變換以得到所述反向?yàn)V波器。
3.如權(quán)利要求1所述的方法，其中所述迭代算法基于Richardson-Lucy算法。
4.如權(quán)利要求1所述的方法，其中所述迭代算法包括以下步驟將點(diǎn)擴(kuò)展函數(shù)H和前一迭代步驟的增益函數(shù)Ft相乘以得到第一乘法結(jié)果M1，其中在第 一迭代周期中Ft對應(yīng)于模糊圖像增益函數(shù)G，將所述第一乘法結(jié)果Ml和所述點(diǎn)擴(kuò)展函數(shù)H相乘以得到中間結(jié)果G'， 計(jì)算G與G'之間的差異，將所述點(diǎn)擴(kuò)展函數(shù)H和G與G'之間的差異相乘從而得到第二乘法結(jié)果M2， 將所述第二乘法結(jié)果M2添加到F(t)以得到F(t+1)，以及 重復(fù)先前步驟從而將F(t+1)用作新的F(t)。
5.如在先權(quán)利要求中任一項(xiàng)所述的方法，其中所述迭代算法基于以下表達(dá)式 ⑷盧(⑷)=F(t) + (β- G') χ HG' = F⑴χ HxH F(°> = G其中H表示所述點(diǎn)擴(kuò)展函數(shù)，G表所述模糊圖像增益函數(shù)，F(xiàn)表示原始圖像增益函數(shù)，并 且指數(shù)t表示迭代周期。
6.一種圖像處理設(shè)備，用于以存取單位為增量對由預(yù)定視頻拍攝設(shè)備拍攝的運(yùn)動圖像 進(jìn)行處理，其中在利用所述視頻拍攝設(shè)備拍攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊由示出該成 像模糊的屬性的相應(yīng)低通濾波器表示，所述設(shè)備包括反向移動平均濾波器生成單元，用于生成具有針對所述低通濾波器的相反屬性的反向 濾波器，以及成像模糊抑制處理單元，用于執(zhí)行將所述反向?yàn)V波器應(yīng)用于所要處理的所述存取單位 的處理，其中所述反向移動平均濾波器生成單元適用于根據(jù)基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù) 的頻域中的迭代算法來確定所述反向?yàn)V波器。
7.如權(quán)利要求6所述的設(shè)備，其中所述反向移動平均濾波器生成單元包括 頻率變換單元，用于向所述低通濾波器應(yīng)用傅立葉變換從而得到所述點(diǎn)擴(kuò)展函數(shù)， 反函數(shù)生成單元，用于通過所述迭代算法生成反向點(diǎn)擴(kuò)展函數(shù)，以及頻率反向變換單元，用于向所述反向點(diǎn)擴(kuò)展函數(shù)應(yīng)用反向傅立葉變換以得到所述反向 濾波器。
8.如權(quán)利要求6所述的設(shè)備，其中所述反函數(shù)生成單元適用于實(shí)現(xiàn)以下步驟 將點(diǎn)擴(kuò)展函數(shù)H和前一迭代步驟的增益函數(shù)Ft相乘以得到第一乘法結(jié)果M1，其中在第一迭代周期中Ft對應(yīng)于模糊圖像增益函數(shù)G，將所述第一乘法結(jié)果Ml和所述點(diǎn)擴(kuò)展函數(shù)H相乘以得到中間結(jié)果G'， 計(jì)算G與G'之間的差異，將所述點(diǎn)擴(kuò)展函數(shù)H和G與G'之間的差異相乘從而得到第二乘法結(jié)果M2， 將所述第二乘法結(jié)果M2添加到F(t)以得到F(t+1)，以及 重復(fù)先前步驟從而將F(t+1)用作新的F(t)。
9.如權(quán)利要求6至8中任一項(xiàng)所述的設(shè)備，其中所述反函數(shù)生成單元適用于使所述迭 代算法基于以下表達(dá)式
10.一種圖像處理設(shè)備，用于以存取單位為增量對由預(yù)定視頻拍攝設(shè)備拍攝的運(yùn)動圖 像進(jìn)行處理，其中在利用所述視頻拍攝設(shè)備拍攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊由示出該 成像模糊的屬性的相應(yīng)低通濾波器表示，所述設(shè)備包括反向移動平均濾波器生成裝置，用于生成具有針對所述低通濾波器的相反屬性的反向 濾波器，以及成像模糊抑制處理裝置，用于執(zhí)行將所述反向?yàn)V波器應(yīng)用于所要處理的所述存取單位 的處理，其中所述反向移動平均濾波器生成裝置適用于根據(jù)基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù) 的頻域中的迭代算法來確定所述反向?yàn)V波器。
11.一種存儲在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，用于以存取單位為增量對由預(yù) 定視頻拍攝設(shè)備拍攝的運(yùn)動圖像進(jìn)行處理，其中在利用所述視頻拍攝設(shè)備拍攝所述運(yùn)動圖 像時(shí)發(fā)生的成像模糊由示出該成像模糊的屬性的相應(yīng)低通濾波器表示，所述計(jì)算機(jī)程序使 計(jì)算機(jī)執(zhí)行以下步驟生成具有針對所述低通濾波器的相反屬性的反向?yàn)V波器，以及 執(zhí)行將所述反向?yàn)V波器應(yīng)用于所要處理的所述存取單位的處理，其中所述生成反向?yàn)V 波器的步驟包括基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù)的頻域中的迭代算法。
全文摘要
本發(fā)明公開了處理運(yùn)動圖像的圖像處理方法、設(shè)備和程序。本發(fā)明涉及用于以存取單位為增量對由預(yù)定視頻拍攝設(shè)備拍攝的運(yùn)動圖像進(jìn)行處理的圖像處理方法和設(shè)備。在利用所述視頻拍攝設(shè)備拍攝所述運(yùn)動圖像時(shí)發(fā)生的成像模糊由示出該成像模糊的屬性的相應(yīng)低通濾波器表示。根據(jù)本方法，具有針對所述低通濾波器的相反屬性的反向?yàn)V波器被生成。處理被執(zhí)行以將所述反向?yàn)V波器應(yīng)用于所要處理的所述存取單位。這里，生成反向?yàn)V波器的步驟包括基于原始模糊圖像和點(diǎn)擴(kuò)展函數(shù)的頻域中的迭代算法。
文檔編號H04N5/21GK102111554SQ20101062229
公開日2011年6月29日 申請日期2010年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者奧利弗·爾德勒, 西徹 申請人:索尼公司