專利名稱：圖像處理設(shè)備、圖像處理方法、程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及一種圖像處理設(shè)備、圖像處理方法、程序和記錄介質(zhì)。具體而言，本技術(shù)涉及一種使得有可能以更高速度生成最優(yōu)上轉(zhuǎn)換圖像的圖像處理設(shè)備、圖像處理方法、程序和記錄介質(zhì)。
背景技術(shù)：
作為一類高質(zhì)量圖像處理，提出如下方法，在該方法中通過使用高斯-賽德爾法(Gauss-Seidel)的超分辨率處理來生成高分辨率圖像(例如參見公開號為JP-A-2008-140012的日本專利申請)。通過該方法，在預(yù)定時間重復(fù)如下處理以生成高分辨率圖像，在該處理中向保持于緩沖器中的高分辨率圖像添加超分辨率處理器獲得的反饋值。作為另一類高質(zhì)量圖像處理，已知根據(jù)多個低分辨率圖像估計高分辨率圖像的基于重建的超分辨率處理。由于基于重建的超分辨率處理使用觀測模型(劣化模型)來執(zhí)行高質(zhì)量圖像處理，所以它也被稱為基于模型的處理。將參照圖1說明基于模型的處理。在基于模型的處理中，預(yù)先構(gòu)造預(yù)定觀測模型。在圖1中所示例子中，構(gòu)造相機(jī)模型(假設(shè)使用相機(jī))和用于校正相機(jī)運(yùn)動(位置對準(zhǔn))的模型作為觀測模型。在這一觀測模型中例如對模糊(光學(xué)模糊、運(yùn)動模糊、PSF)、像素數(shù)目轉(zhuǎn)換(下轉(zhuǎn)換、漸進(jìn)/交織轉(zhuǎn)換)和噪聲建模。另外，在觀測模型中，對位置對準(zhǔn)處理建模使得以子像素準(zhǔn)確度估計相機(jī)運(yùn)動和對象運(yùn)動。當(dāng)向觀測模型輸入高分辨率圖像時，執(zhí)行位置對準(zhǔn)處理。此后輸出被相機(jī)模型劣化的圖像作為估計的低分辨率圖像。在基于模型的處理中，校正高分辨率圖像使得減少在觀測模型輸出的估計的低分辨率圖像與相機(jī)實(shí)際觀測的低分辨率圖像(下文稱為觀測的低分辨率圖像)之間的誤差(差)并且向觀測模型輸入校正的高分辨率圖像。重復(fù)執(zhí)行這一處理。然后，當(dāng)確定在估計的低分辨率圖像與觀測的低分辨率圖像之間的誤差充分小時，推斷出獲得高質(zhì)量高分辨率圖像并且輸出獲得的圖像。例如，在圖1中，觀測的低分辨率圖像和估計的低分辨率圖像是標(biāo)準(zhǔn)清晰度接口(SDI)信號的圖像，并且高分辨率圖像是高清晰度漸進(jìn)(HDP)信號的圖像。就這一類基于模型的處理而言，當(dāng)準(zhǔn)確定義觀測模型時，有可能恢復(fù)無失真的高分辨率圖像。

發(fā)明內(nèi)容
然而通常難以構(gòu)造準(zhǔn)確的觀測模型。當(dāng)觀測模型不準(zhǔn)確時，不可能適當(dāng)校正高分辨率圖像。因而出現(xiàn)諸如邊緣和細(xì)節(jié)過度增強(qiáng)、過沖、噪聲增強(qiáng)等負(fù)效應(yīng)，從而導(dǎo)致圖像質(zhì)量明顯下降。為了解決這些負(fù)效應(yīng)，設(shè)想如下技術(shù)，該技術(shù)使用預(yù)先獲得的關(guān)于圖像的信息來抑制圖像質(zhì)量下降和噪聲增強(qiáng)(這一技術(shù)也稱為基于重建的超分辨率MAP技術(shù))。然而，就這些技術(shù)而言，性能主要依賴于預(yù)先獲得的關(guān)于圖像的信息。因此難以針對每個像素(每個空間)或者每個時間段適當(dāng)執(zhí)行控制，使得防失真性能提高、分辨率和靈敏度提高、過沖抑制和噪聲減少都得以滿足。鑒于以上情況設(shè)計出本技術(shù)，本技術(shù)使得有可能以更高速度生成最優(yōu)上轉(zhuǎn)換圖像。根據(jù)本技術(shù)實(shí)施例的圖像處理設(shè)備包括:基于模型的處理部，其使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像；特征量計算部，其根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及預(yù)測運(yùn)算部，其使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。根據(jù)本技術(shù)一個實(shí)施例的一種圖像處理方法包括:使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像；根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。根據(jù)本技術(shù)一個實(shí)施例的一種程序包括指令，所述指令命令計算機(jī)執(zhí)行以下步驟:使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像；根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。根據(jù)本技術(shù)的實(shí)施例，使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像來生成估計的低分辨率圖像。根據(jù)觀測的低分辨率圖像和高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像。使用與計算的特征量對應(yīng)并且根據(jù)觀測的低分辨率圖像、根據(jù)估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。注意可以通過經(jīng)由傳輸介質(zhì)傳輸程序或者可以通過在記錄介質(zhì)上記錄程序來提供程序。圖像處理設(shè)備可以是獨(dú)立設(shè)備或者可以是在設(shè)備中包括的內(nèi)部塊。根據(jù)本技術(shù)的實(shí)施例，有可能以更高速度生成最優(yōu)上轉(zhuǎn)換圖像。


圖1是圖示了已知的基于模型的處理的圖2是示出了已知的基于模型的處理的配置例子的框圖；圖3是已知的基于模型的處理的概念圖；圖4是作為本技術(shù)被應(yīng)用于的圖像處理設(shè)備的預(yù)測設(shè)備的概念圖；圖5是本技術(shù)被應(yīng)用于的學(xué)習(xí)設(shè)備的概念圖；圖6是圖示了本技術(shù)被應(yīng)用于的學(xué)習(xí)設(shè)備的示意配置的圖；圖7是圖示了本技術(shù)被應(yīng)用于的預(yù)測設(shè)備的示意配置的圖；圖8是圖示了本技術(shù)被應(yīng)用于的學(xué)習(xí)設(shè)備的具體配置例子的框圖；圖9是圖示了空間特征量計算部和時間特征量計算部的圖；圖10是圖示了空間特征量計算部的圖；圖11是示出了系數(shù)學(xué)習(xí)部的具體配置例子的框圖；圖12是圖示了學(xué)習(xí)設(shè)備執(zhí)行的預(yù)測系數(shù)學(xué)習(xí)處理的流程圖；圖13是具體圖示了基于模型的處理的流程圖；圖14是具體圖示了采樣積累處理的流程圖；圖15是具體圖示了空間特征量類分類處理的流程圖；圖16是具體圖示了時間特征量類分類處理的流程圖；圖17是示出了本技術(shù)被應(yīng)用于的預(yù)測設(shè)備的具體配置例子的框圖；圖18是示出了預(yù)測部的具體配置例子的框圖；圖19是圖示了預(yù)測設(shè)備執(zhí)行的高分辨率圖像生成處理的流程圖；圖20是具體圖示了預(yù)測處理的流程圖；并且圖21是示出了本技術(shù)被應(yīng)用于的計算機(jī)的一個實(shí)施例的配置例子的框圖。
具體實(shí)施例方式下文將參照附圖具體描述本公開內(nèi)容的優(yōu)選實(shí)施例。注意在本說明書和附圖中，用相同標(biāo)號表示具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)單元，并且省略這些結(jié)構(gòu)單元的重復(fù)說明。根據(jù)本發(fā)明實(shí)施例，提供一種圖像處理設(shè)備，包括:基于模型的處理部，其使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像；特征量計算部，其根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及預(yù)測運(yùn)算部，其使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。根據(jù)本發(fā)明另一實(shí)施例，還提供一種圖像處理方法，包括:使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像；根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像已知的基于模型的處理部的配置例子
將說明基于模型的處理部的配置，該處理部執(zhí)行在背景技術(shù)中說明的基于模型的處理。圖2是示出了基于模型的處理部10的配置例子的框圖，該處理部執(zhí)行基于模型的處理。基于模型的處理部10具有運(yùn)動檢測部20、運(yùn)動補(bǔ)償部21、模糊添加部22、下采樣器23、加法器24、上采樣器25、模糊去除部26、乘法器27和加法器28。運(yùn)動檢測部20通過預(yù)先比較從加法器28供應(yīng)(反饋)的高分辨率圖像與一個單位時間的高分辨率圖像來檢測每個像素的運(yùn)動量(運(yùn)動矢量)。運(yùn)動補(bǔ)償部21基于運(yùn)動檢測部20檢測的運(yùn)動量來執(zhí)行運(yùn)動補(bǔ)償。注意從運(yùn)動補(bǔ)償部21輸出的圖像在適當(dāng)時被稱為一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像。向模糊添加部22和加法器28供應(yīng)一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像。模糊添加部22向一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像添加模糊(比如在相機(jī)捕獲圖像時出現(xiàn)的模糊)。這里，模糊添加部22執(zhí)行的生成圖像的如下處理稱為模糊添加處理，在該處理中基于預(yù)定圖像估計(仿真)相機(jī)的點(diǎn)擴(kuò)展函數(shù)(PSF)、光學(xué)模糊等。然后將模糊被添加到的一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像提供給下采樣器23。下采樣器23例如通過稀疏化(thin out)模糊被添加到的一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像的像素來生成低分辨率圖像。因而生成估計的低分辨率圖像。加法器24計算在估計的低分辨率圖像的每個像素與觀測的低分辨率圖像的每個像素之間的差分值(誤差)。將作為加法器24的計算結(jié)果的差分信息提供給上采樣器25。上采樣器25對作為加法器24的計算結(jié)果的低分辨率差分信息執(zhí)行上采樣以獲得高分辨率圖像的差分信息。更具體而言，上采樣器25根據(jù)與每個低分辨率像素對應(yīng)的差分值生成與每個高分辨率像素對應(yīng)的差分值并且向模糊去除部26供應(yīng)生成的差分值。模糊去除部26對從上采樣器25供應(yīng)的高分辨率差分信息執(zhí)行模糊去除處理。模糊去除處理是模糊添加部22執(zhí)行的處理的逆處理。換而言之，模糊去除部26對高分辨率差分信息執(zhí)行處理以去除模糊添加部22添加的模糊。注意當(dāng)在觀測模型中未考慮模糊時可以省略模糊添加部22和模糊去除部26。乘法器27將從模糊去除部26輸出的高分辨率差分信息乘以預(yù)定增益并且向加法器28輸出乘法結(jié)果。加法器28將一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像的每個像素的像素值(亮度值)與來自乘法器27的差分信息(差分值)相加并且輸出加法結(jié)果作為高分辨率圖像。另外，力口法器28也將生成的高分辨率圖像提供給運(yùn)動檢測部20 (即執(zhí)行反饋)。可以如圖3中所示在概念上表達(dá)上文描述的基于模型的處理部10的處理框圖。更具體而言，基于模型的處理部10具有差分信息生成部31和加法部32。差分信息生成部31根據(jù)一幀之前的高分辨率圖像并且根據(jù)觀測的低分辨率圖像生成用于更新高分辨率圖像的差分信息。然后，加法部32將生成的差分信息加到一幀之前的高分辨率圖像、由此生成更新的高分辨率圖像。重復(fù)執(zhí)行這一處理。在以這一方式配置的已知的基于模型的處理部10中，針對要生成的高分辨率圖像的每個像素獲得要生成的差分信息為統(tǒng)一值。因而為了輸出一頁高分辨率圖像而無圖像質(zhì)量下降，有必要執(zhí)行重復(fù)運(yùn)算特定次數(shù)使得可以針對高分辨率圖像中的所有像素獲得如下差分信息，該差分信息充分減少在估計的低分辨率圖像與觀測的低分辨率圖像之間的誤差。本技術(shù)的預(yù)測設(shè)備和學(xué)習(xí)設(shè)備的概念4示出了作為本技術(shù)被應(yīng)用于的圖像處理設(shè)備的預(yù)測設(shè)備40。示出了預(yù)測設(shè)備40使得它對應(yīng)于圖3中所示的在概念上示出了已知的基于模型的處理部10的框圖。本技術(shù)被應(yīng)用于的預(yù)測設(shè)備40具有差分信息生成部51和加法部52。差分信息生成部51使用與一幀之前的高分辨率圖像和觀測的低分辨率圖像的空間-時間特征對應(yīng)的預(yù)測系數(shù)來生成對于待更新的高分辨率圖像的每個像素而言最優(yōu)的差分信息。然后，加法部52將生成的對于每個像素而言最優(yōu)的差分信息加到一幀之前的高分辨率圖像，因此生成更新的高分辨率圖像。后文將描述的圖5中所示學(xué)習(xí)設(shè)備60預(yù)先學(xué)習(xí)差分信息生成部51使用的預(yù)測系數(shù)。就圖4中所示預(yù)測設(shè)備40而言，為輸出一頁高分辨率圖像重復(fù)運(yùn)算不是必需的，并且有可能通過針對每個像素執(zhí)行一次加法來獲得高分辨率圖像。注意圖4中所示高分辨率圖像的反饋用于生成一幀之后的高分辨率圖像。圖5是概念上示出了學(xué)習(xí)設(shè)備60的框圖，該設(shè)備學(xué)習(xí)圖4中所示預(yù)測設(shè)備40使用的預(yù)測系數(shù)。圖5中所示學(xué)習(xí)設(shè)備60具有差分信息學(xué)習(xí)部71和加法部72。差分信息學(xué)習(xí)部71使用作為老師圖像的理想高分辨率圖像和作為學(xué)生圖像的觀測的低分辨率圖像的成對數(shù)據(jù)以及要生成的高分辨率圖像來學(xué)習(xí)如下預(yù)測系數(shù)，該預(yù)測系數(shù)使在要生成的高分辨率圖像與理想高分辨率圖像之間的誤差最小。為了學(xué)習(xí)預(yù)測系數(shù)，以與預(yù)測處理中相同的方式使用高分辨率圖像和觀測的低分辨率圖像的空間-時間特征。注意，實(shí)際上，學(xué)習(xí)設(shè)備60不學(xué)習(xí)使差分信息優(yōu)化的預(yù)測系數(shù)，而是如下文說明的那樣基于一幀之前的高分辨率圖像和觀測的低分辨率圖像來優(yōu)化目標(biāo)幀的高分辨率圖像本身。也就是說，學(xué)習(xí)設(shè)備60學(xué)習(xí)用來預(yù)測高質(zhì)量高分辨率圖像的預(yù)測系數(shù)。然后，預(yù)測設(shè)備40不使用由學(xué)習(xí)設(shè)備60生成的預(yù)測系數(shù)來生成差分信息，而是直接生成待輸出的高分辨率圖像。學(xué)習(xí)設(shè)備的示意配置圖6示出了圖示為與圖1中所示已知的基于模型的處理對應(yīng)的學(xué)習(xí)設(shè)備60的示
意配置。首先預(yù)備作為老師圖像的理想高分辨率圖像和作為學(xué)生圖像的觀測的低分辨率圖像。然后將使用基于模型的處理部的觀測模型根據(jù)一幀之前的高分辨率圖像生成的估計的低分辨率圖像與老師圖像和學(xué)生圖像一起輸入到學(xué)習(xí)處理部81。學(xué)習(xí)處理部81計算(學(xué)習(xí))如下預(yù)測系數(shù)，該預(yù)測系數(shù)包含于用來生成高分辨率圖像的預(yù)測運(yùn)算表達(dá)式中并且最小化在作為老師圖像的理想高分辨率圖像與要生成的高分辨率圖像之間的誤差。在學(xué)習(xí)中，可以針對多個分類的類別中的每類獲得預(yù)測系數(shù)。學(xué)習(xí)處理部81針對基于學(xué)生圖像的空間特征量和一幀之前的高分辨率圖像的時間特征量而分類的每類計算預(yù)測系數(shù)。然后，學(xué)習(xí)處理部81針對每類計算的預(yù)測系數(shù)儲存于學(xué)習(xí)數(shù)據(jù)庫82中。預(yù)測設(shè)備的示意配置
圖7示出了圖示成與圖1中所示已知的基于模型的處理對應(yīng)的預(yù)測設(shè)備40的示
意配置。圖6中所示學(xué)習(xí)設(shè)備60學(xué)習(xí)的用于每類的預(yù)測系數(shù)存儲于預(yù)測設(shè)備40的學(xué)習(xí)數(shù)據(jù)庫91中。換而言之，圖7中所示學(xué)習(xí)數(shù)據(jù)庫91與圖6中所示學(xué)習(xí)數(shù)據(jù)庫82相同，或者將學(xué)習(xí)數(shù)據(jù)庫82中的數(shù)據(jù)傳送到學(xué)習(xí)數(shù)據(jù)庫91。預(yù)測處理部92通過計算使用通過學(xué)習(xí)設(shè)備60的學(xué)習(xí)而獲得的預(yù)測系數(shù)的預(yù)測運(yùn)算表達(dá)式來生成高分辨率圖像。更具體而言，預(yù)測處理部92基于觀測的低分辨率圖像的空間特征量和一幀之前的高分辨率圖像的時間特征量來執(zhí)行類分類。然后，預(yù)測處理部92從學(xué)習(xí)數(shù)據(jù)庫91獲取與在執(zhí)行類分類時作為分類結(jié)果的類對應(yīng)的預(yù)測系數(shù)并且在預(yù)測運(yùn)算中使用預(yù)測系數(shù)。下文將依序說明學(xué)習(xí)設(shè)備60和預(yù)測設(shè)備40的更多具體配置。學(xué)習(xí)設(shè)備60的具體配置框8是示出了學(xué)習(xí)設(shè)備60的具體配置例子的框圖。在圖8中，與上文描述的部分對應(yīng)的部分由相同標(biāo)號表示，并且在適當(dāng)時省略其說明。學(xué)習(xí)設(shè)備60具有基于模型的處理部80、學(xué)習(xí)處理部81和學(xué)習(xí)數(shù)據(jù)庫82。基于模型的處理部80基本上具有與參照圖2說明的基于模型的處理部10的配置相同的配置，并且使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型根據(jù)高分辨率圖像生成估計的低分辨率圖像。注意，不同于已知的基于模型的處理，本技術(shù)被應(yīng)用于的學(xué)習(xí)設(shè)備60并沒有設(shè)置乘法器27和加法器28，因?yàn)樗唤y(tǒng)一提供與一幀之前的高分辨率圖像的差分信息。學(xué)習(xí)處理部81具有空間特征量計算部101、時間特征量計算部102、差分信息類分類部103和系數(shù)學(xué)習(xí)部104。空間特征量計算部101和時間特征量計算部102作為如下類分類部來工作，該類分類部計算針對要生成的高分辨率圖像而設(shè)置的目標(biāo)像素的空間特征量或者時間特征量，并且基于計算的特征量將目標(biāo)像素分類成預(yù)定類。另外，差分信息類分類部103也作為類分類部來工作并且基于從模糊去除部26供應(yīng)的差分信息將目標(biāo)像素分類成預(yù)定類。向空間特征量計算部101供應(yīng)作為學(xué)生圖像的觀測的低分辨率圖像。向時間特征量計算部102供應(yīng)由基于模型的處理部80的運(yùn)動檢測部20檢測的運(yùn)動量，以及來自系數(shù)學(xué)習(xí)部104的目標(biāo)像素的處理次數(shù)(處理的頁數(shù))。空間特征量計算部101的和時間特征量計算部102的說明將參照圖9和圖10說明空間特征量計算部101的和時間特征量計算部102。圖9是示出了空間特征量計算部101的和時間特征量計算部102的具體配置例子的框圖?？臻g特征量計算部101具有類抽頭(tap)提取部111、波形圖案分類部112和頻帶分類部113。類抽頭提取部111設(shè)置位于學(xué)生圖像(觀測的低分辨率圖像)的與目標(biāo)像素對應(yīng)的像素周圍的多個像素(周圍像素)作為用于設(shè)置基于空間特征量的類的類抽頭，并且提取設(shè)置的類抽頭。向波形圖案分類部112供應(yīng)指示提取的類抽頭的信息。波形圖案分類部112基于設(shè)置為類抽頭的周圍像素的波形圖案將目標(biāo)像素分類成預(yù)定波形類，并且向系數(shù)學(xué)習(xí)部104 (參見圖8)輸出波形類(指示波形類的類代碼)作為分類結(jié)果。頻帶分類部113基于目標(biāo)像素的周圍像素的頻率頻帶將目標(biāo)像素分類成預(yù)定頻帶類，并且向系數(shù)學(xué)習(xí)部104輸出頻帶類(指示頻帶類的類代碼)作為分類結(jié)果。時間特征量計算部102具有運(yùn)動量分類部121和歷史計數(shù)器分類部122。運(yùn)動量分類部121基于從運(yùn)動檢測部20供應(yīng)的運(yùn)動量將目標(biāo)像素分類成預(yù)定運(yùn)動量類，并且向系數(shù)學(xué)習(xí)部104 (參見圖8)輸出運(yùn)動量類(指示運(yùn)動量類的類代碼)作為分類結(jié)果。 更具體而言，運(yùn)動量分類部121針對等于或者少于與從運(yùn)動檢測部20供應(yīng)的運(yùn)動量對應(yīng)的像素的相位的相位執(zhí)行目標(biāo)像素的類分類。例如，當(dāng)運(yùn)動量的檢測準(zhǔn)確度(檢測分辨率)為1/4相位(1/4像素)時，從運(yùn)動檢測部20供應(yīng)的運(yùn)動量的分?jǐn)?shù)部分是四個值“00”、“25”、“50”和“75”之一。因此，運(yùn)動量分類部121使用四個值來執(zhí)行目標(biāo)像素的類分類。更具體而言，當(dāng)從運(yùn)動檢測部20供應(yīng)的運(yùn)動量為0.00、1.00,2.00等時設(shè)置類“0”，而當(dāng)運(yùn)動量時為0.25、1.25,2.25等時設(shè)置類“I”。當(dāng)運(yùn)動量為0.50、1.50,2.50等時設(shè)置類“2”，而當(dāng)運(yùn)動量為0.75,1.75,2.75等時設(shè)置類“3”。當(dāng)運(yùn)動量的檢測準(zhǔn)確度(檢測分辨率)為1/N相位(1/N像素)時，將運(yùn)動量類分類成N類。從系數(shù)學(xué)習(xí)部104向歷史計數(shù)器分類部122供應(yīng)設(shè)置為目標(biāo)像素的像素的位置到目前已被處理的處理次數(shù)(處理的頁數(shù))。歷史計數(shù)器分類部122向系數(shù)學(xué)習(xí)部104輸出供應(yīng)的處理次數(shù)(的值)作為如下歷史類(指示歷史類的類代碼)，該歷史類是將目標(biāo)像素分類成預(yù)定歷史類的結(jié)果。例如在尚未執(zhí)行處理時的初始時間設(shè)置類“0”，而當(dāng)迄今為止已經(jīng)針對目標(biāo)像素處理了兩幀時設(shè)置類“2”，并且當(dāng)已經(jīng)處理了三幀時設(shè)置類“3”。圖10是圖示了波形圖案分類部112和頻帶分類部113執(zhí)行的類分類處理例子的圖。圖1OA示出了如下例子，在該例子中，波形圖案分類部112執(zhí)行一位ADRC處理，作為基于波形圖案將目標(biāo)像素分類成預(yù)定波形類的波形類分類處理。在K位ADRC處理(K彡I)中，檢測形成周圍像素的像素的像素值的最大值MAX和最小值MIN。設(shè)置DR=MAX-MIN作為組的局部動態(tài)范圍，并且基于動態(tài)范圍DR將形成周圍像素的像素的像素值重新量化成K位。更具體而言，從形成周圍像素的每個像素的像素值減去最小值MIN，并且將相減值除以DR/2K(被量化)。然后輸出如下位流作為ADRC代碼，在該位流中以預(yù)定順序布置形成周圍像素的K位像素的像素值。當(dāng)執(zhí)行一位ADRC處理時，將形成周圍像素的每個像素的像素值除以最大值MAX和最小值MIN的平均值(去除分?jǐn)?shù)部分)。如果每個像素的像素值等于或者多于平均值則設(shè)置“1”，而如果其少于平均值則設(shè)置“O”(即執(zhí)行二值化)。然后輸出如下位流作為ADRC代碼，在該位流中以預(yù)定順序布置一位像素值。在圖1OA中所示例子中，如果設(shè)置為類抽頭的五個像素以預(yù)定順序確定為“O”、“ O ”、“ I ”、“ I ”、“ I ”，則輸出“ 00111” = “ 7 ”作為波形類的類代碼。圖1OB示出了如下例子，在該例子中，頻帶分類部113使用包圍目標(biāo)像素的九個像素以將目標(biāo)像素分類為預(yù)定頻帶類。關(guān)于包圍目標(biāo)像素的九個像素，頻帶分類部113計算水平方向上的差分絕對值(水平差分)、豎直方向上的差分絕對值(豎直差分)以及右上方向和右下方向上的差分絕對值(對角差分)。然后，頻帶分類部113選擇計算的差分絕對值之中的最大值，并且向系數(shù)學(xué)習(xí)部104輸出該最大值作為指示頻帶類的類代碼。注意，為了將目標(biāo)像素分類成預(yù)定頻帶類而選擇的包圍目標(biāo)像素的像素不限于圖1OB中所示九個像素并且可以如適當(dāng)?shù)哪菢蛹右栽O(shè)置。回到圖8，向系數(shù)學(xué)習(xí)部104供應(yīng)如下類代碼，這些類代碼是以上文描述的方式將目標(biāo)像素分類成每類(即波形類、頻帶類、運(yùn)動量類和歷史類)的結(jié)果。另外，也從差分信息類分類部103向系數(shù)學(xué)習(xí)部104供應(yīng)如下差分類(指示差類的類代碼)，其是基于從模糊去除部26供應(yīng)的差分信息(差分值)將目標(biāo)像素分類成預(yù)定差類的結(jié)果。另外，從基于模型的處理部80的運(yùn)動補(bǔ)償部21向系數(shù)學(xué)習(xí)部104供應(yīng)一幀之前的運(yùn)動補(bǔ)償?shù)母叻直媛蕡D像。另外，也向系數(shù)學(xué)習(xí)部104供應(yīng)作為學(xué)生圖像的觀測的低分辨率圖像和作為老師圖像的理想高分辨率圖像。系數(shù)學(xué)習(xí)部104將作為老師圖像的理想高分辨率圖像的每個像素設(shè)置為目標(biāo)像素(興趣像素)并且提取學(xué)生圖像的與目標(biāo)像素對應(yīng)的多個像素作為預(yù)測抽頭。然后，通過執(zhí)行使用提取的預(yù)測抽頭和預(yù)測系數(shù)的預(yù)定預(yù)測運(yùn)算，系數(shù)學(xué)習(xí)部104計算(學(xué)習(xí))用來獲得高質(zhì)量高分辨率圖像的預(yù)測系數(shù)。例如，如果線性預(yù)測運(yùn)算用作預(yù)定預(yù)測運(yùn)算，則基于以下線性表達(dá)式計算高質(zhì)量高分辨率圖像在時間t (第t巾貞)的像素值γ1。
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 基于模型的處理部，其使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像； 特征量計算部，其根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及 預(yù)測運(yùn)算部，其使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述預(yù)測運(yùn)算部基于所述觀測的低分辨率圖像和所述估計的低分辨率圖像之間的差分信息并且基于所述計算的特征量、使用與在將要生成的所述圖像的像素分類成預(yù)定類時獲得的類相對應(yīng)的所述參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的所述圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中: 所述預(yù)測運(yùn)算部通過在作為與執(zhí)行所述類分類時獲得的所述類相對應(yīng)的所述參數(shù)的預(yù)測系數(shù)、以及從所述觀測的低分辨率圖像和所述高分辨率圖像獲取的與要生成的所述圖像的所述像素對應(yīng)的多個像素的像素值之間執(zhí)行乘積-和運(yùn)算，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的所述圖像。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中: 所述預(yù)測運(yùn)算部把通過將根據(jù)所述差分信息而獲得的類代碼和根據(jù)所述計算的特征量獲取的類代碼進(jìn)行組合而獲得的類代碼設(shè)置為在執(zhí)行要生成的所述圖像的所述像素的所述類分類時獲得的所述類的類代碼，并且使用與所述設(shè)置的類代碼對應(yīng)的所述參數(shù)、基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的所述圖像。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述特征量計算部根據(jù)所述觀測的低分辨率圖像計算所述空間特征量作為所述特征量。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中: 所述空間特征量是所述觀測的低分辨率圖像的波形圖案。
7.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中: 所述空間特征量是所述觀測的低分辨率圖像的頻率頻帶。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中: 所述特征量計算部根據(jù)所述高分辨率圖像計算所述時間特征量作為所述特征量。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中: 所述時間特征量是通過所述運(yùn)動補(bǔ)償處理檢測的所述高分辨率圖像的運(yùn)動量。
10.根據(jù)權(quán)利要求8所 述的圖像處理設(shè)備，其中: 所述時間特征量是執(zhí)行基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的所述圖像的處理的次數(shù)。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中:所述觀測模型也執(zhí)行添加模糊的模糊添加處理。
12.—種圖像處理方法，包括: 使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像； 根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及 使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。
13.—種包括指令的程序，所述指令命令計算機(jī)執(zhí)行以下步驟: 使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像生成估計的低分辨率圖像； 根據(jù)觀測的低分辨率圖像和所述高分辨率圖像之一計算空間特征量和時間特征量中的至少一個的特征量，所述觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及 使用與所述計算的特征量對應(yīng)并且根據(jù)所述觀測的低分辨率圖像、根據(jù)所述估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于所述高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。
14.一 種記錄介質(zhì)，根據(jù)權(quán)利要求13所述的程序記錄于所述記錄介質(zhì)上。
全文摘要
提供一種圖像處理設(shè)備，該設(shè)備包括基于模型的處理部，使用執(zhí)行運(yùn)動補(bǔ)償處理和下采樣處理的觀測模型、根據(jù)高分辨率圖像來生成估計的低分辨率圖像；特征量計算部，根據(jù)觀測的低分辨率圖像和高分辨率圖像之一來計算空間特征量和時間特征量中的至少一個的特征量，觀測的低分辨率圖像是實(shí)際觀測的低分辨率圖像；以及預(yù)測運(yùn)算部，使用與計算的特征量對應(yīng)并且根據(jù)觀測的低分辨率圖像、根據(jù)估計的低分辨率圖像并且根據(jù)預(yù)先執(zhí)行的學(xué)習(xí)而獲得的參數(shù)，基于高分辨率圖像來預(yù)測和生成圖像質(zhì)量更高的圖像。
文檔編號H04N5/232GK103118224SQ201210236319
公開日2013年5月22日 申請日期2012年7月6日 優(yōu)先權(quán)日2011年7月14日
發(fā)明者松田康宏, 永野隆浩, 內(nèi)田真史 申請人:索尼公司