專利名稱：圖像生成裝置、圖像生成系統(tǒng)、方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成運(yùn)動圖像的圖像處理，特別涉及根據(jù)由在不同的攝影條件下拍攝同一對象(被攝體)而得到的像素構(gòu)成的運(yùn)動圖像，來生成顯示該對象的新的運(yùn)動圖像的圖像處理。
背景技術(shù)：
對于彩色攝像中所使用的攝像方式之中的3板攝像方式，由光學(xué)系統(tǒng)對入射光按RGB進(jìn)行顏色分離，分別利用不同的攝像元件對這些RGB的光進(jìn)行受光。3板攝像方式中，由于由攝像元件對所有的入射光進(jìn)行受光，因此光的利用效率高，色分辨率也高。另一方面，在小型、廉價的照相機(jī)中，不使用所述顏色分離的光學(xué)系統(tǒng)的單板式彩色攝像被廣泛采用。在單板式彩色攝像中，由于在空間上交替配置(例如拜爾排列等)透過式的RGB濾色器，因此顏色清晰度下降，透過顏色以外的光被吸收、反射，因此存在入射光的利用效率低且出現(xiàn)低靈敏度的一問題。針對這種問題，作為在單板式彩色攝像中提高顏色清晰度和靈敏度(S/N)的現(xiàn)有的裝置，具有利用相鄰的像素值來計算虛擬信號值的攝像裝置(例如參照專利文獻(xiàn)I)。在文獻(xiàn)I中，在作為基準(zhǔn)的G像素的像素位置使用G像素自身的像素值和周圍的R、B像素的像素值，來計算虛擬R信號、虛擬B信號。由此，使得由以基準(zhǔn)像素為中心而包含的縱橫多個像素所構(gòu)成的像素塊內(nèi)的R像素和B像素數(shù)增加，以實現(xiàn)R信號和B信號的顏色清晰度、S/N的提聞。在先技術(shù)文獻(xiàn)專利文獻(xiàn)

專利文獻(xiàn)I JP特開2009-55589號公報

發(fā)明內(nèi)容
(發(fā)明要解決的課題)在上述的圖像生成裝置的構(gòu)成中，由于根據(jù)單板輸入圖像來計算虛擬信號值，因此顏色清晰度比輸出圖像的清晰度要低。此外，使得像素塊的尺寸大于輸出圖像的像素尺寸來實現(xiàn)S/N的提高，因此存在顏色清晰度進(jìn)一步降低的問題。即，在同時實現(xiàn)顏色清晰度提聞和靈敏度提聞方面存在問題。本發(fā)明是為了解決現(xiàn)有的問題而提出的，其目的在于根據(jù)利用單板攝像元件進(jìn)行拍攝而得到的運(yùn)動圖像來獲得同時實現(xiàn)顏色清晰度的提高和靈敏度(曝光量、S/N)的提高的高畫質(zhì)運(yùn)動圖像。(用于解決課題的技術(shù)方案)本發(fā)明的圖像生成裝置根據(jù)利用對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件而拍攝到的、表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示所述被攝體的新的運(yùn)動圖像，其中，所述第I運(yùn)動圖像以比所述第2運(yùn)動圖像長的曝光時間進(jìn)行拍攝，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低，所述圖像生成裝置具備獲取部，其獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號；處理部，其基于獲取到的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號，生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像；和輸出部，其輸出所述新的運(yùn)動圖像。所述獲取部可獲取所述第I顏色成分及所述第2顏色成分相同的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號。所述獲取部可獲取綠的所述第I運(yùn)動圖像及綠的所述第2運(yùn)動圖像的各影像信號。所述獲取部可獲取綠的所述第I運(yùn)動圖像的影像信號、以及包含綠在內(nèi)的多個顏色成分的所述第2運(yùn)動圖像的影像信號。綠的波段可包含第I波段及第2波段，所述獲取部獲取所述第I波段的所述第I運(yùn)動圖像的影像信號、以及所述第2波段的所述第I運(yùn)動圖像的影像信號。所述單板彩色攝像元件可檢測所述第I顏色成分的光、所述第2顏色成分的光、第3顏色成分及第4顏色成分的光，所述第I顏色成分及所述第2顏色成分是相同的顏色成分，所述第3顏色成分及所述第4顏色成分不同于所述第I顏色成分及所述第2顏色成分，并且所述第3顏色成分及所述第4顏色成分互不相同，所述獲取部還獲取具有與所述第2運(yùn)動圖像的幀頻相同幀頻的第3運(yùn)動圖像及第4運(yùn)動圖像的影像信號，所述處理部進(jìn)一步基于所述第3運(yùn)動圖像及所述第4運(yùn) 動圖像的各影像信號，來生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像。所述獲取部可獲取綠的所述第I運(yùn)動圖像的影像信號、綠的所述第2運(yùn)動圖像的影像信號、紅的所述第3運(yùn)動圖像的影像信號、以及藍(lán)的所述第4運(yùn)動圖像的影像信號。所述獲取部可獲取綠的所述第I運(yùn)動圖像的影像信號、包含紅、綠、藍(lán)的顏色成分在內(nèi)的所述第2運(yùn)動圖像的影像信號、紅的所述第3運(yùn)動圖像的影像信號、以及藍(lán)的所述第4運(yùn)動圖像的影像信號。所述獲取部至少在不同的時刻獲取所述第2運(yùn)動圖像及所述第3運(yùn)動圖像的各影
像信號。所述獲取部可針對所述第2運(yùn)動圖像、所述第3運(yùn)動圖像及所述第4運(yùn)動圖像的各個運(yùn)動圖像獲取包含識別頭和各運(yùn)動圖像數(shù)據(jù)在內(nèi)的影像信號，該識別頭包含曝光時刻的時間差的信息。所述處理部可根據(jù)利用所述單板彩色攝像元件上的相鄰的4像素拍攝到的、所述第I運(yùn)動圖像的多個幀的像素、所述第2運(yùn)動圖像的I幀的像素、所述第3運(yùn)動圖像的I幀的像素及所述第4運(yùn)動圖像的I幀的像素，來生成所述新的運(yùn)動圖像的所述第I顏色成分、所述第3顏色成分及所述第4顏色成分的多個幀的各像素。所述處理部生成的所述新的圖像的像素數(shù)比所述單板彩色攝像元件的像素數(shù)少。所述處理部生成的所述新的圖像的像素數(shù)少于所述第I運(yùn)動圖像的像素數(shù)與所述第2運(yùn)動圖像的像素數(shù)之和。所述處理部生成在所述第I運(yùn)動圖像與所述新的運(yùn)動圖像中所包含的所述第I顏色成分的運(yùn)動圖像之間滿足第I條件、第2條件以及第3條件的運(yùn)動圖像，該第I條件表示對應(yīng)的各像素位置處的時間上的總光量應(yīng)一致，該第2條件表示空間上的總光量應(yīng)一致，該第3條件是與相鄰的像素的顏色的連續(xù)性相關(guān)的條件。所述處理部可設(shè)定表示各像素位置處的所述第I運(yùn)動圖像的I幀的總光量、和與所述第I運(yùn)動圖像的I幀時間相當(dāng)?shù)乃鲂碌倪\(yùn)動圖像的多個幀的總光量應(yīng)一致的第I條件。所述圖像生成裝置還可以具備運(yùn)動檢測部，該運(yùn)動檢測部檢測所述第2運(yùn)動圖像中的被攝體的運(yùn)動，將檢測結(jié)果作為運(yùn)動向量來輸出，進(jìn)一步利用所述運(yùn)動檢測部的檢測結(jié)果，所述處理部對表示沿著所述運(yùn)動向量的所述新的運(yùn)動圖像內(nèi)的像素值應(yīng)一致的第4條件進(jìn)行設(shè)定，并生成滿足所述第I條件至所述第4條件的運(yùn)動圖像。所述第I運(yùn)動圖像的顏色成分和所述第2運(yùn)動圖像的顏色成分可包含同一顏色成分，所述攝像部對構(gòu)成所述單板彩色攝像元件的同一水平行的像素以相同的曝光期間進(jìn)行拍攝。所述攝像部可輸出具有與所述第2運(yùn)動圖像的第2顏色成分不同的第3顏色成分的第3運(yùn)動圖像的影像信號，該第3運(yùn)動圖像是按照與所述第2運(yùn)動圖像的幀頻相同的幀頻進(jìn)行拍攝、且在與所述第2運(yùn)動圖像的曝光時刻不同的曝光時刻進(jìn)行拍攝而得到的運(yùn)動圖像。本發(fā)明的圖像生成系統(tǒng)可具備攝像部，其具有對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件；上述的任一種圖像生成裝置；和圖像輸出部，其輸出從所述圖像生成裝置輸出的所述新的運(yùn)動圖像，所述攝像部利用所述單板彩色攝像元件來拍攝表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像、以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像的各影像信號，并且以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低。

本發(fā)明的其他的圖像生成系統(tǒng)具備上述任意的圖像生成裝置；圖像輸出部，其輸出從所述圖像生成裝置輸出的所述新的運(yùn)動圖像；和顯示裝置，其顯示從所述圖像輸出部輸出的所述新的運(yùn)動圖像。所述圖像生成裝置可經(jīng)由存儲卡、天線及網(wǎng)絡(luò)中的至少一個來獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號。本發(fā)明的方法根據(jù)利用對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件拍攝到的、表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示所述被攝體的新的運(yùn)動圖像，以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低，所述方法包括獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號的步驟；基于所獲取的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號來生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像的步驟；和輸出所述新的運(yùn)動圖像的步驟。本發(fā)明的計算機(jī)程序是由安裝于圖像生成裝置中的計算機(jī)所執(zhí)行的計算機(jī)程序，通過執(zhí)行所述計算機(jī)程序，所述圖像生成裝置根據(jù)利用對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件拍攝到的、表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示所述被攝體的新的運(yùn)動圖像，以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低，所述計算機(jī)程序使安裝于所述圖像生成裝置中的計算機(jī)執(zhí)行如下步驟獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號的步驟；基于所獲取的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號來生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像的步驟；和輸出所述新的運(yùn)動圖像的步驟。(發(fā)明效果)根據(jù)本發(fā)明的某一實施方式涉及的圖像生成裝置，在單板彩色攝像中，使用像素數(shù)比輸出圖像更多(高密度)的單板輸入圖像。輸入圖像由長時間曝光像素和短時間高幀頻像素構(gòu)成。輸出圖像的像素值是利用對應(yīng)的位置的長時間曝光像素和短時間高幀頻像素值生成的。根據(jù)上述結(jié)構(gòu)，在提高輸出圖像的顏色清晰度的同時，即便是從高密度的攝像像素得到的圖像，通過長時間曝光確保了曝光量，從而實現(xiàn)了靈敏度的提高。通過利用短時間高幀頻像素的信息，使長時間曝光像素的信息高幀頻化。其結(jié)果，能夠獲得生成圖像的顏色清晰度和靈敏度都得到提高的高畫質(zhì)圖像。



圖1是表示實施方式I涉及的圖像生成裝置100及具備圖像生成裝置100的圖像生成系統(tǒng)110的結(jié)構(gòu)的圖。圖2是表示圖1所示的圖像生成部30的內(nèi)部結(jié)構(gòu)的圖。圖3是表示圖像生成裝置30所執(zhí)行的處理步驟的流程圖。圖4(a)是不意地表不由圖像獲取部101獲取的運(yùn)動圖像的圖，(b)是按照容易識別的方式對(a)的粗線正方形405區(qū)域中所包含的像素進(jìn)行分離表示的圖，(C)是表示由圖像處理部103生成的高幀頻彩色運(yùn)動圖像的圖。圖5是表示與所生成的運(yùn)動圖像的I像素的區(qū)域?qū)?yīng)的、由16像素構(gòu)成的正方區(qū)域617的圖。圖6是表示所生成的圖像的I像素所對應(yīng)的、包含輸入圖像的多個像素區(qū)域在內(nèi)的粗線正方形區(qū)域6B1 6B4的圖。圖7是表示低幀頻長時間曝光的R像素、G像素、B像素的曝光時刻的關(guān)系的圖。圖8是表示具有描述了攝影條件信息的識別頭210a和運(yùn)動圖像數(shù)據(jù)210b的影像信號210的格式的一例的圖。圖9 (a)及(b)是表示具有RGB濾色器排列的單板攝像元件701的結(jié)構(gòu)的圖。圖10(a)及(b)分別表示與運(yùn)動檢測處理相關(guān)的幀編號t和t+Ι中的像素配置的圖。圖11是表不RGB顏色空間與球面坐標(biāo)系(θ、ψ、r)的對應(yīng)例的圖。圖12是表示RGB顏色空間中的固有向量軸(Cl，C2，C3)的例子的圖。圖13(a) (d)是表示連續(xù)幀的攝影時刻(t = 0,1,2,3)的被攝體位置的圖。圖14(a) (d)是按時間順序(t = 0,1,2,3)表示想要對圖13(a) (d)所示的被攝體進(jìn)行拍攝而獲取的目標(biāo)運(yùn)動圖像的圖。
圖15是表示與目標(biāo)運(yùn)動圖像相同清晰度的RGB濾色器排列的例子的圖。圖16(a) (d)是表示與各時刻(t = 0,1,2,3)的綠色相關(guān)的生成圖像(左列)和被攝體圖像(右列)的圖。圖17(a) (d)是表示與各時刻(t = 0,1,2,3)的紅色相關(guān)的生成圖像(左列)和被攝體圖像(右列)的圖。圖18(a) (d)是表示與各時刻(t = 0,1,2,3)的藍(lán)色相關(guān)的生成圖像(左列)和被攝體圖像(右列)的圖。圖19是表示通過本發(fā)明的方法獲得作為輸入的圖像的濾色器配置和每個像素的曝光時間及幀頻的差異的圖。圖20(a) (d)是按時間順序(t = 0,1,2,3)表示針對S像素得到的G圖像的圖。圖21是表示針對G像素得到的圖像的圖。圖22是表示針對R像素的長時間曝光的圖像的圖。圖23是表示針對B像素的長時間曝光的圖像的圖。圖24(a)及(b)是用于說明使攝影條件一致的像素的圖。圖25(a)是由包含RGB各個顏色成分在內(nèi)的透明像素W(501a 501d)形成第I運(yùn)動圖像的圖，(b)是由在人類的視覺特性上是相同的綠色但波長特性不同的2種綠像素Gl (511a 51 Id)、G2 (514)形成第I運(yùn)動圖像和第2運(yùn)動圖像的圖。

圖26是表示實施方式2涉及的圖像生成系統(tǒng)130的結(jié)構(gòu)的圖。圖27是表示實施方式2中的圖像生成部31的內(nèi)部結(jié)構(gòu)的圖。圖28是表示實施方式的圖像生成部31的處理步驟的流程圖。圖29是表示不具備顯示部的圖像生成系統(tǒng)300的圖。圖30是表示不具備攝像部10的圖像生成系統(tǒng)400的圖。
具體實施例方式以下，參照

本發(fā)明的圖像生成裝置的實施方式。(實施方式I)圖1表示本實施方式涉及的圖像生成裝置100及具備圖像生成裝置100的圖像生成系統(tǒng)110的結(jié)構(gòu)。圖像生成系統(tǒng)110例如是攝像機(jī)。圖像生成裝置100根據(jù)以不同的曝光時間及不同的幀頻對同一對象(被攝體)進(jìn)行拍攝而得到的運(yùn)動圖像的數(shù)據(jù)，來生成新的運(yùn)動圖像。在本實施方式中，利用單板彩色攝像元件拍攝長時間曝光、低幀頻的運(yùn)動圖像和短時間曝光、高幀頻的運(yùn)動圖像。圖像生成裝置100根據(jù)長時間曝光、低幀頻的運(yùn)動圖像的像素、和短時間曝光、高幀頻的運(yùn)動圖像的像素，來生成新的運(yùn)動圖像。所謂新的運(yùn)動圖像是顏色清晰度高且?guī)l高的彩色運(yùn)動圖像。圖像生成系統(tǒng)110具備攝像部10、圖像生成裝置100、輸出圖像存儲部35、圖像輸出部45和顯示部40。攝像部10是例如包含攝像機(jī)的光學(xué)系統(tǒng)的攝像系統(tǒng)，利用具有不同攝影條件的像素的單板式彩色攝像元件來拍攝同一被攝體，獲得不同時間清晰度的運(yùn)動圖像。本實施方式中的不同時間清晰度的“運(yùn)動圖像”是指對于同一對象(被攝體)而言(i)短時間曝光、高幀頻運(yùn)動圖像、即時間清晰度相對較高且曝光量相對較低的運(yùn)動圖像、以及(ii)長時間曝光、低幀頻運(yùn)動圖像、即時間清晰度相對較低且曝光量相對較高的運(yùn)動圖像。圖像生成裝置100具備圖像存儲部20和圖像生成部30。圖像存儲部20例如是半導(dǎo)體存儲器，暫時存儲由攝像部10拍攝的運(yùn)動圖像。圖像生成部30是例如由硬件組裝的圖像處理電路(圖形控制器)。圖像生成部30讀出在圖像存儲部20中存儲的運(yùn)動圖像，根據(jù)所讀出的運(yùn)動圖像來生成提高了顏色清晰度和幀頻的新的運(yùn)動圖像。圖像輸出部45是所生成的運(yùn)動圖像的輸出端子。例如，圖像輸出部45是與數(shù)據(jù)總線連接的連接器或端子。顯示部40例如是液晶顯示裝置，顯示由圖像生成部30生成的新的運(yùn)動圖像。圖像生成系統(tǒng)110也可以通過攝像機(jī)以外的形式實施。例如，在圖像生成系統(tǒng)110中，圖像生成裝置100是具備通用的處理器和圖像處理程序等的軟件的PC，攝像部10可以是具備單板攝像元件的攝像機(jī)。對于其他的變形例，參照圖29及圖30來進(jìn)行說明。接下來，詳細(xì)說明圖像生成裝置100的圖像生成部30。 圖2表示圖1所示的圖像生成部30的內(nèi)部結(jié)構(gòu)。圖像生成部30具備圖像獲取部101、運(yùn)動檢測部102、圖像處理部103和輸出部106。圖像獲取部101獲取對同一對象(被攝體)進(jìn)行攝像而得到的時間清晰度及顏色不同的運(yùn)動圖像。圖像獲取部101包括高幀頻G獲取部101a、低幀頻G獲取部101b、低幀頻R獲取部101c、低幀頻B獲取部101d。高幀頻G獲取部IOla獲取高幀頻的綠色(G)的圖像。低幀頻G獲取部IOlb獲取低幀頻的綠色(G)的圖像。低幀頻R獲取部IOlc獲取低幀頻的紅色(R)的圖像。低幀頻B獲取部IOld獲取低幀頻的藍(lán)色(B)的圖像。高幀頻G獲取部101a、低幀頻G獲取部101b、低幀頻R獲取部101c、低幀頻B獲取部IOld所獲取的圖像的時間清晰度及顏色不同，但都是拍攝相同的對象(被攝體)而得到的圖像。在本實施方式中，假定了以綠色拍攝高幀頻的運(yùn)動圖像，但這僅僅是一例。主要對于綠色、紅色及藍(lán)色而言，只要按光的每個波段來拍攝運(yùn)動圖像，則以紅色或藍(lán)色拍攝高幀頻的運(yùn)動圖像即可。運(yùn)動檢測部102具有運(yùn)動分布計算部102a和可靠度分布計算部102b。運(yùn)動檢測部102計算輸入圖像中的圖像的運(yùn)動檢測和運(yùn)動檢測的可靠度，并輸出其結(jié)果。具體而言，運(yùn)動分布計算部102a基于輸入到圖像獲取部101中的圖像，以獲取到的圖像中的一部分圖像(典型的是被攝體)作為對象，進(jìn)行其運(yùn)動檢測。運(yùn)動檢測最終是以各幀的全部圖像作為對象來進(jìn)行的?？煽慷确植加嬎悴?02b在各幀的全部圖像中計算運(yùn)動分布計算部102a中的運(yùn)動檢測的可靠度。再者，將在后面敘述可靠度分布計算部102b的具體的說明。圖像處理部103根據(jù)由圖像獲取部101所獲取的多個運(yùn)動圖像，生成顏色清晰度高、且?guī)l高的彩色運(yùn)動圖像。具體而言，圖像處理部103具有高幀頻化處理部103a、第I條件設(shè)定部103b、第2條件設(shè)定部103c、第3條件設(shè)定部103d、和第4條件設(shè)定部103e。第I至第4條件設(shè)定部設(shè)定所獲取的運(yùn)動圖像和新生成的運(yùn)動圖像應(yīng)滿足的關(guān)系(條件)。再者，在本說明書中，將新生成的運(yùn)動圖像也稱為“目標(biāo)運(yùn)動圖像”?！澳繕?biāo)運(yùn)動圖像”是彩色的運(yùn)動圖像。其中，在下文中，有時也指構(gòu)成運(yùn)動圖像的I幀圖像。第1條件設(shè)定部103b設(shè)定目標(biāo)運(yùn)動圖像的像素值和所獲取的運(yùn)動圖像的像素值的時間關(guān)系(從目標(biāo)運(yùn)動圖像到所獲取的運(yùn)動圖像的時間劣化的條件)。第2條件設(shè)定部103c設(shè)定目標(biāo)運(yùn)動圖像和所獲取的運(yùn)動圖像的像素值的空間關(guān)系(從所獲取的運(yùn)動圖像到目標(biāo)運(yùn)動圖像的空間合并的條件)。第3條件設(shè)定部103d設(shè)定針對目標(biāo)運(yùn)動圖像的空間上的約束條件。第4條件設(shè)定部103e利用從運(yùn)動檢測部102獲取的運(yùn)動和后述的運(yùn)動檢測的可靠度的結(jié)果，設(shè)定針對目標(biāo)運(yùn)動圖像的約束條件。高巾貞頻化處理部103a設(shè)定將被賦予了第I至第4條件設(shè)定部103b 103e所設(shè)定的條件的運(yùn)動圖像作為變量的評價函數(shù)，求出使該函數(shù)值盡量小(優(yōu)選最小)的圖像，從而生成目標(biāo)運(yùn)動圖像的各色運(yùn)動圖像RyGpBy將這樣生成的運(yùn)動圖像作為目標(biāo)運(yùn)動圖像來輸出。輸出部106是圖像生成部30的輸出端子。例如，在圖像生成部30是圖像處理電路(圖形控制器)時，輸出部106是與總線連接的連接器。輸出部106向外部輸出由圖像處理部103生成的彩色圖像的數(shù)據(jù)。輸出目的地例如是顯示部40。再者，在本實施方式的“幀”不僅包含逐行方式中的幀，還包含隔行方式中的偶數(shù)場及奇數(shù)場。接下來，說明按照以上方式構(gòu)成的圖像生成部30所執(zhí)行的處理。圖3表示圖像生成裝置30所執(zhí)行的處理的步驟。在步驟301中，圖像獲取部101獲取曝光時間、幀頻和顏色不同的多個運(yùn)動圖像。具體而言，高幀頻G獲取部IOla獲取高幀頻的G運(yùn)動圖像，低幀頻G獲取部IOlb針對同一對象(被攝體)獲取低幀頻的G運(yùn)動圖像，低幀頻R獲取部IOlc針對同一被攝體獲取低幀頻的R運(yùn)動圖像，低幀頻B獲取部IOld針對同一被攝體獲取低幀頻的B運(yùn)動圖像。圖4(a)示意地表示由圖像獲取部101獲取的運(yùn)動圖像。圖4(b)按照容易識別的方式對圖4(a)的粗線正方形405區(qū)域所包含的像素進(jìn)行分離表示。圖4(c)表示由圖像處理部103生成的高幀頻彩色運(yùn)動圖像。在圖4(a)、(c)中，按時間順序表示所述2種運(yùn)動圖像的連續(xù)的幀圖像，圖的縱深方向表示時間軸，像素的縱深方向的厚度表示該像素的曝光時間。此外，在圖4(a)、圖4(c)中，由矩形的大小和密度表現(xiàn)空間清晰度的差異。具體而言，在圖4中，粗線的正方形405、409表示拍攝相同大小的范圍的區(qū)域。在圖4(a)中，在該正方形405的范圍內(nèi)配置了 4個像素。另一方面，在圖4(c)的各正方形區(qū)域409中，在正方形的區(qū)域內(nèi)配置了 I個像素，與圖4(c)相比，圖4(a)的像素配置成為像素面積為1/4而像素密度是4倍的配置。G像素401a 401d表不由聞巾貞頻G猶取部IOla猶取的4巾貞的聞巾貞頻G運(yùn)動圖像的像素。R像素402表示由低幀頻R獲取部IOlc獲取的I幀的低幀頻R運(yùn)動圖像的像素。B像素403表示由低幀頻B獲取部IOld獲取的I幀的低幀頻B運(yùn)動圖像的像素。G像素404表示由低幀頻G獲取部IOlb獲取的I幀的低幀頻G運(yùn)動圖像的像素。圖4(a)的低幀頻圖像402、403、404的曝光時間對應(yīng)于G像素401a 401d的4中貞的曝光時間。圖4(c)的3個正方形區(qū)域409表示對與圖4(a)的正方形405的粗線所表示的正方形區(qū)域相同的范圍進(jìn)行拍攝而得到的R、G、B的高幀頻運(yùn)動圖像。在圖4(c)中，R圖像406a 406d具有與和正方形405相同范圍的G像素401a 401d的幀時間相對應(yīng)的幀時間。同樣，G圖像407a 407d和B圖像408a 408d分別具有與和正方形405相同的被攝體范圍的G像素401a 401d的幀時間相對應(yīng)的幀時間。根據(jù)本實施方式，圖像處理部103利用在圖4(a)的正方形405的范圍中獲取到的高幀頻G運(yùn)動圖像的像素401a 401d、低幀頻的R像素402、B像素403、G像素404的各像素，分別生成圖4(c)所示的高幀頻的R運(yùn)動圖像的像素406a 406d、G運(yùn)動圖像的像素407a 407d、B運(yùn)動圖像的像素408a 408d。這樣，在本發(fā)明中，通過在要生成的RGB運(yùn)動圖像的各像素位置上獲取密度比要生成的圖像高的單板RGB圖像，從而提高顏色清晰度。在此，針對以像素的高密度產(chǎn)生的受光量下降，利用通過比要生成的圖像的幀間隔更長的曝光時間的攝影來增加曝光量并提高了靈敏度的圖像，生成圖像，從而能夠獲得同時實現(xiàn)顏色清晰度和靈敏度的彩色運(yùn)動圖像。再者，由圖像獲取部101獲取的顏色排列并不限于上述例子，RGB的相對位置可以不同，也可以獲取4種以上的顏色，只要包含2種以上的不同顏色即可。此外，與生成圖像的一個像素位置對應(yīng)的獲取圖像的像素數(shù)也并不限于上述例子那樣的4個像素，也可以如圖5那樣按照由一部分包含高幀頻像素601a 601d的16像素構(gòu)成的正方區(qū)域617、和生成的運(yùn)動圖像的I像素的區(qū)域相對應(yīng)的方式，獲取圖像。此外，還可以根據(jù)要生成的圖像內(nèi)的位置而改變顏色的種類或數(shù)目。具體如圖6所示。在圖6中，所生成的圖像的I像素對應(yīng)的粗線正方形區(qū)域6B1 6B4各自包含輸入圖像的多個像 素區(qū)域。并且，在正方形區(qū)域6B1/6B4的組、和正方形區(qū)域6B2/6B3的組之間，正方區(qū)域所包含的輸入圖像的顏色的種類和數(shù)目不同。特別地，在正方形區(qū)域6B1/6B4的組中包含“W”像素。該像素的像素值直接包含入射光的顏色成分。即，該像素的像素值包含RGB各自的顏色成分。這樣，通過使不同的正方區(qū)域具有不同的顏色特性，從而多面拍攝僅靠單一正方區(qū)域的顏色特性無法拍攝的顏色和明亮度的信息，能夠應(yīng)對更多的照明條件、被攝體。此外，只要由圖像獲取部101獲取的RGB圖像間的攝影時刻在時間上的相對關(guān)系上是已知的，則曝光開始、曝光結(jié)束時刻不需要一定是同時。也就是說，攝像時刻的時間相位可以不同。具體而言，可以如圖7那樣設(shè)定低幀頻長時間曝光的R像素、G像素、B像素的曝光時刻的關(guān)系。在圖7中，橫軸表示時間。此外，矩形表示各像素的幀，矩形的橫寬表示曝光時間的長度。在圖7中，對于圖4(b)所示的配置的輸入像素，低幀頻的R、G及B的曝光時刻不相同，分別稍微錯開了等間隔。曝光時刻的錯開方式是任意的。例如，可以各錯開與高幀頻運(yùn)動圖像(G)的I幀時間相當(dāng)?shù)牧?。通過錯開曝光時刻，從而圖2所示的圖像獲取部101的低幀頻G獲取部101b、低幀頻R獲取部101c、及低幀頻B獲取部IOld獲取各輸入信號的時刻也可以同樣被錯開。在圖7所示的曝光時刻下，拍攝了低幀頻長時間曝光的R像素、G像素、B像素的情況下，需要從攝像部10向圖像生成部30通知其曝光時刻的構(gòu)造。為此，考慮對所發(fā)送的影像信號附加攝影條件。圖8表示具有描述了攝影條件的信息的識別頭210a和運(yùn)動圖像數(shù)據(jù)210b的影像信號210的格式的一例。攝像部10將表示攝影條件的信息保存在識別頭210a中，輸出將識別頭210a附加在所拍攝的運(yùn)動圖像數(shù)據(jù)210b中的影像信號210。圖像生成部30的圖像獲取部101接收影像信號210后，先讀取識別頭210a，獲取攝影條件的信息。然后，基于該攝影條件獲取運(yùn)動圖像數(shù)據(jù)210b。此外，圖像處理部103基于識別頭210a的攝影條件，設(shè)定第I條件設(shè)定(時間劣化的約束條件)和第2條件設(shè)定(空間合并的約束條件)。識別頭210a中保存的圖像的攝影條件的信息是每個顏色(RGB)及每個像素位置的曝光時間、幀頻、RGB像素的曝光時刻的相對時間差(時間相位差)、與這些建立了對應(yīng)關(guān)系的數(shù)值或符號。在圖像獲取部101接收數(shù)字信號的情況下，識別頭210a是數(shù)字?jǐn)?shù)據(jù)。由此，對于表示攝影條件的曝光時間、幀頻、RGB像素的曝光時刻的相對時間差等值，可以用數(shù)字值直接表示?；?qū)?yīng)的攝像元件內(nèi)的電壓、電荷量、電流值(模擬值)可以四舍五入為規(guī)定的有效位數(shù)，其值由數(shù)字值表示。另一方面，在圖像獲取部101接收模擬影像信號的情況下，以攝像元件內(nèi)的電壓、電荷量、電流值等模擬值來表現(xiàn)上述信息，或者由與它們建立了對應(yīng)關(guān)系的數(shù)值或符號來表現(xiàn)上述信息。

這樣根據(jù)像素而改變曝光開始、曝光結(jié)束時刻，從而錯開來自攝像元件的像素值的讀出時刻，能夠提高信號線的傳輸效率。此外，對根據(jù)像素改變曝光開始、曝光結(jié)束時刻而得到的信息進(jìn)行合并來生成新的圖像，從而獲得時間清晰度高的運(yùn)動圖像。能夠通過具有RGB濾色器排列的單板攝像元件拍攝由圖像獲取部101獲取的圖像。圖9(a)及(b)表示具有RGB濾色器排列的單板攝像元件701的結(jié)構(gòu)。圖9 (b)表示從光的入射方向觀察時的濾色器排列。通過利用該單板攝像元件701，能夠根據(jù)像素位置以不同的幀頻、曝光時間進(jìn)行拍攝，在攝像后可生成同等的圖像。再者，圖9(a)及(b)所示的單板攝像元件701是一例。除了 RGB濾色器排列之外，也可以利用包含在圖6中所說明的“W”像素的排列。再次參照圖3。在步驟302中，運(yùn)動檢測部102對構(gòu)成目標(biāo)運(yùn)動圖像的各圖像的每個像素的運(yùn)動進(jìn)行檢測，并計算其運(yùn)動檢測的可靠度。作為運(yùn)動檢測處理，在本實施方式中，在從高幀頻G獲取部IOla得到的運(yùn)動圖像的各幀圖像的各位置上，運(yùn)動檢測部102求出被攝體的運(yùn)動方向和大小，然后一起求得所求出的運(yùn)動檢測的可靠度的時間空間上的分布conf(X，y, t)。在此，所謂運(yùn)動檢測的可靠度是指可靠度越高則運(yùn)動檢測的結(jié)果似乎越正確，而可靠度較低的情況下運(yùn)動檢測的結(jié)果中越有錯誤。在本實施方式中，將高幀頻G圖像用于運(yùn)動檢測中。這是因為高幀頻圖像能夠檢測更詳細(xì)的運(yùn)動。相鄰的2幀圖像間的圖像上的各位置處的運(yùn)動的求取方法可采用例如P.ANANDAN,uk Computational Framework and an Algorithm for the Measurement ofVisual Motion”、IJCV、2、283-310 (1989)中使用的方法、在運(yùn)動圖像編碼中一般釆用的運(yùn)動檢測方法、在利用了圖像的移動體跟蹤等中采用的特征點跟蹤方法等。此外，也可以采用檢測圖像整體的大區(qū)域的運(yùn)動(仿射運(yùn)動等)一般方法、Lihi Zelkik-Manor、“Mult1-body Segmentation Revisinting Motion Consistency，，、ECCV(2002)等方法，來進(jìn)行多個區(qū)域中的每個區(qū)域的運(yùn)動檢測，進(jìn)而用作各像素位置處的運(yùn)動。說明基于塊匹配的2幀圖像間的運(yùn)動檢測方法。圖10 (a)及(b)分別表示與運(yùn)動檢測處理相關(guān)的幀編號t和t+Ι中的像素配置。在此，將圖10(a)的黑像素2401作為關(guān)注像素，通過如下步驟來決定該像素與下一幀圖像的哪個像素對應(yīng)(移動到哪里)。首先，設(shè)定以關(guān)注像素2401為中心的塊區(qū)域2402(3X3像素的斜線區(qū)域)。該塊尺寸被預(yù)先確定。接下來，在下一幀圖像(圖10(b))中設(shè)定與所述塊區(qū)域相同尺寸(3X3像素)的區(qū)域2403，并求出區(qū)域2402和區(qū)域2403的像素值的SSD (Sum of SquaredDifferences)或者 SAD(Sum of Absolute Differences)。之后，在圖 10(b)圖像內(nèi)按每 I像素改變區(qū)域2403的位置，將SSD或者SAD最小時的區(qū)域2403的中心像素位置作為與像素2401對應(yīng)的像素位置(運(yùn)動向量的目的地)。以上是針對像素2401的運(yùn)動檢測結(jié)果。改變關(guān)注像素，針對圖10(a)的全部像素反復(fù)進(jìn)行同樣的步驟。由此，針對圖10(a)的幀圖像的運(yùn)動檢測結(jié)束。針對連續(xù)的幀圖像中的相鄰的幀圖像，依次進(jìn)行運(yùn)動檢測，從而運(yùn)動圖像整體的運(yùn)動檢測結(jié)束?？煽慷纫部梢岳蒙鲜鯬. ANANDAN文獻(xiàn)中記載的方法來求得，在使用了塊匹配的運(yùn)動檢測的情況下，如(式I)那樣，作為可靠度，也可以使用從與運(yùn)動對應(yīng)的塊間的像素值之差的平方和能取的最大值SSDmax中減去所述差的平方和而得到的值，即將塊間的像素值之差的平方和的符號取逆之后的值conf(x，y, t)。此外，在使用了圖像的大區(qū)域的運(yùn)動檢測或每個區(qū)域的運(yùn)動檢測的情況下，作為可靠度，也可以使用從各像素位置的運(yùn)動的起點附近區(qū)域和終點附近區(qū)域的像素值之差的平方和能取的最大值SSDmax中減去所述平方和而得到的值conf (X, y, t)。式I
權(quán)利要求
1.一種圖像生成裝置，其根據(jù)利用對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件而拍攝到的、表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示所述被攝體的新的運(yùn)動圖像，其中，以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低，所述圖像生成裝置具備獲取部，其獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號；處理部，其基于獲取到的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號，生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像；和輸出部，其輸出所述新的運(yùn)動圖像。
2.根據(jù)權(quán)利要求1所述的圖像生成裝置，其中，所述獲取部獲取所述第I顏色成分及所述第2顏色成分相同的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號。
3.根據(jù)權(quán)利要求2所述的圖像生成裝置，其中，所述獲取部獲取綠的所述第I運(yùn)動圖像及綠的所述第2運(yùn)動圖像的各影像信號。
4.根據(jù)權(quán)利要求1所述的圖像生成裝置，其中，所述獲取部獲取綠的所述第I運(yùn)動圖像的影像信號、以及包含綠在內(nèi)的多個顏色成分的所述第2運(yùn)動圖像的影像信號。
5.根據(jù)權(quán)利要求3所述的圖像生成裝置，其中，綠的波段包含第I波段及第2波段，所述獲取部獲取所述第I波段的所述第I運(yùn)動圖像的影像信號、以及所述第2波段的所述第I運(yùn)動圖像的影像信號。
6.根據(jù)權(quán)利要求1所述的圖像生成裝置，其中，所述單板彩色攝像元件檢測所述第I顏色成分的光、所述第2顏色成分的光、第3顏色成分及第4顏色成分的光，所述第I顏色成分及所述第2顏色成分是相同的顏色成分，所述第3顏色成分及所述第4顏色成分不同于所述第I顏色成分及所述第2顏色成分， 并且所述第3顏色成分及所述第4顏色成分互不相同，所述獲取部還獲取具有與所述第2運(yùn)動圖像的幀頻相同幀頻的第3運(yùn)動圖像及第4運(yùn)動圖像的影像信號，所述處理部進(jìn)一步基于所述第3運(yùn)動圖像及所述第4運(yùn)動圖像的各影像信號，生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像。
7.根據(jù)權(quán)利要求6所述的圖像生成裝置，其中，所述獲取部獲取綠的所述第I運(yùn)動圖像的影像信號、綠的所述第2運(yùn)動圖像的影像信號、紅的所述第3運(yùn)動圖像的影像信號、以及藍(lán)的所述第4運(yùn)動圖像的影像信號。
8.根據(jù)權(quán)利要求6所述的圖像生成裝置，其中，所述獲取部獲取綠的所述第I運(yùn)動圖像的影像信號、包含紅、綠、藍(lán)的顏色成分的所述第2運(yùn)動圖像的影像信號、紅的所述第3運(yùn)動圖像的影像信號、以及藍(lán)的所述第4運(yùn)動圖像的影像信號。
9.根據(jù)權(quán)利要求6所述的圖像生成裝置，其中，所述獲取部至少在不同的時刻獲取所述第2運(yùn)動圖像及所述第3運(yùn)動圖像的各影像信號。
10.根據(jù)權(quán)利要求9所述的圖像生成裝置，其中，所述獲取部針對所述第2運(yùn)動圖像、所述第3運(yùn)動圖像及所述第4運(yùn)動圖像的各個運(yùn)動圖像獲取包含識別頭和各運(yùn)動圖像數(shù)據(jù)在內(nèi)的影像信號，該識別頭包含曝光時刻的時間差的信息。
11.根據(jù)權(quán)利要求6所述的圖像生成裝置，其中，所述處理部根據(jù)利用所述單板彩色攝像元件上的相鄰的4個像素拍攝到的、所述第I 運(yùn)動圖像的多個幀的像素、所述第2運(yùn)動圖像的I幀的像素、所述第3運(yùn)動圖像的I幀的像素及所述第4運(yùn)動圖像的I幀的像素，來生成所述新的運(yùn)動圖像的所述第I顏色成分、所述第3顏色成分及所述第4顏色成分的多個幀的各像素。
12.根據(jù)權(quán)利要求1至11的任一項所述的圖像生成裝置，其中，所述處理部生成的所述新的圖像的像素數(shù)比所述單板彩色攝像元件的像素數(shù)少。
13.根據(jù)權(quán)利要求1至11的任一項所述的圖像生成裝置，其中，所述處理部生成的所述新的圖像的像素數(shù)少于所述第I運(yùn)動圖像的像素數(shù)與所述第2 運(yùn)動圖像的像素數(shù)之和。
14.根據(jù)權(quán)利要求1所述的圖像生成裝置，其中，所述處理部生成在所述第I運(yùn)動圖像與包含在所述新的運(yùn)動圖像中的所述第I顏色成分的運(yùn)動圖像之間滿足第I條件、第2條件以及第3條件的運(yùn)動圖像，該第I條件表示對應(yīng)的各像素位置處的時間上的總光量應(yīng)一致，該第2條件表示空間上的總光量應(yīng)一致，該第3 條件是與相鄰的像素的顏色的連續(xù)性相關(guān)的條件。
15.根據(jù)權(quán)利要求14所述的圖像生成裝置，其中，所述處理部設(shè)定表示各像素位置處的所述第I運(yùn)動圖像的I幀的總光量、和與所述第 I運(yùn)動圖像的I幀時間相當(dāng)?shù)乃鲂碌倪\(yùn)動圖像的多個幀的總光量應(yīng)一致的第I條件。
16.根據(jù)權(quán)利要求14所述的圖像生成裝置，其中，所述圖像生成裝置還具備運(yùn)動檢測部，其檢測所述第2運(yùn)動圖像中的被攝體的運(yùn)動， 將檢測結(jié)果作為運(yùn)動向量來輸出，進(jìn)一步利用所述運(yùn)動檢測部的檢測結(jié)果，所述處理部設(shè)定表示沿著所述運(yùn)動向量的所述新的運(yùn)動圖像內(nèi)的像素值應(yīng)一致的第4條件，并生成滿足所述第I條件至所述第4條件的運(yùn)動圖像。
17.根據(jù)權(quán)利要求1至16的任一項所述的圖像生成裝置，其中，所述第I運(yùn)動圖像的顏色成分和所述第2運(yùn)動圖像的顏色成分包含同一顏色成分， 所述攝像部對構(gòu)成所述單板彩色攝像元件的同一水平行的像素以相同的曝光期間進(jìn)行拍攝。
18.根據(jù)權(quán)利要求17所述的圖像生成裝置，其中，所述攝像部輸出具有與所述第2運(yùn)動圖像的第2顏色成分不同的第3顏色成分的第3 運(yùn)動圖像的影像信號，該第3運(yùn)動圖像是以與所述第2運(yùn)動圖像的幀頻相同的幀頻進(jìn)行拍攝、且以與所述第2運(yùn)動圖像的曝光時刻不同的曝光時刻進(jìn)行拍攝而得到。
19.一種圖像生成系統(tǒng)，具備攝像部，其具有對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件；權(quán)利要求1至16的任一項所述的圖像生成裝置；和圖像輸出部，其輸出從所述圖像生成裝置輸出的所述新的運(yùn)動圖像，所述攝像部利用所述單板彩色攝像元件來拍攝表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像、以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像的各影像信號，且以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低。
20.一種圖像生成系統(tǒng)，具備權(quán)利要求1至16的任一項所述的圖像生成裝置；圖像輸出部，其輸出從所述圖像生成裝置輸出的所述新的運(yùn)動圖像；和顯示裝置，其顯示從所述圖像輸出部輸出的所述新的運(yùn)動圖像。
21.根據(jù)權(quán)利要求20所述的圖像生成系統(tǒng)，其中，所述圖像生成裝置經(jīng)由存儲卡、天線及網(wǎng)絡(luò)中的至少一個，獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號。
22.—種圖像生成方法，根據(jù)利用對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件而拍攝到的、表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示所述被攝體的新的運(yùn)動圖像，以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低，所述圖像生成方法包括獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號的步驟；基于所獲取的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號來生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像的步驟；和輸出所述新的運(yùn)動圖像的步驟。
23.一種計算機(jī)程序，是由安裝在圖像生成裝置中的計算機(jī)所執(zhí)行的程序，通過執(zhí)行所述計算機(jī)程序，所述圖像生成裝置根據(jù)利用對第I顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件拍攝到的、表示被攝體的第I顏色成分的運(yùn)動圖像的第I運(yùn)動圖像以及表示所述被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示所述被攝體的新的運(yùn)動圖像，以比所述第2運(yùn)動圖像長的曝光時間拍攝所述第I運(yùn)動圖像，從而所述第I運(yùn)動圖像的幀頻比所述第2運(yùn)動圖像的幀頻低，所述計算機(jī)程序使安裝于所述圖像生成裝置中的計算機(jī)執(zhí)行如下步驟獲取所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號的步驟；基于所獲取的所述第I運(yùn)動圖像及所述第2運(yùn)動圖像的各影像信號來生成具有與所述第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像的步驟；和輸出所述新的 運(yùn)動圖像的步驟。
全文摘要
本發(fā)明提供一種圖像生成裝置、圖像生成系統(tǒng)以及方法，根據(jù)利用單板攝像元件所拍攝的運(yùn)動圖像，獲得同時實現(xiàn)了顏色清晰度的提高和靈敏度(曝光量、S/N)提高的高畫質(zhì)運(yùn)動圖像。該圖像生成裝置根據(jù)利用對第1顏色成分的光及第2顏色成分的光進(jìn)行檢測的單板彩色攝像元件而拍攝到的、表示被攝體的第1顏色成分的運(yùn)動圖像的第1運(yùn)動圖像以及表示被攝體的第2顏色成分的運(yùn)動圖像的第2運(yùn)動圖像，來生成表示被攝體的新的運(yùn)動圖像。以比第2運(yùn)動圖像長的曝光時間拍攝第1運(yùn)動圖像，從而第1運(yùn)動圖像的幀頻比第2運(yùn)動圖像的幀頻低。圖像生成裝置具備獲取第1運(yùn)動圖像及第2運(yùn)動圖像的各影像信號的獲取部、基于所獲取的第1運(yùn)動圖像及第2運(yùn)動圖像的各影像信號來生成具有與第2運(yùn)動圖像的幀頻相同幀頻的新的運(yùn)動圖像的處理部、和輸出新的運(yùn)動圖像的輸出部。
文檔編號H04N9/07GK103053163SQ20118003747
公開日2013年4月17日 申請日期2011年11月30日 優(yōu)先權(quán)日2010年12月16日
發(fā)明者今川太郎, 吾妻健夫, 鵜川三藏, 岡田雄介 申請人:松下電器產(chǎn)業(yè)株式會社