專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置以及圖像處理方法，尤其涉及生成合成圖像的圖像處理裝置以及圖像處理方法。
背景技術(shù)：
一直以來，存在一種需求，即想要從含有路人、路過物體這樣的無用運(yùn)動體的圖像中將這些運(yùn)動體去掉。作為滿足該需求的現(xiàn)有技術(shù)，在JP特開平11-225344號公報(bào)中公開了一種技術(shù) 從以大致相同的視角所拍攝的多幀數(shù)據(jù)中，通過按各像素的平均或多數(shù)決定，來估計(jì)沒有運(yùn)動物體像的狀態(tài)。此夕卜，在"Interactive Digital Photomontage "A. Agarwala et al ACM SIGGRAPH.2004中公開了一種技術(shù)針對以大致相同的視角所拍攝的多幀數(shù)據(jù)，通過作為以幀編號為標(biāo)簽的MRF(Markov Random Field，馬爾科夫隨機(jī)場)上的多值標(biāo)簽最佳化問題來解答，由此將物體的中斷抑制在最小限度。

發(fā)明內(nèi)容
本發(fā)明的目的是利用連續(xù)取得的圖像來減輕圖像處理的負(fù)擔(dān)，該圖像處理中生成去除了成為障礙物的該運(yùn)動物體像后的更自然的合成圖像。為了實(shí)現(xiàn)上述目的，本發(fā)明之一在于提供一種圖像處理裝置，其特征在于，具備 取得單元，其取得在時(shí)間上連續(xù)的大致相同視角的多個(gè)圖像數(shù)據(jù)；生成單元，其基于由所述取得單元取得的多個(gè)圖像數(shù)據(jù)，生成用于圖像合成的基準(zhǔn)圖像數(shù)據(jù)；選擇單元，其從由所述取得單元取得的多個(gè)圖像數(shù)據(jù)中選擇至少兩個(gè)以上的任意圖像數(shù)據(jù)；第一差異度計(jì)算單元，其針對由所述選擇單元選擇的任意圖像數(shù)據(jù)中的相鄰的兩個(gè)像素，來計(jì)算出該圖像數(shù)據(jù)之間的差異度；第二差異度計(jì)算單元，其分別計(jì)算出由所述選擇單元選擇的任意圖像數(shù)據(jù)與所述基準(zhǔn)圖像數(shù)據(jù)之間的像素值差異度；函數(shù)設(shè)定單元，其設(shè)定以通過所述第一差異度計(jì)算單元和所述第二差異度計(jì)算單元分別計(jì)算出的差異度為變量的函數(shù)；邊界設(shè)定單元，其按照由所述函數(shù)設(shè)定單元設(shè)定的函數(shù)成為最小值的方式，對由所述選擇單元選擇的任意圖像數(shù)據(jù)分別設(shè)定邊界；和合成單元，其基于由所述邊界設(shè)定單元分別設(shè)定的邊界，對由所述選擇單元選擇的任意圖像數(shù)據(jù)之間進(jìn)行合成。此外，為了實(shí)現(xiàn)上述目的，本發(fā)明之二在于提供一種圖像處理方法，其特征在于， 包括取得步驟，取得在時(shí)間上連續(xù)的大致相同視角的多個(gè)圖像數(shù)據(jù)；生成步驟，基于由所述取得步驟取得的多個(gè)圖像數(shù)據(jù)，生成用于圖像合成的基準(zhǔn)圖像數(shù)據(jù)；選擇步驟，從由所述取得步驟取得的多個(gè)圖像數(shù)據(jù)中，選擇至少兩個(gè)以上的任意圖像數(shù)據(jù)；第一差異度計(jì)算步驟，針對由所述選擇步驟選擇的任意圖像數(shù)據(jù)中的相鄰的兩個(gè)像素，來計(jì)算出該圖像數(shù)據(jù)之間的差異度；第二差異度計(jì)算步驟，分別計(jì)算出由所述選擇步驟選擇的任意圖像數(shù)據(jù)與所述基準(zhǔn)圖像數(shù)據(jù)之間的像素值的差異度；函數(shù)設(shè)定步驟，設(shè)定以由所述第一差異度計(jì)算
4步驟和所述第二差異度計(jì)算步驟分別計(jì)算出的差異度為變量的函數(shù)；邊界設(shè)定步驟，按照由所述函數(shù)設(shè)定步驟設(shè)定的函數(shù)成為最小值的方式，對由所述選擇步驟選擇的任意圖像數(shù)據(jù)分別設(shè)定邊界；和合成步驟，基于由所述邊界設(shè)定步驟分別設(shè)定的邊界，對由所述選擇步驟所選擇的任意圖像數(shù)據(jù)之間進(jìn)行合成。


圖1是表示本發(fā)明的一實(shí)施方式所涉及的攝像裝置的硬件構(gòu)成的框圖。圖2是表示圖1的攝像裝置的圖像處理部的功能構(gòu)成的功能模塊圖。圖3是表示圖2的圖像處理部的具體處理結(jié)果的一例的圖。圖4是說明圖2的圖像處理部主要執(zhí)行的圖像合成處理的流程的流程圖。
具體實(shí)施例方式以下，基于附圖來說明本發(fā)明的一實(shí)施方式。圖1是表示作為本發(fā)明所涉及的圖像處理裝置的一實(shí)施方式的攝像裝置1的硬件構(gòu)成的框圖。攝像裝置1例如可以由數(shù)碼照相機(jī)構(gòu)成。攝像裝置1 具備 CPU (Central Processing Unit，中央處理器)ll、R0M(Read Only Memory，只讀存儲器)12、RAM (Random Access Memory，隨機(jī)存取存儲器)13、圖像處理部14、 總線15、輸入輸出接口 16、攝像部17、操作部18、顯示部19、存儲部20、通信部21和驅(qū)動器 22。CPUll根據(jù)R0M12中所存儲的程序、或者從存儲部20加載到RAM13中的程序而執(zhí)行各種處理。此外，在RAM13中適當(dāng)存儲CPUll執(zhí)行各種處理而需要的數(shù)據(jù)等。圖像處理部 14 由 DSP (Digital Signal Processor，數(shù)字信號處理器)、VRAM (Video Random Access Memory，視頻隨機(jī)存取存儲器)等構(gòu)成，并且與CPUll協(xié)作，從而對圖像數(shù)據(jù)實(shí)施各種圖像處理。例如，圖像處理部14對從后述的攝像部17輸入的攝像圖像的數(shù)據(jù)實(shí)施噪聲降低、 白平衡、手抖補(bǔ)正等圖像處理。這里，在本實(shí)施方式中，基于攝像裝置1的圖像處理單位是一張靜止圖像，在本說明書中將作為這樣的處理單位的靜止圖像稱為“幀”。以下，只要沒有特別說明，圖像指的是幀。此外，在本實(shí)施方式中，通過包括圖像處理部14的攝像裝置1實(shí)施圖像處理時(shí)的圖像的尺寸(分辨率)，原則上是存儲在后述的可移動介質(zhì)31中的尺寸。以下，將這種尺寸稱為“通常尺寸”。在本實(shí)施方式中，圖像處理部14還具備連拍圖像取得部41和圖像合成部42。參照圖2后面敘述詳細(xì)情況，但是通過連拍圖像取得部41的縮小部51，圖像數(shù)據(jù)的尺寸由通常尺寸被縮小為比其小的尺寸，例如QVGA(Quarter-Video Graphics Array)的尺寸。這種縮小后的尺寸的圖像數(shù)據(jù)成為圖像合成部42的處理對象。CPUlU ROMl2, RAMI3以及圖像處理部14通過總線15而相互連接。此外，在該總線15上還連接有輸入輸出接口 16。輸入輸出接口 16上連接有攝像部17、操作部18、顯示部19、存儲部20、通信部21、以及驅(qū)動器22。雖然沒有進(jìn)行圖示，但攝像部17具備光學(xué)透鏡部和圖像傳感器。光學(xué)透鏡部為了對被攝體進(jìn)行攝像，而由對光進(jìn)行聚光的透鏡、例如聚焦透鏡、變焦透鏡等構(gòu)成。聚焦透鏡是使被攝體像在圖像傳感器的受光面成像的透鏡。變焦透鏡是使焦點(diǎn)距離在一定范圍內(nèi)自由變化的透鏡。此外，在光學(xué)透鏡部中，根據(jù)需要，設(shè)置對焦點(diǎn)、曝光、白平衡等設(shè)定參數(shù)進(jìn)行調(diào)整的外圍電路。圖像傳感器由光電變換元件、AFE(Analog Front End，模擬前端)等構(gòu)成。光電變換元件例如由 CMOS (Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)型光電變換元件等構(gòu)成。在光電變換元件中，從光學(xué)透鏡部射入被攝體像。因此，光電變換元件對被攝體像進(jìn)行光電變換(攝像)從而將圖像信號儲存一定時(shí)間， 并將所儲存的圖像信號作為模擬信號依次提供給AFE。AFE對該模擬圖像信號執(zhí)行A/D(Analog/Digital，模擬/數(shù)字)變換處理等各種信號處理。通過各種信號處理，生成數(shù)字信號，并作為攝像部17的輸出信號而輸出。另外，在本說明書中，這種攝像部17的輸出信號被稱為“攝像圖像數(shù)據(jù)”。因此，從攝像部17以幀單位輸出攝像圖像的數(shù)據(jù)，并適當(dāng)提供給CPU11、圖像處理部14等。以下，只要沒有特別說明，攝像圖像指的是幀。操作部18由各種按鈕等構(gòu)成，接受用戶的指示操作。顯示部19由液晶顯示器等構(gòu)成，顯示各種圖像。存儲部20由DRAM (Dynamic Random Access Memory，動態(tài)隨機(jī)存取存儲器)等構(gòu)成，臨時(shí)存儲從圖像處理部14等輸出的圖像數(shù)據(jù)。此外，存儲部20還存儲圖像處理部14 等的處理中所需要的各種數(shù)據(jù)。通信部21控制通過包括因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)而在與其他裝置(未圖示)之間進(jìn)行的通信。在驅(qū)動器22中適當(dāng)安裝由磁盤、光盤、光磁盤、或者半導(dǎo)體存儲器等構(gòu)成的可移動介質(zhì)31。通過驅(qū)動器22而從可移動介質(zhì)31讀出的程序，根據(jù)需要而被安裝到存儲部20 中。此外，可移動介質(zhì)31還可以與存儲部20同樣地存儲在存儲部20中存儲的圖像數(shù)據(jù)等各種數(shù)據(jù)。圖2是表示這種攝像裝置1中的圖像處理部14的功能構(gòu)成的功能模塊圖。如圖2所示，圖像處理部14具備連拍圖像取得部41和圖像合成部42。連拍圖像取得部41取得連拍的結(jié)果所得到的多個(gè)圖像數(shù)據(jù)。所謂連拍，是指攝像裝置1等在時(shí)間上連續(xù)地多次以大致相同的視角進(jìn)行攝像。這里，記載為攝像裝置1等，是因?yàn)檫B拍圖像取得部41取得的圖像的數(shù)據(jù)沒有必要一定是從攝像裝置1的攝像部17輸出的攝像圖像數(shù)據(jù)，也可以是由其他攝像裝置所攝像的圖像數(shù)據(jù)。但是，這里為了便于說明，在攝像裝置1被固定的狀態(tài)下，通過連拍圖像取得部41來取得攝像部17進(jìn)行連拍的結(jié)果所得到的多個(gè)攝像圖像數(shù)據(jù)。另外，連拍的時(shí)刻只要是在連拍圖像取得部41的取得時(shí)刻之前即可，不需要一定在緊接連拍圖像取得部41的取得時(shí)刻之前。
此外，在本實(shí)施方式中，設(shè)連拍的結(jié)果所得到的多個(gè)圖像的數(shù)據(jù)的尺寸是通常尺寸。連拍圖像取得部41具備縮小部51。縮小部51將由連拍圖像取得部41所取得的多個(gè)圖像數(shù)據(jù)的尺寸(分辨率)由通常尺寸縮小為比其小的尺寸(例如QVGA尺寸)。以下，將如此通過縮小部51而被縮小的多個(gè)圖像數(shù)據(jù)的各個(gè)稱為“縮小化連拍數(shù)據(jù)”，使用p[i]的符號，來分別區(qū)別各縮小連拍數(shù)據(jù)的每一個(gè)。這里，i表示對由連拍圖像取得部41而取得的多個(gè)圖像數(shù)據(jù)的每一個(gè)而唯一附加的編號(以下，稱為“幀編號”)。在通過連拍圖像取得部41取得了 η張(η是2以上的整數(shù)值)的多個(gè)圖像數(shù)據(jù)時(shí)，表示i = 1至η中的任一個(gè)幀編號。即，所謂縮小化連拍數(shù)據(jù)P[i]，指的是幀編號i的圖像數(shù)據(jù)的縮小數(shù)據(jù)。另外，對于連拍圖像取得部41來說，縮小部51不是必須的構(gòu)成要素。但是，為了實(shí)現(xiàn)本發(fā)明的目的之一，S卩，利用連續(xù)取得的圖像減輕用于生成去除了成為障礙物的該運(yùn)動物體像的更自然的合成圖像的圖像處理的負(fù)擔(dān)，而需要盡量抑制后述的圖像合成部42的計(jì)算處理的負(fù)擔(dān)。因此，在本實(shí)施方式中，后述的圖像合成部42不是直接利用由連拍圖像取得部41 而取得的多個(gè)圖像數(shù)據(jù)(通常尺寸的數(shù)據(jù))，而是利用減小了數(shù)據(jù)容量的縮小化連拍數(shù)據(jù) P[l]至P[n]，從而抑制計(jì)算處理的負(fù)擔(dān)。因此，在本實(shí)施方式中，將縮小部51設(shè)置在連拍圖像取得部41中。此外，設(shè)置了縮小部51的理由是通過圖像合成部42使用縮小后的圖像數(shù)據(jù)，在由連拍圖像取得部41所取得的多個(gè)圖像數(shù)據(jù)是不使用三腳架而拍攝的圖像的數(shù)據(jù)時(shí)等所產(chǎn)生的位置偏差不會成為太大問題。當(dāng)然，可以根據(jù)需要而進(jìn)行基于圖像的幾何變換的位置匹配，那樣可以取得更好的結(jié)果。圖像合成部42從縮小化連拍數(shù)據(jù)P[l]至P[n]中選擇并取得合成對象的多個(gè)圖像數(shù)據(jù)。圖像合成部42設(shè)定用于對合成對象的多個(gè)圖像數(shù)據(jù)分別進(jìn)行分割的邊界。圖像合成部42沿著邊界對合成對象的多個(gè)圖像數(shù)據(jù)分別進(jìn)行分割，并且按照沿著邊界將分割后的各圖像的數(shù)據(jù)中的一部分?jǐn)?shù)據(jù)接合的方式對其進(jìn)行合成，從而生成合成圖像的數(shù)據(jù)。圖像合成部42通過適當(dāng)?shù)卦O(shè)定該邊界，能夠生成將通過連拍而得到的多個(gè)圖像的至少一部分中包含的障礙物即運(yùn)動物體像去掉后的合成圖像數(shù)據(jù)。圖像合成部42為了執(zhí)行這樣的一系列處理來生成合成圖像數(shù)據(jù)，而具備基準(zhǔn)圖像生成部61、最近似圖像選擇部62、互補(bǔ)圖像選擇部63、2值標(biāo)記部64和合成部65。圖3示出具有這種功能構(gòu)成的圖像合成部42的處理結(jié)果的具體例。具體而言，圖3A表示基準(zhǔn)圖像生成部61、最近似圖像選擇部62、以及互補(bǔ)圖像選擇部63的各處理結(jié)果的具體例。圖;3B以及圖3C示出2值標(biāo)記部64以及合成部65的各處理結(jié)果(包括中間結(jié)果)的具體例。以下，適當(dāng)參照圖3來說明圖像合成部42的功能構(gòu)成?；鶞?zhǔn)圖像生成部61基于縮小化連拍數(shù)據(jù)P [1]至P [η]，生成作為圖像合成的基準(zhǔn)的基準(zhǔn)圖像B的數(shù)據(jù)。
基準(zhǔn)圖像B的數(shù)據(jù)生成方法，只要是能夠在某種程度上去掉移動體圖像的方法即可，例如，可以采用按各像素、按顏色成分取得縮小化連拍數(shù)據(jù)P[l]至p[n]的中間值或平均等的一般方法。或者可以采用如下方法搜索出一種幀的數(shù)據(jù)，其中該幀與其他幀之間的各像素距離(差分絕對值或差分平方)的總和成為最小，通過取得該幀的像素值從而生成基準(zhǔn)圖像B的數(shù)據(jù)。基準(zhǔn)圖像B，因?yàn)樽鳛檎系K物的運(yùn)動物體像雖然被去除很多，但尚殘留有模糊的痕跡，所以作為最終輸出的圖像是不恰當(dāng)?shù)?，因此在本?shí)施方式中，將其作為用于估計(jì)最終輸出的基準(zhǔn)。這里例如，生成圖3A所示的圖像93的數(shù)據(jù)作為基準(zhǔn)圖像B的數(shù)據(jù)。在本實(shí)施方式中，最近似圖像選擇部62從縮小化連拍數(shù)據(jù)P [1]至P [η]選擇像素值最接近基準(zhǔn)圖像B的數(shù)據(jù)的圖像數(shù)據(jù)，并取得作為合成對象之一。以下，將如此通過基準(zhǔn)最近似圖像選擇部62選擇作為合成對象之一的圖像數(shù)據(jù)稱為“最近似圖像的數(shù)據(jù)”。但是，將作為合成對象之一的最近似圖像與合成對象的另一個(gè)圖像(后述的互補(bǔ)圖像)合成的結(jié)果，只要能夠獲得最接近基準(zhǔn)圖像的合成圖像即可，所以基準(zhǔn)最近似圖像不需要一定與基準(zhǔn)圖像B最近似。以下，設(shè)縮小化連拍數(shù)據(jù)P[l]至Ρ[η]中的幀編號ρ的縮小化連拍數(shù)據(jù)Ρ[Ρ]被選擇為基準(zhǔn)最近似圖像的數(shù)據(jù)。在該情況下，幀編號ρ通過下式(1)而得到。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備取得單元，其取得在時(shí)間上連續(xù)的大致相同視角的多個(gè)圖像數(shù)據(jù)； 生成單元，其基于由所述取得單元取得的多個(gè)圖像數(shù)據(jù)，生成用于圖像合成的基準(zhǔn)圖像數(shù)據(jù)；選擇單元，其從由所述取得單元取得的多個(gè)圖像數(shù)據(jù)中選擇至少兩個(gè)以上的任意圖像數(shù)據(jù)；第一差異度計(jì)算單元，其針對由所述選擇單元選擇的任意圖像數(shù)據(jù)中的相鄰的兩個(gè)像素，來計(jì)算出該圖像數(shù)據(jù)之間的差異度；第二差異度計(jì)算單元，其分別計(jì)算出由所述選擇單元選擇的任意圖像數(shù)據(jù)與所述基準(zhǔn)圖像數(shù)據(jù)之間的像素值的差異度；函數(shù)設(shè)定單元，其設(shè)定以通過所述第一差異度計(jì)算單元和所述第二差異度計(jì)算單元分別計(jì)算出的差異度為變量的函數(shù)；邊界設(shè)定單元，其按照由所述函數(shù)設(shè)定單元設(shè)定的函數(shù)成為最小值的方式，對由所述選擇單元選擇的任意圖像數(shù)據(jù)分別設(shè)定邊界；和合成單元，其基于由所述邊界設(shè)定單元分別設(shè)定的邊界，對由所述選擇單元選擇的任意圖像數(shù)據(jù)之間進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述選擇單元，從由所述取得單元取得的多個(gè)圖像數(shù)據(jù)中，選擇由所述生成單元生成的、像素值與所述基準(zhǔn)圖像數(shù)據(jù)類似的至少一個(gè)圖像數(shù)據(jù)，并且，從由所述取得單元取得的多個(gè)圖像數(shù)據(jù)中，選擇至少一個(gè)與已選擇的圖像數(shù)據(jù)不同的圖像數(shù)據(jù)，使得由所述合成單元合成的圖像成為與所述基準(zhǔn)圖像數(shù)據(jù)更類似的圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述選擇單元選擇由所述合成單元合成的圖像與所述基準(zhǔn)圖像數(shù)據(jù)的圖像最類似的至少兩個(gè)以上的圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備攝像單元，所述攝像單元在時(shí)間上連續(xù)地以大致相同視角進(jìn)行多次拍攝， 所述取得單元，取得由所述攝像單元拍攝的多個(gè)圖像數(shù)據(jù)作為所述在時(shí)間上連續(xù)的大致相同視角的多個(gè)圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備加工單元，所述加工單元進(jìn)行加工，使得應(yīng)由所述選擇單元選擇的多個(gè)圖像數(shù)據(jù)的信息量變小。
6.一種圖像處理方法，其特征在于，包括取得步驟，取得在時(shí)間上連續(xù)的大致相同視角的多個(gè)圖像數(shù)據(jù)； 生成步驟，基于由所述取得步驟取得的多個(gè)圖像數(shù)據(jù)，生成用于圖像合成的基準(zhǔn)圖像數(shù)據(jù)；選擇步驟，從由所述取得步驟取得的多個(gè)圖像數(shù)據(jù)中，選擇至少兩個(gè)以上的任意圖像數(shù)據(jù)；第一差異度計(jì)算步驟，針對由所述選擇步驟選擇的任意圖像數(shù)據(jù)中的相鄰的兩個(gè)像素，來計(jì)算出該圖像數(shù)據(jù)之間的差異度；第二差異度計(jì)算步驟，分別計(jì)算出由所述選擇步驟選擇的任意圖像數(shù)據(jù)與所述基準(zhǔn)圖像數(shù)據(jù)之間的像素值的差異度；函數(shù)設(shè)定步驟，設(shè)定以由所述第一差異度計(jì)算步驟和所述第二差異度計(jì)算步驟分別計(jì)算出的差異度為變量的函數(shù)；邊界設(shè)定步驟，按照由所述函數(shù)設(shè)定步驟設(shè)定的函數(shù)成為最小值的方式，對由所述選擇步驟選擇的任意圖像數(shù)據(jù)分別設(shè)定邊界；和合成步驟，基于由所述邊界設(shè)定步驟分別設(shè)定的邊界，對由所述選擇步驟所選擇的任意圖像數(shù)據(jù)之間進(jìn)行合成。
全文摘要
圖像處理裝置以及圖像處理方法。本發(fā)明的攝像裝置具備連拍圖像取得部，取得時(shí)間上連續(xù)的大致相同視角的多個(gè)圖像數(shù)據(jù)；基準(zhǔn)圖像生成部，根據(jù)由連拍圖像取得部1取得的多個(gè)圖像數(shù)據(jù)，生成用于圖像合成的基準(zhǔn)圖像數(shù)據(jù)；最近似圖像選擇部，從由所述連拍圖像取得部取得的多個(gè)圖像數(shù)據(jù)，選擇至少兩個(gè)以上的任意圖像數(shù)據(jù)；第1差異度計(jì)算部，其針對由所述最近似圖像選擇部選擇的任意圖像數(shù)據(jù)中的相鄰的2像素，計(jì)算該圖像數(shù)據(jù)之間的差異度；第2差異度計(jì)算部，其分別算出由所述最近似圖像選擇部選擇的任意圖像數(shù)據(jù)與所述基準(zhǔn)圖像數(shù)據(jù)之間的像素值的差異度；代價(jià)函數(shù)設(shè)定部，其設(shè)定以由所述第1差異度計(jì)算部和所述第2差異度計(jì)算部分別算出的差異度為變量的函數(shù)；邊界設(shè)定部；以及合成部。
文檔編號H04N5/225GK102387296SQ20111025812
公開日2012年3月21日 申請日期2011年9月2日 優(yōu)先權(quán)日2010年9月3日
發(fā)明者浜田玲 申請人:卡西歐計(jì)算機(jī)株式會社