專利名稱：成像方法和成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種允許獲得高質(zhì)量的靜止圖像、運(yùn)動(dòng)圖像等的成像方法和成像裝置。
背景技術(shù)：
有關(guān)申請(qǐng)的交叉參考本發(fā)明包含涉及于2005年9月16日在日本專利局提交的日本專利申請(qǐng)JP 2005-269632的主題，該專利申請(qǐng)的整個(gè)內(nèi)容被結(jié)合于此以作參考。
有關(guān)技術(shù)的說明由于來自處于低光強(qiáng)度的條件的物體的少量入射光減少了成像裝置的電荷的存儲(chǔ)量，所以包含在作為來自圖像傳感器的捕獲信號(hào)輸出的信號(hào)中的諸如散射噪聲之類的隨機(jī)噪聲分量相應(yīng)地增加。結(jié)果，捕獲信號(hào)的S/N比惡化。當(dāng)長(zhǎng)時(shí)間曝光圖像傳感器時(shí)，電荷的存儲(chǔ)量增加，而隨機(jī)噪聲分量相應(yīng)地減少。因此，捕獲信號(hào)的S/N比可以得到改善。然而，如果長(zhǎng)時(shí)間曝光圖像傳感器，則由于成像裝置可能被用戶的手抖動(dòng)，所以在捕獲的圖像中可能出現(xiàn)模糊(在下文中，這種模糊有時(shí)被稱為曝光模糊)。因此，在有關(guān)技術(shù)中必須用三腳架等來固定成像裝置。
為了解決上述問題，有關(guān)技術(shù)的參考文獻(xiàn)已經(jīng)被公開為日本專利申請(qǐng)公開No.9-261526。在該有關(guān)技術(shù)的參考文獻(xiàn)中，以例如1/30秒的快門速度來連續(xù)地捕獲物體的圖像，該快門速度幾乎防止圖像具有曝光模糊，以及大多數(shù)捕獲的圖像的抖動(dòng)被補(bǔ)償，并且組合所補(bǔ)償?shù)膱D像。抖動(dòng)以曝光周期的間隔來發(fā)生，例如一場(chǎng)或一幀。另一有關(guān)技術(shù)的參考文獻(xiàn)已經(jīng)被公開為日本專利申請(qǐng)公開No.11-75105。在該有關(guān)技術(shù)的參考文獻(xiàn)中，整個(gè)曝光周期被分成多個(gè)曝光段，對(duì)在曝光段中獲得的圖像補(bǔ)償抖動(dòng)，并且組合所補(bǔ)償?shù)膱D像。結(jié)果，可以獲得高質(zhì)量的圖像。

發(fā)明內(nèi)容
如在這些有關(guān)技術(shù)的參考文獻(xiàn)中所述，多個(gè)已經(jīng)補(bǔ)償了抖動(dòng)的圖像被簡(jiǎn)單地組合。因此，存儲(chǔ)器容量隨著待組合的圖像的數(shù)量的增加而增加。因此，可被組合的圖像數(shù)量受到限制，這取決于存儲(chǔ)器的存儲(chǔ)容量。結(jié)果，作為這些有關(guān)技術(shù)的參考文獻(xiàn)的問題，不能充分地改善最終圖像的S/N比。此外，如果圖像包含不必要的運(yùn)動(dòng)物體或者圖像的對(duì)比度低，則補(bǔ)償圖像抖動(dòng)的運(yùn)動(dòng)向量的準(zhǔn)確度變低。結(jié)果，不能充分地改善圖像質(zhì)量。
鑒于上述，所希望的是提供一種即使在低光強(qiáng)度的條件下也允許高質(zhì)量地捕獲圖像而沒有抖動(dòng)的成像方法和成像裝置。
根據(jù)本發(fā)明的實(shí)施例，提供一種成像方法。捕獲多個(gè)按時(shí)間順序不同的圖像。檢測(cè)所述多個(gè)圖像的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)信息。確定運(yùn)動(dòng)信息的可靠性。根據(jù)運(yùn)動(dòng)信息，補(bǔ)償在所述多個(gè)圖像中發(fā)生的抖動(dòng)。通過遞歸濾波器來濾波已經(jīng)補(bǔ)償了抖動(dòng)的圖像。濾波過程的特征根據(jù)運(yùn)動(dòng)信息的可靠性而改變。
根據(jù)本發(fā)明的實(shí)施例，提供一種成像裝置。該成像裝置包括圖像捕獲部件、運(yùn)動(dòng)檢測(cè)部件、可靠性確定部件、抖動(dòng)補(bǔ)償部件、以及濾波部件。該圖像捕獲部件捕獲多個(gè)按時(shí)間順序不同的圖像。該運(yùn)動(dòng)檢測(cè)部件檢測(cè)所述多個(gè)圖像的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)信息。該可靠性確定部件確定運(yùn)動(dòng)信息的可靠性。該抖動(dòng)補(bǔ)償部件根據(jù)運(yùn)動(dòng)信息來補(bǔ)償在多個(gè)圖像中發(fā)生的抖動(dòng)。該濾波部件通過利用遞歸濾波器來濾波已經(jīng)補(bǔ)償了抖動(dòng)的圖像。該濾波部件的特性根據(jù)運(yùn)動(dòng)信息的可靠性而改變。
根據(jù)本發(fā)明的實(shí)施例，在即使在低光強(qiáng)度的條件下也防止圖像具有曝光模糊的存儲(chǔ)時(shí)間中連續(xù)地捕獲圖像。在這種情況下，多個(gè)圖像被捕獲并被補(bǔ)償抖動(dòng)。結(jié)果，產(chǎn)生了沒有抖動(dòng)的圖像。此外，通過遞歸濾波器來處理該沒有抖動(dòng)的圖像。因此，可以產(chǎn)生具有高S/N比的圖像。由于遞歸濾波器是沿時(shí)間方向操作的，所以與簡(jiǎn)單地組合圖像的方法不同，可以長(zhǎng)時(shí)間地捕獲圖像而沒有圖像數(shù)量的限制。根據(jù)本發(fā)明的實(shí)施例，由于低對(duì)比度圖像和捕獲的圖像中的不必要的運(yùn)動(dòng)物體使運(yùn)動(dòng)向量的可靠性惡化，所以根據(jù)可靠性來控制濾波系數(shù)。結(jié)果，可以改善圖像質(zhì)量。
根據(jù)下面對(duì)如附圖中所示的本發(fā)明的最佳模式實(shí)施例的詳細(xì)描述，本發(fā)明的這些和其他目的、特征和優(yōu)點(diǎn)將變得更加明顯。


根據(jù)下面結(jié)合附圖的詳細(xì)描述，本發(fā)明將得到更全面的理解，其中類似的附圖標(biāo)記表示類似的元件，其中圖1是示出根據(jù)本發(fā)明實(shí)施例的整體結(jié)構(gòu)的框圖；圖2是示出根據(jù)本發(fā)明實(shí)施例的抖動(dòng)檢測(cè)部件的實(shí)例的框圖；圖3是描述根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)檢測(cè)的示意圖；圖4是示出在檢測(cè)運(yùn)動(dòng)向量時(shí)評(píng)價(jià)值和偏差(deviation)的三維關(guān)系的示意圖；圖5是示出在檢測(cè)運(yùn)動(dòng)向量時(shí)評(píng)價(jià)值和偏差的二維關(guān)系的示意圖；圖6是示出根據(jù)本發(fā)明實(shí)施例的濾波器的實(shí)例的框圖；圖7是示出根據(jù)本發(fā)明實(shí)施例的過程的流程圖；圖8是描述根據(jù)本發(fā)明實(shí)施例的可靠性檢測(cè)過程的示意圖；圖9是描述根據(jù)本發(fā)明另一實(shí)施例的塊的示意圖；以及圖10是示出根據(jù)本發(fā)明另一實(shí)施例在檢測(cè)運(yùn)動(dòng)向量時(shí)評(píng)價(jià)值和偏差的二維關(guān)系的示意圖。
具體實(shí)施例方式
接著將參考附圖來描述本發(fā)明的實(shí)施例。圖1示出本發(fā)明實(shí)施例的整體結(jié)構(gòu)。在圖1中，附圖標(biāo)記110表示成像光學(xué)系統(tǒng)。該成像光學(xué)系統(tǒng)110包括放大和縮小從物體捕獲的圖像的尺寸的變焦透鏡、調(diào)整焦距的聚焦透鏡、調(diào)整光量的光圈(光闌)、中性密度(ND)濾光片、以及驅(qū)動(dòng)這些透鏡和光圈的驅(qū)動(dòng)電路。變焦透鏡、聚焦透鏡、光圈、以及ND濾波片由驅(qū)動(dòng)器111驅(qū)動(dòng)。
物體的光通過成像光學(xué)系統(tǒng)110進(jìn)入圖像傳感器120，該圖像傳感器120采用電荷耦合器件(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)等等。該圖像傳感器120根據(jù)物體的光而輸出捕獲的圖像信號(hào)。成像裝置的實(shí)例是數(shù)碼相機(jī)。代之以，成像裝置可以是個(gè)人數(shù)字助理(PDA)、移動(dòng)電話等。代之以，成像裝置可以是捕獲運(yùn)動(dòng)圖像的設(shè)備。
圖像傳感器120可以是原色型或補(bǔ)色型。圖像傳感器120將進(jìn)入成像光學(xué)系統(tǒng)110的物體的光來光電地轉(zhuǎn)換成RGB原色模擬信號(hào)或補(bǔ)色模擬信號(hào)。定時(shí)信號(hào)發(fā)生器(圖1中縮寫為TG)121提供各種定時(shí)信號(hào)給圖像傳感器120。根據(jù)從定時(shí)信號(hào)發(fā)生器121提供的定時(shí)信號(hào)來驅(qū)動(dòng)圖像傳感器120。定時(shí)信號(hào)發(fā)生器121產(chǎn)生導(dǎo)致圖像傳感器120驅(qū)動(dòng)的各種定時(shí)信號(hào)。
將來自圖像傳感器120的圖像信號(hào)提供給結(jié)合在集成電路(IC)內(nèi)的模擬信號(hào)處理部件130。該模擬信號(hào)處理部件130采樣保持彩色信號(hào)，根據(jù)自動(dòng)增益控制(AGC)控制該彩色信號(hào)，并且將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。結(jié)果，模擬信號(hào)處理部件130輸出數(shù)字圖像信號(hào)。
將來自模擬信號(hào)處理部件130的數(shù)字圖像信號(hào)提供給存儲(chǔ)器控制器150、抖動(dòng)檢測(cè)部件140、以及亮度檢測(cè)部件180。該抖動(dòng)檢測(cè)部件140檢測(cè)多個(gè)捕獲的圖像的運(yùn)動(dòng)并輸出作為運(yùn)動(dòng)信息的運(yùn)動(dòng)向量。該抖動(dòng)檢測(cè)部件140由運(yùn)動(dòng)向量檢測(cè)部件141和特征提取部件142組成。該運(yùn)動(dòng)向量檢測(cè)部件141檢測(cè)來自從模擬信號(hào)處理部件130輸出的時(shí)序數(shù)字圖像信號(hào)的運(yùn)動(dòng)向量。該特征提取部件142從該時(shí)序數(shù)字圖像信號(hào)中提取特征信息。該特征信息是對(duì)應(yīng)于檢測(cè)的運(yùn)動(dòng)向量的評(píng)價(jià)值。該亮度檢測(cè)部件180檢測(cè)從模擬信號(hào)處理部件130輸出的信號(hào)的亮度級(jí)。
將檢測(cè)的運(yùn)動(dòng)向量、提取的特征信息和檢測(cè)的亮度級(jí)提供給系統(tǒng)控制器170。該系統(tǒng)控制器170基于特征信息和亮度級(jí)來計(jì)算檢測(cè)的運(yùn)動(dòng)向量的可靠性。
該存儲(chǔ)器控制器150控制圖像存儲(chǔ)器151。該圖像存儲(chǔ)器151是用來調(diào)整抖動(dòng)檢測(cè)時(shí)間和補(bǔ)償時(shí)間的相位的存儲(chǔ)器。從模擬信號(hào)處理部件130輸出的數(shù)字圖像信號(hào)通過存儲(chǔ)器控制器150被存儲(chǔ)在圖像存儲(chǔ)器151中。該圖像存儲(chǔ)器151延遲該輸入數(shù)字圖像信號(hào)以檢測(cè)運(yùn)動(dòng)向量。此后，從圖像存儲(chǔ)器151中讀取該延遲的數(shù)字圖像信號(hào)。此外，該存儲(chǔ)器控制器150基于由系統(tǒng)控制器170指定的抖動(dòng)補(bǔ)償量來補(bǔ)償數(shù)字圖像信號(hào)的抖動(dòng)。
將其抖動(dòng)已經(jīng)由存儲(chǔ)器控制器150補(bǔ)償?shù)臄?shù)字圖像信號(hào)提供給濾波器160。該濾波器160是包括數(shù)字電路的遞歸濾波器。該濾波器160具有用于一場(chǎng)或一幀的存儲(chǔ)器。該濾波器160輸出其S/N比已經(jīng)得到改善并且已經(jīng)補(bǔ)償了抖動(dòng)的圖像信號(hào)。將該輸出圖像信號(hào)進(jìn)行壓縮并記錄在諸如存儲(chǔ)卡之類的記錄介質(zhì)中。此外，將該輸出圖像信號(hào)在諸如液晶顯示器(LCD)之類的圖像顯示部件上進(jìn)行顯示。
該系統(tǒng)控制器170控制驅(qū)動(dòng)器111、定時(shí)信號(hào)發(fā)生器121和模擬信號(hào)處理部件130。將來自運(yùn)動(dòng)向量檢測(cè)部件141、特征提取部件142和亮度檢測(cè)部件180的運(yùn)動(dòng)向量、特征信息和亮度級(jí)分別提供給系統(tǒng)控制器170。此外，該系統(tǒng)控制器170控制存儲(chǔ)器控制器150以補(bǔ)償圖像信號(hào)的抖動(dòng)，基于分別由特征提取部件142和亮度檢測(cè)部件180提供的特征量和亮度級(jí)來確定運(yùn)動(dòng)向量的可靠性，并且基于該可靠性來控制濾波器160的濾波系數(shù)。
此外，該亮度檢測(cè)部件180產(chǎn)生自動(dòng)聚焦(AF)控制信號(hào)、自動(dòng)曝光信號(hào)和自動(dòng)白平衡信號(hào)。將這些信號(hào)提供給系統(tǒng)控制器170。該系統(tǒng)控制器170產(chǎn)生導(dǎo)致該圖像光學(xué)系統(tǒng)110被控制的信號(hào)。將所產(chǎn)生的控制信號(hào)提供給驅(qū)動(dòng)器111。
此外，為了減少進(jìn)入圖像傳感器120的物體的圖像的抖動(dòng)，該系統(tǒng)控制器170控制定時(shí)信號(hào)發(fā)生器121以設(shè)置電子快門速度與防止捕獲的圖像具有曝光模糊的速度一樣快。通常認(rèn)為防止捕獲的圖像具有曝光模糊的快門速度是“1/焦距”(等于35mm)。該焦距是系統(tǒng)控制器170對(duì)于聚焦控制獲得的值。
在低光強(qiáng)度的條件下，該系統(tǒng)控制器170控制圖像捕獲操作，以使以防止捕獲的圖像具有曝光模糊的快門速度而不是用于長(zhǎng)時(shí)間曝光的低快門速度來以一場(chǎng)或一幀的預(yù)定間隔捕獲多個(gè)圖像。捕獲的圖像數(shù)量取決于物體的亮度?？商鎿Q地，可以捕獲預(yù)定數(shù)量的圖像。當(dāng)成像裝置是靜止圖像照相機(jī)時(shí)，捕獲的多個(gè)圖像是相同的圖像，除非物體被改變以及照相機(jī)被抖動(dòng)。通過抖動(dòng)補(bǔ)償多個(gè)捕獲的圖像并濾波所補(bǔ)償?shù)膱D像來獲得輸出圖像。
抖動(dòng)檢測(cè)部件140根據(jù)代表(representative)點(diǎn)匹配系統(tǒng)來檢測(cè)圖像平面的全部運(yùn)動(dòng)，這是利用塊匹配操作的運(yùn)動(dòng)檢測(cè)方法之一。該系統(tǒng)假定在待比較的幀中物體幾乎是相同的。因此，當(dāng)物體在幀中是很大不同時(shí)，該系統(tǒng)是不合適的。
圖2示出抖動(dòng)檢測(cè)部件140的結(jié)構(gòu)的實(shí)例。圖像輸入201是其運(yùn)動(dòng)向量將被檢測(cè)的圖像數(shù)據(jù)的輸入部分。將從圖像輸入201輸入的圖像數(shù)據(jù)提供給濾波器處理電路210，該濾波器處理電路210除去對(duì)于檢測(cè)運(yùn)動(dòng)不必要的頻率分量。濾波器處理電路210的輸出被提供給代表點(diǎn)提取電路220。該代表點(diǎn)提取電路220在每個(gè)由輸入圖像數(shù)據(jù)的多個(gè)像素組成的區(qū)域中的預(yù)定位置(在下文中，預(yù)定位置被稱為代表點(diǎn))提取像素?cái)?shù)據(jù)，并且存儲(chǔ)所提取的像素?cái)?shù)據(jù)的亮度級(jí)。
減法設(shè)備230從自濾波器處理電路210輸出的像素?cái)?shù)據(jù)中減去自代表點(diǎn)提取電路220輸出的代表點(diǎn)。對(duì)每個(gè)區(qū)域執(zhí)行這個(gè)減法過程。絕對(duì)值轉(zhuǎn)換電路240計(jì)算自減法設(shè)備230輸出的差信號(hào)的絕對(duì)值。
運(yùn)動(dòng)向量檢測(cè)電路250檢測(cè)具有差信號(hào)(在下文中，該差信號(hào)被稱為剩余差)的絕對(duì)值的運(yùn)動(dòng)向量。該運(yùn)動(dòng)向量檢測(cè)電路250輸出檢測(cè)的運(yùn)動(dòng)向量260。該運(yùn)動(dòng)向量檢測(cè)部件141包括濾波器處理電路210、代表點(diǎn)提取電路220、減法設(shè)備230、絕對(duì)值轉(zhuǎn)換電路240和運(yùn)動(dòng)向量檢測(cè)電路250。
還將由運(yùn)動(dòng)向量260表示的坐標(biāo)位置的評(píng)價(jià)值提供給特征提取部件142。該特征提取部件142根據(jù)檢測(cè)的運(yùn)動(dòng)向量260輸出作為特征信息261的評(píng)價(jià)值。
圖3示出在代表點(diǎn)匹配系統(tǒng)上的運(yùn)動(dòng)向量檢測(cè)方法。將一個(gè)捕獲的圖像(例如一幀圖像)分成許多區(qū)域。在圖3中，檢測(cè)區(qū)域301是從中在時(shí)間n檢測(cè)到幀的運(yùn)動(dòng)向量的搜索區(qū)域。在圖3所示的實(shí)例中，指定了(5×5)像素的區(qū)域。在檢測(cè)區(qū)域301中，與代表點(diǎn)在亮度上具有最強(qiáng)相關(guān)性的像素被檢測(cè)為運(yùn)動(dòng)向量。在時(shí)間m的幀的參考區(qū)域306中指定了代表點(diǎn)302。在時(shí)間n的幀的檢測(cè)區(qū)域301在空間位置上對(duì)應(yīng)于在時(shí)間m的幀的參考區(qū)域306。代表點(diǎn)302是在時(shí)間m的圖像的一個(gè)像素，該圖像是比較的基圖像。時(shí)間n和時(shí)間m之間的間隔是多個(gè)圖像被連續(xù)捕獲的間隔，例如一場(chǎng)或一幀。
像素303表示檢測(cè)區(qū)域301中的任何一個(gè)像素。將檢測(cè)區(qū)域301的每個(gè)像素與代表點(diǎn)302進(jìn)行比較。運(yùn)動(dòng)向量304表示檢測(cè)的運(yùn)動(dòng)向量的實(shí)例。有陰影線的像素305存在于運(yùn)動(dòng)向量指示的坐標(biāo)處。
在每幀中指定許多對(duì)參考區(qū)域306和檢測(cè)區(qū)域301。對(duì)于每對(duì)而言，計(jì)算代表點(diǎn)302的亮度級(jí)與檢測(cè)區(qū)域301的每個(gè)像素的亮度級(jí)之間的剩余差。計(jì)算在檢測(cè)區(qū)域301的(5×5)像素的位置處的剩余差。結(jié)果，計(jì)算出一個(gè)圖像的(5×5)像素的評(píng)價(jià)值。在評(píng)價(jià)值分布中最小值的位置處的坐標(biāo)被檢測(cè)為運(yùn)動(dòng)向量。
在時(shí)間m時(shí)坐標(biāo)(u，v)處的代表點(diǎn)的亮度級(jí)由km(u，v)來表示。在時(shí)間n時(shí)坐標(biāo)(x，y)處的亮度級(jí)由kn(x，y)來表示。在這種情況下，根據(jù)代表點(diǎn)匹配系統(tǒng)用于檢測(cè)運(yùn)動(dòng)向量的剩余差的計(jì)算公式可由下面的公式(1)來表示。
P′(x，y)＝|km(u，v)-kn(x，y)|...(1)所獲得的剩余差是用于一對(duì)參考區(qū)域306和檢測(cè)區(qū)域301。以相同的方式獲得整個(gè)幀的許多對(duì)剩余差，并且累積在坐標(biāo)(x，y)處的剩余差。結(jié)果，獲得在坐標(biāo)(x，y)處的評(píng)價(jià)值。在圖3中所示的實(shí)例中，產(chǎn)生了在25(＝5×5)個(gè)像素位置處的評(píng)價(jià)值。
圖4示出偏差和評(píng)價(jià)值的關(guān)系的實(shí)例。在其評(píng)價(jià)值為局部最小值的點(diǎn)“a”處的坐標(biāo)與代表點(diǎn)的坐標(biāo)之間的剩余差變成運(yùn)動(dòng)向量mv(x，y)。當(dāng)將一幀的整個(gè)圖像平面的代表點(diǎn)移動(dòng)到點(diǎn)“a”處的坐標(biāo)位置時(shí)，點(diǎn)“a”處的坐標(biāo)的評(píng)價(jià)值變成局部最小值。這種關(guān)系可由下面的公式(2)表示。在公式(2)中，P(x，y)表示在坐標(biāo)(x，y)處的評(píng)價(jià)值(即剩余差的絕對(duì)值的累積值)。
mv＝(x-u，y-v)for min{P(x，y)}...(2)當(dāng)代表點(diǎn)的坐標(biāo)是(0，0)時(shí)，運(yùn)動(dòng)向量可由下面的公式(3)表示。
mv＝(x，y)for min{P(x，y)}...(3)特征提取部件142是輸出圖4中所示的點(diǎn)“a”處的評(píng)價(jià)值的電路。換句話說，特征提取部件142輸出下面的公式(4)以作為特征信息L。
L＝min{P(x，y)}...(4)接著將描述檢測(cè)的運(yùn)動(dòng)向量的可靠性的確定。圖5示出偏差和評(píng)價(jià)值的二維關(guān)系。圖5中的曲線示出在從一個(gè)穿過評(píng)價(jià)值最小的點(diǎn)“a”并平行于圖4的x軸和y軸之一的平面觀察偏差和評(píng)價(jià)值的二維關(guān)系時(shí)評(píng)價(jià)值的變化。
偏差中的局部最小值在點(diǎn)“a”的x軸或y軸的坐標(biāo)值上。
在圖5中，實(shí)線401表示在正常抖動(dòng)發(fā)生時(shí)評(píng)價(jià)值的變化。當(dāng)在偏差中檢測(cè)到運(yùn)動(dòng)向量時(shí)，在最小值點(diǎn)處的評(píng)價(jià)值的絕對(duì)值十分小。除偏差中最小值點(diǎn)處之外的圖像的相關(guān)性小。在這種情況下，可以確定檢測(cè)到的運(yùn)動(dòng)向量的可靠性高。
相反，可以確定基于低對(duì)比度狀態(tài)中的評(píng)價(jià)值的變化而檢測(cè)到的運(yùn)動(dòng)向量的可靠性低。在圖5中，虛線402表示低對(duì)比度狀態(tài)中的評(píng)價(jià)值的變化。當(dāng)在偏差中檢測(cè)到運(yùn)動(dòng)向量時(shí)，在最小值點(diǎn)處的評(píng)價(jià)值的絕對(duì)值十分小。在所有偏差中圖像的相關(guān)性高。然而，由于在這種情況下檢測(cè)到的運(yùn)動(dòng)向量易受到噪聲的影響，所以運(yùn)動(dòng)向量的可靠性低。在低對(duì)比度狀態(tài)下，由于代表點(diǎn)的亮度級(jí)與在檢測(cè)區(qū)域中每個(gè)像素的亮度級(jí)之間的差通常較小，所以通常的評(píng)價(jià)值較小。結(jié)果，由于運(yùn)動(dòng)向量受到噪聲的影響，檢測(cè)準(zhǔn)確度可能惡化，或者可以檢測(cè)到除了抖動(dòng)之外的運(yùn)動(dòng)向量。為了改善待檢測(cè)的運(yùn)動(dòng)向量的可靠性，有必要檢測(cè)到低對(duì)比度狀態(tài)并將其排除。
根據(jù)這個(gè)實(shí)施例，利用由下面的公式(5)表示的評(píng)價(jià)值之和，確定低對(duì)比度狀態(tài)是否發(fā)生。在公式(5)中，X和Y分別表示在檢測(cè)區(qū)域的水平方向上的像素?cái)?shù)和在檢測(cè)區(qū)域的垂直方向上的像素?cái)?shù)。通過像素?cái)?shù)(X×Y它對(duì)應(yīng)于檢測(cè)區(qū)域的面積)來歸一化在坐標(biāo)處評(píng)價(jià)值P(x，y)之和。當(dāng)所得到的值S小時(shí)，確定物體的對(duì)比度低。
S=Σy=0Y-1Σx=0X-1P(x,y)X×Y---(5)]]>接著將參考圖8A來描述利用通過公式(5)獲得的值S來獲得可靠性指數(shù)Rs的過程。當(dāng)可靠性低時(shí)，即S值小于閾值thrA，將可靠性指數(shù)Rs設(shè)置為0。相反，當(dāng)可靠性高時(shí)，即S值大于閾值thrB，將可靠性指數(shù)Rs設(shè)置為1。否則，將可靠性Rs設(shè)置為由下面的公式(6)表示的值，如圖8A中所示。
Rs=S-thrAthrB-thrA---(6)]]>在圖5中，點(diǎn)劃線403表示在所捕獲的多個(gè)圖像包含運(yùn)動(dòng)物體的情況下評(píng)價(jià)值的變化。當(dāng)在偏差中檢測(cè)到運(yùn)動(dòng)向量時(shí)，在最小值點(diǎn)處的評(píng)價(jià)值的絕對(duì)值相對(duì)較大。在所有偏差中圖像的相關(guān)性低。當(dāng)運(yùn)動(dòng)物體出現(xiàn)時(shí)，由于圖像的相關(guān)性變低，所以在最小值點(diǎn)處的評(píng)價(jià)值的絕對(duì)值的水平變大。由于圖像的相關(guān)性低，所以檢測(cè)到的運(yùn)動(dòng)向量的可靠性低。因此，不可能利用檢測(cè)到的運(yùn)動(dòng)向量來補(bǔ)償。結(jié)果，利用在最小值點(diǎn)處的評(píng)價(jià)值L來確定可靠性。在最小值點(diǎn)處的評(píng)價(jià)值L可由公式(7)表示。當(dāng)評(píng)價(jià)值L為大時(shí)，確定運(yùn)動(dòng)物體出現(xiàn)。
L＝min{P(x，y)}...(7)接著將參考圖8B來描述利用通過公式(7)獲得的值L來獲得可靠性指數(shù)RL的過程。當(dāng)可靠性高時(shí)，即L值小于閾值thrC，將可靠性指數(shù)RL設(shè)置為1。相反，當(dāng)可靠性低時(shí)，即L值大于閾值thrD，將可靠性指數(shù)RL設(shè)置為0。否則，將可靠性指數(shù)RL設(shè)置為由下面的公式(8)表示的值，如圖8B中所示。
RL=L-thrDthrC-thrD---(8)]]>運(yùn)動(dòng)向量檢測(cè)部件141將其中結(jié)合有前述兩個(gè)可靠性指數(shù)Rs與RL的可靠性指數(shù)R和根據(jù)公式(9)檢測(cè)到的運(yùn)動(dòng)向量輸出到系統(tǒng)控制器170。當(dāng)可靠性指數(shù)R低時(shí)，運(yùn)動(dòng)向量的可靠性低。相反，當(dāng)可靠性指數(shù)R大時(shí)，運(yùn)動(dòng)向量的可靠性高。代之以，該運(yùn)動(dòng)向量檢測(cè)部件141可以提供評(píng)價(jià)值到系統(tǒng)控制器170，并且系統(tǒng)控制器170可以計(jì)算可靠性指數(shù)。
R＝Rs×RL ...(9)圖6示出在圖1中所示的濾波器160的結(jié)構(gòu)的實(shí)例。自存儲(chǔ)器控制器150輸出的數(shù)據(jù)X(z)501被輸入到濾波器160。輸出Y(z)502從濾波器160的加法器520中提取。通過放大器510以放大系數(shù)k放大輸入數(shù)據(jù)X(z)501的水平，并將放大的數(shù)據(jù)提供給加法器520。濾波系數(shù)k(其中0≤k≤1)由系統(tǒng)控制器170指定。
加法器520的輸出數(shù)據(jù)被作為輸出Y(z)提取，并被提供給延遲設(shè)備530。延遲設(shè)備530的輸出數(shù)據(jù)通過放大器511被提供給加法器520。該放大器511以放大系數(shù)(1-k)放大自延遲設(shè)備530輸出的信號(hào)。該延遲設(shè)備530是將輸出Y(z)502延遲一個(gè)采樣周期的延遲設(shè)備。一個(gè)采樣周期是包含代表點(diǎn)的參考區(qū)域的時(shí)間與檢測(cè)區(qū)域的時(shí)間之差。一個(gè)采樣周期例如是一場(chǎng)或一幀。
當(dāng)圖6中所示的濾波器160的濾波系數(shù)k是1(即k＝1)時(shí)，從放大器511提供給加法器520的前一時(shí)間的輸出分量是0。在這種情況下，輸入數(shù)據(jù)X(z)501直接作為輸出數(shù)據(jù)Y(z)502被提取。當(dāng)濾波器160的濾波系數(shù)k不是1(即k≠1)時(shí)，從放大器511提供給加法器520的前一時(shí)間的輸出分量不是0。該加法器520將前一時(shí)間的輸出分量添加到輸入數(shù)據(jù)X(z)501上。不同時(shí)間的信號(hào)分量相關(guān)，而隨機(jī)噪聲分量不相關(guān)。因此，加法器520的加法過程允許減少噪聲分量。
接著將描述濾波系數(shù)Ky。如圖8C中所示，根據(jù)圖像傳感器120的信號(hào)電平Y(jié)來計(jì)算該濾波系數(shù)Ky，該信號(hào)電平Y(jié)是來自亮度檢測(cè)部件180的輸出。當(dāng)亮度級(jí)包含大的噪聲分量時(shí)，即信號(hào)電平Y(jié)小于閾值thrE，濾波系數(shù)Ky可由公式(10)表示。相反，當(dāng)亮度級(jí)不包含大的噪聲分量時(shí)，即信號(hào)電平Y(jié)等于或大于閾值thrE，將濾波系數(shù)Ky設(shè)置成預(yù)定濾波系數(shù)Kmax。
Ky=KMAX-KMINthrEY+KMIN---(10)]]>通過公式(11)根據(jù)可靠性指數(shù)R和亮度級(jí)來利用濾波系數(shù)Ky可以計(jì)算圖6中所示的濾波器160的濾波系數(shù)k。然而，僅僅對(duì)于初始圖像，將濾波系數(shù)k設(shè)置為1以便消除濾波器的瞬態(tài)響應(yīng)。
k＝R×Ky...(11)接著將參考圖7來描述由系統(tǒng)控制器170執(zhí)行的控制操作。以捕獲多個(gè)圖像的間隔例如一場(chǎng)或一幀來執(zhí)行該控制操作。執(zhí)行次數(shù)的數(shù)目被表示為計(jì)數(shù)器值。在低光強(qiáng)度的條件下，以防止圖像具有曝光模糊的快門速度來連續(xù)地捕獲圖像。預(yù)定數(shù)目的圖像被補(bǔ)償抖動(dòng)并濾波。在已經(jīng)處理了預(yù)定數(shù)目的圖像并且計(jì)數(shù)器值已經(jīng)達(dá)到預(yù)定值后，該過程完成并將所得到的圖像看作是最終捕獲的圖像。
在步驟S10，確定計(jì)數(shù)器值(在下文中簡(jiǎn)單地稱為計(jì)數(shù)器)是否為0，每當(dāng)執(zhí)行控制操作，該計(jì)數(shù)器的值就加1。當(dāng)在步驟S10確定的結(jié)果為真，即計(jì)數(shù)器為0，則該流程前進(jìn)到步驟S11。當(dāng)在步驟S10確定的結(jié)果為假，即計(jì)數(shù)器不為0，則該流程前進(jìn)到步驟S20。
在步驟S11，關(guān)閉抖動(dòng)補(bǔ)償。換句話說，存儲(chǔ)器控制器150不對(duì)在圖像存儲(chǔ)器151中存儲(chǔ)的圖像補(bǔ)償抖動(dòng)，而是直接輸出該圖像。如果其可靠性為低的狀態(tài)持續(xù)，則在其計(jì)數(shù)器為0的初始狀態(tài)中，捕獲初始圖像以便輸出補(bǔ)償過抖動(dòng)的信號(hào)。
在步驟S12，將濾波器160的濾波系數(shù)k設(shè)置為1。執(zhí)行該設(shè)置以消除處于初始狀態(tài)的濾波器的瞬態(tài)響應(yīng)。在步驟S13，計(jì)數(shù)器加1。此后，該過程完成。在一場(chǎng)或一幀之后輸入的下一圖像的該過程從步驟S10開始。
在步驟S20，檢測(cè)抖動(dòng)并進(jìn)行補(bǔ)償。換句話說，系統(tǒng)控制器170根據(jù)由運(yùn)動(dòng)向量檢測(cè)部件141檢測(cè)到的運(yùn)動(dòng)向量來通知存儲(chǔ)器控制器150用于消除抖動(dòng)分量的補(bǔ)償量。存儲(chǔ)器控制器150使得圖像存儲(chǔ)器151輸出已經(jīng)補(bǔ)償了抖動(dòng)的圖像。
在步驟S21，根據(jù)可靠性指數(shù)R和濾波系數(shù)Ky來計(jì)算濾波器的系數(shù)k，如由前述公式(11)所表示。在步驟S13，計(jì)數(shù)器加1。此后，該過程完成。將由系統(tǒng)控制器170計(jì)算的濾波系數(shù)k提供給濾波器160。將該濾波器160的濾波系數(shù)設(shè)置為適當(dāng)?shù)闹怠?br> 根據(jù)本發(fā)明的前述實(shí)施例，產(chǎn)生用于整個(gè)圖像平面的運(yùn)動(dòng)向量。代之以，該圖像平面可分成多個(gè)塊?？蓪?duì)每塊執(zhí)行抖動(dòng)補(bǔ)償和濾波過程。根據(jù)本發(fā)明的另一實(shí)施例，對(duì)于每塊執(zhí)行過程。
根據(jù)本發(fā)明此實(shí)施例的成像裝置的整體結(jié)構(gòu)與圖1中所示的根據(jù)前述實(shí)施例的相同。因此，圖1中所示的結(jié)構(gòu)元件的附圖標(biāo)記也用于此實(shí)施例的描述。根據(jù)此實(shí)施例，包括運(yùn)動(dòng)向量檢測(cè)部件141和特征提取部件142的抖動(dòng)檢測(cè)部件140對(duì)(I×J)塊中的每塊執(zhí)行過程，該(I×J)塊是通過將圖像傳感器120的捕獲的圖像平面在垂直方向上分成J個(gè)部分并在水平方向上分成I個(gè)部分而產(chǎn)生的。在每塊中，指定了多個(gè)參考區(qū)域和多個(gè)檢測(cè)區(qū)域。因此，對(duì)每塊執(zhí)行存儲(chǔ)器控制器150的抖動(dòng)補(bǔ)償操作和濾波器160的過程。亮度檢測(cè)部件180對(duì)每塊檢測(cè)自模擬信號(hào)處理部件130輸出的信號(hào)的亮度級(jí)。
類似于前述實(shí)施例，在低光強(qiáng)度的條件下，以防止圖像具有曝光模糊的快門速度連續(xù)地捕獲圖像，并且對(duì)所獲得的多個(gè)圖像補(bǔ)償抖動(dòng)，以及通過遞歸濾波器進(jìn)行處理。然而，根據(jù)此實(shí)施例，對(duì)每塊執(zhí)行抖動(dòng)補(bǔ)償和濾波過程。
根據(jù)代表點(diǎn)系統(tǒng)檢測(cè)到運(yùn)動(dòng)向量的結(jié)構(gòu)與根據(jù)前述實(shí)施例的結(jié)構(gòu)相同(參考圖2)。如參考圖3所述，計(jì)算在參考區(qū)域中的代表點(diǎn)的亮度級(jí)與檢測(cè)區(qū)域301中的每個(gè)像素的亮度級(jí)之間的剩余差的絕對(duì)值。在這種情況下，當(dāng)將在時(shí)間m時(shí)的塊(i，j)(其中i＝0，1，2，...I-1， j＝0，1，2，...，J-1)的坐標(biāo)(u，v)的代表點(diǎn)的亮度級(jí)由km，i，j(x，y)表示，并將在時(shí)間n時(shí)的坐標(biāo)(x，y)的亮度級(jí)為由kn，i，j(x，y)表示時(shí)，別根據(jù)代表點(diǎn)匹配系統(tǒng)的用于檢測(cè)運(yùn)動(dòng)向量的剩余差計(jì)算公式可以通過公式(12)來表示。
P′i，j(x，y)＝|km，i，j(u，v)-kn，i，j(x，y)|...(12)所獲得的剩余差是用于一對(duì)參考區(qū)域306和檢測(cè)區(qū)域301的。同樣，可以為每塊的許多對(duì)獲得剩余差。當(dāng)累積坐標(biāo)(x，y)的剩余差時(shí)，獲得了坐標(biāo)(x，y)的評(píng)價(jià)值。在此實(shí)施例中，為每塊獲得25(＝5×5)個(gè)像素位置的評(píng)價(jià)值。
為每塊獲得圖4中所示的偏差與評(píng)價(jià)值的關(guān)系。其評(píng)價(jià)值為局部最小值的點(diǎn)“a”和代表點(diǎn)的坐標(biāo)之間的剩余差是塊(i，j)的運(yùn)動(dòng)向量mvi，j(x，y)。當(dāng)一塊的代表點(diǎn)移動(dòng)到點(diǎn)“a”時(shí)，點(diǎn)“a”的評(píng)價(jià)值變成局部最小值。每塊的運(yùn)動(dòng)向量mvi，j(x，y)可由下面的公式(13)表示。在公式(13)中，Pij(x，y)表示塊(i，j)的坐標(biāo)(x，y)的評(píng)價(jià)值(即剩余差的絕對(duì)值的評(píng)價(jià)值)。
mvi，j＝(x-u，y-v)for min{Pi，j(x，y)}...(13)當(dāng)代表值的坐標(biāo)是(0，0)時(shí)，塊(i，j)的運(yùn)動(dòng)向量可由下面的公式(14)表示。
mvi，j＝(x，y)...(14)特征提取部件142是根據(jù)為每塊獲得的運(yùn)動(dòng)向量而輸出評(píng)價(jià)值的電路。換句話說，特征提取部件142輸出下面的公式(15)的結(jié)果以作為塊(i，j)的特征信息。
Li，j＝min{Pi，j(x，y)}...(15)圖10示出每塊的偏差和評(píng)價(jià)值的二維關(guān)系。類似于前述實(shí)施例(圖5中所示)，在圖10中實(shí)線601表示在發(fā)生正常抖動(dòng)時(shí)評(píng)價(jià)值的變化。當(dāng)在偏差中檢測(cè)到運(yùn)動(dòng)向量時(shí)，在最小值點(diǎn)處的評(píng)價(jià)值的絕對(duì)值十分小。在除了最小值點(diǎn)的偏差中，圖像的相關(guān)性小。在這種情況下，可以確定檢測(cè)到的運(yùn)動(dòng)向量的可靠性高。
另一方面，可以確定相應(yīng)于處于低對(duì)比度狀態(tài)中的評(píng)價(jià)值的變化而檢測(cè)到的運(yùn)動(dòng)向量的可靠性低。在圖10中，虛線602表示處于低對(duì)比度狀態(tài)中的評(píng)價(jià)值的變化。當(dāng)在偏差中檢測(cè)到運(yùn)動(dòng)向量時(shí)，在最小值點(diǎn)處的評(píng)價(jià)值的絕對(duì)值十分小。在所有偏差中，圖像的相關(guān)性高。然而，由于檢測(cè)到的運(yùn)動(dòng)向量往往易于受到噪聲影響，所以運(yùn)動(dòng)向量的可靠性低。在低對(duì)比度狀態(tài)中，由于在代表點(diǎn)的亮度級(jí)與檢測(cè)區(qū)域的每個(gè)像素的亮度級(jí)之間的差變得通常較小，所以通常的評(píng)價(jià)值變得較小。結(jié)果，由于運(yùn)動(dòng)向量受到噪聲等的影響，存在這樣的可能性，即檢測(cè)準(zhǔn)確度惡化以及可能檢測(cè)到除了抖動(dòng)之外的運(yùn)動(dòng)向量。因此，為了增強(qiáng)待檢測(cè)的運(yùn)動(dòng)向量的可靠性，有必要檢測(cè)低對(duì)比度狀態(tài)并將它排除。
根據(jù)此實(shí)施例，利用由公式(16)表示的每塊的評(píng)價(jià)值之和sum Si，j來確定物體的對(duì)比度是否為低。在公式(16)中，X和Y分別表示在檢測(cè)區(qū)域的水平方向上的像素?cái)?shù)和在垂直方向上的像素?cái)?shù)。通過用像素?cái)?shù)(X×Y它對(duì)應(yīng)于檢測(cè)區(qū)域的面積)歸一化在坐標(biāo)處的評(píng)價(jià)值Pi，j(x，y)之和來獲得值Si，j。當(dāng)該值Si，j小時(shí)，確定物體的對(duì)比度低。
Si,j=Σy=0Y-1Σx=0X-1Pi,j(x,y)X×Y---(16)]]>類似于前述實(shí)施例，當(dāng)通過公式(16)獲得的塊(i，j)的值Si，j小于閾值thrA時(shí)，將可靠性指數(shù)Rsi，j設(shè)置為0。當(dāng)可靠性指數(shù)Rsi，j高時(shí)，即值Si，j大于閾值thrB，將可靠性指數(shù)Rsi，j設(shè)置為1。否則，將可靠性指數(shù)Rsi，j設(shè)置為由下面的公式(17)表示的值。
Rsi,j=Si,j-thrAthrB-thrA---(17)]]>從運(yùn)動(dòng)向量檢測(cè)部件141輸出的每塊的運(yùn)動(dòng)向量可能包含除了抖動(dòng)分量之外的運(yùn)動(dòng)物體的分量。為了減少由于運(yùn)動(dòng)物體導(dǎo)致的故障，有必要只提取抖動(dòng)分量，并使存儲(chǔ)器控制器150根據(jù)運(yùn)動(dòng)向量來補(bǔ)償抖動(dòng)。除了補(bǔ)償抖動(dòng)之外，還有必要檢測(cè)來自運(yùn)動(dòng)向量的除抖動(dòng)之外的分量并計(jì)算可靠性指數(shù)RLi，j，以使濾波器160不結(jié)合該分量。
抖動(dòng)分量可由公式(18)表示。在公式(18)中，MD表示中值濾波器。系統(tǒng)控制器170使存儲(chǔ)器控制器150補(bǔ)償抖動(dòng)分量mvMD。
mvMD＝(MD{xi，j}，MD{yi，j})...(18)接著將描述運(yùn)動(dòng)物體的檢測(cè)和可靠性。相關(guān)塊包含運(yùn)動(dòng)物體的程度被確定為運(yùn)動(dòng)向量分量與抖動(dòng)分量之間的偏差度。偏差度Li，m可由公式(19)表示。當(dāng)偏差度Li，j大時(shí)，確定出現(xiàn)運(yùn)動(dòng)物體。
Li，j＝|mvi，j-mvMD|...(19)在這種情況下，如圖8B中所示，以與前述實(shí)施例相同的方式利用偏差度Li，j計(jì)算塊(i，j)的可靠性指數(shù)RLi，j。當(dāng)可靠性指數(shù)RLi，j高時(shí)，即偏差度Li，j小于閾值thrC，將可靠性指數(shù)RLi，j設(shè)置為1。當(dāng)可靠性指數(shù)RLi，j低時(shí)，即偏差度Li，j大于閾值thrD，將可靠性指數(shù)RLi，j設(shè)置為0。否則，將可靠性指數(shù)RLi，j設(shè)置為由公式(20)表示的值。
RLi,j=Li,j-thrDthrC-thrD---(20)]]>當(dāng)由運(yùn)動(dòng)向量檢測(cè)部件141檢測(cè)到的每塊(i，j)的運(yùn)動(dòng)向量的可靠性由Ri，j表示時(shí)，則可由公式(21)表示可靠性指數(shù)Ri，j。當(dāng)可靠性指數(shù)Ri，j低時(shí)，則運(yùn)動(dòng)向量的可靠性低。相反，當(dāng)可靠性指數(shù)Ri，j大時(shí)，則運(yùn)動(dòng)向量的可靠性高。
Ri，j＝Rsi，j×RLi，j...(21)對(duì)于已經(jīng)補(bǔ)償了抖動(dòng)的圖像的每塊的濾波器具有與圖6中所示的前述實(shí)施例的結(jié)構(gòu)相同的結(jié)構(gòu)。然而在此實(shí)施例中，為每塊設(shè)置濾波系數(shù)。每塊的濾波系數(shù)由ki，j(其中0≤ki，j≤1)表示。
接著將描述塊(i，j)的濾波系數(shù)kyi，j。類似于前述實(shí)施例，如圖8C所示，利用自亮度檢測(cè)部件180輸出的圖像傳感器120的信號(hào)電平Y(jié)i，j計(jì)算濾波系數(shù)kyi，j。當(dāng)亮度級(jí)包含大的噪聲分量時(shí)，即信號(hào)電平Y(jié)i，j小于閾值thrE，可由公式(22)表示濾波系數(shù)kyi，j。相反，當(dāng)亮度級(jí)不包含大的噪聲分量時(shí)，即信號(hào)電平Y(jié)i，j等于或大于閾值thrE，將濾波系數(shù)kyi，j設(shè)置為預(yù)定濾波系數(shù)kmax。
KYi,j=KMAX-KMINthrEYi,j+KMIN---(22)]]>類似于前述實(shí)施例，通過公式(23)根據(jù)可靠性指數(shù)R和亮度級(jí)來利用濾波系數(shù)指數(shù)kyi，j計(jì)算濾波系數(shù)ki，j。然而，僅僅對(duì)于初始圖像，將濾波系數(shù)k設(shè)置為1以便消除濾波器的瞬態(tài)響應(yīng)。
Ki，j＝Ri，j×KYi，j...(23)根據(jù)此實(shí)施例，如圖7中所示以與前述實(shí)施例相同的方式來執(zhí)行系統(tǒng)控制器170的控制操作。然而，根據(jù)前述實(shí)施例，對(duì)每場(chǎng)或每幀執(zhí)行控制操作。相反，根據(jù)此實(shí)施例，有必要對(duì)每塊執(zhí)行控制操作。在已經(jīng)處理了預(yù)定數(shù)目圖像的所有塊并且計(jì)數(shù)器值已經(jīng)達(dá)到預(yù)定值之后，該過程完成。所得到的圖像被看作是最終捕獲圖像。
根據(jù)本發(fā)明的此實(shí)施例，由于控制多個(gè)塊中的每塊而不同于前述實(shí)施例中的控制每幀或每場(chǎng)，所以可以根據(jù)圖像的局部特征來控制濾波系數(shù)。因此，根據(jù)本發(fā)明的此實(shí)施例，圖像質(zhì)量可以比前述實(shí)施例的圖像質(zhì)量得到更多的改善。
本領(lǐng)域技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)要求和其他因素，可能出現(xiàn)各種修改、組合、再組合和變更，只要它們?cè)谒綑?quán)利要求書及其等同物的范圍內(nèi)。例如，可以由除了代表點(diǎn)系統(tǒng)之外的系統(tǒng)來檢測(cè)運(yùn)動(dòng)向量。
權(quán)利要求
1.一種成像方法，包括下列步驟捕獲多個(gè)按時(shí)間順序不同的圖像；檢測(cè)所述多個(gè)圖像的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)信息；確定所述運(yùn)動(dòng)信息的可靠性；根據(jù)所述運(yùn)動(dòng)信息來補(bǔ)償在所述多個(gè)圖像中發(fā)生的抖動(dòng)；以及通過利用遞歸濾波器來濾波已經(jīng)補(bǔ)償了抖動(dòng)的圖像，其中所述濾波過程的特征根據(jù)所述運(yùn)動(dòng)信息的可靠性而改變。
2.如權(quán)利要求1所述的成像方法，其中通過在防止發(fā)生曝光模糊的存儲(chǔ)時(shí)間中捕獲所述多個(gè)圖像中的每個(gè)來執(zhí)行所述捕獲步驟。
3.如權(quán)利要求1所述的成像方法，其中對(duì)所述多個(gè)圖像中首先捕獲的圖像不執(zhí)行所述抖動(dòng)補(bǔ)償步驟。
4.如權(quán)利要求1所述的成像方法，其中對(duì)所述多個(gè)圖像中首先捕獲的圖像改變所述遞歸濾波器的特性。
5.如權(quán)利要求1所述的成像方法，其中在所述可靠性確定步驟中，將從低對(duì)比度物體中捕獲的圖像中所獲得的所述運(yùn)動(dòng)信息的可靠性確定為低。
6.如權(quán)利要求1所述的成像方法，其中在所述可靠性確定步驟中，將從所述多個(gè)圖像中獲得的所述運(yùn)動(dòng)信息的可靠性確定為低，所述多個(gè)圖像的一部分包括運(yùn)動(dòng)物體。
7.如權(quán)利要求1所述的成像方法，其中將所捕獲的圖像中的每個(gè)分成多塊，以及其中對(duì)所述多塊中的每個(gè)執(zhí)行所述運(yùn)動(dòng)檢測(cè)步驟、可靠性確定步驟、抖動(dòng)補(bǔ)償步驟、濾波步驟以及改變所述濾波過程的特征的過程。
8.一種成像裝置，包括用于捕獲多個(gè)按時(shí)間順序不同的圖像的圖像捕獲裝置；用于檢測(cè)所述多個(gè)圖像的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)信息的運(yùn)動(dòng)檢測(cè)裝置；用于確定所述運(yùn)動(dòng)信息的可靠性的可靠性確定裝置；用于根據(jù)所述運(yùn)動(dòng)信息來補(bǔ)償在所述多個(gè)圖像中發(fā)生的抖動(dòng)的抖動(dòng)補(bǔ)償裝置；以及用于通過利用遞歸濾波器來濾波已經(jīng)補(bǔ)償了抖動(dòng)的圖像的濾波裝置，其中所述濾波裝置的特性根據(jù)所述運(yùn)動(dòng)信息的可靠性而改變。
9.一種成像裝置，包括捕獲多個(gè)按時(shí)間順序不同的圖像的圖像捕獲部件；檢測(cè)所述多個(gè)圖像的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)信息的運(yùn)動(dòng)檢測(cè)部件；確定所述運(yùn)動(dòng)信息的可靠性的可靠性確定部件；根據(jù)所述運(yùn)動(dòng)信息來補(bǔ)償在所述多個(gè)圖像中發(fā)生的抖動(dòng)的抖動(dòng)補(bǔ)償部件；以及通過利用遞歸濾波器來濾波已經(jīng)補(bǔ)償了抖動(dòng)的圖像的濾波部件，其中所述濾波部件的特性根據(jù)所述運(yùn)動(dòng)信息的可靠性而改變。
全文摘要
公開了一種成像裝置。該成像裝置包括圖像捕獲部件，運(yùn)動(dòng)檢測(cè)部件，可靠性確定部件，抖動(dòng)補(bǔ)償部件和濾波部件。該圖像捕獲部件捕獲多個(gè)按時(shí)間順序不同的圖像。該運(yùn)動(dòng)檢測(cè)部件檢測(cè)該多個(gè)圖像的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)信息。該可靠性確定部件檢測(cè)運(yùn)動(dòng)信息的可靠性。該抖動(dòng)補(bǔ)償部件根據(jù)該運(yùn)動(dòng)信息來補(bǔ)償在該多個(gè)圖像中發(fā)生的抖動(dòng)。該濾波部件通過利用遞歸濾波器來濾波已經(jīng)補(bǔ)償了抖動(dòng)的圖像。該濾波部件的特性根據(jù)該運(yùn)動(dòng)信息的可靠性而改變。
文檔編號(hào)H04N5/232GK1933557SQ200610153960
公開日2007年3月21日 申請(qǐng)日期2006年9月15日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者野村博文, 熊木甚洋, 島田淳司, 西乃武夫, 孟龍 申請(qǐng)人:索尼株式會(huì)社