攝像設(shè)備的制作方法
【專利摘要】一種攝像設(shè)備，其包括：抖動檢測部件，用于檢測抖動；平移運動校正量計算單元，用于計算用于校正平移運動分量的第一校正量；透視分量校正量計算單元，用于計算用于校正透視分量的第二校正量；圖像穩(wěn)定單元，用于基于所述第一校正量和所述第二校正量，校正拍攝圖像的圖像模糊；以及控制單元，用于在確定為所述攝像設(shè)備的平搖狀態(tài)的情況下，限制所述平移運動校正量計算單元和所述透視分量校正量計算單元，以降低所述平移運動分量和所述透視分量的校正能力。
【專利說明】攝像設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于在攝像設(shè)備中使用使得圖像變形的方法來校正由該攝像設(shè)備的抖動所導(dǎo)致的拍攝圖像的模糊的技術(shù)。
【背景技術(shù)】
[0002]近年來，隨著用于校正攝像設(shè)備的抖動的技術(shù)的發(fā)展，圖像穩(wěn)定功能變得普及，其中，該圖像穩(wěn)定功能不僅用于校正在用戶處于靜止?fàn)顟B(tài)時由照相機抖動所導(dǎo)致的拍攝圖像的模糊，而且還用于校正在用戶正行走時的拍攝中所生成的拍攝圖像的模糊。當(dāng)用戶在行走中拍攝圖像時，除水平方向和垂直方向上的拍攝圖像的模糊以外，在拍攝圖像中生成下面的模糊。例如，模糊包括由攝像設(shè)備圍繞光軸轉(zhuǎn)動所導(dǎo)致的拍攝圖像的轉(zhuǎn)動、以及在攝像設(shè)備相對于被攝體傾斜時所生成的拍攝圖像呈梯形的失真。
[0003]作為用于校正在行走時的拍攝中所生成的拍攝圖像的各種類型的模糊的方法，已知一種用于計算拍攝圖像的圖像變形量、并且使得圖像變形以抵消該圖像變形量的方法(參考日本特開2011-29735)。
[0004]在上述傳統(tǒng)例子中，將由作用于攝像設(shè)備的抖動所導(dǎo)致的拍攝圖像的變形量分解成包括平移分量(水平/垂直)、透視分量(水平/垂直)、放大/縮小分量、轉(zhuǎn)動分量和剪切分量的變形分量。然后對于各分量進(jìn)行濾波處理等，以計算投影變換矩陣(單應(yīng)性矩陣)。然而，該方法存在以下問題。
[0005]也就是說，在上述傳統(tǒng)例子中，由于對于變形分量各自計算校正量，因而計算量非常大并且處理復(fù)雜。此外，如果對于所有變形分量都進(jìn)行校正，則最終可以輸出的圖像范圍變小，結(jié)果導(dǎo)致圖像質(zhì)量劣化。
[0006]例如，圖21示出在攝像設(shè)備圍繞光軸轉(zhuǎn)動時通過圖像變形的圖像穩(wěn)定的例子。圖21中的實線部分表示拍攝圖像。為了校正圍繞光軸的轉(zhuǎn)動，圍繞圖像中心O轉(zhuǎn)動拍攝圖像。該轉(zhuǎn)動操作產(chǎn)生圖21所示的虛線圖像。在這種情況下，如果輸出圖像具有與拍攝圖像相同的范圍，則圖像在四個角處沒有數(shù)據(jù)。因此，輸出圖像范圍是圖21所示的陰影區(qū)域。盡管圖21示例示出對圍繞光軸的轉(zhuǎn)動的校正，但對于各變形分量，需要提供未能輸出的圖像區(qū)域(以下稱為額外像素)。因此，圖像范圍變小，因而使得難以保持經(jīng)過了圖像穩(wěn)定的視頻的質(zhì)量。

【發(fā)明內(nèi)容】

[0007]本發(fā)明是考慮到上述問題而作出的，并且提供一種可以利用簡單結(jié)構(gòu)來最小化視頻的質(zhì)量劣化、并且獲得良好的圖像穩(wěn)定效果的攝像設(shè)備。
[0008]根據(jù)本發(fā)明的第一方面，提供一種攝像設(shè)備，包括:抖動檢測單元，用于檢測所述攝像設(shè)備的抖動；平移運動校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的平移運動分量進(jìn)行校正的第一校正量；透視分量校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在所述拍攝圖像中生成的圖像模糊的透視分量進(jìn)行校正的第二校正量；圖像穩(wěn)定單元，用于基于所述第一校正量和所述第二校正量，校正所述拍攝圖像的圖像模糊；以及控制單元，用于在確定為所述攝像設(shè)備的平搖狀態(tài)的情況下，對所述平移運動校正量計算單元和所述透視分量校正量計算單元進(jìn)行限制，以降低所述平移運動分量和所述透視分量的校正能力。
[0009]根據(jù)本發(fā)明的第二方面，提供一種攝像設(shè)備，包括:抖動檢測單元，用于檢測所述攝像設(shè)備的抖動；平移運動校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的平移運動分量進(jìn)行校正的第一校正量；透視分量校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在所述拍攝圖像中生成的圖像模糊的透視分量進(jìn)行校正的第二校正量；圖像穩(wěn)定單元，用于基于所述第一校正量和所述第二校正量，校正所述拍攝圖像的圖像模糊；以及控制單元，用于基于所述第一校正量和所述第二校正量至少之一，改變所述平移運動分量和所述透視分量的校正能力。
[0010]根據(jù)本發(fā)明的第三方面，提供一種攝像設(shè)備，包括:抖動檢測單元，用于檢測所述攝像設(shè)備的抖動；平移運動校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的平移運動分量進(jìn)行校正的第一校正量；透視分量校正量計算單元，用于基于所述第一校正量，計算用于對所述圖像模糊的透視分量進(jìn)行校正的第二校正量；以及校正單元，用于基于所述第一校正量和所述第二校正量，校正所述圖像模糊。
[0011]根據(jù)本發(fā)明的第四方面，提供一種攝像設(shè)備，包括:抖動檢測單元，用于檢測所述攝像設(shè)備的抖動；透視分量校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的透視分量進(jìn)行校正的第一校正量；平移運動校正量計算單元，用于基于所述第一校正量，計算用于對所述圖像模糊的平移運動分量進(jìn)行校正的第二校正量；以及校正單元，用于基于所述第一校正量和所述第二校正量，校正所述圖像模糊。
[0012]通過以下參考附圖對實施例的說明，本發(fā)明的其它特征將顯而易見。
【專利附圖】

【附圖說明】
[0013]圖1是示出作為根據(jù)本發(fā)明第一實施例的攝像設(shè)備的例子的攝像機的結(jié)構(gòu)的例子的框圖；
[0014]圖2A和2B是用于說明針孔照相機模型的圖；
[0015]圖3是示出根據(jù)第一實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0016]圖4是示出作為根據(jù)第二實施例的攝像設(shè)備的例子的攝像機的結(jié)構(gòu)的例子的框圖；
[0017]圖5是示出根據(jù)第二實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0018]圖6是示出根據(jù)第三實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0019]圖7是示出作為根據(jù)第四實施例的攝像設(shè)備的例子的攝像機的結(jié)構(gòu)的例子的框圖；
[0020]圖8是示出根據(jù)第四實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；[0021]圖9是示出根據(jù)第五實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0022]圖10是示出根據(jù)第五實施例的圖像變形量計算單元的結(jié)構(gòu)的另一例子的框圖；
[0023]圖11是示出根據(jù)第六實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0024]圖12是示出根據(jù)第六實施例的圖像變形量計算單元的結(jié)構(gòu)的另一例子的框圖；
[0025]圖13是示出作為根據(jù)第七實施例的攝像設(shè)備的例子的攝像機的結(jié)構(gòu)的例子的框圖；
[0026]圖14是示出根據(jù)第七實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0027]圖15是示出作為根據(jù)第八實施例的攝像設(shè)備的例子的攝像機的結(jié)構(gòu)的例子的框圖；
[0028]圖16是示出根據(jù)第八實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0029]圖17是示出根據(jù)第八實施例的圖像變形量計算單元的結(jié)構(gòu)的另一例子的框圖；
[0030]圖18是示出根據(jù)第九實施例的圖像變形量計算單元的結(jié)構(gòu)的例子的框圖；
[0031]圖19A和19B是用于說明根據(jù)本發(fā)明的實施例的“抖動”的定義的圖；
[0032]圖20A?20F是用于說明根據(jù)本發(fā)明的實施例的“模糊”的定義的圖；以及
[0033]圖21是用于說明模糊校正的傳統(tǒng)方法的問題的圖。
【具體實施方式】
[0034]下面參考附圖詳細(xì)說明本發(fā)明的實施例。
[0035]首先說明實施例中所使用的術(shù)語的定義。在各實施例的說明中，“抖動”表示作用于攝像設(shè)備上的移動，并且“模糊”表示由作用于攝像設(shè)備上的抖動所導(dǎo)致的拍攝圖像的變形。在這些實施例中，如圖19A和19B所示，“抖動”通常用來指橫擺、俯仰和滾動方向上的三個“轉(zhuǎn)動抖動”和水平、垂直和光軸方向上的三個“平行抖動”(移位抖動)。另一方面，如圖20A?20F所示，“模糊”通常表示包括平移分量(水平/垂直)、轉(zhuǎn)動分量、透視分量(水平/垂直)、放大/縮小分量和剪切分量的變形分量。
[0036]第一實施例
[0037]圖1是示出作為根據(jù)本發(fā)明第一實施例的攝像設(shè)備的例子的攝像機的結(jié)構(gòu)的框圖。下面詳細(xì)說明圖1所示的攝像設(shè)備100的組件和它們的操作的例子。
[0038]角速度傳感器102將作用于攝像設(shè)備100上的抖動檢測為角速度信號，并且將角速度信號提供給Α/D轉(zhuǎn)換器103。Α/D轉(zhuǎn)換器103將來自角速度傳感器102的角速度信號轉(zhuǎn)換成數(shù)字信號，并且將其作為角速度數(shù)據(jù)提供給μ COM(微處理器)101中的圖像變形量計算單元200。
[0039]攝像光學(xué)系統(tǒng)120進(jìn)行諸如變焦或調(diào)焦等的操作，并且在圖像傳感器123上形成被攝體圖像。變焦編碼器119檢測攝像光學(xué)系統(tǒng)120中的變倍光學(xué)系統(tǒng)121的位置(變焦位置)，并且將其輸出給μ C0M101中的圖像變形量計算單元200。
[0040]圖像變形量計算單元200使用角速度數(shù)據(jù)和變焦編碼器119的輸出來計算用于校正拍攝圖像的模糊的圖像變形量，并且將所計算出的圖像變形量設(shè)置在圖像變形單元127中。稍后將詳細(xì)說明圖像變形量計算單元200的處理。
[0041]圖像傳感器123將通過攝像光學(xué)系統(tǒng)120所形成的被攝體圖像轉(zhuǎn)換成作為拍攝圖像信號的電信號，并且將其提供給信號處理單元124。信號處理單元124根據(jù)通過圖像傳感器123所獲得的信號生成符合例如NTSC格式的視頻信號，并且將其提供給圖像存儲器125。
[0042]圖像變形單元127基于圖像變形量計算單元200所計算出的圖像變形量、通過使存儲在圖像存儲器125中的圖像變形來校正拍攝圖像的模糊，并且將校正后的圖像輸出給記錄控制單元128和顯示控制單元130。顯示控制單元130輸出從圖像變形單元127所提供的視頻信號，并且使得顯示裝置131顯示該圖像。顯示控制單元130驅(qū)動顯示裝置131。顯示裝置131通過IXD (液晶顯示器)等顯示該圖像。
[0043]如果用于指示開始或結(jié)束記錄所使用的操作單元(未示出)指示記錄視頻信號，則記錄控制單元128將從圖像變形單元127所提供的視頻信號輸出給記錄介質(zhì)129，并且使得記錄介質(zhì)129記錄視頻信號。記錄介質(zhì)129是諸如半導(dǎo)體存儲器等的信息記錄介質(zhì)或者諸如硬盤等的磁性記錄介質(zhì)。
[0044]圖像變形單元127使用諸如投影變換等的幾何變換進(jìn)行圖像變形。更具體地，以(XO, Y0)表示變形之前的圖像(存儲在圖像存儲器125中的圖像)中的像素坐標(biāo)(注意，將與攝像光學(xué)系統(tǒng)120的光軸相對應(yīng)的拍攝圖像的中心設(shè)置為原點)，并且以(XI，Yl)表示變形之后的圖像(圖像變形單元127的輸出圖像)中的像素坐標(biāo)。在這種情況下，可以如下通過齊次坐標(biāo)系表示圖像變形。
【權(quán)利要求】
1.一種攝像設(shè)備，包括: 抖動檢測單元，用于檢測所述攝像設(shè)備的抖動； 平移運動校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的平移運動分量進(jìn)行校正的第一校正量； 透視分量校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在所述拍攝圖像中生成的圖像模糊的透視分量進(jìn)行校正的第二校正量； 圖像穩(wěn)定單元，用于基于所述第一校正量和所述第二校正量，校正所述拍攝圖像的圖像模糊；以及 控制單元，用于在確定為所述攝像設(shè)備的平搖狀態(tài)的情況下，對所述平移運動校正量計算單元和所述透視分量校正量計算單元進(jìn)行限制，以降低所述平移運動分量和所述透視分量的校正能力。
2.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中， 所述透視分量校正量計算單元使用所述第一校正量來計算所述第二校正量。
3.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中， 所述圖像穩(wěn)定單元包括: 光學(xué)校正單元，用于光學(xué)地校正由于所述 抖動而在所述拍攝圖像中生成的圖像模糊；以及 電子校正單元，用于電子地校正由于所述抖動而在所述拍攝圖像中生成的圖像模糊，以及 所述攝像設(shè)備還包括分割單元，其中所述分割單元用于將所述第一校正量以預(yù)定比率分割成要利用所述光學(xué)校正單元校正的第三校正量和要利用所述電子校正單元校正的第四校正量。
4.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中， 所述平移運動校正量計算單元和所述透視分量校正量計算單元各自包括高通濾波器，以及 所述控制單元改變所述高通濾波器的截止頻率，以限制所述第一校正量和所述第二校正量。
5.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中， 所述平移運動校正量計算單元和所述透視分量校正量計算單元各自包括積分單元，以及 所述控制單元改變所述積分單元的時間常數(shù)，以限制所述第一校正量和所述第二校正量。
6.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中， 所述控制單元進(jìn)行控制操作，以使得所述平移運動校正量計算單元的特性和所述透視分量校正量計算單元的特性大致相同。
7.一種攝像設(shè)備，包括: 抖動檢測單元，用于檢測所述攝像設(shè)備的抖動； 平移運動校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的平移運動分量進(jìn)行校正的第一校正量；透視分量校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在所述拍攝圖像中生成的圖像模糊的透視分量進(jìn)行校正的第二校正量； 圖像穩(wěn)定單元，用于基于所述第一校正量和所述第二校正量，校正所述拍攝圖像的圖像模糊；以及 控制單元，用于基于所述第一校正量和所述第二校正量至少之一，改變所述平移運動分量和所述透視分量的校正能力。
8.一種攝像設(shè)備，包括: 抖動檢測單元，用于檢測所述攝像設(shè)備的抖動； 平移運動校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的平移運動分量進(jìn)行校正的第一校正量； 透視分量校正量計算單元，用于基于所述第一校正量，計算用于對所述圖像模糊的透視分量進(jìn)行校正的第二校正量；以及 校正單元，用于基于所述第一校正量和所述第二校正量，校正所述圖像模糊。
9.一種攝像設(shè)備，包括: 抖動檢測單元，用于檢測所述攝像設(shè)備的抖動； 透視分量校正量計算單元，用于基于所述抖動檢測單元的輸出，計算用于對由于所述抖動而在拍攝圖像中生成的圖像模糊的透視分量進(jìn)行校正的第一校正量； 平移運動校正量計算單元，用于基于所述第一校正量，計算用于對所述圖像模糊的平移運動分量進(jìn)行校正的第二校正量；以及 校正單元，用于基于所述第一校正量和所述第二校正量，校正所述圖像模糊。
【文檔編號】G06T5/00GK103780834SQ201310499633
【公開日】2014年5月7日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2012年10月22日
【發(fā)明者】渡邊猛, 宮迫賢一 申請人:佳能株式會社