專利名稱：補償視頻運動的方法和裝置的制作方法
補償視頻運動的方法和裝置
背景技術(shù)：
本發(fā)明涉及監(jiān)視攝像機，尤其涉及補償來自動態(tài)視頻監(jiān)視攝像機 的圖像模糊的方法和裝置。
視頻監(jiān)視系統(tǒng)通常使用隔行顯示圖像方法以節(jié)省視頻帶寬及提 供平滑圖片。在隔行顯示器中，顯示器在對偶數(shù)場繪畫和對奇數(shù)場繪 畫之間交替，偶數(shù)場由每一幀的偶數(shù)行組成，奇數(shù)場由每一幀的奇數(shù) 行組成。如在此使用的，幀由偶數(shù)和奇數(shù)場組成并指靜態(tài)圖像之一， 該靜態(tài)圖像構(gòu)成動態(tài)視頻。類似地，在這些隔行系統(tǒng)中使用的監(jiān)視攝 像機僅捕獲來自每一幀的行的一半，即一次捕獲一個場。每一幀的場 對被同時感知，從而由于視覺的持續(xù)性而表現(xiàn)為完整的幀。
可運動的視頻監(jiān)視攝像機通常在攝像機搖攝或傾斜時遭受視頻 降級。該降級使視頻圖像模糊并導致具有疊影狀外觀的雙圖像。這種 不合乎需要的模糊在用運動攝像機觀看靜態(tài)場景圖像時尤為明顯。因 此，長久以來需要一種在攝像機運動時具有最小模糊量的視頻監(jiān)視攝 像機。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種補償視頻監(jiān)視攝像機運動的方法，該方 法包括步驟運動隔行攝像機，在第一時間點捕獲幀的第一視頻場， 在第二時間點捕獲幀的第二視頻場，確定攝像機的運動速度，及基于 第 一時間點和第二時間點之間的時間段及攝像機的運動速度改變第 一和第二視頻場之間的關(guān)系。
此外，本發(fā)明提供了一種補償監(jiān)視攝像機運動的裝置，包括用 于產(chǎn)生包括幀的第一和第二場的可運動隔行攝像機，連接到所述攝像 機并用于接收所述第一和第二場的移位寄存器，用于向所述移位寄存 器提供控制信號的控制器，連接到所述攝像機和控制器并用于檢測攝
6像機的運動速度及將表明所述攝像機的運動速度的信號提供給控制 器的檢測器，及連接到移位寄存器并用于顯示由所述幀產(chǎn)生的圖像的 顯示器，其中所述控制器向所述移位寄存器提供信號以基于第一和第 二場產(chǎn)生之間的時間及表明攝像機的運動速度的信號延遲所述幀的 第一和第二場之一。
當攝像機處于掃描模式時，如當搖攝時或當操作員想要查看圖片 背景時，本發(fā)明是有利的。例如，當操作員試圖發(fā)現(xiàn)被背景變暗的目 標時，可使用本發(fā)明方法。由于本發(fā)明，使用隔行視頻格式如具有
MPEG-4壓縮的NTSC或隔行HDTV的視頻監(jiān)視系統(tǒng)的圖像質(zhì)量得 以很大改善。在靜態(tài)圖像時，由于運動引起的位移不大，所得到的視 頻可以是高質(zhì)量，但運動位移導致圖像質(zhì)量變差且還降低壓縮效率。 視頻監(jiān)視設備的多種應用要求在靜態(tài)圖像及在攝像機搖攝時均有非 常高的視頻質(zhì)量。本發(fā)明使攝像機搖攝時的圖像模糊最小化，從而提 供更高的視頻質(zhì)量并使監(jiān)視系統(tǒng)的視頻壓縮效率最大化。
本發(fā)明在攝像機運動時如搖攝期間向用戶提供高質(zhì)量視頻圖像， 但在用戶正追蹤目標時其通常關(guān)掉使得所追蹤圖像不被模糊。在本領(lǐng) 域中，搖攝模式通常指掃描模式。如果用戶想要追蹤目標，則本發(fā)明 的運動補償方法可自動關(guān)掉。在一實施例中，用戶可操作控制按鈕以 從掃描模式切換到手動控制模式從而使用戶能追蹤感興趣目標。在另 一實施例中，當用戶運動控制桿以控制攝像機的運動時所述模式可自 動切換。在又一模式中，當用戶控制攝像機的運動時，系統(tǒng)保持追蹤 模式直到攝像機以預定速率運動為止，之后切換到本發(fā)明的運動補償 方法。預定速率或閾值可針對具體環(huán)境和用途按需設置并可由用戶重 新設置?？偟膩碚f，最大預定速率或閾值可設置成如果攝像機以高于 該最大預定速率或閾值的速率運動則不能適當或合理地追蹤目標的 速度。 一旦系統(tǒng)已切換到運動補償模式，則運動補償一直持續(xù)直到攝 像機的運動低于閾值為止。
本發(fā)明的其它優(yōu)點和應用可從下面對本發(fā)明優(yōu)選實施例進行的 詳細描述明顯看出。


圖1為隔行攝像機進行的掃描的圖示。
圖2為當隔行攝像機不動時，在觀看由奇數(shù)場和偶數(shù)場組成的幀 時感知的圖像的圖示。
圖3為當隔行攝像機搖攝時，在觀看由奇數(shù)場和偶數(shù)場組成的幀 時感知的圖像的圖示。
圖4為實施本發(fā)明的一實施例。
具體實施例方式
圖1示出了隔行監(jiān)視攝像機進行的掃描。在監(jiān)視攝像機進行的第 一掃描時，捕獲由奇數(shù)行組成的奇數(shù)場，這由"奇數(shù)場"下面的第一 掃描行的框中的X指示。在監(jiān)視攝像機進行的第二掃描中，捕獲由
偶數(shù)行組成的偶數(shù)場，這由"偶數(shù)場"下面的第二掃描行的框中的x
指示。第一和第二掃描包括第一幀。類似地，第三和第四掃描包括第
二幀，及第五和第六掃描包括第三幀，如圖1中所示。對于NTSC系 統(tǒng)，每一幀由總共525行中的480行組成，其余45行用于同步、垂 直回描及其它數(shù)據(jù)。然而，應當理解，也可使用其它隔行視頻文件格 式如隔行HDTV。
圖2為當隔行監(jiān)視攝像機不動時，在觀看由奇數(shù)場和偶數(shù)場組成 的幀時感知的圖像的圖示。在該例子中，在攝像機視場中的圖像是白 背景上的靜態(tài)對角線。如關(guān)于圖l所述的，首先，奇數(shù)行l(wèi)、 3、 5、 7和9被掃描以形成奇數(shù)場。然后掃描偶數(shù)行2、 4、 6、 8和10以形 成偶數(shù)場。類似地，當顯示幀時，首先將奇數(shù)場掃描到顯示器上，然 后再將偶數(shù)場掃描到顯示器上。觀看者感知的圖像是直的對角線，其 從行10的像素1到行3的像素8跨屏幕延伸。
圖3為當視頻監(jiān)視攝像機搖攝時觀看者感知的圖像的圖示。在該 例子中，在攝像機視場中的圖像是與關(guān)于圖2所述一樣的、白背景上 的靜態(tài)對角線。該例子表明視頻攝像機在水平方向的運動已導致兩條 模糊的對角線，而不是清楚的單一對角線。第一對角線由行9中的像
8素2、行7中的像素4、行5中的像素6及行3中的像素8組成。第 二對角線由行10中的像素4、行8中的像素6、行6中的像素8及行 4中的像素10組成。第一對角線包含在奇數(shù)場中，第二對角線包含 在偶數(shù)場中。雙對角線由所述幀的奇數(shù)場的第一掃描和偶數(shù)場的第二 掃描之間的時間延遲引起。在攝像機不運動的情況下，如圖2中所示， 出現(xiàn)在奇數(shù)場和偶數(shù)場中的對角線的各部分沒有不同，因為攝像機的 視場和對角線之間的空間關(guān)系沒有改變。圖3中所示的例子表明攝像 機搖攝以在兩個掃描之間導致三個像素位移的速度離開。
實施本發(fā)明的一個實施例在圖4中示出。監(jiān)視系統(tǒng)10具有能夠 運動的攝像機12，如由加利福尼亞州的Pelco of Clovis制造的Spectra 快球攝像機。攝像機12可以是連接到數(shù)字轉(zhuǎn)換器13的模擬攝像機， 所述數(shù)字轉(zhuǎn)換器提供數(shù)字比特流，或者攝像機12可以是數(shù)字攝像機 從而不需要數(shù)字轉(zhuǎn)換器13。數(shù)字轉(zhuǎn)換器13的輸出提供給行緩沖器， 如移位寄存器14。移位寄存器14的輸出連接到編碼器16，例如其可 以是向網(wǎng)絡18提供適當視頻流的MPEG-4編碼器。在備選實施例中， 移位寄存器14和編碼器16可包括在單一邏輯單元中。類似地，數(shù)字 轉(zhuǎn)換器13也可包括在同一邏輯單元中。顯示器20連接到網(wǎng)絡18以 接收和顯示來自攝像機12的視頻流從而由用戶觀看。顯示器20可包 括適當?shù)囊曨l流解碼電路，或者顯示器20可具有單獨的解碼器。圖 4中所示的實施例包括編碼器16和網(wǎng)絡18以在局域網(wǎng)或?qū)捰蚓W(wǎng)如因 特網(wǎng)上遠程觀看攝像機12。或者，移位寄存器14的輸出可直接提供 給顯示器20以進行本地觀看。
搖攝速度邏輯電路22連接到攝像機12以接收指示攝像機12的 搖攝速度即角速度的信號，所述攝像機如加利福尼亞州Pelco of Clovis制造的Spectr^快球攝像機。如果攝像機12不提供指示其搖攝 速度的信號，可使用搖攝速度檢測器。搖攝速度邏輯電路22向移位 寄存器14提供控制信號，該控制信號指示移位寄存器14中的數(shù)據(jù)是 否應被移位。如果移位寄存器14中的數(shù)據(jù)應被移位，則來自搖攝速 度邏輯電路22的控制信號還指示數(shù)據(jù)的位移量。必須知道攝像機平臺的角速度。優(yōu)選地，應每幀檢測攝像機12的角速度。之后，搖攝
速度邏輯電路22按度每秒或像素每秒計算速度，并將指示移位寄存 器14所需延遲量的控制信號提供給移位寄存器14。提供30幀每秒、 隔行2:1以符合NTSC視頻標準的攝像機在1秒的每60分之一捕獲 場(實際上29.97幀每秒)。因此，奇數(shù)場和偶數(shù)場的掃描之間的時 間大約為l/60秒。例如，對于一些應用，所需延遲可在1-10像素的 范圍內(nèi)以調(diào)節(jié)幀的奇數(shù)場和偶數(shù)場之間的補償。緩沖器的大小由所需 最大延遲確定，進而由攝像機的最大搖攝速度確定。移位寄存器產(chǎn)生 離散延遲，如n，其中n為移位寄存器級數(shù)。例如，16級移位寄存器 對數(shù)據(jù)延遲高達16個時鐘脈沖。圖4所示的本發(fā)明實施例通過移位 寄存器14發(fā)送奇數(shù)場和偶數(shù)場。之后，當每一幀的奇數(shù)場和偶數(shù)場 通過移位寄存器14時，搖攝速度邏輯電路22將適當?shù)男盘柤床谎舆t 或延遲發(fā)送給移位寄存器14?；蛘?，不需延遲的場可繞過移位寄存 器14并直接提供給編碼器16。
當奇數(shù)場和偶數(shù)場之一被移位時，邊緣將不被對齊，但圖片的中 心和大部分將被對齊。如果攝像機12快速搖攝，所得到的圖像在場 的前緣將有空白像素，因為沒有視頻填充這些由在移位寄存器14中 延遲場引起的像素。通常，在前緣上沒有圖片的像素數(shù)量很小，并不 干擾監(jiān)視系統(tǒng)10的正常使用。只有適當場的有效視頻部分被延遲。 同步信號不被延遲。所述延遲根據(jù)運動方向僅應用于奇數(shù)場或偶數(shù) 場?；蛘?，奇數(shù)場和偶數(shù)場均按適當?shù)姆较蛞莆灰孕薷幕蛘{(diào)節(jié)這些場 使得實現(xiàn)所需對齊。任何文本或圖形覆蓋在視頻上必須在對齊補償之 后添加。否則，所述覆蓋在觀看圖像時將被變模糊。
上述實施例實現(xiàn)了對視頻攝像機搖攝運動的補償。如果系統(tǒng)將提 供對攝像機傾斜的補償，則視頻存儲器必須是高速存儲器，其足夠大 以包含最大數(shù)量的將要補償即延遲的視頻行。搖攝和傾斜補償可使用 兩個單獨的實用程序同時進行 一個用于搖攝補償、 一個用于傾斜補償。如上所述，NTSC視頻格式每幀傳輸兩個圖像，這些圖像覆蓋為 隔行視頻。為重組所述兩個圖像，必須知道攝像機的角水平速度和視
頻行的有效角寬度。角寬度由透鏡系統(tǒng)的水平視場(FOV)和放大率 確定。可變放大率透鏡或變焦透鏡通過放大率設置減小FOV。例如， 如果攝像機在1倍放大率時具有54°的FOV，則在4倍放大率時有效 FOV將為13.5°。將應用于任一視頻場的延遲量取決于這些因素及視 頻每行的掃描時間。在NTSC系統(tǒng)中，該時間大約為53微秒。因此， 對于具有54。FOV的攝像機，掃描速率大約表現(xiàn)為1°~S。
攝像機的水平或搖攝速度必須歸一化為視頻格式的場速率，例如 對于NTSC為60Hz。這是因為，補償量補償幀的兩個相繼圖像之間 的單場臨時差別。例如，當NTSC攝像機以207s旋轉(zhuǎn)時，需要的角 補償tc為20/60或0.333°。數(shù)量必須與方向一起考慮，因而需要用于 補償?shù)姆?量值表達式的約定。
最后，搖攝運動補償需要搖攝速度邏輯電路22實現(xiàn)的下述等式 的反復實施
tc = (Vh tf) /(FOV/(mag th) (等式1)
射
tc=補償時間(秒) Vh=攝像機的旋轉(zhuǎn)速率(度每秒) tf=視頻場周期(秒) FOV-l倍放大率時的攝像機視場(度) mag=攝像機透鏡的放大率因子；及 th= —行有效視頻的周期(秒)
在本發(fā)明的該實施例中，搖攝速度邏輯電路22還計算下述等式 以確定圖像必須移位的像素數(shù)量
nc二k'tc (等式2) 其中
nc=圖像必須移位的像素數(shù)量
iik=具有視頻時間延遲機制的分辨率確定的量綱(/sec)的乘數(shù)。
在實踐中，該乘數(shù)將通常以微秒表示的補償時間轉(zhuǎn)換為像素，即圖片
元素。標準圖像大小每視頻行具有720像素。在具有52.6^有效視 頻時間的NTSC中，像素為720/52.6或13.7像素/ps。因此，對于按 ps表示的補償時間，k=13.7。 tc=補償時間(秒)
等式1和2的計算應每視頻幀執(zhí)行一次以對水平運動保持最佳補償。
參考圖4，監(jiān)視系統(tǒng)10可具有連接到網(wǎng)絡18的攝像機控制器24 以控制攝像機12的運行?？刂菩盘栐诰W(wǎng)絡18上從攝像機控制器24 提供給解碼器28，解碼器將所述控制信號提供給攝像機12。在備選 實施例中，攝像機控制器24還可直接連接到攝像機12。用戶輸入設 備26如控制桿連接到攝像機控制器24以使用戶能通過運動控制桿而 控制攝像機12?？偟膩碚f，控制桿移得越遠，攝像機12運動越快。 用戶可使用控制桿追蹤感興趣目標或手動使攝像機12搖攝。當攝像 機12正快速運動時如在搖攝期間(在本領(lǐng)域中通常稱為掃描模式)， 使用本發(fā)明的運動補償系統(tǒng)，但當用戶正以合理的線性速度追蹤目標 時(在本領(lǐng)域通常稱為追蹤模式)通常關(guān)閉本發(fā)明的運動補償系統(tǒng)， 使得追蹤的圖像不被變模糊。如果用戶想要追蹤目標，則本發(fā)明的運 動補償可自動關(guān)掉。在設置期間，用戶可輸入搖攝速度邏輯電路22 打開或關(guān)閉運動補償時的速度閾值。例如，用戶可利用用戶輸入設備 26選擇其將采用用戶輸入設備26追蹤顯示器20上的目標的最大線 性速度，這通過運動顯示器20上所示柱圖上的光標以選擇最大追蹤 模式或通過輸入數(shù)值完成。 一旦在設置期間用戶選擇了閾值，該閾值 有攝像機控制器24在網(wǎng)絡18上發(fā)送給解碼器28，在那里閾值信號 被解碼并提供給搖攝速度邏輯電路22。搖攝速度邏輯電路22保存該 閾值并將來自攝像機12的速度信號與該閾值比較。當攝像機正由操 作員以低于預定閾值的速度運動時，搖攝速度邏輯電路22不向移位 寄存器14提供任何移位控制信號。 一旦攝像機12由操作員以大于預定閾值的速度運動時，搖攝速度邏輯電路22向移位寄存器14發(fā)出適 當?shù)囊莆豢刂菩盘栆詫嵤┻\動補償方法。預定速率或閾值可針對具體 環(huán)境和用途按需設置并可由用戶按需重新設置。通常，最大預定速率
或閾值可設為如果攝像機12以高于該最大預定速率或閾值的速率運 動則不能適當?shù)刈粉櫮繕说乃俣取?一旦搖攝速度邏輯電路22已切換 到運動補償模式，則運動補償持續(xù)，直到攝像機12的運動速率低于 閾值為止。
在備選實施例中，用戶可操作攝像機控制器24或用戶輸入設備 26上的控制按鈕以從使用本發(fā)明的運動補償?shù)膾呙枘Ｊ角袚Q到使用 戶能追蹤感興趣目標的手動控制模式。在另一實施例中，當用戶運動 用戶輸入設備24以控制攝像機12的運動時，攝像機控制器24可自 動切換模式；然而，當用戶正以大于閾值的速度運動攝像機時，該實 施例不引起運動補償附加的優(yōu)點因而不引起背景圖像改善。
應當理解，在不背離本發(fā)明范圍的情況下，可對本發(fā)明進行變化 和修改。還應當理解，本發(fā)明的范圍不解釋為限于在此公開的具體實 施例，而是與按照前述公開內(nèi)容理解的所附權(quán)利要求一致。
權(quán)利要求
1、補償視頻監(jiān)視攝像機運動的方法，該方法包括步驟運動隔行攝像機；在第一時間點捕獲幀的第一視頻場；在第二時間點捕獲幀的第二視頻場；確定攝像機的運動速度；及基于第一時間點和第二時間點之間的時間段及攝像機的運動速度改變第一和第二視頻場之間的關(guān)系。
2、 根據(jù)權(quán)利要求1的方法，其中所述運動步驟包括使攝像機搖攝。
3、 根據(jù)權(quán)利要求1的方法，其中所述運動步驟包括使攝像機傾斜。
4、 根據(jù)權(quán)利要求1的方法，其中所述改變步驟包括確定攝像機 在第一時間點和第二時間點之間己運動的像素數(shù)量并基于所確定的 像素數(shù)量改變第一和第二視頻場之間的關(guān)系。
5、 根據(jù)權(quán)利要求1的方法，其中所述改變步驟包括延遲所述第 一和第二視頻場之一。
6、 根據(jù)權(quán)利要求1的方法，其中所述改變步驟包括延遲所述第 一和第二視頻場。
7、 根據(jù)權(quán)利要求1的方法，其中所述改變步驟包括將第一視頻 場提供給移位寄存器，將第二視頻場提供給移位寄存器，及控制第一 視頻場和第二視頻場中從移位寄存器輸出的視頻場的延遲量。
8、 根據(jù)權(quán)利要求7的方法，其中所述改變步驟還包括確定攝像 機在第一時間點和第二時間點之間已運動的像素數(shù)量并基于所確定 的像素數(shù)量控制第一視頻場和第二視頻場中從移位寄存器輸出的視 頻場的延遲量。
9、 根據(jù)權(quán)利要求8的方法，其中所述運動步驟包括使攝像機搖攝。
10、 根據(jù)權(quán)利要求1的方法，其中所述改變步驟包括求解下述等式tc = (Vh tf) /(FOV/(mag th)其中tc=補償時間；Vh=攝像機的旋轉(zhuǎn)速率；tf=攝像機的視頻場周期；FOV= 1倍放大率時的攝像機視場；mag=攝像機透鏡的放大率因子；及th=攝像機的一行有效視頻的周期。
11、 根據(jù)權(quán)利要求10的方法，其中所述改變步驟還包括求解下 述等式-nc = k tc其中-nc=圖像必須移位的像素數(shù)量；k =由攝像機的視頻圖像的分辨率和攝像機的有效視頻時間確 定的乘數(shù)；tc=補償時間。
12、 根據(jù)權(quán)利要求1的方法，還包括確定用戶運動攝像機的速度， 將所確定的用戶運動攝像機的速度與預定速度比較，及其中當用戶運 動攝像機的速度大于預定速度時執(zhí)行所述改變步驟。
13、 根據(jù)權(quán)利要求12的方法，還包括在所確定的用戶運動攝像 機的速度低于預定速度時停止所述改變步驟。
14、 補償監(jiān)視攝像機運動的裝置，包括用于產(chǎn)生包括幀的第一 和第二場的可運動隔行攝像機；連接到所述攝像機并用于接收所述第 一和第二場的移位寄存器；用于向所述移位寄存器提供控制信號的控 制器；連接到所述攝像機和控制器并用于檢測攝像機的運動速度及將 表明所述攝像機的運動速度的信號提供給控制器的檢測器；及連接到 移位寄存器并用于顯示由所述幀產(chǎn)生的圖像的顯示器，其中所述控制 器向所述移位寄存器提供信號以基于第一和第二場產(chǎn)生之間的時間 及表明攝像機的運動速度的信號延遲所述幀的第一和第二場之一。
15、根據(jù)權(quán)利要求14的裝置，其中所述檢測器檢測所述攝像機 的搖攝速度。
16、根據(jù)權(quán)利要求14的裝置，其中所述檢測器檢測所述攝像機的傾斜速度。
17、 根據(jù)權(quán)利要求14的裝置，其中所述攝像機包括所述檢測器。
18、 根據(jù)權(quán)利要求14的裝置，其中所述攝像機具有視頻場周期、 視場、放大率因子及圖像的一行有效視頻的周期，及所述控制器求解下述等式<formula>formula see original document page 4</formula>其中、=補償時間；Vh=攝像機的旋轉(zhuǎn)速率；tf=攝像機的視頻場周期；FOV= 1倍放大率時的攝像機視場；mag=攝像機透鏡的放大率因子；及th=攝像機的一行有效視頻的周期。
19、 根據(jù)權(quán)利要求18的裝置，其中所述攝像機具有視頻圖像分辨率和有效視頻時間，及所述控制器求解下述等式nc = k tc其中nc=圖像必須移位的像素數(shù)量；k =由攝像機的視頻圖像的分辨率和攝像機的有效視頻時間確 定的乘數(shù)；tc=補償時間。
20、 根據(jù)權(quán)利要求14的裝置，還包括連接到所述攝像機的攝像 機控制器及連接到所述攝像機控制器的用戶輸入設備，該用戶輸入設 備向所述攝像機控制器提供控制所述攝像機運動速度的輸入，及其中 所述控制器將所述檢測器檢測到的速度與預定速度比較并在所述檢測器檢測到的速度大于所述預定速度時將所述信號提供給所述移位 寄存器。
21、根據(jù)權(quán)利要求20的裝置，其中在所述檢測器檢測到的速度低于所述預定速度時，所述控制器不向所述移位寄存器提供所述信 號。
全文摘要
本發(fā)明公開了補償視頻監(jiān)視攝像機運動的方法，該方法包括步驟運動隔行攝像機；在第一時間點捕獲幀的第一視頻場；在第二時間點捕獲幀的第二視頻場；確定攝像機的運動速度；及基于第一時間點和第二時間點之間的時間段及攝像機的運動速度改變第一和第二視頻場之間的關(guān)系。
文檔編號H04N5/228GK101496394SQ200780028070
公開日2009年7月29日 申請日期2007年8月1日 優(yōu)先權(quán)日2006年8月1日
發(fā)明者R·塞克斯頓, S·N·格里戈里安, Y·卡姆科 申請人:派爾高公司