視頻圖像穩(wěn)定化的制作方法
【專(zhuān)利摘要】本發(fā)明涉及一種方法，其包括：接收對(duì)于當(dāng)前視頻幀的裁剪信息；在攝影機(jī)傳感器處捕獲當(dāng)前視頻幀；利用第一裁剪窗口對(duì)當(dāng)前視頻幀施行第一裁剪從而形成經(jīng)過(guò)裁剪的視頻幀，其中已響應(yīng)于所接收到的裁剪信息對(duì)第一裁剪窗口進(jìn)行了動(dòng)態(tài)調(diào)節(jié)；以及發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
【專(zhuān)利說(shuō)明】視頻圖像穩(wěn)定化

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的實(shí)施例涉及實(shí)現(xiàn)更好的圖像穩(wěn)定化。

【背景技術(shù)】
[0002] 圖像穩(wěn)定化方法可以被劃分成光學(xué)和數(shù)字兩個(gè)類(lèi)別。
[0003] 數(shù)字圖像穩(wěn)定化（DIS)方法使用數(shù)字信號(hào)處理方法從所捕獲的圖像序列中去除 不合需要的全局運(yùn)動(dòng)。所述處理去除由于攝影機(jī)相對(duì)于所捕獲場(chǎng)景的不合需要的移動(dòng)而導(dǎo) 致的運(yùn)動(dòng)偽像。


【發(fā)明內(nèi)容】

[0004] 根據(jù)本發(fā)明的各個(gè)而不一定是所有實(shí)施例，提供一種方法，其包括：接收對(duì)于當(dāng)前 視頻幀的裁剪信息；在攝影機(jī)傳感器處捕獲當(dāng)前視頻幀；
[0005] 利用第一裁剪窗口對(duì)當(dāng)前視頻幀施行第一裁剪從而形成經(jīng)過(guò)裁剪的視頻幀，其中 已響應(yīng)于所接收到的裁剪信息對(duì)第一裁剪窗口進(jìn)行了動(dòng)態(tài)調(diào)節(jié)；以及
[0006] 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
[0007] 根據(jù)本發(fā)明的各個(gè)而不一定是所有實(shí)施例，提供一種設(shè)備，其包括：被配置成捕獲 當(dāng)前視頻幀的攝影機(jī)傳感器；被配置成實(shí)施以下操作的裁剪電路：
[0008] 接收對(duì)于當(dāng)前視頻幀的裁剪信息；
[0009] 響應(yīng)于裁剪信息定義第一裁剪窗口；
[0010] 利用第一裁剪窗口對(duì)當(dāng)前視頻幀進(jìn)行裁剪，從而形成經(jīng)過(guò)裁剪的視頻幀；以及
[0011] 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
[0012] 根據(jù)本發(fā)明的各個(gè)而不一定是所有實(shí)施例，提供一種設(shè)備，其包括：至少一個(gè)處理 器；以及包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼 被配置成利用所述至少一個(gè)處理器使得攝影機(jī)模塊對(duì)于一系列視頻幀當(dāng)中的每一個(gè)視頻 幀至少施行以下操作 ：
[0013] 接收對(duì)于當(dāng)前視頻幀的裁剪信息；
[0014] 響應(yīng)于裁剪信息動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗口；
[0015] 利用第一裁剪窗口對(duì)當(dāng)前視頻幀施行第一裁剪，從而形成經(jīng)過(guò)裁剪的視頻幀；以 及
[0016] 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
[0017] 根據(jù)本發(fā)明的各個(gè)而不一定是所有實(shí)施例，提供一種方法，其包括：
[0018] 在攝影機(jī)模塊處接收對(duì)于視頻幀的裁剪信息；
[0019] 在攝影機(jī)模塊處獲得經(jīng)過(guò)裁剪的視頻幀；以及
[0020] 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
[0021] 根據(jù)本發(fā)明的各個(gè)而不一定是所有實(shí)施例，提供一種方法，其包括：
[0022] 接收對(duì)于視頻幀的裁剪信息；
[0023] 在攝影機(jī)傳感器處捕獲經(jīng)過(guò)裁剪的視頻幀；
[0024] 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0025] 為了更好地理解本發(fā)明的各個(gè)示例性實(shí)施例，下面將僅通過(guò)舉例的方式來(lái)參照附 圖，其中：
[0026] 圖1示出了用于在數(shù)字圖像穩(wěn)定化之前處理所捕獲的視頻幀的方法的一個(gè)實(shí)例；
[0027] 圖2示出了視頻幀和經(jīng)過(guò)裁剪的視頻幀的一個(gè)實(shí)例；
[0028] 圖3示出了經(jīng)過(guò)裁剪的視頻幀和經(jīng)過(guò)雙重裁剪的視頻幀的一個(gè)實(shí)例；
[0029] 圖4示出了包括攝影機(jī)模塊和主機(jī)設(shè)備的系統(tǒng)的一個(gè)實(shí)例；
[0030] 圖5示出了裁剪電路的一個(gè)實(shí)例；
[0031] 圖6示出了用于施行極端數(shù)字圖像穩(wěn)定化的方法的一個(gè)實(shí)例；
[0032] 圖7和8示出了用于施行涉及利用廣角光學(xué)器件捕獲的視頻幀的極端數(shù)字圖像穩(wěn) 定化的方法的實(shí)例；以及
[0033] 圖9示出了用于施行極端數(shù)字圖像穩(wěn)定化和元數(shù)據(jù)覆蓋的方法的一個(gè)實(shí)例。

【具體實(shí)施方式】
[0034] 在可佩戴攝影機(jī)系統(tǒng)中，攝影機(jī)并不總是被持握在手中。因此，不存在通過(guò)手相對(duì) 于用戶(hù)身體的移動(dòng)而實(shí)現(xiàn)的關(guān)節(jié)式穩(wěn)定化。因此，數(shù)字圖像穩(wěn)定化需要補(bǔ)償與用戶(hù)的身體 移動(dòng)相關(guān)聯(lián)的極端攝影機(jī)移動(dòng)。
[0035] 在某些使用情況中，用戶(hù)可能專(zhuān)注于例如體育運(yùn)動(dòng)之類(lèi)的活動(dòng)而不是視頻記錄， 并且用戶(hù)的身體移動(dòng)可能由用戶(hù)活動(dòng)決定而不是保持?jǐn)z影機(jī)的穩(wěn)定性。實(shí)際上對(duì)于用戶(hù)來(lái) 說(shuō)可能希望完全專(zhuān)注于所述活動(dòng)。
[0036] 發(fā)明人已經(jīng)認(rèn)識(shí)到，需要更加魯棒的數(shù)字圖像穩(wěn)定化。
[0037] 這可以通過(guò)使用能夠?qū)τ谳敵鲆曨l幀支持大量裁剪并且仍然保持足夠分辨率 (像素計(jì)數(shù)）的高分辨率（高像素計(jì)數(shù)）攝影機(jī)傳感器以及通過(guò)使用對(duì)于視頻幀的先發(fā)性、 自適應(yīng)裁剪來(lái)實(shí)現(xiàn)，以便在施行數(shù)字圖像穩(wěn)定化之前降低其分辨率（像素計(jì)數(shù)）。
[0038] 如果在數(shù)字圖像穩(wěn)定化之前不對(duì)視頻幀進(jìn)行裁剪，則由于與高分辨率（像素計(jì) 數(shù)）視頻幀的傳輸、處理和存儲(chǔ)相關(guān)聯(lián)的帶寬的增加，成本也將會(huì)增加。
[0039] 圖1示出了用于在數(shù)字圖像穩(wěn)定化之前對(duì)所捕獲的視頻幀進(jìn)行處理的方法10的 一個(gè)實(shí)例。方法10包括：在方塊3處，接收對(duì)于當(dāng)前視頻幀10的裁剪信息4 ;在方塊5處， 在攝影機(jī)傳感器22處捕獲當(dāng)前視頻幀10 ;在方塊7處，利用第一裁剪窗口 11對(duì)當(dāng)前視頻 幀10施行第一裁剪從而形成經(jīng)過(guò)裁剪的視頻幀12,其中已響應(yīng)于所接收到的裁剪信息4對(duì) 第一裁剪窗口 11進(jìn)行了動(dòng)態(tài)調(diào)節(jié)；以及在方塊9處，發(fā)送經(jīng)過(guò)裁剪的視頻幀12以用于數(shù)字 圖像穩(wěn)定化66。
[0040] 裁剪信息4可以基于（多個(gè)）歷史視頻幀而不是當(dāng)前視頻幀10來(lái)估計(jì)對(duì)于當(dāng)前 視頻幀10的裁剪窗口 11。因此，裁剪信息4可以取決于一個(gè)或更多先前視頻幀而不是當(dāng)前 視頻幀10。通過(guò)使用（多個(gè)）歷史視頻幀而不是當(dāng)前視頻幀10允許在無(wú)需傳輸、處理和存 儲(chǔ)整個(gè)當(dāng)前視頻幀10的情況下發(fā)生對(duì)于當(dāng)前視頻幀10的裁剪。
[0041] 對(duì)于一系列視頻幀當(dāng)中的每一個(gè)視頻幀重復(fù)方法10。
[0042] 圖2示出了當(dāng)前視頻幀10的一個(gè)實(shí)例。當(dāng)前視頻幀10具有N個(gè)像素的寬度和Μ 個(gè)像素的高度。
[0043] 圖2還示出了第一裁剪窗口 11。該裁剪窗口 11位于當(dāng)前視頻幀10內(nèi)的坐標(biāo)（X，y) 處，并且具有m個(gè)像素的寬度和η個(gè)像素的高度。經(jīng)過(guò)裁剪的視頻幀12是當(dāng)前視頻幀10 的位于第一裁剪窗口 11內(nèi)的該部分。
[0044] 經(jīng)過(guò)裁剪的視頻幀12的視場(chǎng)由裁剪窗口 11的尺寸（mxn)以及攝影機(jī)相對(duì)于裁剪 區(qū)域的光學(xué)特性決定。
[0045] 經(jīng)過(guò)裁剪的視頻幀12的內(nèi)容由裁剪窗口 11的尺寸（mxn)和裁剪窗口 11的位置 (X，y)決定。
[0046] -系列所捕獲的視頻幀當(dāng)中的某一視頻幀在其剛剛被捕獲后是"當(dāng)前的"。其是可 用于處理的最近的視頻幀。每一個(gè)當(dāng)前視頻幀10與其自身的裁剪信息4相關(guān)聯(lián)，所述裁剪 信息4可以基于（多個(gè)）歷史視頻幀估計(jì)對(duì)于相關(guān)聯(lián)的當(dāng)前視頻幀10的裁剪窗口 11。
[0047] 由于對(duì)應(yīng)于每一個(gè)當(dāng)前幀10的歷史是不同的，因此可以利用不同的裁剪窗口 11 對(duì)每一個(gè)當(dāng)前幀10進(jìn)行裁剪。因此可以對(duì)于一系列視頻幀當(dāng)中的每一個(gè)視頻幀動(dòng)態(tài)地調(diào) 節(jié)裁剪窗口 11。
[0048] 在一系列視頻幀10期間對(duì)于裁剪窗口 11的動(dòng)態(tài)調(diào)節(jié)例如可以涉及響應(yīng)于裁剪信 息4調(diào)節(jié)第一裁剪窗口 11的位置（X，y)。
[0049] 在一系列視頻幀10期間對(duì)于裁剪窗口 11的動(dòng)態(tài)調(diào)節(jié)例如可以涉及響應(yīng)于裁剪信 息4調(diào)節(jié)裁剪窗口 11的尺寸（mxn)。
[0050] 裁剪窗口 11可以被約束到小于當(dāng)前視頻幀10的尺寸的一個(gè)已定義的閾值分?jǐn)?shù)。 這一約束可以被選擇成防止對(duì)于經(jīng)過(guò)裁剪的視頻幀12的傳輸、處理或存儲(chǔ)需求變得過(guò)高。
[0051] 第一裁剪窗口 11例如可以小于當(dāng)前視頻幀10的尺寸的1/4,小于當(dāng)前視頻幀10 的尺寸的1/9,或者甚至更小。
[0052] 裁剪信息4可以定義第一裁剪窗口 11的尺寸從而使其預(yù)期會(huì)足夠大于當(dāng)前視頻 幀10內(nèi)的某一感興趣區(qū)段，以便允許利用經(jīng)過(guò)裁剪的視頻幀12對(duì)所述感興趣區(qū)段進(jìn)行數(shù) 字圖像穩(wěn)定化。
[0053] 裁剪信息4還可以定義第一裁剪窗口 11的尺寸從而使其預(yù)期會(huì)足夠大于所述感 興趣區(qū)段，以便允許鄰近感興趣區(qū)段顯示元數(shù)據(jù)。
[0054] 如果視頻幀被攝影機(jī)模塊20縮放到不同的分辨率，則裁剪信息4還可以取決于圖 像縮放參數(shù)。
[0055] 圖4示出了包括攝影機(jī)模塊20和主機(jī)設(shè)備30的系統(tǒng)37的一個(gè)實(shí)例。在一些而 不一定是所有實(shí)施例中，系統(tǒng)37可以是可佩戴視頻攝影機(jī)系統(tǒng)。
[0056] 圖像捕獲和低層級(jí)圖像處理可以在攝影機(jī)模塊20中發(fā)生。
[0057] 在該例中，攝影機(jī)模塊20包括：被配置成捕獲當(dāng)前視頻幀10的攝影機(jī)傳感器22 ;
[0058] 被配置成從主機(jī)設(shè)備接收對(duì)于當(dāng)前視頻幀10的裁剪信息4的接口 31 ;以及
[0059] 裁剪電路26,其被配置成利用第一裁剪窗口 11對(duì)當(dāng)前視頻幀10進(jìn)行裁剪從而形 成經(jīng)過(guò)裁剪的視頻巾貞12,其中已響應(yīng)于所接收到的裁剪信息4對(duì)第一裁剪窗口 11進(jìn)行了動(dòng) 態(tài)調(diào)節(jié)，并且還被配合成經(jīng)由接口 31發(fā)送經(jīng)過(guò)裁剪的視頻幀12以用于在主機(jī)設(shè)備30中進(jìn) 行數(shù)字圖像穩(wěn)定化。
[0060] 攝影機(jī)傳感器22可以是能夠支持大量裁剪并且仍然對(duì)于經(jīng)過(guò)裁剪的視頻幀12的 適當(dāng)顯示保持足夠分辨率的高分辨率圖像傳感器。舉例來(lái)說(shuō)，所述攝影機(jī)傳感器可以具有 超出3000萬(wàn)像素。
[0061] 在所示出的實(shí)例中，單一接口 31將攝影機(jī)模塊20與主機(jī)設(shè)備30互連。該單一物 理接口 31同時(shí)提供用于裁剪信息4的傳送的輸入接口 58和用于經(jīng)過(guò)裁剪的視頻幀12的 傳送的輸出接口 57。在其他實(shí)施例中，輸入接口 58和輸出接口 57可以在物理上分開(kāi)。
[0062] 在該例中，攝影機(jī)模塊20還包括被配置成控制在攝影機(jī)傳感器22處捕獲的視頻 幀的攝影機(jī)控制電路24。
[0063] 攝影機(jī)模塊20可以輸出未經(jīng)處理的視頻幀數(shù)據(jù)，或者在某些情況下可以輸出壓 縮視頻幀流。
[0064] 主機(jī)設(shè)備30被配置成向攝影機(jī)模塊20提供裁剪信息4,并且從攝影機(jī)模塊20接 收經(jīng)過(guò)裁剪的視頻幀12。主機(jī)設(shè)備30被配置成對(duì)于所接收到的經(jīng)過(guò)裁剪的視頻幀12施行 數(shù)字圖像穩(wěn)定化。
[0065] 作為數(shù)字圖像穩(wěn)定化處理的一部分，主機(jī)設(shè)備30被配置成利用第二裁剪窗口 13 對(duì)經(jīng)過(guò)裁剪的視頻幀12施行裁剪，從而形成經(jīng)過(guò)雙重裁剪的視頻幀14。在圖3中示出了對(duì) 于經(jīng)過(guò)裁剪的視頻幀12的裁剪從而形成經(jīng)過(guò)雙重裁剪的視頻幀14。
[0066] 主機(jī)設(shè)備30被配置成通過(guò)對(duì)經(jīng)過(guò)裁剪的視頻幀10本身進(jìn)行分析來(lái)確定對(duì)于經(jīng)過(guò) 裁剪的視頻幀12的裁剪。可以逐個(gè)視頻幀地對(duì)第二裁剪窗口 13的位置和/或尺寸進(jìn)行動(dòng) 態(tài)調(diào)節(jié)。通常來(lái)說(shuō)，第二裁剪窗口 13的尺寸和位置被確定為確保感興趣區(qū)段保持在經(jīng)過(guò)雙 重裁剪的視頻幀14內(nèi)并且可能在其中處于居中位置。
[0067] 關(guān)于可以被用來(lái)跟蹤感興趣區(qū)段的數(shù)字處理技術(shù)的文獻(xiàn)記錄有很多。例如參見(jiàn) Richard Hartley 等人的"Multiple View geometry in computer vision (計(jì)算機(jī)視覺(jué)中 的多視圖幾何學(xué)）"（第2版第4章）以及其他教科書(shū)。
[0068] 主機(jī)設(shè)備30被配置成重復(fù)使用被施行來(lái)識(shí)別第二裁剪窗口 13的處理以便生成對(duì) 應(yīng)于下一個(gè)視頻幀的裁剪信息4。裁剪信息4例如可以標(biāo)識(shí)出現(xiàn)在被使用在數(shù)字圖像穩(wěn)定 化中的第二裁剪窗口 13。該裁剪信息隨后被用來(lái)對(duì)后續(xù)的當(dāng)前視頻幀10進(jìn)行裁剪。
[0069] 可以逐幀地動(dòng)態(tài)調(diào)節(jié)第二裁剪窗口 13的位置和/或尺寸。作為響應(yīng)，還可以在具 有一定滯后的情況下類(lèi)似地動(dòng)態(tài)調(diào)節(jié)第一裁剪窗口 11的位置。
[0070] 主機(jī)設(shè)備30可以被配置成將元數(shù)據(jù)引入到經(jīng)過(guò)雙重裁剪的視頻幀14中，比如輸 出視頻幀的視向。
[0071] 在所示出的實(shí)例中，主機(jī)設(shè)備30包括圖像信號(hào)處理器32。其包括被配置成通過(guò) 分析經(jīng)過(guò)裁剪的視頻幀10本身來(lái)確定對(duì)應(yīng)于經(jīng)過(guò)裁剪的視頻幀12的裁剪窗口 13的電路 60'。其還包括被配置成利用第二裁剪窗口 13對(duì)經(jīng)過(guò)裁剪的視頻巾貞12進(jìn)行裁剪從而形成 經(jīng)過(guò)雙重裁剪的視頻幀14的電路55'。例如從圖6到9的方塊60和50可以認(rèn)識(shí)到電路 60'和電路55'的操作。
[0072] 在圖4所示出的實(shí)例中，主機(jī)設(shè)備30還包括中央處理單元34和圖形處理單元36。
[0073] 主機(jī)設(shè)備30被配置成從/向存儲(chǔ)器40進(jìn)行讀取和寫(xiě)入，經(jīng)過(guò)雙重裁剪的視頻幀 14可以被存儲(chǔ)在其中以供將來(lái)訪問(wèn)。
[0074] 主機(jī)設(shè)備30被配置成向顯示器42提供命令，其中經(jīng)過(guò)雙重裁剪的視頻幀14可以 被顯示為一個(gè)圖像序列。
[0075] 因此，系統(tǒng)37施行兩階段裁剪以便獲得數(shù)字圖像穩(wěn)定化。一個(gè)階段在攝影機(jī)模塊 20處施行，第二階段在主機(jī)設(shè)備30處施行。
[0076] 在第一階段中使用粗略估計(jì)的裁剪窗口 11以減小帶寬。隨后在第二階段中對(duì)所 得到的經(jīng)過(guò)裁剪的視頻幀12施行更加精確的數(shù)字圖像穩(wěn)定化。
[0077] 因此，攝影機(jī)模塊20避免將非常高分辨率的視頻幀序列從攝影機(jī)模塊20流送到 主機(jī)設(shè)備30以進(jìn)行處理。作為一個(gè)實(shí)例，如果攝影機(jī)傳感器22產(chǎn)生20兆像素分辨率視頻 幀10,則為了使得經(jīng)過(guò)雙重裁剪的視頻幀14具有高清晰度視圖1980xl080p的分辨率（2兆 像素），接口 31可以利用遠(yuǎn)低于20兆像素（例如2兆像素）來(lái)傳送經(jīng)過(guò)裁剪的視頻幀12。 如果沒(méi)有在攝影機(jī)模塊20處對(duì)視頻幀10進(jìn)行裁剪，則由于帶寬的增加將會(huì)導(dǎo)致成本增加。
[0078] 盡管使用了高分辨率攝影機(jī)傳感器22,但是由于攝影機(jī)模塊20處的裁剪，不需要 使用特殊設(shè)計(jì)的總線來(lái)進(jìn)行高帶寬傳輸，并且不需要特殊設(shè)計(jì)的處理器和存儲(chǔ)器來(lái)進(jìn)行高 帶寬數(shù)字信號(hào)處理。這樣不僅節(jié)省了潛在的硬件成本，而且還降低了攝影機(jī)系統(tǒng)37的潛在 能量消耗。
[0079] 圖6示出了用于施行極端數(shù)字圖像穩(wěn)定化的方法50的一個(gè)實(shí)例。
[0080] 在方塊51處，可以調(diào)節(jié)攝影機(jī)光學(xué)器件以便獲得所期望的聚焦和可能的光學(xué)變 焦。
[0081] 在方塊52處，通過(guò)攝影機(jī)傳感器22捕獲當(dāng)前視頻幀10。
[0082] 在方塊53處，利用第一裁剪窗口 11對(duì)當(dāng)前視頻巾貞10進(jìn)行裁剪，從而形成經(jīng)過(guò)裁 剪的視頻幀12。
[0083] 隨后把經(jīng)過(guò)裁剪的視頻幀12從攝影機(jī)模塊20提供到主機(jī)設(shè)備30。
[0084] 在方塊55處，對(duì)經(jīng)過(guò)裁剪的視頻巾貞12進(jìn)一步進(jìn)行裁剪，從而產(chǎn)生經(jīng)過(guò)雙重裁剪的 視頻幀14。所述進(jìn)一步裁剪提供了數(shù)字圖像穩(wěn)定化。
[0085] 在方塊56處，輸出經(jīng)過(guò)雙重裁剪的視頻幀14。
[0086] 第二項(xiàng)進(jìn)一步裁剪由數(shù)字圖像穩(wěn)定化方塊60控制。該方塊控制被用來(lái)形成經(jīng)過(guò) 雙重裁剪的視頻幀14的第二裁剪窗口 13的位置和/或尺寸。
[0087] 數(shù)字圖像穩(wěn)定化方塊60可以采取許多形式。在所示出的實(shí)例中，圖形序列預(yù)處理 在方塊61處發(fā)生。這例如可以涉及將彩色圖像轉(zhuǎn)換成灰度圖像。接下來(lái)在方塊62處，局 部移動(dòng)估計(jì)發(fā)生。舉例來(lái)說(shuō)，可以識(shí)別出圖像內(nèi)的感興趣點(diǎn)。在方塊63處，全局運(yùn)動(dòng)估計(jì) 發(fā)生。這可以涉及最小化所期望的成本函數(shù)。
[0088] 接下來(lái)在方塊64處，對(duì)全局運(yùn)動(dòng)估計(jì)進(jìn)行過(guò)濾，以便確保第二裁剪窗口 13的平滑 重定位。所述過(guò)濾通常是情境敏感的。取決于操作模式可以施行不同的過(guò)濾。
[0089] 數(shù)字圖像穩(wěn)定化算法通常具有用于區(qū)分搖攝（panning)和無(wú)規(guī)則移動(dòng)的一些經(jīng) 驗(yàn)閾值?？梢愿鶕?jù)系統(tǒng)37的操作模式對(duì)這些閾值進(jìn)行調(diào)節(jié)。
[0090] 例如對(duì)于旅行電影模式，對(duì)于風(fēng)景的穩(wěn)定渲染的強(qiáng)調(diào)超過(guò)對(duì)于移動(dòng)的精確監(jiān)測(cè)。 小尺度圖像穩(wěn)定化可以總是發(fā)生，并且可以抑制大尺度圖像穩(wěn)定化以允許搖攝。
[0091] 例如對(duì)于體育運(yùn)動(dòng)電影（定向越野）模式，很重要的是從頭戴式視頻中看到參與 者在體育賽事期間所看到或者可能看到的景象。對(duì)于風(fēng)景的穩(wěn)定渲染沒(méi)有記錄參與者的大 尺度快速移動(dòng)重要。當(dāng)系統(tǒng)37具有大尺度移動(dòng)時(shí)，小尺度圖像穩(wěn)定化可以總是發(fā)生，并且 可以暫時(shí)抑制大尺度圖像穩(wěn)定化。
[0092] 在另一個(gè)實(shí)例中，對(duì)于體育運(yùn)動(dòng)電影（山地自行車(chē)）模式，攝影機(jī)系統(tǒng)顯示出不同 的海拔高度（elevation)如何影響表現(xiàn)，這是通過(guò)把地平線保持在恒定水平并且使得攝影 機(jī)視圖與移動(dòng)方向?qū)?zhǔn)，而不對(duì)自行車(chē)在轉(zhuǎn)彎時(shí)的自然傾斜做出補(bǔ)償。這種模式對(duì)于視頻 的舒適觀看提供了最大圖像穩(wěn)定性以及來(lái)自例如蹬車(chē)之類(lèi)的用戶(hù)的周期性移動(dòng)的最小干 擾。
[0093] 前面的實(shí)例示出了不同的應(yīng)用如何可能對(duì)于數(shù)字圖像穩(wěn)定化具有不同的要求。極 端數(shù)字圖像穩(wěn)定化系統(tǒng)的好處在于，大尺度圖像穩(wěn)定化可以在很大程度上通過(guò)圖像裁剪7 進(jìn)行，從而數(shù)字圖像穩(wěn)定化9可以在更加有限數(shù)量的圖像數(shù)據(jù)12上操作。當(dāng)視頻幀裁剪提 供可預(yù)測(cè)的經(jīng)過(guò)裁剪的視頻幀時(shí)，對(duì)應(yīng)于數(shù)字圖像穩(wěn)定化的處理負(fù)荷變得更加魯棒，并且 受到由于不同大小的攝影機(jī)移動(dòng)所導(dǎo)致的處理負(fù)荷變化的影響更小。數(shù)字圖像穩(wěn)定化可以 節(jié)省存儲(chǔ)器帶寬，這是因?yàn)槠淇梢园褕D像穩(wěn)定化集中在經(jīng)過(guò)裁剪的幀12內(nèi)而不是處理整 個(gè)圖像幀10。
[0094] 可以使用一個(gè)或更多運(yùn)動(dòng)傳感器（例如三維加速度計(jì)、陀螺儀或電子羅盤(pán)）來(lái)檢 測(cè)運(yùn)動(dòng)和/或指向的突然改變。
[0095] 圖7示意性地示出了方法50的另一個(gè)實(shí)例。該方法類(lèi)似于參照?qǐng)D6描述的方法， 并且相同的附圖標(biāo)記被用來(lái)標(biāo)示相同的特征。關(guān)于圖6給出的方法50的操作描述同樣與 圖7相關(guān)，這里將不再重復(fù)。相反重點(diǎn)將強(qiáng)調(diào)圖7中所示出的方法50與圖6中所示出的方 法50的不同之處。
[0096] 在該例中，在方塊51處使用的光學(xué)器件是增大當(dāng)前視頻幀10的視場(chǎng)（FoV)的廣 角光學(xué)器件。這樣提供了在其上施行所述兩階段裁剪的更大區(qū)域。這樣的廣角光學(xué)器件的 一個(gè)實(shí)例是提供180度FoV的魚(yú)眼透鏡，以及提供360度水平FoV的全景光學(xué)器件。
[0097] 在該例中，在方塊67處對(duì)經(jīng)過(guò)裁剪的視頻幀12進(jìn)行校正，以便校正在方塊51處 由廣角光學(xué)器件引入的失真。方塊67可以位于攝影機(jī)模塊20或主機(jī)設(shè)備30中，從而使其 校正經(jīng)過(guò)裁剪的視頻幀12。
[0098] 在方塊66處向方塊54和方塊67提供攝影機(jī)和光學(xué)器件參數(shù)。在方塊54處，所 述參數(shù)影響第一裁剪窗口 11的位置。在方塊67處，所述參數(shù)控制所應(yīng)用的圖像幾何結(jié)構(gòu) 校正。
[0099] 作為一種替換方案，如圖8中所示，方塊67可以在主機(jī)設(shè)備30中位于方塊55之 后，從而使其校正經(jīng)過(guò)雙重裁剪的視頻幀14。這是與圖7相比不同的實(shí)現(xiàn)方式，因?yàn)榉綁K 60處的數(shù)字圖像穩(wěn)定化在失真的經(jīng)過(guò)裁剪的視頻幀12上發(fā)生。
[0100] 圖9示意性地示出了方法50的另一個(gè)實(shí)例。該方法類(lèi)似于如在圖7中增強(qiáng)的參 照?qǐng)D6所描述的方法，并且相同的附圖標(biāo)記被用來(lái)標(biāo)示相同的特征。關(guān)于圖6給出的方法 50的操作描述同樣與圖9相關(guān)，這里將不再重復(fù)。關(guān)于圖7給出的方塊66和67的操作描 述同樣與圖9相關(guān)，這里將不再重復(fù)。相反重點(diǎn)將強(qiáng)調(diào)圖9中所示出的方法50與圖7中所 示出的方法50的不同之處。
[0101] 在方塊70處，元數(shù)據(jù)來(lái)源輸出元數(shù)據(jù)。所述元數(shù)據(jù)可以是任何適當(dāng)?shù)男畔?。其?如可以是羅盤(pán)方位、定位坐標(biāo)、速度、經(jīng)過(guò)的時(shí)間、地圖數(shù)據(jù)等等。
[0102] 在方塊71處，利用來(lái)自元數(shù)據(jù)來(lái)源的元數(shù)據(jù)施行元數(shù)據(jù)布局構(gòu)成。該方塊決定在 經(jīng)過(guò)雙重裁剪的視頻幀14中應(yīng)當(dāng)把元數(shù)據(jù)置于何處。其可以被放置成使得不會(huì)遮擋感興 趣區(qū)域。
[0103] 在方塊72處，將元數(shù)據(jù)覆蓋到經(jīng)過(guò)雙重裁剪的視頻幀14上。
[0104] 在方塊73處，施行元數(shù)據(jù)對(duì)準(zhǔn)調(diào)節(jié)以便調(diào)節(jié)方塊54處的第一裁剪窗口 11確定。 所述調(diào)節(jié)是基于如在方塊71處確定的元數(shù)據(jù)在經(jīng)過(guò)雙重裁剪的視頻幀14所處的位置來(lái)施 行的。在方塊72處，可以調(diào)節(jié)第一裁剪窗口 11以避免元數(shù)據(jù)覆蓋感興趣區(qū)域。第一裁剪 窗口 11可以足夠大于感興趣區(qū)段，以便允許鄰近感興趣區(qū)段顯示元數(shù)據(jù)。
[0105] 這樣就可以把無(wú)法利用傳統(tǒng)字幕技術(shù)實(shí)施的復(fù)雜元數(shù)據(jù)添加到視頻幀中。在圖像 編碼（例如視頻壓縮）之前將元數(shù)據(jù)添加到經(jīng)過(guò)雙重裁剪的視頻幀14中。元數(shù)據(jù)不限于 一種特定數(shù)據(jù)類(lèi)型，而是指代可以被嵌入到視頻幀中的輔助數(shù)據(jù)。元數(shù)據(jù)的一個(gè)實(shí)例例如 可以是來(lái)自次要攝影機(jī)的次要視頻流的畫(huà)中畫(huà)（PIP)覆蓋，其可以被嵌入到經(jīng)過(guò)雙重裁剪 的視頻幀中，或者可以把當(dāng)前位置的地形圖視圖嵌入到視頻幀中。
[0106] 在方塊75處示出了可以被用來(lái)跟蹤攝影機(jī)移動(dòng)的可選的傳感器系統(tǒng)。如前所述， 這例如可以在方塊60處的數(shù)字圖像穩(wěn)定化期間被用來(lái)在方塊64處控制過(guò)濾。所述傳感器 系統(tǒng)可以包括產(chǎn)生關(guān)于攝影機(jī)系統(tǒng)的移動(dòng)估計(jì)的相關(guān)聯(lián)的處理方塊。
[0107] 攝影機(jī)模塊20中的裁剪電路26可以利用實(shí)現(xiàn)硬件功能的指令來(lái)實(shí)施，例如通過(guò) 使用通用或?qū)Ｓ锰幚砥髦械目梢员淮鎯?chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)（盤(pán)、存儲(chǔ)器等等）上以便 由這樣的處理器執(zhí)行的可執(zhí)行計(jì)算機(jī)程序指令。
[0108] 作為一個(gè)實(shí)例參照?qǐng)D5,裁剪電路26可以包括處理器25和存儲(chǔ)器21。處理器25 被配置成從/向存儲(chǔ)器21進(jìn)行讀取和寫(xiě)入。處理器25還可以包括輸出接口和輸入接口， 經(jīng)由所述輸出接口由處理器輸出數(shù)據(jù)和/或命令，并且經(jīng)由所述輸入接口將數(shù)據(jù)和/或命 令輸入到處理器25。
[0109] 存儲(chǔ)器21存儲(chǔ)計(jì)算機(jī)程序23,其包括在被加載到處理器25中時(shí)控制裁剪電路26 的操作的計(jì)算機(jī)程序指令。計(jì)算機(jī)程序指令23提供使得設(shè)備能夠施行圖1、2和6到9中所 示出的方法的邏輯和例程。處理器25通過(guò)讀取存儲(chǔ)器21能夠加載并執(zhí)行計(jì)算機(jī)程序23。
[0110] 因此，所述攝影機(jī)模塊可以包括：至少一個(gè)處理器25 ;以及
[0111] 包括計(jì)算機(jī)程序代碼23的至少一個(gè)存儲(chǔ)器21，所述至少一個(gè)存儲(chǔ)器21和計(jì)算機(jī) 程序代碼23被配置成利用所述至少一個(gè)處理器25使得攝影機(jī)模塊20對(duì)于一系列視頻幀 當(dāng)中的每一個(gè)視頻幀至少施行以下操作：
[0112] 接收對(duì)于當(dāng)前視頻幀10的裁剪信息4 ;
[0113] 響應(yīng)于裁剪信息4動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗口 11 ;
[0114] 利用第一裁剪窗口 11對(duì)當(dāng)前視頻幀10施行第一裁剪，從而形成經(jīng)過(guò)裁剪的視頻 幀12 ;以及
[0115] 發(fā)送經(jīng)過(guò)裁剪的視頻幀12以用于數(shù)字圖像穩(wěn)定化。
[0116] 在一種替換實(shí)現(xiàn)方式中，取代在捕獲之后使用第一裁剪窗口 11來(lái)裁剪當(dāng)前視頻 幀10,裁剪窗口 11被用來(lái)控制當(dāng)前視頻10的捕獲。參照?qǐng)D4,裁剪控制電路26可以控制 攝影機(jī)控制電路24,從而僅啟用存在于攝影機(jī)傳感器中的傳感器元件的一個(gè)子集。所啟用 的傳感器元件的子集將對(duì)應(yīng)于裁剪窗口 11。因此，在攝影機(jī)傳感器22處直接捕獲經(jīng)過(guò)裁剪 的視頻幀12。
[0117] 因此，在這種實(shí)現(xiàn)方式中，所述攝影機(jī)模塊可以包括：至少一個(gè)處理器25 ;以及包 括計(jì)算機(jī)程序代碼23的至少一個(gè)存儲(chǔ)器21，所述至少一個(gè)存儲(chǔ)器21和計(jì)算機(jī)程序代碼23 被配置成利用所述至少一個(gè)處理器25使得攝影機(jī)模塊20對(duì)于一系列視頻幀當(dāng)中的每一個(gè) 視頻幀至少施行以下操作：
[0118] 接收對(duì)于視頻幀的裁剪信息4 ;
[0119] 在攝影機(jī)傳感器22處捕獲經(jīng)過(guò)裁剪的視頻幀12 ;以及
[0120] 發(fā)送經(jīng)過(guò)裁剪的視頻幀12以用于數(shù)字圖像穩(wěn)定化。
[0121] 計(jì)算機(jī)程序23可以經(jīng)由任何適當(dāng)?shù)倪f送機(jī)制到達(dá)系統(tǒng)37。所述遞送機(jī)制例如可 以是非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品、存儲(chǔ)器器件、例如緊致盤(pán)只讀存儲(chǔ)器 (CD-ROM)或數(shù)字通用盤(pán)（DVD)之類(lèi)的記錄介質(zhì)、有形地具體實(shí)現(xiàn)計(jì)算機(jī)程序23的制造品。 所述遞送機(jī)制可以是被配置成可靠地傳輸計(jì)算機(jī)程序23的信號(hào)。系統(tǒng)37可以將計(jì)算機(jī)程 序23作為計(jì)算機(jī)數(shù)據(jù)信號(hào)來(lái)傳播或傳送。
[0122] 雖然存儲(chǔ)器21被示出為單一組件，但是其可以被實(shí)施為一個(gè)或更多分開(kāi)的組件， 其中的一部分或全部可以被集成和/或可移除，并且/或者可以提供永久性/半永久性/ 動(dòng)態(tài)/高速緩存的存儲(chǔ)。
[0123] 在提到"計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)"、"計(jì)算機(jī)程序產(chǎn)品"、"有形地具體實(shí)現(xiàn)的計(jì)算機(jī)程 序"等等或者"控制器"、"計(jì)算機(jī)"、"處理器"、"電路"等等時(shí)，應(yīng)當(dāng)被理解成不僅涵蓋具有例 如單處理器/多處理器架構(gòu)以及順序（Von Neumann)/并行架構(gòu)之類(lèi)的不同架構(gòu)的計(jì)算機(jī)， 而且還涵蓋例如現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA)、專(zhuān)用集成電路（ASIC)、信號(hào)處理器件和其他處 理電路之類(lèi)的專(zhuān)用電路。在提到計(jì)算機(jī)程序、指令、代碼等等時(shí)，應(yīng)當(dāng)被理解成涵蓋用于可 編程處理器的軟件或者例如硬件器件的可編程內(nèi)容之類(lèi)的固件，不管是用于處理器的指令 還是用于固定功能器件、門(mén)陣列或可編程邏輯器件等等的配置設(shè)定。
[0124] 在本申請(qǐng)中所使用的術(shù)語(yǔ)"電路"指的是所有以下各項(xiàng)：
[0125] (a)僅有硬件的電路實(shí)現(xiàn)方式（比如僅在模擬和/或數(shù)字電路中的實(shí)現(xiàn)方式）；以 及
[0126] (b)電路與軟件（和/或固件）的組合，比如（適用于）：（i)(多個(gè)）處理器的組 合或者（ii)(多個(gè)）處理器/軟件的各個(gè)部分（其中包括一起工作來(lái)使得例如移動(dòng)電話或 服務(wù)器之類(lèi)的設(shè)備施行各項(xiàng)功能的（多個(gè)）數(shù)字信號(hào)處理器、軟件和（多個(gè)）存儲(chǔ)器）以 及
[0127] (c)需要軟件或固件來(lái)操作的電路，比如（多個(gè)）微處理器或（多個(gè)）微處理器的 一部分，盡管所述軟件或固件并不以物理方式存在。
[0128] "電路"的這一定義適用于本申請(qǐng)中對(duì)于該術(shù)語(yǔ)的所有使用，其中包括在任何權(quán)利 要求中的使用。作為另一個(gè)實(shí)例，在本申請(qǐng)中所使用的術(shù)語(yǔ)"電路"還將涵蓋僅有（多個(gè)） 處理器或者處理器的一部分連同其伴隨的軟件和/或固件的實(shí)現(xiàn)方式。如果適用于特定權(quán) 利要求元素，術(shù)語(yǔ)"電路"例如還將涵蓋用于移動(dòng)電話的基帶集成電路或應(yīng)用處理器集成電 路，或者服務(wù)器、蜂窩網(wǎng)絡(luò)器件或其他網(wǎng)絡(luò)器件中的類(lèi)似集成電路。
[0129] 這里所使用的術(shù)語(yǔ)"模塊"指的是排除將由末端制造商或用戶(hù)添加的特定部件/ 組件的單元或設(shè)備。
[0130] "視頻"的定義是指其中接連的各個(gè)圖像幀可以具有不同尺寸并且圖像捕獲間隔 還可以隨著時(shí)間變化的圖像序列。
[0131] 圖1中所示出的各個(gè)方塊可以代表一種方法中的各個(gè)步驟和/或計(jì)算機(jī)程序23 中各個(gè)代碼段。各個(gè)方塊的特定圖示順序并不一定意味著對(duì)于所述方塊存在所要求或優(yōu)選 的順序，并且可以改變方塊的順序和設(shè)置。此外還有可能省略某些方塊。
[0132] 雖然在前面的段落中參照各個(gè)實(shí)例描述了本發(fā)明的實(shí)施例，但是應(yīng)當(dāng)認(rèn)識(shí)到，在 不背離所要求保護(hù)的本發(fā)明的范圍的情況下可以對(duì)所給出的實(shí)例做出修改。
[0133] 前面的描述集中于單一視頻流的視頻穩(wěn)定化，但是也可以被應(yīng)用于多攝影機(jī)系 統(tǒng)，其中多臺(tái)攝影機(jī)例如在立體視頻攝影機(jī)中或者例如在可佩戴多攝影機(jī)系統(tǒng)中被機(jī)械耦 合在一起。
[0134] 在其中不同的攝影機(jī)模塊被機(jī)械耦合并且具有已知的相對(duì)視場(chǎng)的多攝影機(jī)系統(tǒng) 中，裁剪信息可以被聯(lián)合利用，這是因?yàn)楦鱾€(gè)攝影機(jī)模塊無(wú)法獨(dú)立地移動(dòng)。這方面的一個(gè)實(shí) 例是立體攝影機(jī)系統(tǒng)，其中裁剪信息可以在很大程度上對(duì)于左側(cè)和右側(cè)攝影機(jī)全部二者被 重復(fù)使用，這是因?yàn)榱Ⅲw攝影機(jī)具有已知的攝影機(jī)配置和視差。裁剪信息可以包括對(duì)于第 一裁剪窗口的尺寸和位置約束。此外，視頻穩(wěn)定化對(duì)于左側(cè)和右側(cè)視圖全部二者被同步，從 而使得視頻穩(wěn)定化不會(huì)干擾立體效果。在本領(lǐng)域內(nèi)還知道，圖像裁剪會(huì)與深度效果相互作 用，從而引入針對(duì)立體圖像穩(wěn)定化的附加約束。但是通過(guò)遵循立體成像領(lǐng)域內(nèi)的已知約束， 所提出的結(jié)構(gòu)可以被適配于立體圖像穩(wěn)定化。
[0135] 在前面的描述中所描述的各項(xiàng)特征可以按照不同于所明確描述的組合的其他組 合來(lái)使用。
[0136] 雖然前面參照特定特征描述了各項(xiàng)功能，但是這些功能可以由其他特征施行而不 管其是否被描述。
[0137] 雖然前面參照特定實(shí)施例描述了各項(xiàng)特征，但是這些特征還可以存在于其他實(shí)施 例中而不管其是否被描述。
[0138] 雖然在前面的說(shuō)明書(shū)中著力于引起對(duì)于據(jù)信是具有特別重要性的本發(fā)明的那些 特征的關(guān)注，但是應(yīng)當(dāng)理解的是， 申請(qǐng)人:在前文中所提到和/或在附圖中所示出的任何可 授予專(zhuān)利的特征或特征組合方面都要求保護(hù)，而不管是否對(duì)之給出了特別強(qiáng)調(diào)。
【權(quán)利要求】
1. 一種方法，其包括： 接收對(duì)于當(dāng)前視頻幀的裁剪信息； 在攝影機(jī)傳感器處捕獲當(dāng)前視頻幀； 利用第一裁剪窗口對(duì)當(dāng)前視頻幀施行第一裁剪從而形成經(jīng)過(guò)裁剪的視頻幀，其中已響 應(yīng)于所接收到的裁剪信息對(duì)第一裁剪窗口進(jìn)行了動(dòng)態(tài)調(diào)節(jié)；以及 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
2. 如權(quán)利要求1所述的方法，其中，所述方法在攝影機(jī)傳感器模塊處被施行，所述攝影 機(jī)傳感器模塊包括： 被配置成從主機(jī)設(shè)備接收對(duì)于當(dāng)前視頻幀的裁剪信息的輸入接口； 被配置成捕獲當(dāng)前視頻幀的攝影機(jī)傳感器； 被配置成利用第一裁剪窗口對(duì)當(dāng)前視頻幀進(jìn)行裁剪從而形成經(jīng)過(guò)裁剪的視頻幀的裁 剪電路，其中已響應(yīng)于所接收到的裁剪信息對(duì)第一裁剪窗口進(jìn)行了動(dòng)態(tài)調(diào)節(jié)；以及 被配置成發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于在主機(jī)設(shè)備中進(jìn)行數(shù)字圖像穩(wěn)定化的輸出接 □。
3. 如任一條在前權(quán)利要求所述的方法，其中，響應(yīng)于裁剪信息動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗 口的位置。
4. 如任一條在前權(quán)利要求所述的方法，其中，響應(yīng)于裁剪信息動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗 口的尺寸。
5. 如任一條在前權(quán)利要求所述的方法，其中，第一裁剪窗口的尺寸被約束到小于當(dāng)前 視頻幀的尺寸的某一已定義分?jǐn)?shù)。
6. 如任一條在前權(quán)利要求所述的方法，其中，裁剪信息取決于一個(gè)或更多先前視頻中貞 而不是當(dāng)前視頻幀。
7. 如任一條在前權(quán)利要求所述的方法，其中，裁剪信息估計(jì)對(duì)于當(dāng)前視頻幀的裁剪窗 □。
8. 如任一條在前權(quán)利要求所述的方法，其中，裁剪信息定義第一裁剪窗口的尺寸，其足 夠大于感興趣區(qū)段從而允許所述感興趣區(qū)段的數(shù)字圖像穩(wěn)定化。
9. 如任一條在前權(quán)利要求所述的方法，其中，裁剪信息定義第一裁剪窗口的尺寸，其足 夠大于感興趣區(qū)段從而允許鄰近所述感興趣區(qū)段顯示元數(shù)據(jù)。
10. 如任一條在前權(quán)利要求所述的方法，其還包括： 作為數(shù)字圖像穩(wěn)定化的一部分，利用第二裁剪窗口對(duì)經(jīng)過(guò)裁剪的視頻幀施行裁剪，從 而形成經(jīng)過(guò)雙重裁剪的視頻幀。
11. 如權(quán)利要求10所述的方法，其還包括：通過(guò)分析當(dāng)前視頻幀確定第二裁剪。
12. 如任一條在前權(quán)利要求所述的方法，其還包括：通過(guò)分析處于當(dāng)前視頻幀之前的 一個(gè)或更多視頻幀而不是當(dāng)前視頻幀來(lái)確定裁剪信息。
13. 如權(quán)利要求12所述的方法，其中，裁剪信息標(biāo)識(shí)出用在當(dāng)前視頻幀之前的視頻幀 的數(shù)字圖像穩(wěn)定化中的裁剪窗口。
14. 如任一條在前權(quán)利要求所述的方法，其中，裁剪信息包括對(duì)于第一裁剪窗口的尺寸 和位置約束。
15. 如任一條在前權(quán)利要求所述的方法，其包括將元數(shù)據(jù)引入到經(jīng)過(guò)雙重裁剪的圖像 中。
16. 如任一條在前權(quán)利要求所述的方法，其包括： 對(duì)于一個(gè)視頻幀序列中的每一個(gè)視頻幀： 捕獲當(dāng)如視頻巾貞； 接收對(duì)于當(dāng)前視頻幀的裁剪信息； 響應(yīng)于裁剪信息對(duì)第一裁剪窗口進(jìn)行動(dòng)態(tài)調(diào)節(jié)； 利用第一裁剪窗口對(duì)當(dāng)前視頻幀施行第一裁剪，從而形成經(jīng)過(guò)裁剪的視頻幀；以及 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
17. -種設(shè)備，其包括： 被配置成捕獲當(dāng)前視頻幀的攝影機(jī)傳感器； 被配置成實(shí)施以下操作的裁剪電路： 接收對(duì)于當(dāng)前視頻幀的裁剪信息； 響應(yīng)于裁剪信息定義第一裁剪窗口； 利用第一裁剪窗口對(duì)當(dāng)前視頻幀進(jìn)行裁剪，從而形成經(jīng)過(guò)裁剪的視頻幀；以及 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
18. 如權(quán)利要求17所述的設(shè)備，其中，所述設(shè)備是用在主機(jī)設(shè)備中的攝影機(jī)傳感器模 塊，其包括： 被配置成從主機(jī)設(shè)備接收對(duì)于當(dāng)前視頻幀的裁剪信息的輸入接口； 被配置成捕獲當(dāng)前視頻幀的攝影機(jī)傳感器；以及 被配置成利用第一裁剪窗口對(duì)當(dāng)前視頻幀進(jìn)行裁剪從而形成經(jīng)過(guò)裁剪的視頻幀的裁 剪電路，其中已響應(yīng)于所接收到的裁剪信息對(duì)第一裁剪窗口進(jìn)行了動(dòng)態(tài)調(diào)節(jié)；以及 被配置成發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于在主機(jī)設(shè)備中進(jìn)行數(shù)字圖像穩(wěn)定化的輸出接 □。
19. 如權(quán)利要求17或18所述的設(shè)備，其中，響應(yīng)于裁剪信息動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗口 的位置。
20. 如權(quán)利要求17、18或19所述的設(shè)備，其中，響應(yīng)于裁剪信息動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗 口的尺寸。
21. 如權(quán)利要求17到20當(dāng)中的任一條所述的設(shè)備，其中，裁剪信息取決于一個(gè)或更多 先前視頻幀而不是當(dāng)前視頻幀。
22. 如權(quán)利要求17到21當(dāng)中的任一條所述的設(shè)備，其中，裁剪信息估計(jì)對(duì)于當(dāng)前視頻 幀的裁剪窗口。
23. -種系統(tǒng)，其包括如權(quán)利要求17到22當(dāng)中的任一條所述的設(shè)備和主機(jī)設(shè)備，所述 主機(jī)設(shè)備被配置成作為數(shù)字圖像穩(wěn)定化的一部分利用第二裁剪窗口對(duì)經(jīng)過(guò)裁剪的視頻幀 施行裁剪從而形成經(jīng)過(guò)雙重裁剪的視頻中貞。
24. 如權(quán)利要求23所述的系統(tǒng)，其中，主機(jī)設(shè)備被配置成通過(guò)分析當(dāng)前視頻幀確定第 二裁剪。
25. 如權(quán)利要求23或24所述的系統(tǒng)，其中，主機(jī)設(shè)備被配置成通過(guò)分析處于當(dāng)前視頻 幀之前的一個(gè)或更多視頻幀而不是當(dāng)前視頻幀來(lái)確定裁剪信息。
26. 如權(quán)利要求23、24或25所述的系統(tǒng)，其中，裁剪信息標(biāo)識(shí)出用在當(dāng)前視頻幀之前的 視頻幀的數(shù)字圖像穩(wěn)定化中的裁剪窗口。
27. 如權(quán)利要求23到26當(dāng)中的任一條所述的系統(tǒng)，其中，主機(jī)設(shè)備被配置成將元數(shù)據(jù) 引入到經(jīng)過(guò)雙重裁剪的圖像中。
28. 如權(quán)利要求23到27當(dāng)中的任一條所述的系統(tǒng)，其中，所述系統(tǒng)是可佩戴視頻攝影 機(jī)系統(tǒng)。
29. -種設(shè)備，其包括：至少一個(gè)處理器；以及包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ) 器，所述至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成利用所述至少一個(gè)處理器使得攝影機(jī) 模塊對(duì)于一系列視頻幀當(dāng)中的每一個(gè)視頻幀至少施行以下操作： 接收對(duì)于當(dāng)前視頻幀的裁剪信息； 響應(yīng)于裁剪信息動(dòng)態(tài)地調(diào)節(jié)第一裁剪窗口； 利用第一裁剪窗口對(duì)當(dāng)前視頻幀施行第一裁剪，從而形成經(jīng)過(guò)裁剪的視頻幀；以及 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
30. -種方法，其包括： 在攝影機(jī)模塊處接收對(duì)于視頻幀的裁剪信息； 在攝影機(jī)模塊處獲得經(jīng)過(guò)裁剪的視頻幀；以及 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
31. -種方法，其包括： 接收對(duì)于視頻幀的裁剪信息； 在攝影機(jī)傳感器處捕獲經(jīng)過(guò)裁剪的視頻幀；以及 發(fā)送經(jīng)過(guò)裁剪的視頻幀以用于數(shù)字圖像穩(wěn)定化。
【文檔編號(hào)】H04N5/262GK104126299SQ201280069769
【公開(kāi)日】2014年10月29日 申請(qǐng)日期:2012年12月20日 優(yōu)先權(quán)日:2012年2月14日
【發(fā)明者】M·S·哈瑪萊寧 申請(qǐng)人:諾基亞公司