一種移動(dòng)終端視頻的電子穩(wěn)像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，更具體地，設(shè)及一種移動(dòng)終端視頻的電子穩(wěn)像方 法。
【背景技術(shù)】
[0002] 穩(wěn)像技術(shù)在軍事領(lǐng)域、民用測(cè)繪W及攝影系統(tǒng)中都有廣泛應(yīng)用。相比其他信息形 式，圖像具有信息更加直觀且信息含量豐富的特點(diǎn)，但是由于成像系統(tǒng)工作時(shí)要受到其載 體的姿態(tài)變化或震動(dòng)的影響，導(dǎo)致獲得的圖像信息模糊和不穩(wěn)定，極大的限制了圖像信息 的有效性。通過穩(wěn)像技術(shù)能消除或者減少攝像載體運(yùn)動(dòng)對(duì)圖像的影響，大大提高獲取圖像 信息的質(zhì)量。視頻穩(wěn)像一般包括W下幾個(gè)步驟；視頻帖預(yù)處理、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和輸出 穩(wěn)像視頻。
[0003] 電子穩(wěn)像近幾年的發(fā)展主要集中在PC平臺(tái)上，而移動(dòng)終端作為平臺(tái)的電子穩(wěn)像 方法卻很少有提及，主要原因就是傳統(tǒng)的運(yùn)動(dòng)估計(jì)算法由于計(jì)算量較大很難移植到計(jì)算能 力小的移動(dòng)終端上，運(yùn)動(dòng)估計(jì)一直是視頻穩(wěn)像中研究的熱點(diǎn)和難點(diǎn)，首先為了達(dá)到視頻輸 出的效果，每秒鐘帖數(shù)必須達(dá)到要求，同時(shí)為了達(dá)到穩(wěn)像效果，必須得到正確的運(yùn)動(dòng)矢量， 如何快速而準(zhǔn)確的獲得運(yùn)動(dòng)矢量往往是視頻穩(wěn)像的核屯、難點(diǎn)?，F(xiàn)有的運(yùn)動(dòng)矢量獲取一般是 由算法實(shí)現(xiàn)的，運(yùn)行平臺(tái)多為PC平臺(tái)，比如吳浩，鄧宏彬在文獻(xiàn)"一種基于分塊灰度投影運(yùn) 動(dòng)估計(jì)的視頻穩(wěn)像方法.兵工學(xué)報(bào).2013 (04)"中，分塊灰度投影運(yùn)動(dòng)估計(jì)的視頻穩(wěn)像方法 依據(jù)灰度梯度對(duì)子區(qū)域進(jìn)行篩選，剔除容易導(dǎo)致錯(cuò)誤運(yùn)動(dòng)估計(jì)的低對(duì)比度子區(qū)域，然后對(duì) 保留的子區(qū)域進(jìn)行灰度投影及相關(guān)運(yùn)算獲得局部運(yùn)動(dòng)矢量，根據(jù)圖像帖間運(yùn)動(dòng)模型由局部 運(yùn)動(dòng)計(jì)算出圖像的全局運(yùn)動(dòng)矢量，最后根據(jù)運(yùn)動(dòng)補(bǔ)償矢量對(duì)圖像進(jìn)行補(bǔ)償，W獲得穩(wěn)定的 圖像序列，該方法有一定的穩(wěn)像效果。此類利用算法估計(jì)帖運(yùn)動(dòng)矢量的方法由于運(yùn)動(dòng)矢量 估計(jì)計(jì)算花費(fèi)大，不適合移植到計(jì)算能力相對(duì)小的移動(dòng)終端上，同時(shí)誤匹配會(huì)使運(yùn)動(dòng)矢量 估計(jì)存在誤差等等，快速性和準(zhǔn)確性一般。

【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種移動(dòng)終端視頻的電子穩(wěn)像方法，其目的 在于避免由于無意識(shí)的抖動(dòng)造成的視頻帖間模糊，提高了穩(wěn)像精度和速度。
[0005] 本發(fā)明提供了 一種移動(dòng)終端視頻的電子穩(wěn)像方法，通過內(nèi)置于移動(dòng)終端的姿態(tài)傳 感器獲得所述移動(dòng)終端晃動(dòng)時(shí)姿態(tài)傳感器的運(yùn)動(dòng)數(shù)據(jù)，并對(duì)所述運(yùn)動(dòng)數(shù)據(jù)進(jìn)行處理獲得攝 像頭視頻中每一帖的圖像運(yùn)動(dòng)矢量，再根據(jù)所述圖像運(yùn)動(dòng)矢量對(duì)每一帖圖像進(jìn)行平移或旋 轉(zhuǎn)操作，從而實(shí)現(xiàn)穩(wěn)像；其中，對(duì)所述運(yùn)動(dòng)數(shù)據(jù)進(jìn)行處理具體為：根據(jù)姿態(tài)傳感器的旋轉(zhuǎn)角 度W及姿態(tài)傳感器與攝像頭的相對(duì)位置關(guān)系，獲得攝像頭的旋轉(zhuǎn)角度；并根據(jù)攝像頭的旋 轉(zhuǎn)角度獲得圖像運(yùn)動(dòng)矢量。其中，通過姿態(tài)傳感器獲得運(yùn)動(dòng)數(shù)據(jù)的具體步驟如下：
[0006] (1)通過設(shè)置姿態(tài)傳感器的波特率對(duì)所述姿態(tài)傳感器進(jìn)行初始化處理；
[0007] (2)當(dāng)所述姿態(tài)傳感器輸出一組數(shù)據(jù)時(shí)，獲得該組數(shù)據(jù)中表示姿態(tài)傳感器=軸角 速度w及時(shí)間的部分；
[0008] (3)對(duì)角速度進(jìn)行關(guān)于時(shí)間的積分處理獲得姿態(tài)傳感器的旋轉(zhuǎn)角度，旋轉(zhuǎn)角度包 括橫滾角、俯仰角和航向角。
[0009] 更進(jìn)一步地，對(duì)所述運(yùn)動(dòng)數(shù)據(jù)進(jìn)行處理的具體步驟為：
[0010] 根據(jù)姿態(tài)傳感器的旋轉(zhuǎn)角度W及姿態(tài)傳感器與攝像頭的相對(duì)位置關(guān)系，獲得攝像 頭的旋轉(zhuǎn)角度，姿態(tài)傳感器和攝像頭之間的角度轉(zhuǎn)化關(guān)系為：0 = 0'、丫二丫'、= r;
[0011] 根據(jù)攝像頭的旋轉(zhuǎn)角度獲得圖像運(yùn)動(dòng)矢量，攝像頭旋轉(zhuǎn)和圖像運(yùn)動(dòng)之間的對(duì)應(yīng)關(guān) 系為
其中，0、r、1]^分別表示攝像頭的俯仰角、橫滾角、 航向角方向上的旋轉(zhuǎn)角度，0'、丫'、分別表示姿態(tài)傳感器的俯仰角、橫滾角、航向角方 向上的旋轉(zhuǎn)角度，化T、dyi、4分別表示圖像在豎直方向上的位移、圖像在水平方向上的位 移、圖像在圖像平面內(nèi)的旋轉(zhuǎn)角度。
[0012] 更進(jìn)一步地，根據(jù)所述圖像運(yùn)動(dòng)矢量對(duì)每一帖圖像進(jìn)行平移操作具體為；當(dāng)圖像 有位移時(shí)，根I
對(duì)圖像進(jìn)行平移操作；其中（Xi，yi)表示對(duì)圖像進(jìn) 行平移操作前某一像素點(diǎn)的坐標(biāo)，（X2，y,)表示對(duì)圖像進(jìn)行平移操作后對(duì)應(yīng)像素點(diǎn)的坐標(biāo)，Ax、Ay分別表示圖像需要在圖像的x、y方向上移動(dòng)的距離。
[0013] 更進(jìn)一步地，根據(jù)所述圖像運(yùn)動(dòng)矢量對(duì)每一帖圖像進(jìn)行旋轉(zhuǎn)操作具體為；當(dāng)圖像 有航向角時(shí)，根據(jù)
時(shí)圖像進(jìn)行旋轉(zhuǎn)操作；其中（Xi，yi)表示對(duì) 圖像進(jìn)行旋轉(zhuǎn)操作前某一像素點(diǎn)的坐標(biāo)，（X2，y,)表示對(duì)圖像進(jìn)行旋轉(zhuǎn)操作后對(duì)應(yīng)像素點(diǎn)的 坐標(biāo)，4表示圖像在圖像平面內(nèi)的旋轉(zhuǎn)角度。
[0014] 更進(jìn)一步地，所述電子穩(wěn)像方法還包括輸出穩(wěn)像帖步驟：對(duì)圖像運(yùn)動(dòng)矢量進(jìn)行卡 爾曼濾波，根據(jù)原平移分量與濾波后的平移分量的差值確定感興趣區(qū)域；并將所述感興趣 區(qū)域的圖像作為穩(wěn)定帖輸出。
[0015] 其中，所述感興趣區(qū)域的尺寸與攝像頭獲取圖片的尺寸一樣。
[0016] 本發(fā)明利用姿態(tài)傳感器測(cè)算數(shù)據(jù)直接換算得到圖像的運(yùn)動(dòng)矢量，根據(jù)運(yùn)動(dòng)矢量對(duì) 圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，從而達(dá)到穩(wěn)像的目的。該方法具有很好的理論依據(jù)及實(shí)際操作價(jià)值，有 效降低了利用算法估計(jì)運(yùn)動(dòng)矢量的復(fù)雜度和難度，具有更高的精度，方法的快速性與準(zhǔn)確 性較強(qiáng)，更容易移植到移動(dòng)終端為視頻的后續(xù)處理與信息提取提供可靠保障。
[0017] 本發(fā)明優(yōu)點(diǎn)具體體現(xiàn)在：
[0018] (1)平行安裝的姿態(tài)傳感器和攝像頭保證了載體姿態(tài)變化和振動(dòng)對(duì)兩者的位移量 和旋轉(zhuǎn)角度的變化存在一定的量化關(guān)系，方便從姿態(tài)傳感器的位移量和旋轉(zhuǎn)角度換算得到 攝像頭的位移及旋轉(zhuǎn)角度；
[0019] (2)根據(jù)攝像頭與圖像之間的對(duì)應(yīng)關(guān)系，由攝像頭的位移及旋轉(zhuǎn)角度換算得到圖 像的運(yùn)動(dòng)矢量；
[0020] (3)本發(fā)明的核屯、是利用姿態(tài)傳感器的位移及旋轉(zhuǎn)角度與攝像頭位移與旋轉(zhuǎn)角度 之間的對(duì)應(yīng)的關(guān)系，由姿態(tài)傳感器的測(cè)量值直接計(jì)算出攝像頭的位移及旋轉(zhuǎn)量，進(jìn)而計(jì)算 出圖像的運(yùn)動(dòng)矢量，避免了由算法估計(jì)圖像運(yùn)動(dòng)矢量的復(fù)雜度和難度，具有更高的速度和 精度。
【附圖說明】
[0021] 圖1為基于移動(dòng)終端內(nèi)置姿態(tài)傳感器的視頻電子穩(wěn)像方法示意圖；
[0022] 圖2為姿態(tài)傳感器沿俯仰角方向旋轉(zhuǎn)對(duì)攝像頭影響的示意圖；
[0023] 圖3為攝像頭位移對(duì)圖像影響的示意圖，圖3(a)為攝像頭沿自身y軸方向位移， 圖3(b)為攝像頭沿自身X軸方向位移；
[0024] 圖4為攝像頭旋轉(zhuǎn)對(duì)圖像影響的示意圖，圖4(a)為攝像頭沿俯仰角方向旋轉(zhuǎn)，圖 4(b)為攝像頭沿航向角方向旋轉(zhuǎn)；
[0025] 圖5為基于移動(dòng)終端內(nèi)置姿態(tài)傳感器獲取運(yùn)動(dòng)矢量的視頻穩(wěn)像方法流程圖；
[0026] 圖6為姿態(tài)傳感器獲取圖像運(yùn)動(dòng)矢量的流程圖；
[0027] 圖7為圖像補(bǔ)償方法示意圖，圖7 (a)為圖像平移補(bǔ)償方法，圖7(b)為圖像旋轉(zhuǎn)補(bǔ) 償方法；
[0028] 圖8為存放圖像的緩存刷新示意圖；
[0029] 圖9為獲取輸出帖提取區(qū)域方法的示意圖；
[0030] 圖中所有符號(hào)的物理含義解釋如下；xyz為攝像頭的坐標(biāo)系，X'y'Z'為姿態(tài)傳感 器的坐標(biāo)系，0、r、分別為攝像頭的俯仰角、橫滾角、航向角，0 '、T'、分別表示姿 態(tài)傳感器的俯仰角、橫滾角、航向角，Ly、Ly、L,分別表示姿態(tài)傳感器和攝像頭在x、y、z方向 上的距離；L濟(jì)Ly分別表示姿態(tài)傳感器與攝像頭中屯、在X方向和y方向上的距離，dx和dy 分別為姿態(tài)傳感器延Z'軸旋轉(zhuǎn)0'角度后，攝像頭在自身X和y方向上的位移，0表示姿 態(tài)傳感器延Z'軸旋轉(zhuǎn)0'角度后，攝像頭旋轉(zhuǎn)的角度；S為物距，S為相距，0為景物中一點(diǎn)， 0和0'分別為攝像頭延自身y軸平移dy前后0在圖像上的投影沖Oy為攝像頭在xoy方 向上的視場(chǎng)角大小，S和S分別為物距和相距，景物中距視場(chǎng)邊緣距離Lc為1的一點(diǎn)0在攝 像頭延自身X軸平移dx前后，在圖像上的投影分別為0和0' ； 丫為攝像頭產(chǎn)生的俯仰角大 小，0 ,為攝像頭在XOZ平面上的視場(chǎng)角大小，1 ,為攝像頭的CCD在XOZ平面上的長(zhǎng)度；1]) 為攝像頭產(chǎn)生的航向角大小，4表示圖像自身產(chǎn)生的旋轉(zhuǎn)角度；(xi，yi)表示對(duì)圖像進(jìn)行操 作前某一像素點(diǎn)的坐標(biāo)，（X2，y2)表示對(duì)圖像進(jìn)行平移操作后對(duì)應(yīng)像素點(diǎn)的坐標(biāo)，Ax、Ay 分別表示對(duì)圖像進(jìn)行平移操作時(shí)圖像需要在圖像的x、y方向上移動(dòng)的距離，d)表示對(duì)圖像 進(jìn)行旋轉(zhuǎn)操作時(shí)圖像在圖像平面內(nèi)的旋轉(zhuǎn)角度；巧為由姿態(tài)傳感器旋轉(zhuǎn)角速度積分換算得 到的位移矢量，巧為吊經(jīng)過卡爾曼濾波得到的矢量，吊與巧相減得到矢量巧，將巧尾部置 于緩存中屯、，箭頭所指位置即為目標(biāo)穩(wěn)像帖的中屯、。
【具體實(shí)施方式】
[0031] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用w解釋本發(fā)明，并 不用于限定本發(fā)明。
[0032] 本發(fā)明設(shè)及一種移動(dòng)終端電子穩(wěn)像方法，適用于視頻采集過程中由于無意識(shí)的抖 動(dòng)造成的視頻帖間模糊的視頻穩(wěn)像，為視頻的后期處理及信息獲取提供保障。
[0033] 本發(fā)明提供一種基于移動(dòng)終端內(nèi)置姿態(tài)傳感器的視頻電子穩(wěn)像方法，利用計(jì)算直 接獲取運(yùn)動(dòng)矢量，