一種視頻處理方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，具體涉及一種視頻處理方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]為了得到更為清晰的視頻，需要對(duì)視頻進(jìn)行防抖處理，在目前主流視頻去抖動(dòng)系統(tǒng)和相關(guān)視頻處理應(yīng)用中，多數(shù)的幀間運(yùn)動(dòng)估計(jì)方法都采用了基于圖像的特征匹配來進(jìn)行全局運(yùn)動(dòng)估計(jì)，例如，可以先通過特征點(diǎn)匹配來找到兩幀間的一系列點(diǎn)的對(duì)應(yīng)關(guān)系，然后用一個(gè)全局運(yùn)動(dòng)模型對(duì)這些點(diǎn)的對(duì)應(yīng)關(guān)系進(jìn)行擬合，從而得到能夠描述兩幀全局運(yùn)動(dòng)的全局運(yùn)動(dòng)模型。
[0003]在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，雖然現(xiàn)有的這種方法應(yīng)用較為普遍，但是其魯棒性較差，在某些視頻幀中難以找到足夠的可靠的特征點(diǎn)來進(jìn)行匹配，因此，處理后的視頻質(zhì)量不佳，而且該類方法計(jì)算復(fù)雜度也較高，需要占用較多的計(jì)算資源，不適用于移動(dòng)終端如手機(jī)等計(jì)算能力較差的平臺(tái)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種視頻處理方法、裝置和系統(tǒng)，不僅可以提高其魯棒性，而且計(jì)算復(fù)雜度較低，可以在占用較低計(jì)算資源的情況下更好地對(duì)視頻進(jìn)行處理，提高視頻質(zhì)量。
[0005]本發(fā)明實(shí)施例提供一種視頻處理方法，包括:
[0006]基于羅德里格(Rodrigues’ Rotat1n Matrix,簡(jiǎn)稱Rodrigues)旋轉(zhuǎn)矩陣對(duì)具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；
[0007]獲取第一視頻信息和第一陀螺儀旋轉(zhuǎn)信息，所述第一陀螺儀旋轉(zhuǎn)信息為所述第一視頻信息對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息；
[0008]根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)所述第一視頻信息進(jìn)行去抖動(dòng)處理；和/或，
[0009]根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)所述第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理。
[0010]相應(yīng)的，本發(fā)明實(shí)施例還提供一種視頻處理裝置，包括標(biāo)定單元、信息獲取單元和處理單元；
[0011]標(biāo)定單元，用于基于羅德里格旋轉(zhuǎn)矩陣對(duì)具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；
[0012]信息獲取單元，用于獲取第一視頻信息和第一陀螺儀旋轉(zhuǎn)信息，所述第一陀螺儀旋轉(zhuǎn)信息為所述第一視頻信息對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息；
[0013]處理單元，用于根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)所述第一視頻信息進(jìn)行去抖動(dòng)處理；和/或，根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)所述第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理。
[0014]相應(yīng)的，本發(fā)明實(shí)施例還提供一種視頻處理系統(tǒng)，包括本發(fā)明實(shí)施例提供的任一種視頻處理裝置。
[0015]本發(fā)明實(shí)施例可以基于羅德里格旋轉(zhuǎn)矩陣對(duì)具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，然后獲取第一視頻信息和其對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息(即第一陀螺儀旋轉(zhuǎn)信息)，并根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)第一視頻信息進(jìn)行去抖動(dòng)處理，和/或根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理，以實(shí)現(xiàn)對(duì)視頻的矯正；由于該方案采用了羅德里格旋轉(zhuǎn)矩陣，因此，相對(duì)于采用其他旋轉(zhuǎn)矩陣的方案而言，在計(jì)算標(biāo)定參數(shù)時(shí)，不僅可以更加精確，大大減少誤差，而且，計(jì)算也較為簡(jiǎn)便，可以大大降低實(shí)現(xiàn)的復(fù)雜度；也就是說，采用該方案，不僅可以提高其魯棒性，而且計(jì)算復(fù)雜度較低，可以在占用較低計(jì)算資源的情況下更好地對(duì)視頻進(jìn)行處理，提高視頻質(zhì)量。
【附圖說明】
[0016]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0017]圖1是本發(fā)明實(shí)施例提供的視頻處理方法的流程圖；
[0018]圖2是本發(fā)明實(shí)施例提供的視頻處理方法的另一流程圖；
[0019]圖3是本發(fā)明實(shí)施例提供的視頻處理方法的又一流程圖；
[0020]圖4是本發(fā)明實(shí)施例提供的視頻處理方法的又一流程圖；
[0021]圖5是本發(fā)明實(shí)施例提供的視頻處理裝置的結(jié)構(gòu)示意圖；
[0022]圖6是本發(fā)明實(shí)施例提供的移動(dòng)終端的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0024]本發(fā)明實(shí)施例提供一種視頻處理方法、裝置和系統(tǒng)。以下分別進(jìn)行詳細(xì)說明。
[0025]實(shí)施例一、
[0026]本發(fā)明實(shí)施例將從視頻處理裝置的角度進(jìn)行描述，該視頻處理裝置可以集成在具有陀螺儀的攝像設(shè)備中，該攝像設(shè)備可以為移動(dòng)終端，比如手機(jī)、平板電腦、筆記本電腦、相機(jī)或攝像機(jī)等設(shè)備。
[0027]—種視頻處理方法，包括:基于羅德里格旋轉(zhuǎn)矩陣對(duì)具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，獲取第一視頻信息和對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息(即第一陀螺儀旋轉(zhuǎn)信息)，根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)該第一視頻信息進(jìn)行去抖動(dòng)處理。
[0028]如圖1所示，該視頻處理方法的具體流程可以如下:
[0029]101、基于羅德里格旋轉(zhuǎn)矩陣對(duì)具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，例如，具體可以采用如下方法來對(duì)攝像設(shè)備進(jìn)行標(biāo)定:
[0030](I)獲取該攝像設(shè)備的陀螺儀旋轉(zhuǎn)角速度。
[0031]比如，具體可以從該攝像設(shè)備的陀螺儀中讀出該陀螺儀旋轉(zhuǎn)角速度。
[0032](2)利用羅德里格旋轉(zhuǎn)矩陣對(duì)該陀螺儀旋轉(zhuǎn)角速度進(jìn)行建模，得到羅德里格旋轉(zhuǎn)矩陣的運(yùn)動(dòng)模型，例如，具體可以如下:
[0033]獲取該陀螺儀旋轉(zhuǎn)角速度對(duì)應(yīng)的旋轉(zhuǎn)時(shí)間，將該陀螺儀旋轉(zhuǎn)角速度結(jié)合該獲取到的旋轉(zhuǎn)時(shí)間，根據(jù)羅德里格旋轉(zhuǎn)矩陣形式構(gòu)造旋轉(zhuǎn)矩陣，得到羅德里格旋轉(zhuǎn)矩陣的運(yùn)動(dòng)模型。
[0034](3)獲取第二視頻信息和相應(yīng)的陀螺儀旋轉(zhuǎn)信息，其中，為了描述方便，在本發(fā)明中，將該第二視頻信息對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息稱為第二陀螺儀旋轉(zhuǎn)信息。
[0035]例如，具體可以通過拍攝視頻來獲取視頻信息，為了描述方便，在本實(shí)施例中，將該建模時(shí)獲取到的視頻信息稱為第二視頻信息。
[0036]其中，本發(fā)明實(shí)施例中的陀螺儀旋轉(zhuǎn)信息包括陀螺儀旋轉(zhuǎn)角速度和/或?qū)?yīng)的旋轉(zhuǎn)時(shí)間等信息。
[0037](4)基于該羅德里格旋轉(zhuǎn)矩陣的運(yùn)動(dòng)模型，結(jié)合該第二視頻信息和第二陀螺儀旋轉(zhuǎn)信息對(duì)該攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，例如，具體可以如下:
[0038]A、對(duì)該第二視頻信息中每一幀內(nèi)預(yù)置的特征點(diǎn)進(jìn)行檢測(cè)，并在相鄰兩幀間進(jìn)行特征點(diǎn)匹配，得到特征匹配關(guān)系。
[0039]B、基于建立的羅德里格旋轉(zhuǎn)矩陣的運(yùn)動(dòng)模型對(duì)該第二陀螺儀旋轉(zhuǎn)信息進(jìn)行轉(zhuǎn)換，得到對(duì)應(yīng)的三維旋轉(zhuǎn)矩陣。
[0040]C、根據(jù)該三維旋轉(zhuǎn)矩陣和特征匹配關(guān)系對(duì)該攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)。例如，具體可以如下:
[0041]根據(jù)預(yù)置的優(yōu)化策略擬合該特征匹配關(guān)系，得到擬合后的特征匹配關(guān)系；利用B步驟中得到的三維旋轉(zhuǎn)矩陣和擬合后的特征匹配關(guān)系計(jì)算該攝像設(shè)備的標(biāo)定參數(shù)。
[0042]其中，該標(biāo)定參數(shù)可以包括攝像設(shè)備的內(nèi)部參數(shù)、幀采集時(shí)間、以及“陀螺儀時(shí)間戳與視頻信息的幀時(shí)間戳之間的偏差”等參數(shù)。而優(yōu)化策略可以根據(jù)實(shí)際應(yīng)用的需求進(jìn)行設(shè)置。
[0043]需說明的是，計(jì)算機(jī)視覺的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計(jì)算三維空間中物體的幾何信息，并由此重建和識(shí)別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)，也就是本發(fā)明實(shí)施例所說的標(biāo)定參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過程被稱為攝像機(jī)標(biāo)定(或稱為定標(biāo))。也就是說，標(biāo)定過程就是確定攝像機(jī)的幾何和光學(xué)參數(shù)、以及攝像機(jī)相對(duì)于世界坐標(biāo)系的方位。標(biāo)定精度的大小，直接影響著計(jì)算機(jī)視覺(機(jī)器視覺)的精度。
[0044]102、獲取第一視頻信息和相應(yīng)的陀螺儀旋轉(zhuǎn)信息，為了描述方便，在本發(fā)明實(shí)施例中，將該第一視頻信息對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息稱為第一陀螺儀旋轉(zhuǎn)信息。
[0045]例如，具體可以通過拍攝視頻來獲取視頻信息，為了描述方便，在本實(shí)施例中，將該需要進(jìn)行去抖動(dòng)處理和/或矯正(比如進(jìn)行去卷簾快門效應(yīng)處理)的視頻信息稱為第一視頻信息。
[0046]103、根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)該第一視頻信息進(jìn)行去抖動(dòng)處理；例如，具體可以如下:
[0047](I)對(duì)該第一陀螺儀旋轉(zhuǎn)信息進(jìn)行平滑操作，得到第一旋轉(zhuǎn)角速度累積乘積。
[0048](2)根據(jù)該第一視頻信息確定當(dāng)前需要處理的幀。
[0049](3)從該第一陀螺儀旋轉(zhuǎn)信息中獲取從所述第一視頻信息的第一幀開始到所述當(dāng)前需要處理的幀之間的各個(gè)幀所對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)角速度。
[0050](4)根據(jù)所述各個(gè)幀所對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)角速度計(jì)算旋轉(zhuǎn)角速度累積乘積。
[0051]其中，該第二旋轉(zhuǎn)角速度累積乘積為從所述第一視頻信息的第一幀開始到所述當(dāng)前需要處理的幀的旋轉(zhuǎn)角速度累積乘積。
[0052](5)計(jì)算該第二旋轉(zhuǎn)角速度累積乘積和第一旋轉(zhuǎn)角速度累積乘積的差，得到差值，為了描述方便，在本發(fā)明實(shí)施例中，將該差值稱為第一差值。
[0053](6)根據(jù)該第一差值和該標(biāo)定參數(shù)得到一個(gè)全局運(yùn)動(dòng)矩陣，在本發(fā)明實(shí)施例中，稱為第一全局運(yùn)動(dòng)矩陣。
[0054](7)根據(jù)該第一全局運(yùn)動(dòng)矩陣對(duì)該第一視頻信息進(jìn)行重新繪制，從而實(shí)現(xiàn)去抖動(dòng)的目的。
[0055]此外，除了可以對(duì)第一視頻信息進(jìn)行去抖動(dòng)處理之外，為了進(jìn)一步提高視頻質(zhì)量，還可以對(duì)該第一視頻信息進(jìn)行矯正處理，比如進(jìn)行去卷簾快門效應(yīng)處理。即，在獲取第一視頻信息和第一陀螺儀旋轉(zhuǎn)信息之后，該視頻處理方法還可以包括:
[0056]根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)該第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理。例如，具體可以如下:
[0057]根據(jù)該第一視頻信息確定當(dāng)前需要處理的幀，從該第一陀螺儀旋轉(zhuǎn)信息中獲取當(dāng)前需要處理的幀所對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)角速度，根據(jù)該當(dāng)前需要處理的幀所對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)角速度分別獲取當(dāng)前需要處理的幀的第一行的旋轉(zhuǎn)角速度和第η行的旋轉(zhuǎn)角速度，計(jì)算該第一行的旋轉(zhuǎn)角速度和第η行的旋轉(zhuǎn)角速度的差，得到一個(gè)差值，在本發(fā)明實(shí)施例中稱為第二差值，根據(jù)該第二差值和標(biāo)定參數(shù)得到一個(gè)全局運(yùn)動(dòng)矩陣，在本發(fā)明實(shí)施例中稱為第二全局運(yùn)動(dòng)矩陣，根據(jù)該第二全局運(yùn)動(dòng)矩陣對(duì)第一視頻信息進(jìn)行重新繪制。
[0058]其中，η為正整數(shù)，η的值可以根據(jù)實(shí)際應(yīng)用的需求進(jìn)行設(shè)置。
[0059]由上可知，本實(shí)施例可以基于羅德里格旋轉(zhuǎn)矩陣對(duì)具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，然后獲取第一視頻信息和其對(duì)應(yīng)的陀螺儀旋轉(zhuǎn)信息(即第一陀螺儀旋轉(zhuǎn)信息)，并根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對(duì)第一視頻信息進(jìn)行去抖動(dòng)處理；由于該方案采用了羅德里格旋轉(zhuǎn)矩陣，因此，相對(duì)于采用其他旋轉(zhuǎn)矩陣的方案而言，在計(jì)算標(biāo)定參數(shù)時(shí)，不僅可以更加精確，大大減少誤差，而且，計(jì)算也較為簡(jiǎn)便，可以大大降低實(shí)現(xiàn)的復(fù)雜度；也就是說，