一種圖像采集平臺的時間基準實時標定方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種圖像采集平臺的時間基準實時標定方法及系統(tǒng)，該方法應用于移動終端中，包括下述步驟：S1獲取當前幀圖像及前N幀圖像；S2提取當前幀圖像中的第一特征點，以形成第一特征點集合及參考幀圖像中的第二特征點，以形成第二特征點集合；S3將第一特征點集合中的第一特征點與第二特征點集合中的第二特征點進行匹配過濾，以獲取第一特征點對集合；S4根據(jù)第一特征點對集合獲取當前幀圖像的平均整體位移；S5.提取當前幀圖像的陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)陀螺數(shù)據(jù)獲取當前幀圖像的姿態(tài)整體位移；S6依據(jù)Kalman濾波方法獲取相機的時間戳與陀螺傳感器的時間戳之間的時間差，并對時間差進行標定執(zhí)行S1。
【專利說明】
一種圖像采集平臺的時間基準實時標定方法及系統(tǒng)
技術領域
[0001]本發(fā)明涉及圖像處理領域，尤其涉及一種基于移動終端圖像采集平臺的時間基準實時標定方法及系統(tǒng)。【背景技術】
[0002]隨著電子技術的快速發(fā)展，人們利用移動終端、無人機等移動端平臺進行視頻采集的應用越來越多。但是，由于移動終端或無人機采集的視頻容易出現(xiàn)抖動視覺效果差通常不能正常使用，需要對采集的視頻進行穩(wěn)像處理。根據(jù)原理的不同視頻圖像采集平臺的穩(wěn)像方法主要包括三類分別是:機械穩(wěn)像、光學穩(wěn)像和電子穩(wěn)像。
[0003]機械穩(wěn)像是利用減震平臺或機械云臺被動的抵消各種抖動，其優(yōu)勢在于能夠較好的抵消大部分抖動，具有優(yōu)秀的穩(wěn)像效果，因而常用在專業(yè)的視頻錄制設備上，但是存在結構復雜、體積和重量大、代價高等缺點;光學穩(wěn)像是利用補償鏡片等光學器件在光路上對外界抖動進行主動補償，所以體積和重量可以做的比較小，但其抗抖動能力較弱，且對鏡頭的制作工藝要求較高;相比于前面兩種“硬”穩(wěn)像方法，電子穩(wěn)像則是通過“軟”的方法來消除抖動，即通過應用數(shù)字圖像處理技術來對圖像幀進行變換從而達到穩(wěn)像的目的，因此電子穩(wěn)像具有結構簡單、體積重量小、代價低、穩(wěn)像范圍廣等優(yōu)點。
[0004]目前的電子穩(wěn)像主要包括抖動估計、平滑濾波、抖動補償三部分，依據(jù)抖動估計方式的不同，還可以進一步細分為純圖像電子穩(wěn)像方法和基于陀螺的電子穩(wěn)像方法。
[0005]純圖像電子穩(wěn)像方法僅利用圖像自身特征信息來估計像機的抖動量，雖然具有無需其他任何額外設備的優(yōu)點，但正因為其僅利用圖像自身特征來估計運動，所以一方面對圖像成像有要求，即圖像要具備豐富的特征信息，例如對于天空或者大海等單一背景則會失效；另一方面由于時刻需要對圖像進行大量的特征提取、特征匹配等工作，所以計算復雜，能耗較高，而對于移動平臺來說一般對功率要求較高。
[0006]基于陀螺的電子穩(wěn)像方法則利用陀螺傳感器來估計像機抖動量。目前的微機電系統(tǒng)(MEMS,Micro-Electro-Mechanical System)陀螺傳感器的體積、重量以及成本越來越小，已經普遍應用在移動終端、無人機等各類運動平臺上。例如，一片MPU6500芯片僅具有 3mmX 3mm X 0.9mm的大小，卻能以8000Hz的速率同時給出3軸加速度計和3軸陀螺儀的實時采樣數(shù)據(jù)。
[0007]綜上所述，基于陀螺的電子穩(wěn)像方法更適用于移動平臺的數(shù)字圖像采集任務。但是，直接由陀螺輸出得到的姿態(tài)信息并不等于像機平臺自身的姿態(tài)信息，這主要表現(xiàn)在兩個方面:即由于陀螺坐標系與像機坐標系不平行引起的空間變換姿態(tài)差，以及由于陀螺傳感器時間戳與像機傳感器時間戳不同步引起的時間偏置姿態(tài)差。由于陀螺傳感器和像機坐標系為固聯(lián)結構，且大多數(shù)設備上的陀螺坐標系和像機坐標系都基本平行，所以空間變換姿態(tài)差可以通過乘以一個旋轉矩陣來解決;但是對于時間偏置姿態(tài)差并沒有明確的解決方案。
【發(fā)明內容】

[0008]針對現(xiàn)有的移動平臺的數(shù)字圖像采集系統(tǒng)無法克服時間偏置姿態(tài)差的問題，現(xiàn)提供一種旨在實現(xiàn)可實時獲取相機的時間戳與陀螺傳感器的時間戳之間的時間差的圖像采集平臺的時間基準實時標定方法及系統(tǒng)。
[0009]具體技術方案如下:
[0010]—種圖像采集平臺的時間基準實時標定方法，應用于移動終端，所述移動終端中設置有相機和陀螺傳感器，包括下述步驟:
[0011]S1.獲取當前幀圖像及前N幀圖像，所述前N幀圖像為在當前幀圖像之前的第N幀圖像，將所述前N幀圖像作為參考幀圖像；
[0012]S2.提取所述當前幀圖像中的第一特征點，以形成第一特征點集合及所述參考幀圖像中的第二特征點，以形成第二特征點集合；
[0013]S3.將所述第一特征點集合中的所述第一特征點與所述第二特征點集合中的所述第二特征點進行匹配過濾，以獲取第一特征點對集合；
[0014]S4.根據(jù)所述第一特征點對集合獲取所述當前幀圖像的平均整體位移；
[0015]S5.提取所述當前幀圖像的所述陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)所述陀螺數(shù)據(jù)獲取所述當前幀圖像的姿態(tài)整體位移；
[0016]S6.根據(jù)所述平均整體位移和所述姿態(tài)整體位移，依據(jù)Kalman濾波方法獲取所述相機的時間戳與所述陀螺傳感器的時間戳之間的時間差，并對所述時間差進行標定，返回執(zhí)行步驟S1。[〇〇17]優(yōu)選的，所述步驟S3包括:
[0018]S31.采用隨機抽樣一致算法對所述當前幀圖像中的所述第一特征點集合中的所述第一特征點及所述參考幀圖像的所述第二特征點集合中的所述第二特征點逐個進行雙向匹配，以獲取第二特征點對集合，所述第二特征點對集合包括復數(shù)個特征點對，每個特征點對包括一所述第一特征點和與所述第一特征點---對應的所述第二特征點；
[0019]S32.將所述第二特征點對集合中的每個所述特征點對逐對進行單應矩陣計算，判斷計算行列式是否符合預設條件，所有未被標記的所述第一特征點對組成所述第一特征點對集合。
[0020]優(yōu)選的，所述預設條件為:所述行列式大于等于0.7,或所述行列式小于等于1.3。 [〇〇21]優(yōu)選的，所述步驟S4包括:[〇〇22]S41.提取所述第一特征點對集合中所述當前幀圖像的所述第一特征點，根據(jù)所述第一特征點計算所述當前幀圖像的中心位置坐標；[〇〇23]S42.提取所述第一特征點對集合中所述參考幀圖像的所述第二特征點，根據(jù)所述第二特征點計算所述參考幀圖像的中心位置坐標；
[0024]S43.根據(jù)所述當前幀圖像的中心位置坐標及所述參考幀圖像的中心位置坐標，計算所述當前幀圖像的所述平均整體位移。[〇〇25]優(yōu)選的，所述步驟S5包括:
[0026]S51.以所述參考幀圖像到所述當前幀圖像的時間間隔為第一時間參數(shù)，根據(jù)所述陀螺數(shù)據(jù)獲取獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角變化量獲取第一整體位移；
[0027]S52.以所述參考幀圖像到所述當前幀圖像時間間隔為偏移量與所述第一時間參數(shù)相加，獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角變化量獲取第二整體位移；
[0028]所述姿態(tài)整體位移包括第一整體位移和所述第二整體位移。[0〇29]優(yōu)選的，在所述步驟S6中，所述Kalman濾波方法采用梯度估計、濾波增益估計、濾波計算和方差修正以獲取所述相機的時間戳與所述陀螺傳感器的時間戳之間的時間差。
[0030]—種圖像采集平臺的時間基準實時標定系統(tǒng)，應用于移動終端，所述移動終端中設置有相機和陀螺傳感器，包括:
[0031]一獲取單元，用以獲取當前幀圖像及參考幀圖像，所述前N幀圖像為在當前幀圖像之前的第N幀圖像，將所述前N幀圖像作為參考幀圖像；
[0032]—提取單元，連接所述獲取單元，用以提取所述當前幀圖像中的第一特征點，以形成第一特征點集合及所述參考幀圖像中的第二特征點，以形成第二特征點集合；
[0033]—匹配單元，連接所述提取單元，用以將所述第一特征點集合中的所述第一特征點與所述第二特征點集合中的所述第二特征點進行匹配過濾，以獲取第一特征點對集合； [〇〇34] 一第一處理單元，連接所述匹配單元，用以根據(jù)所述第一特征點對集合獲取所述當前幀圖像的平均整體位移；
[0035]—第二處理單元，提取所述當前幀圖像的所述陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)所述陀螺數(shù)據(jù)獲取所述當前幀圖像的姿態(tài)整體位移；[〇〇36] 一控制單元，分別連接所述第一處理單元和所述第二處理單元，用以根據(jù)所述平均整體位移和所述姿態(tài)整體位移，依據(jù)Kalman濾波方法獲取所述相機的時間戳與所述陀螺傳感器的時間戳之間的時間差，并對所述時間差進行標定。
[0037]優(yōu)選的，所述匹配單元采用隨機抽樣一致算法對所述當前幀圖像中的所述第一特征點集合中的所述第一特征點及所述參考幀圖像的所述第二特征點集合中的所述第二特征點逐個進行雙向匹配，以獲取第二特征點對集合，所述第二特征點對集合包括復數(shù)個特征點對，每個特征點對包括一所述第一特征點和與所述第一特征點一一對應的所述第二特征點；將所述第二特征點對集合中的每個所述特征點對逐對進行單應矩陣計算，判斷計算行列式是否符合預設條件，所有未被標記的所述第一特征點對組成所述第一特征點對集合。
[0038]優(yōu)選的，所述預設條件為:所述行列式大于等于0.7,或所述行列式小于等于1.3。
[0039]優(yōu)選的，所述第一處理單元提取所述第一特征點對集合中所述當前幀圖像的所述第一特征點，根據(jù)所述第一特征點計算所述當前幀圖像的中心位置坐標;提取所述第一特征點對集合中所述參考幀圖像的所述第二特征點，根據(jù)所述第二特征點計算所述參考幀圖像的中心位置坐標;根據(jù)所述當前幀圖像的中心位置坐標及所述參考幀圖像的中心位置坐標，計算所述當前幀圖像的所述平均整體位移。
[0040]優(yōu)選的，所述第二處理單元以所述參考幀圖像到所述當前幀圖像的時間間隔為第一時間參數(shù)，根據(jù)所述陀螺數(shù)據(jù)獲取獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角變化量獲取第一整體位移；以所述參考幀圖像到所述當前幀圖像時間間隔為偏移量與所述第一時間參數(shù)相加，獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角變化量獲取第二整體位移;所述姿態(tài)整體位移包括第一整體位移和所述第二整體位移。[0〇41 ]優(yōu)選的，所述Kalman濾波方法采用梯度估計、濾波增益估計、濾波計算和方差修正以獲取所述相機的時間戳與所述陀螺傳感器的時間戳之間的時間差。[〇〇42]上述技術方案的有益效果:
[0043] 1)圖像采集平臺的時間基準實時標定方法可實時獲取相機的時間戳與陀螺傳感器的時間戳之間的偏差量以進行實時標定，通過將所述第一特征點集合與所述第二特征點集合進行匹配過濾，消除了錯誤匹配的情況提高了匹配的精確度，利用Kalman濾波方法保證了相機的時間戳與陀螺傳感器的時間戳之間的偏差量的收斂性；
[0044] 2)圖像采集平臺的時間基準實時標定系統(tǒng)通過匹配單元對當前幀圖像及參考幀圖像進行特征點匹配，提高了匹配精度，消除了錯誤匹配的情況;采用控制單元可根據(jù)平均整體位移和所述姿態(tài)整體位移獲取相機的時間戳與所述陀螺傳感器的時間戳之間的偏差量，且具有收斂性，保證了相機的時間戳與所述陀螺傳感器的時間戳之間時間差的準確性?！靖綀D說明】
[0045]圖1為本發(fā)明所述的圖像采集平臺的時間基準實時標定方法的一種實施例的方法流程圖；
[0046]圖2為相鄰幀之間單應矩陣的行列式曲線圖；[〇〇47]圖3為相鄰幀之間的平均整位移；
[0048]圖4為獲取當前幀圖像的所述平均整體位移的流程圖；
[0049]圖5為獲取姿態(tài)整體位移的流程圖；
[0050]圖6為本發(fā)明所述的圖像采集平臺的時間基準實時標定系統(tǒng)的一種實施例的模塊圖?！揪唧w實施方式】
[0051]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0052]需要說明的是，在不沖突的情況下，本發(fā)明中的實施例及實施例中的特征可以相互組合。[〇〇53]下面結合附圖和具體實施例對本發(fā)明作進一步說明，但不作為本發(fā)明的限定。
[0054]如圖1所示，一種圖像采集平臺的時間基準實時標定方法，應用于移動終端，所述移動終端中設置有相機和陀螺傳感器，包括下述步驟:
[0055] S1.獲取當前幀圖像及前N幀圖像，所述前N幀圖像為在當前幀圖像之前的第N幀圖像，將所述前N幀圖像作為參考幀圖像；
[0056] S2.提取所述當前幀圖像中的第一特征點，以形成第一特征點集合及所述參考幀圖像中的第二特征點，以形成第二特征點集合；
[0057] S3.將所述第一特征點集合中的所述第一特征點與所述第二特征點集合中的所述第二特征點進行匹配過濾，以獲取第一特征點對集合；
[0058]S4.根據(jù)所述第一特征點對集合獲取所述當前幀圖像的平均整體位移；
[0059]S5.提取所述當前幀圖像的所述陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)所述陀螺數(shù)據(jù)獲取所述當前幀圖像的姿態(tài)整體位移；
[0060]S6.根據(jù)所述平均整體位移和所述姿態(tài)整體位移，依據(jù)Kalman濾波方法獲取所述相機的時間戳與所述陀螺傳感器的時間戳之間的時間差，并對所述時間差進行標定，返回執(zhí)行步驟S1。[0061 ] 進一步地，在步驟S2中可采用特征點檢測算法(Speeded Up Robust Features，簡稱SURF)對當前幀圖像及參考幀圖像進行特征點檢測，以獲取大量特征點的坐標位置，即當前幀圖像中的第一特征點集合及參考幀圖像的第二特征點集合，這些特征點的運動基本能夠反映出對應圖像幀的整體運動大小。
[0062]在本實施例中，圖像采集平臺的時間基準實時標定方法可實時獲取相機的時間戳與陀螺傳感器的時間戳之間的偏差量以進行實時標定，通過將第一特征點集合與第二特征點集合進行匹配過濾，消除了錯誤匹配的情況提高了匹配的精確度，利用Kalman濾波方法保證了相機的時間戳與陀螺傳感器的時間戳之間的偏差量的收斂性。[〇〇63]在優(yōu)選的實施例中，步驟S3包括:
[0064]S31.米用隨機抽樣一致算法(Random Sample Consensus，簡稱RANSAC)對當前幀圖像中的第一特征點集合中的所述第一特征點及參考幀圖像的第二特征點集合中的所述第二特征點逐個進行雙向匹配，以獲取第二特征點對集合，所述第二特征點對集合包括復數(shù)個特征點對，每個特征點對包括一所述第一特征點和與所述第一特征點-----對應的所述第二特征點；
[0065]S32.將所述第二特征點對集合中的每個所述特征點對逐對進行單應矩陣計算，判斷計算行列式是否符合預設條件，所有未被標記的所述第一特征點對組成所述第一特征點對集合。[0〇66]進一步地，參考幀圖像為前一幀圖像。
[0067]在本實施例中，在步驟S31中將當前幀圖像的特征點與前一幀特圖像的征點進行對稱雙向匹配，以剔除不匹配的特征點；利用RANSAC算法對相鄰兩幀圖像進行特征點匹配， 為了最大程度的減小誤配率，匹配時進行的是對稱雙向匹配，即首先找到當前幀圖像中每個特征點在前一幀圖像中的最佳匹配，然后再對前一幀圖像中的每個特征點找到其在當前幀中的最佳匹配，當且僅當一組“特征點對”互為對方的最佳匹配時，才接受該組“特征點對”，否則，剔除該組“特征點對”。
[0068]對于某些相鄰幀圖像仍然會出現(xiàn)特征點整體匹配錯誤的情況，因此采用步驟S32 提高特征點對匹配的精確度。由于相鄰兩幀圖像的間隔時間極短(例如幀率為30fps的圖像采集設備，其幀間隔只有33ms)，對于相鄰的兩幀圖像來說，整體的單應變換不大，也就是說相鄰幀圖像的單應矩陣一般接近于單位矩陣，其行列式應在1附近?；谶@個標準，可以方便高效的將匹配錯誤的圖像幀標記出來。
[0069]在步驟S32中，利用匹配后的特征點對計算單應矩陣H，然后依據(jù)單應矩陣H的行列式det(H)與1的偏差來決定匹配的正確與否，標記行列式det(H)〈0.7和行列式det(H)>1.3 的幀號，將符合預設條件:行列式大于等于〇.7，或行列式小于等于1.3的所有特征點對組合成第一特征點對集合。
[0070]在優(yōu)選的實施例中，步驟S4包括:[〇〇71]S41.提取第一特征點對集合中當前幀圖像的第一特征點，根據(jù)第一特征點計算當前幀圖像的中心位置坐標；[〇〇72]S42.提取第一特征點對集合中參考幀圖像的第二特征點，根據(jù)第二特征點計算參考幀圖像的中心位置坐標；
[0073]S43.根據(jù)當前幀圖像的中心位置坐標及參考幀圖像的中心位置坐標，計算當前幀圖像的平均整體位移。
[0074]在本實施例中，當參考幀圖像為前一幀圖像時，在步驟S41中對當前幀圖像中所有匹配的特征點坐標進行平均運算，以獲取當前幀圖像的中心位置坐標rCentera?;在步驟 S42中對前一幀圖像中所有匹配的特征點坐標進行平均運算，以獲取前一幀圖像的中心位置坐標rCenterust;在步驟S43中由相鄰幀中心位置坐標的位置變化得到當前幀圖像的平均整體位移rPixel，即當前幀圖像的平均整體位移rPixel =前一幀圖像的中心位置坐標 rCenterLast-當前幀圖像的中心位置坐標rCenterN?。
[0075]如圖2所示給出了步驟S3中相鄰幀之間單應矩陣的行列式曲線，可見，根據(jù)圖2中給出的單應矩陣的行列式可以簡單快速的檢測出同名特征點錯配幀，如圖3所示為相鄰幀之間的平均整位移，其中錯配幀的平均整體位移均有明顯的毛刺點，其中幀號表示每一幀圖像的序號。
[0076]如圖4所示表示從步驟S1至步驟S4中為獲取當前幀圖像的平均整體位移的流程圖。在優(yōu)選的實施例中，步驟S5包括:[〇〇77]S51.以參考幀圖像到當前幀圖像的時間間隔為第一時間參數(shù)，根據(jù)陀螺數(shù)據(jù)獲取獲取相應的俯仰角變化量和偏航角變化量，根據(jù)俯仰角變化量和偏航角變化量獲取第一整體位移；
[0078]S52.以參考幀圖像到當前幀圖像時間間隔為偏移量與第一時間參數(shù)相加，獲取相應的俯仰角變化量和偏航角變化量，根據(jù)俯仰角變化量和偏航角變化量獲取第二整體位移；
[0079]姿態(tài)整體位移包括第一整體位移和第二整體位移。
[0080]如圖5所示表示步驟S5中獲取姿態(tài)整體位移的流程圖。[0081 ]在本實施例中，當參考幀圖像為前一幀圖像時，在步驟S51中對陀螺傳感器的陀螺數(shù)據(jù)進行幀間隔時間內的滑動積分，分別得到前一幀圖像到當前幀圖像的時間間隔內(即第一時間參數(shù)t)的俯仰角變化量dApitc^t)和偏航角變化量dAYaw( t)，貝IJ圖像幀第一整體位移rGyro = f * (dApitch(t) +dAYaw( t))，其中f為像機的等效焦距;在步驟S52中，對步驟S51中的時間變量(第一時間參數(shù)t)進行一個dt大小的偏移(即相鄰幀圖像的時間間隔)，重新計算俯仰角的變化量dApitc^ t+dt)和偏航角的變化量dAYaw( t+dt)，從而得到圖像幀第二整體位移rGyro2 = f *(dApitch(t+dt) +dAYaw( t+dt))，其中 f 為像機的等效焦距。[0〇82]在優(yōu)選的實施例中，在步驟S6中，Kalman濾波方法采用梯度估計、濾波增益估計、 濾波計算和方差修正以獲取相機的時間戳與陀螺傳感器的時間戳之間的時間差。[〇〇83]在本實施例中，設狀態(tài)量X= (f，td)T，其中，f表示像機的等效焦距，td表示相機的時間戳與陀螺傳感器的時間戳之間的時間差，以步驟S43中得到的當前幀圖像的平均整體位移rP i xe 1和步驟S51中得到的圖像幀第一整體位移rGyro、步驟S52中得到的圖像幀第二整體位移rGyro2為輸入，利用Kalman濾波方法對初始狀態(tài)值進行迭代更新，Kalman濾波方法的具體步驟如下；[〇〇84]量測方程梯度估計:
[0085] Hx = -[rGyro；f*(rGyr〇-rGyro2)/dt],[〇〇86]濾波增益估計:
[0087] K = (P+Q) *HxT/ (Hx* (P+Q) *HxT+R)，[〇〇88]濾波計算:
[0089] X=X_K*(rP i xe1_f*rGyro)，[〇〇9〇] 方差修正:
[0091]P=(1-K*Hx)*(P+Q)，
[0092]其中，Q為動態(tài)方程噪聲方差，R為量測方程噪聲方差；
[0093]在本技術方案中，每獲取一當前幀圖像及參考幀圖像，則執(zhí)行步驟S1至步驟S6,直至相機的時間戳與陀螺傳感器的時間戳之間的時間差td和像機的等效焦距f的變化量小于設定的閾值，即可認為濾波結果已經收斂，輸出相機的時間戳與陀螺傳感器的時間戳之間的時間差td和像機的等效焦距f的值。
[0094]如圖6所示，一種圖像采集平臺的時間基準實時標定系統(tǒng)，應用于移動終端，所述移動終端中設置有相機和陀螺傳感器，包括:
[0095]—獲取單元2,用以獲取當前幀圖像及參考幀圖像，所述前N幀圖像為在當前幀圖像之前的第N幀圖像，將所述前N幀圖像作為參考幀圖像；
[0096]—提取單元1，連接獲取單元2,用以提取當前幀圖像中的第一特征點，以形成第一特征點集合及參考幀圖像中的第二特征點，以形成第二特征點集合；
[0097]—匹配單元4,連接提取單元1，用以將第一特征點集合中的所述第一特征點與第二特征點集合中的所述第二特征點進行匹配過濾，以獲取第一特征點對集合；[〇〇98]一第一處理單元5,連接匹配單元4,用以根據(jù)第一特征點對集合獲取當前幀圖像的平均整體位移；
[0099]—第二處理單元3,提取當前幀圖像的陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)陀螺數(shù)據(jù)獲取當前幀圖像的姿態(tài)整體位移；
[0100]一控制單元6，分別連接第一處理單元5和第二處理單元3，用以根據(jù)平均整體位移和姿態(tài)整體位移，依據(jù)Kalman濾波方法獲取相機的時間戳與陀螺傳感器的時間戳之間的時間差，并對時間差進行標定。[〇1〇1]進一步地，提取單元1可采用特征點檢測算法(Speeded Up Robust Features，簡稱SURF)對當前幀圖像及參考幀圖像進行特征點檢測，以獲取大量特征點的坐標位置，即當前幀圖像中的第一特征點集合及參考幀圖像的第二特征點集合，這些特征點的運動基本能夠反映出對應圖像幀的整體運動大小。
[0102]在本實施例中，圖像采集平臺的時間基準實時標定系統(tǒng)通過匹配單元4對當前幀圖像及參考幀圖像進行特征點匹配，提高了匹配精度，消除了錯誤匹配的情況;采用控制單元6可根據(jù)平均整體位移和姿態(tài)整體位移獲取相機的時間戳與陀螺傳感器的時間戳之間的偏差量，且具有收斂性，保證了相機的時間戳與陀螺傳感器的時間戳之間時間差的準確性。
[0103]在優(yōu)選的實施例中，匹配單元4采用隨機抽樣一致算法對所述當前幀圖像中的所述第一特征點集合中的所述第一特征點及所述參考幀圖像的所述第二特征點集合中的所述第二特征點逐個進行雙向匹配，以獲取第二特征點對集合，所述第二特征點對集合包括復數(shù)個特征點對，每個特征點對包括一所述第一特征點和與所述第一特征點-----對應的所述第二特征點；將所述第二特征點對集合中的每個所述特征點對逐對進行單應矩陣計算， 判斷計算行列式是否符合預設條件，所有未被標記的所述第一特征點對組成所述第一特征點對集合。
[0104]進一步地，參考幀圖像為前一幀圖像。
[0105]在本實施例中，在匹配單元4中將當前幀圖像的特征點與前一幀特圖像的征點進行對稱雙向匹配，以剔除不匹配的特征點；利用RANSAC算法對相鄰兩幀圖像進行特征點匹配，為了最大程度的減小誤配率，匹配時進行的是對稱雙向匹配，即首先找到當前幀圖像中每個特征點在前一幀圖像中的最佳匹配，然后再對前一幀圖像中的每個特征點找到其在當前幀中的最佳匹配，當且僅當一組“特征點對”互為對方的最佳匹配時，才接受該組“特征點對”，否則，剔除該組“特征點對”。
[0106]對于某些相鄰幀圖像仍然會出現(xiàn)特征點整體匹配錯誤的情況，因此采用單應矩陣計算提高特征點對匹配的精確度。由于相鄰兩幀圖像的間隔時間極短(例如幀率為30fps的圖像采集設備，其幀間隔只有33ms)，對于相鄰的兩幀圖像來說，整體的單應變換不大，也就是說相鄰幀圖像的單應矩陣一般接近于單位矩陣，其行列式應在1附近?；谶@個標準，可以方便高效的將匹配錯誤的圖像幀標記出來。
[0107]單應矩陣計算利用匹配后的特征點對計算單應矩陣H，然后依據(jù)單應矩陣H的行列式det(H)與1的偏差來決定匹配的正確與否，標記行列式det(H)〈0.7和行列式det(H)>1.3 的幀號，將符合預設條件:行列式大于等于〇.7，或行列式小于等于1.3的所有特征點對組合成第一特征點對集合。
[0108]在優(yōu)選的實施例中，第一處理單元5提取第一特征點對集合中當前幀圖像的第一特征點，根據(jù)第一特征點計算當前幀圖像的中心位置坐標;提取第一特征點對集合中參考幀圖像的第二特征點，根據(jù)第二特征點計算參考幀圖像的中心位置坐標;根據(jù)當前幀圖像的中心位置坐標及參考幀圖像的中心位置坐標，計算當前幀圖像的平均整體位移。
[0109]在本實施例中，當參考幀圖像為前一幀圖像時，對當前幀圖像中所有匹配的特征點坐標進行平均運算，以獲取當前幀圖像的中心位置坐標:rCenterN?;對前一幀圖像中所有匹配的特征點坐標進行平均運算，以獲取前一幀圖像的中心位置坐標rCenterust;由相鄰幀中心位置坐標的位置變化得到當前幀圖像的平均整體位移rPixel，即當前幀圖像的平均整體位移rPixel =前一幀圖像的中心位置坐標rCenterust-當前幀圖像的中心位置坐標 rCenterN〇w〇[〇11〇]在優(yōu)選的實施例中，第二處理單元3以參考幀圖像到當前幀圖像的時間間隔為第一時間參數(shù)，根據(jù)陀螺數(shù)據(jù)獲取獲取相應的俯仰角變化量和偏航角變化量，根據(jù)俯仰角變化量和偏航角變化量獲取第一整體位移；以參考幀圖像到當前幀圖像時間間隔為偏移量與第一時間參數(shù)相加，獲取相應的俯仰角變化量和偏航角變化量，根據(jù)俯仰角變化量和偏航角變化量獲取第二整體位移;姿態(tài)整體位移包括第一整體位移和第二整體位移。
[0111]在本實施例中，當參考幀圖像為前一幀圖像時，對陀螺傳感器的陀螺數(shù)據(jù)進行幀間隔時間內的滑動積分，分別得到前一幀圖像到當前幀圖像的時間間隔內(即第一時間參數(shù)t)的俯仰角變化量dApitd:(t)和偏航角變化量dAYaw( t)，則圖像幀第一整體位移rGyro = f* ((^1*。1^)+(^^(〖))，其中€為像機的等效焦距;對步驟551中的時間變量(第一時間參數(shù)〇 進行一個dt大小的偏移(即相鄰幀圖像的時間間隔)，重新計算俯仰角的變化量dAPltch(t+ dt)和偏航角的變化量dAYaw(t+dt)，從而得到圖像幀第二整體位移rGyro2 = f*(dApitch(t+ dt ) +dAYaw( t+dt))，其中f為像機的等效焦距。
[0112]在優(yōu)選的實施例中，Kalman濾波方法采用梯度估計、濾波增益估計、濾波計算和方差修正以獲取相機的時間戳與陀螺傳感器的時間戳之間的時間差。
[0113]在本技術方案中，綜合利用了SURF特征點檢測方法和RANSAC隨機抽樣一致算法 (特征點對稱雙向匹配方法)，大大增加了特征點提取和匹配的健壯性;針對實際應用中由于視場畸變較大或特征點數(shù)量較少等原因引起的極個別幀整體匹配錯誤的情況，提出了利用單應矩陣行列式進行閾值判斷的方法，進一步消除了錯誤匹配情況，為后續(xù)基于kalman 濾波方法的時間對齊方法提供了收斂性保證。
[0114]本發(fā)明通過利用序列圖像中相鄰幀之間整體位移量與像機姿態(tài)中俯仰、偏航變化的線性關系，構造kalman濾波的狀態(tài)方程和量測方程。相比于傳統(tǒng)的離線標定方法，本發(fā)明不僅能夠進行實時標定，而且對初值要求低，原理簡單，計算量小，從而能夠廣泛的應用在大量移動平臺端的電子穩(wěn)像應用中。
[0115]以上所述僅為本發(fā)明較佳的實施例，并非因此限制本發(fā)明的實施方式及保護范圍，對于本領域技術人員而言，應當能夠意識到凡運用本發(fā)明說明書及圖示內容所作出的等同替換和顯而易見的變化所得到的方案，均應當包含在本發(fā)明的保護范圍內。
【主權項】
1.一種圖像采集平臺的時間基準實時標定方法，應用于移動終端，所述移動終端中設 置有相機和陀螺傳感器，其特征在于，包括下述步驟:51.獲取當前幀圖像及前N幀圖像，所述前N幀圖像為在當前幀圖像之前的第N幀圖像， 將所述前N幀圖像作為參考幀圖像；52.提取所述當前幀圖像中的第一特征點，以形成第一特征點集合及所述參考幀圖像 中的第二特征點，以形成第二特征點集合；53.將所述第一特征點集合中的所述第一特征點與所述第二特征點集合中的所述第二 特征點進行匹配過濾，以獲取第一特征點對集合；54.根據(jù)所述第一特征點對集合獲取所述當前幀圖像的平均整體位移；55.提取所述當前幀圖像的所述陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)所述陀螺數(shù)據(jù)獲取所述 當前幀圖像的姿態(tài)整體位移；56.根據(jù)所述平均整體位移和所述姿態(tài)整體位移，依據(jù)Kalman濾波方法獲取所述相機 的時間戳與所述陀螺傳感器的時間戳之間的時間差，并對所述時間差進行標定，返回執(zhí)行 步驟S1。2.如權利要求1所述的圖像采集平臺的時間基準實時標定方法，其特征在于，所述步驟 S3包括:531.采用隨機抽樣一致算法對所述當前幀圖像中的所述第一特征點集合中的所述第 一特征點及所述參考幀圖像的所述第二特征點集合中的所述第二特征點逐個進行雙向匹 配，以獲取第二特征點對集合，所述第二特征點對集合包括復數(shù)個特征點對，每個特征點對 包括一所述第一特征點和與所述第一特征點一一對應的所述第二特征點；532.將所述第二特征點對集合中的每個所述特征點對逐對進行單應矩陣計算，判斷計 算行列式是否符合預設條件，所有未被標記的所述第一特征點對組成所述第一特征點對集 合。3.如權利要求2所述的圖像采集平臺的時間基準實時標定方法，其特征在于，所述預設 條件為:所述行列式大于等于〇.7，或所述行列式小于等于1.3。4.如權利要求2所述的圖像采集平臺的時間基準實時標定方法，其特征在于，所述步驟 S4包括:541.提取所述第一特征點對集合中所述當前幀圖像的所述第一特征點，根據(jù)所述第一 特征點計算所述當前幀圖像的中心位置坐標；542.提取所述第一特征點對集合中所述參考幀圖像的所述第二特征點，根據(jù)所述第二 特征點計算所述參考幀圖像的中心位置坐標；543.根據(jù)所述當前幀圖像的中心位置坐標及所述參考幀圖像的中心位置坐標，計算所 述當前幀圖像的所述平均整體位移。5.如權利要求1所述的圖像采集平臺的時間基準實時標定方法，其特征在于，所述步驟 S5包括:551.以所述參考幀圖像到所述當前幀圖像的時間間隔為第一時間參數(shù)，根據(jù)所述陀螺 數(shù)據(jù)獲取獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角 變化量獲取第一整體位移；552.以所述參考幀圖像到所述當前幀圖像時間間隔為偏移量與所述第一時間參數(shù)相加，獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角變化 量獲取第二整體位移；所述姿態(tài)整體位移包括第一整體位移和所述第二整體位移。6.如權利要求1所述的圖像采集平臺的時間基準實時標定方法，其特征在于，在所述步 驟S6中，所述Kalman濾波方法采用梯度估計、濾波增益估計、濾波計算和方差修正以獲取所 述相機的時間戳與所述陀螺傳感器的時間戳之間的時間差。7.—種圖像采集平臺的時間基準實時標定系統(tǒng)，應用于移動終端，所述移動終端中設 置有相機和陀螺傳感器，其特征在于，包括:一獲取單元，用以獲取當前幀圖像及前N幀圖像，所述前N幀圖像為在當前幀圖像之前 的第N幀圖像，將所述前N幀圖像作為參考幀圖像；一提取單元，連接所述獲取單元，用以提取所述當前幀圖像中的第一特征點，以形成第 一特征點集合及所述參考幀圖像中的第二特征點，以形成第二特征點集合；一匹配單元，連接所述提取單元，用以將所述第一特征點集合中的所述第一特征點與 所述第二特征點集合中的所述第二特征點進行匹配過濾，以獲取第一特征點對集合；一第一處理單元，連接所述匹配單元，用以根據(jù)所述第一特征點對集合獲取所述當前 幀圖像的平均整體位移；一第二處理單元，提取所述當前幀圖像的所述陀螺傳感器的陀螺數(shù)據(jù)，根據(jù)所述陀螺 數(shù)據(jù)獲取所述當前幀圖像的姿態(tài)整體位移；一控制單元，分別連接所述第一處理單元和所述第二處理單元，用以根據(jù)所述平均整 體位移和所述姿態(tài)整體位移，依據(jù)Kalman濾波方法獲取所述相機的時間戳與所述陀螺傳感 器的時間戳之間的時間差，并對所述時間差進行標定。8.如權利要去7所述的圖像采集平臺的時間基準實時標定系統(tǒng)，其特征在于，所述匹配 單元采用隨機抽樣一致算法對所述當前幀圖像中的所述第一特征點集合中的所述第一特 征點及所述參考幀圖像的所述第二特征點集合中的所述第二特征點逐個進行雙向匹配，以 獲取第二特征點對集合，所述第二特征點對集合包括復數(shù)個特征點對，每個特征點對包括 一所述第一特征點和與所述第一特征點一一對應的所述第二特征點；將所述第二特征點對 集合中的每個所述特征點對逐對進行單應矩陣計算，判斷計算行列式是否符合預設條件， 所有未被標記的所述第一特征點對組成所述第一特征點對集合。9.如權利要去8所述的圖像采集平臺的時間基準實時標定系統(tǒng)，其特征在于，所述預設 條件為:所述行列式大于等于〇.7，或所述行列式小于等于1.3。10.如權利要去8所述的圖像采集平臺的時間基準實時標定系統(tǒng)，其特征在于，所述第 一處理單元提取所述第一特征點對集合中所述當前幀圖像的所述第一特征點，根據(jù)所述第 一特征點計算所述當前幀圖像的中心位置坐標;提取所述第一特征點對集合中所述參考幀 圖像的所述第二特征點，根據(jù)所述第二特征點計算所述參考幀圖像的中心位置坐標;根據(jù) 所述當前幀圖像的中心位置坐標及所述參考幀圖像的中心位置坐標，計算所述當前幀圖像 的所述平均整體位移。11.如權利要去7所述的圖像采集平臺的時間基準實時標定系統(tǒng)，其特征在于，所述第 二處理單元以所述參考幀圖像到所述當前幀圖像的時間間隔為第一時間參數(shù)，根據(jù)所述陀 螺數(shù)據(jù)獲取獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量和所述偏航角變化量獲取第一整體位移；以所述參考幀圖像到所述當前幀圖像時間間隔為偏移量與所 述第一時間參數(shù)相加，獲取相應的俯仰角變化量和偏航角變化量，根據(jù)所述俯仰角變化量 和所述偏航角變化量獲取第二整體位移;所述姿態(tài)整體位移包括第一整體位移和所述第二 整體位移。12.如權利要去7所述的圖像采集平臺的時間基準實時標定系統(tǒng)，其特征在于，所述 Kalman濾波方法采用梯度估計、濾波增益估計、濾波計算和方差修正以獲取所述相機的時 間戳與所述陀螺傳感器的時間戳之間的時間差。
【文檔編號】G06T7/00GK106023192SQ201610327892
【公開日】2016年10月12日
【申請日】2016年5月17日
【發(fā)明人】晁志超, 龍學軍, 周劍, 陸宏偉, 徐丹, 徐一丹
【申請人】成都通甲優(yōu)博科技有限責任公司