一種運(yùn)動視頻的疊加對比方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻圖像處理領(lǐng)域，特別是涉及一種運(yùn)動視頻的疊加對比方法。
【背景技術(shù)】
[0002] 視頻的疊加對比是圖像處理在工程領(lǐng)域的一個重要應(yīng)用，尤其在體育運(yùn)動分析軟 件中，訓(xùn)練者與專業(yè)運(yùn)動員的疊加對比能夠提供訓(xùn)練者充分的對比信息來糾正身體動作， 提高體育成績。
[0003]目前各類技術(shù)缺點(diǎn)：目前的各類視頻疊加技術(shù)存在的問題是：視頻疊加匹配精度 不高，易出現(xiàn)重影問題；視頻疊加速度慢，無法實(shí)現(xiàn)快速疊加；視頻疊加僅支持相同分辨率 視頻疊加而不能允許不同分辨率（尺寸）視頻的疊加；視頻疊加需要人工校準(zhǔn)，增加了用戶 的交互成本，不簡易便捷。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)現(xiàn)將兩個具有近似背景而不同前景（運(yùn)動）物體的兩個視頻，通過圖像 對準(zhǔn)技術(shù)，將兩個不同的視頻合成為一個視頻，并且能夠在視頻中同時顯示兩個半透明的 前景（運(yùn)動）物體，以達(dá)到對比效果。
[0005] 本發(fā)明的技術(shù)方案如下：
[0006] -種運(yùn)動視頻的疊加對比方法，其特征在于，所述方法如下：
[0007] (1)通過交互界面，選擇兩個視頻所需要疊加的共同時間區(qū)域；
[0008] (2)每次讀取兩個視頻的各一幀圖像fl，f2,進(jìn)行如下操作，直至處理完視頻中所 有的幀：
[0009] (a)圖像尺寸及亮度處理：將圖像fl，f2的尺寸進(jìn)行統(tǒng)一，并將亮度調(diào)整一致；
[0010] (b)對兩張圖像進(jìn)行SURF特征點(diǎn)檢測，獲取特征點(diǎn)的描述子向量，作為匹配的依 據(jù)；
[0011] (d)特征點(diǎn)匹配；
[0012] (e)由匹配特征點(diǎn)計算兩幀圖像的透視單應(yīng)變換矩陣；
[0013] (f)將圖像Π 通過透視變換形成Π '，由于透視變換后的圖像不一定占據(jù)整個圖 像尺寸，存在黑色無信息區(qū)域，故使用f2的對應(yīng)區(qū)域來填補(bǔ)黑色區(qū)域；使用到逐像素點(diǎn)判 定法，掃描Π '的每個像素點(diǎn)，若它存在于Π 透視變換后的矩形區(qū)域內(nèi)，則不使用f2中的 相同坐標(biāo)點(diǎn)像素替換；反之，則使用f2中的像素點(diǎn)替換；
[0014] (g)合并圖像：將兩幀圖像的每個像素按照1:1的比例進(jìn)行融合，形成疊加對比圖 像；
[0015] (h)消除拼接縫處理：對連接縫處的像素點(diǎn)進(jìn)行平滑，取其周圍像素點(diǎn)的均值來 消除拼接縫；
[0016] (3)將生成的逐幀圖像合并成一個完整的視頻，并輸出。
[0017] 進(jìn)一步的，所述步驟（2)中，步驟（d)特征點(diǎn)匹配采用歐氏距離來作為兩個特征向 量距離的評價的標(biāo)準(zhǔn)函數(shù)：
[0019] 其中Pl，P2表示兩幀圖像中的特征點(diǎn)，kli和k2i表示的是Pl，P2的描述子向 量第i個分量；為進(jìn)一步降低錯誤匹配率，采用最近鄰比次近鄰的方法，用ND (Nearest Distance)和NND (Next Nearest Distance)分別表示最近距離和次近距離，則最近和次近 距離之比Rod為ND/NND，我們可以設(shè)定一個閾值threshold (大于0,小于1的正數(shù)），則：
[0021] 其中，threshold取值在0· 5至0· 7之間。
[0022] 進(jìn)一步的，所述步驟（2)中，步驟（e)由匹配特征點(diǎn)計算兩幀圖像的透視單應(yīng)變換 矩陣方法如下：
[0023] 計算過程采用基于RANSAC匹配方法，由于單應(yīng)矩陣需要4對匹配點(diǎn)進(jìn)行計算，故 隨機(jī)選取多個4對匹配點(diǎn)的子集，通過最小誤差方法來獲取最優(yōu)子集，并由此估算相鄰兩 幀圖像間的單應(yīng)變換矩陣。
[0024] 本發(fā)明的有益效果在于：
[0025] (1)支持不同分辨率（尺寸）視頻的合成。
[0026] 由于在匹配之前會先檢測兩個視頻文件的分辨率，并加以統(tǒng)一，故能夠支持不同 分辨率視頻的合成。
[0027] (2)視頻對準(zhǔn)效果好，清晰無模糊，兩個運(yùn)動物體以半透明方式顯現(xiàn)在視頻中。 SURF特征點(diǎn)檢測具有很強(qiáng)的魯棒性，對特征點(diǎn)的識別率高，能夠在不同視角、光照、尺度變 換下有較好的提取效果。再者使用最近鄰比次近鄰的方法來作為特征點(diǎn)的差值度量法，降 低了錯誤匹配率。并且算法采用RANSAC最小誤差方法來對兩幀圖像的特征點(diǎn)進(jìn)行匹配，它 能夠找到最優(yōu)的四對特征點(diǎn)子集。由此能夠?qū)⒚績蓭瑘D像精準(zhǔn)地匹配。
[0028] (3)視頻合成速度較快，數(shù)秒內(nèi)完成對一段視頻的合成。
[0029] SURF特征點(diǎn)檢測具有高效實(shí)時性，通過設(shè)定合適的minHessian閾值參數(shù)，能夠減 少特征點(diǎn)提取時間。RANSAC最小誤差方法也具有較高的時效性能，使得整體的圖像拼接具 有較快的計算速度。
[0030] (4)視頻僅需要用戶選擇合成時間區(qū)域，不需要其他的人工操作，減輕用戶的交互 負(fù)擔(dān)。一般的視頻疊加需要用戶手動進(jìn)行疊加以尋找到最佳重疊，由于計算了透視變換矩 陣，可以直接由此矩陣進(jìn)行視頻的疊加，免去了繁瑣的人工操作。
[0031] (5)消除了拼接接縫，合成的視頻畫面質(zhì)量還原度高，無拼接痕跡。
[0032] 拼接縫的產(chǎn)生是由于在拼接縫處兩幅圖像亮度差較大，由于算法首先對圖像進(jìn)行 亮度統(tǒng)一而后在拼接縫處進(jìn)行周圍像素點(diǎn)的加權(quán)處理，因此能夠消除拼接縫，用戶肉眼無 法辨別出拼接縫的存在。
【附圖說明】
[0033] 圖1是本發(fā)明的方法流程示意圖。
【具體實(shí)施方式】
[0034] 下面結(jié)合附圖，對本發(fā)明的技術(shù)方案作進(jìn)一步的闡述。本發(fā)明技術(shù)方案如下：
[0035] (1)通過交互界面，用戶選擇兩個視頻所需要疊加的共同時間區(qū)域。由于用戶需要 疊加的視頻動作不一定在兩個視頻中是同時出現(xiàn)的，故需要用戶播放窗口中選擇兩個視頻 各自的起始疊加時間和終止疊加時間，以獲得兩個時間長度相同，前景動作類似的視頻，以 便疊加對比。
[0036] (2)每次讀取兩個視頻的各一幀圖像fl，f2,進(jìn)行如下操作，直至處理完視頻中所 有的幀。
[0037] (a)圖像尺寸統(tǒng)一，將圖像尺寸較小的圖像擴(kuò)展為圖像尺寸較大的的圖像的尺寸。
[0038] (b)圖像亮度校正，因?yàn)閮蓮垐D像亮度往往不一致，最終在合成時可能會導(dǎo)致由 于亮度不一致而存在明顯的拼接縫，故通過計算兩張圖像的平均亮度并補(bǔ)償亮度較低的圖 像。
[0039] (c)對兩張圖像進(jìn)行SURF特征點(diǎn)檢測，獲取特征點(diǎn)的描述子向量，作為匹配的依 據(jù)。
[0040] (d)特征點(diǎn)匹配。
[0041] 采用歐氏距離來作為兩個特征向量距離的評價的標(biāo)準(zhǔn)函數(shù)：
[0043] 其中Pl，P2表示兩幀圖像中的特征點(diǎn)，kli和k2i表示的是Pl，P2的描述子向 量第i個分量。為進(jìn)一步降低錯誤匹配率，采用最近鄰比次近鄰的方法，用ND(Nearest Distance)和NND (Next Nearest Distance)分別表示最近距離和次近距離，則最近和次近 距離之比Rod為ND/NND，我們可以設(shè)定一個閾值threshold (大于0,小于1的正數(shù)），則：
[0045] 根據(jù)經(jīng)驗(yàn)，threshold取值在0· 5至0· 7之間。
[0046] (e)由匹配特征點(diǎn)計算兩幀圖像的透視（單應(yīng)）變換矩陣。
[0047] 計算過程采用基于RANSAC匹配方法，由于單應(yīng)矩陣需要4對匹配點(diǎn)進(jìn)行計算，故 隨機(jī)選取多個4對匹配點(diǎn)的子集，通過最小誤差方法來獲取最優(yōu)子集，并由此估算相鄰兩 幀圖像間的單應(yīng)變換矩陣。
[0048] (f)將圖像Π 通過透視變換形成Π '，由于透視變換后的圖像不一定占據(jù)整個圖 像尺寸，存在黑色無信息區(qū)域，故使用f2的對應(yīng)區(qū)域來填補(bǔ)黑色區(qū)域。此處使用到逐像素 點(diǎn)判定法，掃描Π '的每個像素點(diǎn)，若它存在于Π 透視變換后的矩形區(qū)域內(nèi)，則不使用f2 中的相同坐標(biāo)點(diǎn)像素替換；反之，則使用f2中的像素點(diǎn)替換。
[0049] (g)合并圖像。將兩幀圖像的每個像素按照1:1的比例進(jìn)行融合，形成疊加對比圖 像。
[0050] (h)消除拼接縫處理。由于黑色區(qū)域補(bǔ)償采用的是另一幀圖像的信息，故會產(chǎn)生連 接縫，因此對連接縫處的像素點(diǎn)進(jìn)行平滑，取其周圍像素點(diǎn)的均值來消除拼接縫。
[0051] (3)將生成的逐幀圖像合并成一個完整的視頻，并輸出。
【主權(quán)項】
1. 一種運(yùn)動視頻的疊加對比方法，其特征在于，所述方法如下： (1) 通過交互界面，選擇兩個視頻所需要疊加的共同時間區(qū)域； (2) 每次讀取兩個視頻的各一幀圖像fl，f2,進(jìn)行如下操作，直至處理完視頻中所有的 幀： (a) 圖像尺寸及亮度處理：將圖像n，f2的尺寸進(jìn)行統(tǒng)一，并將亮度調(diào)整一致； (b) 對兩張圖像進(jìn)行SURF特征點(diǎn)檢測，獲取特征點(diǎn)的描述子向量，作為匹配的依據(jù)； (d) 特征點(diǎn)匹配； (e) 由匹配特征點(diǎn)計算兩幀圖像的透視單應(yīng)變換矩陣； (f) 將圖像H通過透視變換形成fl'，由于透視變換后的圖像不一定占據(jù)整個圖像尺 寸，存在黑色無信息區(qū)域，故使用f2的對應(yīng)區(qū)域來填補(bǔ)黑色區(qū)域；使用到逐像素點(diǎn)判定法， 掃描fl'的每個像素點(diǎn)，若它存在于fl透視變換后的矩形區(qū)域內(nèi)，則不使用f2中的相同坐 標(biāo)點(diǎn)像素替換；反之，則使用f2中的像素點(diǎn)替換； (g) 合并圖像：將兩幀圖像的每個像素按照1:1的比例進(jìn)行融合，形成疊加對比圖像； (h) 消除拼接縫處理：對連接縫處的像素點(diǎn)進(jìn)行平滑，取其周圍像素點(diǎn)的均值來消除 拼接縫； (3) 將生成的逐幀圖像合并成一個完整的視頻，并輸出。2. 根據(jù)權(quán)利要求1所述的一種運(yùn)動視頻的疊加對比方法，其特征在于，所述步驟（2) 中，步驟（d)特征點(diǎn)匹配采用歐氏距離來作為兩個特征向量距離的評價的標(biāo)準(zhǔn)函數(shù)：其中Pl，P2表示兩幀圖像中的特征點(diǎn)，kli和k2i表示的是Pl，P2的描述子向量第i個分量；為進(jìn)一步降低錯誤匹配率，采用最近鄰比次近鄰的方法，用ND(NearestDistance) 和NND(NextNearestDistance)分別表示最近距離和次近距離，則最近和次近距離之比 Rod為ND/NND，我們可以設(shè)定一個閾值threshold(大于0,小于1的正數(shù)），則：其中，threshold取值在0. 5至0. 7之間。3. 根據(jù)權(quán)利要求1所述的一種運(yùn)動視頻的疊加對比方法，其特征在于，所述步驟（2) 中，步驟（e)由匹配特征點(diǎn)計算兩幀圖像的透視單應(yīng)變換矩陣方法如下： 計算過程采用基于RANSAC匹配方法，由于單應(yīng)矩陣需要4對匹配點(diǎn)進(jìn)行計算，故隨機(jī) 選取多個4對匹配點(diǎn)的子集，通過最小誤差方法來獲取最優(yōu)子集，并由此估算相鄰兩幀圖 像間的單應(yīng)變換矩陣。
【專利摘要】本發(fā)明屬于視頻圖像處理領(lǐng)域，特別是涉及一種運(yùn)動視頻的疊加對比方法，所述方法如下：(1)通過交互界面，選擇兩個視頻所需要疊加的共同時間區(qū)域；(2)每次讀取兩個視頻的各一幀圖像f1,f2，進(jìn)行如下操作，直至處理完視頻中所有的幀；(3)將生成的逐幀圖像合并成一個完整的視頻，并輸出。本發(fā)明實(shí)現(xiàn)將兩個具有近似背景而不同前景(運(yùn)動)物體的兩個視頻，通過圖像對準(zhǔn)技術(shù)，將兩個不同的視頻合成為一個視頻，并且能夠在視頻中同時顯示兩個半透明的前景(運(yùn)動)物體，以達(dá)到對比效果。
【IPC分類】G06T7/00, G06T7/20
【公開號】CN105046699
【申請?zhí)枴緾N201510399245
【發(fā)明人】周恒 , 楊光, 郭宗義
【申請人】硅革科技（北京）有限公司
【公開日】2015年11月11日
【申請日】2015年7月9日