專利名稱：基于小波變換的單相機視頻三維重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機多媒體技術(shù)領(lǐng)域，具體講，涉及小波變換及單相機視頻三維重建方法。
背景技術(shù)：
為了給人們帶來視覺上的沉浸感、立體感以及對對象的全方位認識(視角可變、 外部光照可變等)，現(xiàn)有的場景捕獲已經(jīng)從原有的單視角采集方式發(fā)展到多視角采集方式。 多視角采集可以通過分布在不同位置上的多攝像機的同步采集來實現(xiàn)，國際上多所著名大學與研究機構(gòu)如斯坦福、麻省理工、卡奈基梅隆、薩里大學、三菱電子、微軟研究院、馬克斯-普朗克信息研究所都搭建了多攝像機采集系統(tǒng)。然而，多攝像機的采集方式存在成本高、校準復雜、系統(tǒng)維護困難、圖像分辨率有限等問題。為了降低成本和復雜度、提高圖像采集分辨率，另一種基于單相機視頻的多視角采集方式越來越受到歡迎，并在廣播電視、城市建設(shè)、等領(lǐng)域有著廣泛的應(yīng)用前景。該方法采用單個相機圍繞場景拍攝一段視頻，然后根據(jù)所拍攝的視頻聯(lián)合重建三維場景結(jié)構(gòu)和相機的運動。這種方法對于剛性靜態(tài)物體取得了很好的結(jié)果(J. Fortuna and A. M. Martinez, Rigid Structure from Motion from a Blind Source Separation Perspective,International Journal of Computer Vision,Vol. 88, No. 3，pp. 404-424,2010.)，但是對于非剛性運動物體，尤其是復雜的變形物體，仍然存在一定難度。一些研究人員釆用DCT變換對物體形狀軌跡進行建模來重建非剛性運動物體的形狀和相機運動(I. Akhter, Y. A. Sheikh, S. Khan, and T. Kanade. Nonrigid structure from motion in trajectory space, in Neural Information Processing Systems, December 2008. P. F. U. Gotardo and A. M. Martinez. Computing smooth time-trajectories for camera and deformable shape in structure from motion with occlusion. IEEE Trans. PAMI，2011.)，但是DCT對于非平滑軌跡的描述能力有限，因而精度很難提高。

發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)的不足，提供一種精確魯棒的單相機視頻三維重建方法，更加精確地重建非剛性物體形狀和相機運動，為達到上述目的，本發(fā)明采取的技術(shù)方案是，一種基于小波變換的單相機視頻三維重建方法，包括以下步驟I)手持一臺相機圍繞一個運動物體運動，同時采集一段視頻；2)采用KLT特征點跟蹤方法計算每一幀圖像的對應(yīng)特征點，KLT為 Kanade-Lucas-Tomasi 字頭縮寫；3)選取跟蹤時間最長即所對應(yīng)的幀圖像最多的η個對應(yīng)特征點；4)計算由步驟3)得到的的η個對應(yīng)特征點所在的幀圖像，并依照所含對應(yīng)特征點多、圖像之間間隔均勻的原則選取m幅幀圖像；5)建立觀測矩陣We i 其中矩陣每一列為一個對應(yīng)特征點在m幅幀圖像上的對應(yīng)像素位置，矩陣每兩行為一幅幀圖像上η個特征點對應(yīng)的像素坐標(x，y)；
6)基于小波變換將觀測矩陣W分解為
權(quán)利要求
1.一種基于小波變換的單相機視頻三維重建方法，其特征在于該方法包括以下步 驟1)手持一臺相機圍繞一個運動物體運動，同時米集一段視頻；2)采用KLT特征點跟蹤方法計算每一幀圖像的對應(yīng)特征點，KLT為 Kanade-Lucas-Tomasi 字頭縮寫；3)選取跟蹤時間最長即所對應(yīng)的幀圖像最多的n個對應(yīng)特征點；4)計算由步驟3)得到的的n個對應(yīng)特征點所在的幀圖像，并依照所含對應(yīng)特征點多、 圖像之間間隔均勻的原則選取m幅幀圖像；5)建立觀測矩陣Wej其中矩陣每一列為一個對應(yīng)特征點在m幅幀圖像上的對應(yīng) 像素位置，矩陣每兩行為一幅幀圖像上n個特征點對應(yīng)的像素坐標(x，y)；6)基于小波變換將觀測矩陣W分解為W= MS + tF=D(QX I3)S + tF的形式，其中 Mg i 為運動矩陣,Sej 為形狀基矩陣，r為形狀基的個數(shù),te丨2)"為1平均列向量， lei "為元素都為1的向量，Dei 2mx3m為對角矩陣，對角線元素為m個幀圖像所對應(yīng)視角的 2X3的旋轉(zhuǎn)矩陣，Qei 為截斷的小波基函數(shù)，d為截斷后的小波基個數(shù)，Xq ~為形狀 軌跡在小波基表示下的系數(shù)，13為3X3的單位矩陣表示矩陣的Kronecker乘法，( )T 表示矩陣的轉(zhuǎn)置；7)計算各個時刻的三維點云，即動態(tài)三維點云S'= (QX I3)S。
2.如權(quán)利要求1所述方法，其特征是，基于小波變換分解觀測矩陣的方法具體包括以 下步驟6-1)計算觀測矩陣W的平均列向量t ；6-2)迭代地采用PTA方法計算矩陣D，直到平均正交化誤差沒有變化為止，PTA是point trajectory approach
全文摘要
本發(fā)明屬于計算機多媒體技術(shù)領(lǐng)域。為提供一種精確魯棒的單相機視頻三維重建方法，更加精確地重建非剛性物體形狀和相機運動，本發(fā)明采取的技術(shù)方案是，一種基于小波變換的單相機視頻三維重建方法，包括以下步驟1)手持一臺相機圍繞一個運動物體運動，同時采集一段視頻；2)采用KLT特征點跟蹤方法計算每一幀圖像的對應(yīng)特征點；3)選取跟蹤時間最長即所對應(yīng)的幀圖像最多的n個對應(yīng)特征點；4)計算由步驟3)得到的的n個對應(yīng)特征點所在的幀圖像，并依照所含對應(yīng)特征點多、圖像之間間隔均勻的原則選取m幅幀圖像；5)建立觀測矩陣6)基于小波變換將觀測矩陣W分解；7)計算各個時刻的三維點云。本發(fā)明主要應(yīng)用于視頻三維重建。
文檔編號G06T17/00GK102592308SQ20111039076
公開日2012年7月18日 申請日期2011年11月30日 優(yōu)先權(quán)日2011年11月30日
發(fā)明者李坤, 楊敬鈺, 江建民 申請人:天津大學