一種多功能全景視頻實(shí)時(shí)拼接方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理領(lǐng)域，具體是一種多功能全景視頻實(shí)時(shí)拼接方法。
【背景技術(shù)】
[0002]全景視頻拼接技術(shù)涉及到計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、數(shù)字圖像處理以及一些數(shù)學(xué)工具等技術(shù)。全景圖可以表達(dá)完整的周圍環(huán)境信息，相當(dāng)于觀察者從一個(gè)固定視點(diǎn)向四周轉(zhuǎn)一圈所能看到的景象。
[0003]全景視頻圖像拼接技術(shù)是將一段視頻中各相鄰幀圖像相互配準(zhǔn)而生成一幅包含視頻序列所有信息的全景圖。全景給人們帶來全新的真實(shí)現(xiàn)場感和交互式的感受。它可廣泛應(yīng)用于三維電子商務(wù)，如在線的房地產(chǎn)樓盤展示、虛擬旅游、虛擬教育等領(lǐng)域，該技術(shù)在大面積靜態(tài)場景觀測、虛擬現(xiàn)實(shí)、視頻檢索、以及高分辨率圖像的獲取等方面也有著重要應(yīng)用。
[0004]對于實(shí)時(shí)視頻全景合成技術(shù)，主要困難之一在于實(shí)時(shí)性的要求。眾所周知，正常視頻幀率一般為25~30FPS，這意味著至少必須在0.04秒內(nèi)合成一幅全景幀，而現(xiàn)有的靜態(tài)全景圖像生成算法都無法做到這一點(diǎn)，因此無法直接應(yīng)用于視頻合成。而針對靜態(tài)全景圖像質(zhì)量的改進(jìn)算法也由于計(jì)算量太大無法用于處理視頻幀。
[0005]近年來有關(guān)三維全景視頻的實(shí)時(shí)拼接的研究快速發(fā)展，國內(nèi)外對視頻拼接方法展開了諸多研究，許多科研院校、企業(yè)都投入了大量的資金和人力在全景視頻實(shí)時(shí)拼接、三維景觀構(gòu)建的相關(guān)理論及工程應(yīng)用中。
[0006]目前的3D全景視頻拼接方法在快速性真實(shí)感、實(shí)時(shí)性方面有很大欠缺，存在實(shí)時(shí)速度不高拼接效果不理想等問題。全景目前被高度商業(yè)化，隨著計(jì)算機(jī)技術(shù)的進(jìn)步，人們對全景的期望越來越高，因此，有必要根據(jù)實(shí)際應(yīng)用背景，進(jìn)一步研究探索更加準(zhǔn)確快速方便實(shí)用的視頻拼接方法。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提出一種多功能全景視頻實(shí)時(shí)拼接方法。主要針對全景視頻生成的實(shí)時(shí)性和準(zhǔn)確性的需求下，提出一種全新的解決方式，即在運(yùn)動(dòng)狀態(tài)下，實(shí)時(shí)生成帶有位置信息的3D全景視頻圖像，本發(fā)明能實(shí)現(xiàn)三維全景視頻幀與帶有經(jīng)瑋度坐標(biāo)的3DGIS數(shù)據(jù)的自動(dòng)匹配與無縫集成。
[0008]本發(fā)明提出了一種多功能全景視頻實(shí)時(shí)拼接方法，包括:獲得多個(gè)攝像機(jī)對不同角度拍攝的立體視頻流數(shù)據(jù)、GPS數(shù)據(jù)、INS數(shù)據(jù)和3DGIS數(shù)據(jù)；判斷GPS與INS時(shí)間是否同步、GPS與GIS位置是否同步以及各路視頻是否同步；完成視頻數(shù)據(jù)和空間位置信息的解析、壓縮、分析提取和存儲(chǔ)工作；對各路數(shù)據(jù)進(jìn)行數(shù)據(jù)校準(zhǔn)，將視頻數(shù)據(jù)、GPS數(shù)據(jù)、GIS數(shù)據(jù)、INS數(shù)據(jù)統(tǒng)一處理并集成，提取帶有經(jīng)瑋度信息的空間特征點(diǎn)；利用立體坐標(biāo)精確特征點(diǎn)匹配對，自動(dòng)優(yōu)選拼接參數(shù)，對圖像實(shí)時(shí)拼接和融合。
[0009]本發(fā)明數(shù)據(jù)采集設(shè)備采用一種新型的布局結(jié)構(gòu)進(jìn)行固定，只需在攝像機(jī)同步采集的前幾幀進(jìn)行圖像特征點(diǎn)、視頻匹配幀、圖像拼接變換參數(shù)的自動(dòng)優(yōu)選，同時(shí)通過特征點(diǎn)對空間坐標(biāo)信息進(jìn)行校正，獲取最優(yōu)的拼接參數(shù)，然后將該最優(yōu)拼接參數(shù)用于后續(xù)視頻幀的拼接函數(shù)中，實(shí)現(xiàn)三維全景視頻流的實(shí)時(shí)動(dòng)態(tài)拼接。
[0010]本發(fā)明提出的一種多功能全景視頻實(shí)時(shí)拼接方法具有如下有益效果:1.本發(fā)明能高效、實(shí)時(shí)生成具有精準(zhǔn)位置標(biāo)識(shí)的三維全景視頻。2.本發(fā)明通過特征點(diǎn)對對立體空間坐標(biāo)的配對校正，提高了拼接的精度。
【附圖說明】
[0011 ] 圖1是本發(fā)明的方法流程圖；
圖2是本發(fā)明的攝像機(jī)布局結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0012]下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明。
[0013]圖1是本發(fā)明一較佳實(shí)例中一種多功能全景視頻實(shí)時(shí)拼接方法流程圖，該方法包括如下步驟:
步驟S101:獲得多個(gè)攝像機(jī)對不同角度拍攝的立體視頻流數(shù)據(jù)、GPS數(shù)據(jù)、INS數(shù)據(jù)和3DGIS數(shù)據(jù)；
步驟S102:判斷GPS與INS時(shí)間是否同步、GPS與GIS位置是否同步以及各路視頻是否同步；
步驟S103:完成視頻數(shù)據(jù)和空間位置信息的解析、壓縮、分析提取和存儲(chǔ)工作；
步驟S104:對各路數(shù)據(jù)進(jìn)行數(shù)據(jù)校準(zhǔn)，將視頻數(shù)據(jù)、GPS數(shù)據(jù)、GIS數(shù)據(jù)、INS數(shù)據(jù)統(tǒng)一處理并集成，提取帶有經(jīng)瑋度信息的空間特征點(diǎn)；
步驟S105:利用立體坐標(biāo)精確特征點(diǎn)匹配對，自動(dòng)優(yōu)選拼接參數(shù)，對全景視頻實(shí)時(shí)拼接。
[0014]該采集數(shù)據(jù)步驟S101，包括多臺(tái)攝像機(jī)、GPS接收機(jī)、PC等設(shè)備。在攝像機(jī)標(biāo)定之后，采用多個(gè)攝像機(jī)對不同方位進(jìn)行拍攝，攝像機(jī)、GPS/INS采集機(jī)同步控制，完成某點(diǎn)周邊360度場景以及位置坐標(biāo)信息的一次同步采集。
[0015]該同步控制步驟S102，根據(jù)判定各路視頻提取的基于時(shí)間和空間的特征信息、GPS和GIS各自的空間位置信息、GPS和INS各自精確的時(shí)間信息是否匹配來確定兩路信息是否同步。
[0016]該S103步驟中，包括GPS數(shù)據(jù)解析、通過坐標(biāo)變換將坐標(biāo)系統(tǒng)一、通過投影變換將經(jīng)瑋度轉(zhuǎn)換為GIS數(shù)據(jù)所采用的參照系中的坐標(biāo)。
[0017]該提取特征點(diǎn)步驟S104，根據(jù)各視頻的時(shí)間標(biāo)識(shí)信息以及空間的顏色信息提取出共同的特征信息點(diǎn)，將視頻數(shù)據(jù)、GPS數(shù)據(jù)、GIS數(shù)據(jù)、INS數(shù)據(jù)統(tǒng)一處理數(shù)據(jù)融合。
[0018]該全景視頻拼接步驟S105，通過特征點(diǎn)對空間坐標(biāo)信息進(jìn)行校正，獲取最優(yōu)的拼接參數(shù)，對全景視頻實(shí)時(shí)拼接。
[0019]圖2是本發(fā)明的攝像機(jī)布局結(jié)構(gòu)圖。本發(fā)明采用復(fù)數(shù)臺(tái)(6臺(tái)8臺(tái)等)攝像機(jī)進(jìn)行結(jié)構(gòu)固定，以8臺(tái)為例，結(jié)構(gòu)圖如圖2所示。8臺(tái)攝像機(jī)等分圓周，固定在同一個(gè)圓的周圍，任意兩個(gè)相鄰的相機(jī)間夾角相等，圖中，C代表相機(jī)，Z為同心圓的圓心，A表示相鄰兩個(gè)相機(jī)拍攝的重疊區(qū)域，E為單個(gè)相機(jī)的視野范圍。
[0020]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替代和改進(jìn)等，均包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種多功能全景視頻拼接方法，其特征在于，包括步驟: 步驟(S101)，獲得多個(gè)攝像機(jī)對不同角度拍攝的立體視頻流數(shù)據(jù)、GPS數(shù)據(jù)、INS數(shù)據(jù)和3DGIS數(shù)據(jù); 步驟(S102)，判斷GPS與INS時(shí)間是否同步、GPS與GIS位置是否同步以及各路視頻是否同步； 步驟(S103)，完成視頻數(shù)據(jù)和空間位置信息的解析、壓縮、分析提取和存儲(chǔ)工作； 步驟(S104)，對各路數(shù)據(jù)進(jìn)行數(shù)據(jù)校準(zhǔn)，將視頻數(shù)據(jù)、GPS數(shù)據(jù)、GIS數(shù)據(jù)、INS數(shù)據(jù)統(tǒng)一處理并集成，提取帶有經(jīng)瑋度信息的空間特征點(diǎn)； 步驟(S105)，利用立體坐標(biāo)精確特征點(diǎn)匹配對，自動(dòng)優(yōu)選拼接參數(shù)，對全景視頻實(shí)時(shí)拼接。2.如權(quán)利要求1所述的一種多功能全景視頻拼接方法，其特征在于，所述步驟(101)中，在運(yùn)動(dòng)狀態(tài)下，多臺(tái)攝像機(jī)、GPS/INS等同步工作，完成周邊360度場景以及位置坐標(biāo)信息的一次性同步采集。3.如權(quán)利要求1所述的一種多功能全景視頻拼接方法，其特征在于，多臺(tái)攝像機(jī)采用一種新型的布局結(jié)構(gòu)進(jìn)行固定，同步采集得到的視頻的相對應(yīng)參數(shù)也相應(yīng)固定。4.如權(quán)利要求1所述的一種多功能全景視頻拼接方法，其特征在于，所述步驟(102)中，根據(jù)判定各路視頻提取的基于時(shí)間和空間的特征信息、GPS和GIS各自的空間位置信息、GPS和INS各自精確的時(shí)間信息是否匹配來確定兩路信息是否同步。5.如權(quán)利要求1所述的一種多功能全景視頻拼接方法，其特征在于，在攝像機(jī)同步采集的前幾幀進(jìn)行圖像特征點(diǎn)、視頻匹配幀、圖像拼接變換參數(shù)的自動(dòng)優(yōu)選，同時(shí)通過特征點(diǎn)對空間坐標(biāo)信息進(jìn)行校正，獲取最優(yōu)的拼接參數(shù)，然后將該最優(yōu)拼接參數(shù)用于后續(xù)視頻幀的拼接函數(shù)中，實(shí)現(xiàn)三維全景視頻流的實(shí)時(shí)動(dòng)態(tài)拼接。6.如權(quán)利要求1所述的一種多功能全景視頻拼接方法，其特征在于，所述步驟(S103)中，包括GPS數(shù)據(jù)解析、通過坐標(biāo)變換將坐標(biāo)系統(tǒng)一、通過投影變換將經(jīng)瑋度轉(zhuǎn)換為GIS數(shù)據(jù)所采用的參照系中的坐標(biāo)。7.如權(quán)利要求1所述的一種多功能全景視頻拼接方法，其特征在于，所述步驟(S104)中，根據(jù)各視頻的時(shí)間標(biāo)識(shí)信息以及空間的顏色信息提取出共同的特征信息點(diǎn)，將視頻數(shù)據(jù)、GPS數(shù)據(jù)、GIS數(shù)據(jù)、INS數(shù)據(jù)統(tǒng)一處理數(shù)據(jù)融合。8.如權(quán)利要求3所述的一種多功能全景視頻拼接方法，其特征在于，所述布局結(jié)構(gòu)為用復(fù)數(shù)臺(tái)攝像機(jī)進(jìn)行結(jié)構(gòu)固定，復(fù)數(shù)臺(tái)攝像機(jī)等分圓周，固定在同一個(gè)圓的周圍，任意兩個(gè)相鄰的相機(jī)間夾角相等。
【專利摘要】本發(fā)明提供一種多功能全景視頻拼接方法。該方法包括步驟：獲得多個(gè)攝像機(jī)對不同角度拍攝的立體視頻流數(shù)據(jù)、GPS數(shù)據(jù)、INS數(shù)據(jù)和3DGIS數(shù)據(jù)；判斷GPS與INS時(shí)間是否同步、GPS與GIS位置是否同步以及各路視頻是否同步；完成視頻數(shù)據(jù)和空間位置信息的解析、壓縮、分析提取和存儲(chǔ)工作；對各路數(shù)據(jù)進(jìn)行數(shù)據(jù)校準(zhǔn)，將視頻數(shù)據(jù)、GPS數(shù)據(jù)、GIS數(shù)據(jù)、INS數(shù)據(jù)統(tǒng)一處理并集成，提取帶有經(jīng)緯度信息的空間特征點(diǎn)；利用立體坐標(biāo)精確特征點(diǎn)匹配對，自動(dòng)優(yōu)選拼接參數(shù)，對全景視頻實(shí)時(shí)拼接。本發(fā)明是基于圖像特征點(diǎn)、視頻匹配幀、圖像拼接變換參數(shù)的自動(dòng)優(yōu)選技術(shù)以及整合特征點(diǎn)的空間坐標(biāo)信息的高性能全景視頻拼接。
【IPC分類】H04N5/262, H04N5/04, H04N5/232
【公開號(hào)】CN105262949
【申請?zhí)枴緾N201510663892
【發(fā)明人】宋夫華
【申請人】浙江卓銳科技股份有限公司
【公開日】2016年1月20日
【申請日】2015年10月15日