基于單攝像頭的360度全景影像生成方法
【專利摘要】本發(fā)明公開了一種基于單攝像頭的360度全景影像生成方法，主要解決目前實(shí)現(xiàn)車載360度全景影像的方法需要4個(gè)攝像頭的問題。其技術(shù)方案是：1.通過攝像機(jī)標(biāo)定，求解將圖像變換為頂視圖的單應(yīng)性變換矩陣M；2.將每幀圖像轉(zhuǎn)換為頂視圖，并對(duì)每幀轉(zhuǎn)換后的頂視圖進(jìn)行特征點(diǎn)檢測(cè)與匹配；3.求解相鄰幀間的旋轉(zhuǎn)矩陣和平移向量，實(shí)現(xiàn)頂視圖拼接；4.判斷拍攝是否停止，若拍攝未停止，則返回步驟2，若拍攝停止，則停止循環(huán)，在車輛行駛多于一個(gè)車身的距離后，得到車身周圍360度的動(dòng)態(tài)全景影像。本發(fā)明具有成本低廉、安裝簡便的優(yōu)點(diǎn)，實(shí)現(xiàn)了使用單個(gè)攝像頭獲得360度全景影像的功能，魯棒性高，可用于行車或泊車時(shí)對(duì)車輛周圍情況的觀察。
【專利說明】
基于單攝像頭的360度全景影像生成方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，設(shè)及一種實(shí)現(xiàn)360度全景影像的方法，可用于行車 或泊車時(shí)對(duì)車輛周圍情況的觀察。
【背景技術(shù)】
[0002] 隨著社會(huì)的發(fā)展，汽車W每天上萬輛的數(shù)量在飛速增長，相應(yīng)地，駕駛員的數(shù)量也 在日益增加。道路的擁擠，停車位的狹窄給很多本就是新手的駕駛員帶來了各種各樣的難 題，駕駛員行車安全問題越來越受人關(guān)注。行車安全問題不僅僅關(guān)系到對(duì)車輛的保護(hù)，行車 中出現(xiàn)的意外情況還容易引發(fā)一系列城市管理問題，甚至威脅到駕駛員W及他人的生命安 全。
[0003] 目前針對(duì)行車安全，市面上提出了各種各樣的科技手段，在車上加裝測(cè)量儀器來 輔助駕駛員安全行車。其中基于加裝攝像頭的主要有泊車時(shí)后視攝像頭，用于行車記錄的 前視攝像頭和用于生成360度全景的多攝像頭?；谲囕d多攝像頭生成360度全景影像是近 年來的新技術(shù)，該技術(shù)一般是使用4個(gè)攝像頭，安裝到車頭、車尾W及車身兩側(cè)，將四個(gè)攝像 頭采集到的影像數(shù)據(jù)利用圖像處理技術(shù)進(jìn)行拼接，將圖像置為頂視圖，形成一個(gè)360度全景 影像。該全景影像便于駕駛員對(duì)車身周圍的情況進(jìn)行判斷，也在行車、泊車時(shí)給駕駛員提供 了便利。然而，由于借助了四個(gè)攝像頭，運(yùn)個(gè)系統(tǒng)存在W下問題：
[0004] 1)由于使用多個(gè)攝像頭，整個(gè)系統(tǒng)成本較高；
[0005] 2)因?yàn)橐獙z像頭固定到車輛的前后左右，需要拆裝車的部分外殼W供走線，所 W安裝困難，特別是左右攝像頭安裝時(shí)，需要破壞部分車身；
[0006] 3)多攝像頭的參數(shù)在使用一段時(shí)間后，由于硬件老化程度不一致或個(gè)別產(chǎn)生位 移，就會(huì)出現(xiàn)畫面崎變，拼接處出現(xiàn)無法對(duì)齊等問題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于單攝像頭的360度全 景影像生成方法，W減小成本，簡化安裝，降低由于攝像頭不一致對(duì)畫面效果造成的不良影 響。
[000引實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案如下：
[0009] (1)使用一個(gè)車載前攝像頭或后攝像頭，并用定標(biāo)板對(duì)攝像頭采集到的圖像進(jìn)行 標(biāo)定，得到攝像頭的內(nèi)參矩陣K和崎變系數(shù)D;
[0010] (2)將定標(biāo)板平置在地面之上，利用攝像機(jī)拍攝一幅包含定標(biāo)板的混合圖像，檢測(cè) 該混合圖像上的定標(biāo)板角點(diǎn)，并定義一個(gè)頂視圖坐標(biāo)系W及該坐標(biāo)系下對(duì)應(yīng)定標(biāo)板角點(diǎn)的 點(diǎn)集，計(jì)算檢測(cè)到的定標(biāo)板角點(diǎn)投影到頂視圖坐標(biāo)系下的對(duì)應(yīng)點(diǎn)的單應(yīng)性變換矩陣M;
[0011] (3)利用步驟（1)和步驟(2)結(jié)果，在車輛行駛時(shí)對(duì)攝像頭采集的每帖圖像進(jìn)行轉(zhuǎn) 換，得到每帖圖像轉(zhuǎn)換后的頂視圖；
[0012] (4)對(duì)每帖圖像轉(zhuǎn)換后的頂視圖進(jìn)行特征點(diǎn)檢測(cè):若檢測(cè)的當(dāng)前帖是第一帖，則直 接執(zhí)行步驟(5b)，否則，將檢測(cè)到的特征點(diǎn)與前一帖圖像的特征點(diǎn)進(jìn)行匹配，求解兩相鄰帖 在頂視圖坐標(biāo)系下的旋轉(zhuǎn)矩陣R和平移向量t，執(zhí)行步驟5a);
[0013] (5)頂視圖拼接：
[0014] 5a)根據(jù)步驟(4)求得的旋轉(zhuǎn)矩陣R和平移向量t，將頂視圖與新采集到的圖像的頂 視圖拼接形成新的頂視圖，并進(jìn)行保存；
[0015] 5b)在新的頂視圖中，將當(dāng)前帖的頂視圖部分保留為彩色，其余部分為灰色圖像；
[0016] 5c)將汽車模型圖案顯示在屏幕中，使生成的頂視圖與當(dāng)前車身所在位置相對(duì)應(yīng)；
[0017] (6)循環(huán)執(zhí)行步驟(3巧Ij步驟(5)，在車輛行駛多于一個(gè)車身的距離后，得到車身周 圍360度的動(dòng)態(tài)全景影像，直到拍攝停止。
[0018] 本發(fā)明與現(xiàn)有技術(shù)相比，具有W下優(yōu)點(diǎn)：
[0019] 第一，本發(fā)明使用圖像處理技術(shù)，有別于普通單攝像頭系統(tǒng)只能看到車頭或車尾 一米左右的影像，其能夠在行車或倒車過程中觀察車身與周圍各個(gè)方向的物體的相對(duì)位 置，為駕駛員開車提供了更加可靠的參考。
[0020] 第二，本發(fā)明采用一個(gè)攝像頭實(shí)現(xiàn)360度全景影像，相比現(xiàn)有技術(shù)采用4個(gè)攝像頭 實(shí)現(xiàn)全景影像的方法，成本更加低廉，安裝更加簡便。
[0021] 第Ξ，本發(fā)明使用一個(gè)攝像頭，在標(biāo)定之后對(duì)單一攝像頭的圖像進(jìn)行校正，再通過 圖像處理技術(shù)對(duì)圖像進(jìn)行拼接，解決了現(xiàn)有技術(shù)中由于硬件老化問題造成多個(gè)攝像頭的內(nèi) 參和崎變系數(shù)的差別，W及使用過程中發(fā)生碰撞使攝像頭外參發(fā)生改變，進(jìn)而使幾個(gè)攝像 頭的圖像拼接出現(xiàn)誤差的問題。
【附圖說明】
[0022] 圖1為本發(fā)明的實(shí)現(xiàn)流程圖；
[0023] 圖2為本發(fā)明中求解單應(yīng)性變換矩陣Μ的子流程圖；
[0024] 圖3為用本發(fā)明實(shí)驗(yàn)生成的全景影像示意圖。
【具體實(shí)施方式】
[0025] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。
[0026] 參照?qǐng)D1，本發(fā)明【具體實(shí)施方式】如下：
[0027] 步驟1，攝像機(jī)標(biāo)定。
[0028] 1.1)使用攝像機(jī)采集若干張包含定標(biāo)板的采樣圖像，并使定標(biāo)板在采樣圖像中呈 現(xiàn)不同的大小和姿態(tài)，該定標(biāo)板，是一種帶有固定間距圖案陣列的平板，其圖案分為實(shí)屯、圓 陣列圖案和棋盤格圖案兩種，本發(fā)明中使用的是棋盤格圖案的定標(biāo)板；
[0029] 1.2)檢測(cè)每一張采樣圖像上定標(biāo)板的角點(diǎn)，利用魚眼鏡頭模型計(jì)算得到攝像頭的 內(nèi)參矩陣Κ和崎變系數(shù)D:
[0030]
[0031] D=[d0 di d2 d3 d4]T，
[0032] 其中fx = f/dx為采樣圖像上u軸的歸一化焦距，dx表示傳感器u軸上單位像素的尺 寸大小，fy=f/dy為采樣圖像上V軸的歸一化焦距，dy表示傳感器V軸上單位像素的尺寸大 小，f是相機(jī)的焦距，Ux和Uy表示光學(xué)中屯、的橫坐標(biāo)和縱坐標(biāo)，該光學(xué)中屯、是攝像機(jī)光軸與圖 像平面的交點(diǎn)；山、山、(12、(13和(14分別表示魚眼鏡頭模型中入射光線與魚眼相機(jī)光軸之間夾 角9的多項(xiàng)近似式0d的前5項(xiàng)系數(shù)。
[0033] 步驟2,求解將圖像變換為頂視圖的單應(yīng)性變換矩陣M。
[0034] 參照?qǐng)D2,本步驟的實(shí)現(xiàn)如下：
[0035] 2.1)將定標(biāo)板平置在地面之上，利用攝像機(jī)拍攝一幅包含定標(biāo)板的混合圖像，如 圖2(a)所示;再檢測(cè)該混合圖像上的定標(biāo)板角點(diǎn)，如圖2(b)所示，并利用步驟1中得到的內(nèi) 參矩陣K和崎變系數(shù)D對(duì)混合圖像進(jìn)行崎變校正，得到崎變校正后混合圖像上的定標(biāo)板角 占 .
[0036] 2.2)定義一個(gè)汽車頂視圖所在的坐標(biāo)系，即頂視圖坐標(biāo)系，如圖2(c)所示，其中圓 點(diǎn)表示頂視圖坐標(biāo)系中與檢測(cè)到的定標(biāo)板角點(diǎn)相對(duì)應(yīng)的位置；
[0037] 2.3)根據(jù)崎變校正后的混合圖像和頂視圖之間滿足單應(yīng)性變換關(guān)系，通過對(duì)應(yīng)點(diǎn) 的坐標(biāo)，計(jì)算崎變校正后混合圖像上的定標(biāo)板角點(diǎn)投影到頂視圖對(duì)應(yīng)點(diǎn)的單應(yīng)性變換矩陣 M：
[0038] 2.3.1)設(shè)崎變校正后混合圖像上的定標(biāo)板角點(diǎn)點(diǎn)集的齊次坐標(biāo)矩陣為Xs=[Xsi Xs2…Xsi…Xsn]，其中Xsi是Xs的第i列，Xsi=[xsi ysi UT，xs功角點(diǎn)的橫坐標(biāo)，ys功縱坐 標(biāo)，η為檢測(cè)到的角點(diǎn)數(shù)目；
[0039] 2.3.2)設(shè)頂視圖坐標(biāo)系下與定標(biāo)板角點(diǎn)位置對(duì)應(yīng)的點(diǎn)集齊次坐標(biāo)矩陣為Χτ=[Χη Χτ2…XTi…Χτη]，其中XTi是Χτ的第i列，XTi=[XTi yn l]T，XTi為與角點(diǎn)相對(duì)應(yīng)的點(diǎn)的橫坐 標(biāo)，yTi為與角點(diǎn)相對(duì)應(yīng)的點(diǎn)的縱坐標(biāo)；
[0040] 2.3.3)根據(jù)Xs與Xτ滿足單應(yīng)性變換關(guān)系:Xτ=M·Xs，求解單應(yīng)性變換矩陣M
[0041]
[0042] 推導(dǎo)得到：
[0043] Am = 0,
[0044] 其中A是一個(gè)化X9的矩陣，η為定標(biāo)板上檢測(cè)到的角點(diǎn)數(shù)目：
[0047]其中山山2山3分別表示單應(yīng)性變換矩陣Μ中的第1行的第巧U、第巧U和第巧川21、 h22、h23分別表示單應(yīng)性變換矩陣Μ中的第2行的第1列、第2列和第3列，h31、h32分別表示單應(yīng) 性變換矩陣Μ中的第3行的第1列和第2列；
[004引2.3.4)使用奇異值分解將上述化X 9的矩陣A分解為兩個(gè)正交矩陣Ua和Va，W及一 個(gè)奇異值矩陣Sa，奇異值矩陣Sa中最小的奇異值對(duì)應(yīng)的第二個(gè)正交矩陣Va中的奇異向量即 為最小二乘解，也就是上述向量m的解，進(jìn)而得到單應(yīng)性變換矩陣M，利用單應(yīng)性變換矩陣M， 將攝像頭采集到的圖像轉(zhuǎn)換到頂視圖，如圖2 (d)所示。
[0049] 步驟3，將每帖圖像轉(zhuǎn)換到頂視圖。
[0050] 利用步驟1和步驟2結(jié)果，在車輛行駛時(shí)對(duì)攝像頭采集的每帖圖像進(jìn)行轉(zhuǎn)換，得到 每帖圖像轉(zhuǎn)換后的頂視圖，該轉(zhuǎn)換出來的頂視圖與汽車當(dāng)前的位置相對(duì)應(yīng)。
[0051] 步驟4,對(duì)每帖圖像轉(zhuǎn)換后的頂視圖進(jìn)行特征點(diǎn)檢測(cè):若檢測(cè)的當(dāng)前帖是第一帖， 則直接執(zhí)行步驟6.2)，否則，將檢測(cè)到的特征點(diǎn)與前一帖圖像的特征點(diǎn)進(jìn)行匹配。
[0052] 步驟5,求解兩相鄰帖在頂視圖坐標(biāo)系下的旋轉(zhuǎn)矩陣R和平移向量t。
[0053] 根據(jù)頂視圖坐標(biāo)系下只存在旋轉(zhuǎn)和平移，且旋轉(zhuǎn)只有一個(gè)自由度，平移只有兩個(gè) 自由度的關(guān)系，根據(jù)步驟4中匹配到大量特征點(diǎn)對(duì)，使用最小二乘的方法求解兩相鄰帖的旋 轉(zhuǎn)矩陣R和平移向量t，W降低噪聲和匹配錯(cuò)誤點(diǎn)的對(duì)結(jié)果造成的影響。其實(shí)現(xiàn)步驟如下：
[0054] 5.1)設(shè)前一帖匹配的點(diǎn)集坐標(biāo)為姑=[姑1姑2…姑i…姑m]，其中Xpi是點(diǎn)集坐標(biāo) Xp的第i列，Xpi=[祉i ypi]T，xpi為匹配到的特征點(diǎn)在前一帖圖像中的橫坐標(biāo)，ypi為縱坐標(biāo)，m 為匹配的點(diǎn)數(shù)；
[0055] 5.2)設(shè)當(dāng)前帖匹配的點(diǎn)集坐標(biāo)為Xc=[XclXc2…Xci…Xcm]，其中Xci是點(diǎn)集坐標(biāo) Xc的第i列，Xci = [xci yci]τ,xci為匹配到的特征點(diǎn)在當(dāng)前帖圖像中的橫坐標(biāo)，yci為縱坐標(biāo)；
[0056] 5.3)根據(jù)Xp和?滿足旋轉(zhuǎn)和平移關(guān)系:Xc = R·Xpパ，求解旋轉(zhuǎn)矩陣R和平移向量t
[0化7]
[0058]其中Θ為前一帖圖像到當(dāng)前帖圖像的旋轉(zhuǎn)角度，tx和ty分別為前一帖圖像與當(dāng)前帖 圖像位移的橫坐標(biāo)和縱坐標(biāo)；
[0化9] 對(duì)方程組Xg = R .姑+t進(jìn)行推導(dǎo)，得到齊次線性方程組：
[0060] &1 = 0，
[0061]其中B是一個(gè)2mX7的矩陣，m為當(dāng)前帖圖像與前一帖圖像特征點(diǎn)匹配的數(shù)目，
[0064] 5.4)使用奇異值分解將上述2mX7的矩陣B分解為兩個(gè)正交矩陣UB和VB，W及一個(gè) 奇異值矩陣Sb，奇異值矩陣Sb中最小的奇異值對(duì)應(yīng)的第二個(gè)正交矩陣Vb中的奇異向量即為 最小二乘解，也就是上述向量η的解，進(jìn)而得到旋轉(zhuǎn)矩陣R和平移矩陣t。
[0065] 步驟6,頂視圖拼接。
[0066] 6.1)根據(jù)步驟4求得的旋轉(zhuǎn)矩陣R和平移矩陣t，將頂視圖與新采集到的圖像的頂 視圖拼接形成新的頂視圖，并進(jìn)行保存；
[0067] 6.2)在新的頂視圖中，將當(dāng)前帖的頂視圖部分保留為彩色，其余部分為灰色圖像；
[0068] 6.3)將汽車模型圖案顯示在屏幕中，使生成的頂視圖與當(dāng)前車身所在位置相對(duì) 應(yīng)。
[0069] 步驟7，生成360度全景影像。
[0070] 循環(huán)執(zhí)行步驟3到步驟6,在車輛行駛多于一個(gè)車身的距離后，得到車身周圍360度 的動(dòng)態(tài)全景影像，直到拍攝停止。
[0071] 循環(huán)執(zhí)行步驟3到步驟6生成全景影像的過程，如圖3所示，其中：
[0072] 圖3(a)是攝像頭采集到第一帖圖像，并進(jìn)行崎變校正后的結(jié)果；
[0073] 圖3(d)是與圖3(a)相對(duì)應(yīng)的轉(zhuǎn)換為頂視圖的結(jié)果；
[0074] 圖3(b)是車輛行駛了一段距離后攝像頭采集到的圖像；
[0075] 圖3(e)是與圖3(b)相對(duì)應(yīng)的轉(zhuǎn)換為頂視圖后與之前保存的頂視圖拼接后的結(jié)果 圖中當(dāng)前帖的頂視圖部分保留為彩色，其余部分為灰色圖像；
[0076] 圖3(c)是車輛行駛多于一個(gè)車身的距離后攝像頭采集到的圖像；
[0077] 圖3(f)是與圖3(c)相對(duì)應(yīng)的轉(zhuǎn)換為頂視圖后與之前保存的頂視圖拼接后的結(jié)果， 圖3(f)顯示了車身周圍360度的全景影像及汽車模型圖案，全景影像及汽車模型的相對(duì)位 置與當(dāng)前車身在真實(shí)場(chǎng)景中的位置相對(duì)應(yīng)。
【主權(quán)項(xiàng)】
1. 一種基于單攝像頭的360度全景影像生成方法，包括： (1) 使用一個(gè)車載前攝像頭或后攝像頭，并用定標(biāo)板對(duì)攝像頭采集到的采樣圖像進(jìn)行 標(biāo)定，得到攝像頭的內(nèi)參矩陣K和畸變系數(shù)D; (2) 將定標(biāo)板平置在地面之上，利用攝像機(jī)拍攝一幅包含定標(biāo)板的混合圖像，并檢測(cè)該 混合圖像上的定標(biāo)板角點(diǎn)，利用步驟（1)中得到的內(nèi)參矩陣K和畸變系數(shù)D對(duì)混合圖像進(jìn)行 畸變校正，進(jìn)而得到畸變校正后混合圖像上的定標(biāo)板角點(diǎn)，定義一個(gè)頂視圖坐標(biāo)系以及該 坐標(biāo)系下對(duì)應(yīng)定標(biāo)板角點(diǎn)的點(diǎn)集，計(jì)算畸變校正后混合圖像上的定標(biāo)板角點(diǎn)投影到頂視圖 坐標(biāo)系下的對(duì)應(yīng)點(diǎn)的單應(yīng)性變換矩陣M; (3) 利用步驟（1)和步驟(2)結(jié)果，在車輛行駛時(shí)對(duì)攝像頭采集的每幀圖像進(jìn)行轉(zhuǎn)換，得 到每幀圖像轉(zhuǎn)換后的頂視圖； (4) 對(duì)每幀圖像轉(zhuǎn)換后的頂視圖進(jìn)行特征點(diǎn)檢測(cè):若檢測(cè)的當(dāng)前幀是第一幀，則直接執(zhí) 行步驟(5b)，否則，將檢測(cè)到的特征點(diǎn)與前一幀圖像的特征點(diǎn)進(jìn)行匹配，求解兩相鄰幀在頂 視圖坐標(biāo)系下的旋轉(zhuǎn)矩陣R和平移向量t，執(zhí)行步驟5a); (5) 頂視圖拼接： 5a)根據(jù)步驟(4)求得的旋轉(zhuǎn)矩陣R和平移向量t，將頂視圖與新采集到的圖像的頂視圖 拼接形成新的頂視圖，并進(jìn)行保存； 5b)在新的頂視圖中，將當(dāng)前幀的頂視圖部分保留為彩色，其余部分為灰色圖像;5c)將 汽車模型圖案顯示在屏幕中，使生成的頂視圖與當(dāng)前車身所在位置相對(duì)應(yīng)； (6) 循環(huán)執(zhí)行步驟（3)到步驟（5)，在車輛行駛多于一個(gè)車身的距離后，得到車身周圍 360度的動(dòng)態(tài)全景影像，直到拍攝停止。2. 根據(jù)權(quán)利要求1所述的基于單攝像頭的360度全景影像生成方法，其特征在于:驟（1) 中用定標(biāo)板對(duì)攝像頭采集到的采樣圖像進(jìn)行標(biāo)定，按如下步驟進(jìn)行： (la) 使用攝像頭采集若干張包含定標(biāo)板的采樣圖像，并使定標(biāo)板在采樣圖像中呈現(xiàn)不 同的大小和姿態(tài)； (lb) 對(duì)采樣圖像中的定標(biāo)板進(jìn)行角點(diǎn)檢測(cè)，利用魚眼鏡頭模型計(jì)算得到攝像頭的內(nèi)參 矩陣K和畸變系數(shù)D: D=[do di cb cb d4]T，其中匕=；^/(^，€7 = ；^(^，分別稱為采樣圖像上11軸和￥軸上的歸一化焦距汀是相機(jī)的焦 距，dx和dy分別表示傳感器u軸和v軸上單位像素的尺寸大小，ux和u y表示光學(xué)中心坐標(biāo)，即 攝像機(jī)光軸與圖像平面的交點(diǎn)；(^、^、(^、山和心分別表示魚眼鏡頭模型中入射光線與魚眼 相機(jī)光軸之間夾角Θ的多項(xiàng)近似式9d的前5項(xiàng)系數(shù)。3. 根據(jù)權(quán)利要求1所述的基于單攝像頭的360度全景影像生成方法，其特征在于:步驟 (2)中計(jì)算畸變校正后混合圖像上的定標(biāo)板角點(diǎn)投影到頂視圖坐標(biāo)系下的對(duì)應(yīng)點(diǎn)的單應(yīng)性 變換矩陣M，按如下步驟進(jìn)行： (2a)設(shè)畸變校正后混合圖像上的定標(biāo)板角點(diǎn)點(diǎn)集的齊次坐標(biāo)矩陣為XS=[XS1 XS2… Xsi…Xsn]，其中Xsi是Xs的第i列，Xsi=[xsi ysi l]T，xsi為角點(diǎn)的橫坐標(biāo)，ysi為縱坐標(biāo)，η為 檢測(cè)到的角點(diǎn)數(shù)目； (2b)設(shè)頂視圖坐標(biāo)系下與定標(biāo)板角點(diǎn)位置對(duì)應(yīng)的點(diǎn)集齊次坐標(biāo)矩陣為XT=[XT1 XT2… Χη…Χτη]，其中Χη是Χτ的第i列，Χη=[χη yn 1]τ，χη為與角點(diǎn)相對(duì)應(yīng)的點(diǎn)的橫坐標(biāo)，yn 為與角點(diǎn)相對(duì)應(yīng)的點(diǎn)的縱坐標(biāo)； (2c)根據(jù)Xs與Χτ滿足單應(yīng)性變換關(guān)系:Χτ=Μ · Xs，求解單應(yīng)性變換矩陣Μ 推導(dǎo)得到：Am=0， 其中A是一個(gè)2nX9的矩陣，η為定標(biāo)板上檢測(cè)到的角點(diǎn)數(shù)目：m=thii hi2 hi3 h2i h22 h23 tm h32 1]τ， 其中hn、h12、h13分別表示單應(yīng)性變換矩陣M中的第1行的第1列、第2列和第3列，h 21、h22、 h23分別表示單應(yīng)性變換矩陣Μ中的第2行的第1列、第2列和第3列，h31、h32分別表示單應(yīng)性變 換矩陣Μ中的第3行的第1列和第2列； (2d)使用奇異值分解將上述2η X 9的矩陣Α分解為兩個(gè)正交矩陣UA和VA，以及一個(gè)奇異 值矩陣Sa，奇異值矩陣SA中最小的奇異值對(duì)應(yīng)的第二個(gè)正交矩陣VA中的奇異向量即為最小 二乘解，也就是上述向量m的解，進(jìn)而得到單應(yīng)性變換矩陣M。4.根據(jù)權(quán)利要求1所述的基于單攝像頭的360度全景影像生成方法，其特征在于:步驟 (4)中求解兩相鄰幀在頂視圖坐標(biāo)系下的旋轉(zhuǎn)矩陣R和平移向量t，按如下步驟進(jìn)行： (4a)設(shè)前一幀匹配的點(diǎn)集坐標(biāo)為ΧΡ=[ΧΡ1 XP2…XPi…XPm]，其中XPi是點(diǎn)集坐標(biāo)Χ Ρ的 第i列，Xpi = [ xpi yPi ]T，xpi為匹配到的特征點(diǎn)在前一幀圖像中的橫坐標(biāo)，yPi為縱坐標(biāo)，m為匹 配的點(diǎn)數(shù)； (4b)設(shè)當(dāng)前幀匹配的點(diǎn)集坐標(biāo)為Xc=[Xcl XC2…XCi…XCm]，其中XCi是點(diǎn)集坐標(biāo)Xc的 第i列，Xci = [xci yci ]T，xci為匹配到的特征點(diǎn)在當(dāng)前幀圖像中的橫坐標(biāo)，yα為縱坐標(biāo)； (4c)根據(jù)X#PXC滿足旋轉(zhuǎn)和平移關(guān)系:XC = R · XP+t，求解旋轉(zhuǎn)矩陣R和平移向量t其中Θ為前一幀圖像到當(dāng)前幀圖像的旋轉(zhuǎn)角度，tx和ty分別為前一幀圖像與當(dāng)前幀圖像 位移的橫坐標(biāo)和縱坐標(biāo)； 對(duì)方程組& = 1? · Xp+t進(jìn)行推導(dǎo)，得到齊次線性方程組： Βη = 0， 其中B是一個(gè)2mX7的矩陣，m為當(dāng)前幀圖像與前一幀圖像特征點(diǎn)匹配的數(shù)目，n= [cosB sinB -sinB cosB tx ty 1]T， (4d)使用奇異值分解將上述2mX7的矩陣B分解為兩個(gè)正交矩陣UB和VB，以及一個(gè)奇異 值矩陣Sb，奇異值矩陣SB中最小的奇異值對(duì)應(yīng)的第二個(gè)正交矩陣VB中的奇異向量即為最小 二乘解，也就是上述向量η的解，進(jìn)而得到旋轉(zhuǎn)矩陣R和平移矩陣t。
【文檔編號(hào)】G06T7/00GK105825475SQ201610203504
【公開日】2016年8月3日
【申請(qǐng)日】2016年4月1日
【發(fā)明人】姜光, 馬超群, 趙小松, 賈靜
【申請(qǐng)人】西安電子科技大學(xué)