基于點云影像的魚眼影像糾正方法
【專利摘要】本發(fā)明提供了一種基于點云影像的魚眼影像糾正方法，包括以下步驟：S1、以魚眼鏡頭的投影中心為視點，對魚眼影像進(jìn)行柱面投影變換，投影到柱面上并展開形成魚眼全景影像；S2、以魚眼鏡頭的投影中心為視點，對點云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上并展開形成點云距離影像；S3、對魚眼全景影像進(jìn)行邊緣檢測及直線特征提?。籗4、對點云距離影像進(jìn)行邊緣檢測及直線特征提??；S5、通過仿射變換，把魚眼全景影像校正到點云距離影像上。本發(fā)明采用基于點云影像的仿射變換模型對柱面投影變換校正后的魚眼影像進(jìn)行二次校正，校正后的魚眼影像可以直接給三維模型進(jìn)行紋理映射，其計算量較小且具備空間量測的可行性。
【專利說明】
基于點云影像的魚眼影像糾正方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及影像處理領(lǐng)域，具體設(shè)及一種基于點云影像的魚眼影像糾正方法。
【背景技術(shù)】
[0002] 魚眼鏡頭采用的是非線性結(jié)構(gòu)的半球面鏡頭，是一種極端的廣角鏡頭，焦距在8mm 左右的影像完全呈圓形，視角為180°，少數(shù)的甚至可W達(dá)到220°，理論上只需要兩幅魚眼照 片就可W完成一幅全景影像的拼接，從而大大減少實地拍攝和后續(xù)像片處理的工作量。由 于魚眼鏡頭采用的是非線性結(jié)構(gòu)的半球面鏡頭，因此魚眼影像描述的是半個球空間內(nèi)的場 景信息，W非線性投影的方式記錄在2D平面上，存在非常嚴(yán)重的變形，為了利于人眼觀察， 必須對其進(jìn)行校正。
[0003] 魚眼影像變形的校正方法主要有兩種：
[0004] 1、直接采用二維平面變換的方法進(jìn)行校正，該方法直接在魚眼影像與校正影像之 間建立對應(yīng)坐標(biāo)變換關(guān)系，然后將魚眼影像投影到校正影像上，然后再對沒有整數(shù)像素值 進(jìn)行像素插值處理。運種方法常用的是球面坐標(biāo)定位和多項式坐標(biāo)變換等。球面坐標(biāo)定位 法是將魚眼影像類比為地球儀上的經(jīng)度線，即落在每一條經(jīng)度線上的所有像素點在校正后 的影像中的橫坐標(biāo)都相同，因此可W根據(jù)扭曲比例建立二者之間的投影關(guān)系，對魚眼影像 實現(xiàn)校正。多項式坐標(biāo)變換一般需要5次甚至更高次的多項式，且需要多個控制點，因此計 算量巨大，同時合理地選取控制點也很難把握。
[0005] 2、采取Ξ維空間魚眼影像變換的方式進(jìn)行校正，常用的主要有投影轉(zhuǎn)換和魚眼鏡 頭標(biāo)定。投影轉(zhuǎn)換算法就是將魚眼影像上每個二維平面影像點映射到球面成像面上形成Ξ 維球面影像點，然后再W透視投影的方法投影到影像平面上構(gòu)成校正影像的二維平面點， 其實是通過成像模型從魚眼影像像素點反算出對應(yīng)的入射光線的Ξ維向量，從而實現(xiàn)校 正;魚眼鏡頭標(biāo)定算法，首先建立魚眼鏡頭變形模型，然后設(shè)計魚眼鏡頭成像的崎變因子， 再通過實驗對魚眼鏡頭的內(nèi)、外部參數(shù)進(jìn)行求解，從而實現(xiàn)魚眼影像的精確校正。但是，魚 眼影像由于受到魚眼相機(jī)的外方位因素和成像粗差和的影響，采取Ξ維空間魚眼影像變換 的方式進(jìn)行校正只是滿足了全景影像的可視化瀏覽需求，完全無法具備空間量測的可行 性。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于，針對現(xiàn)有技術(shù)中存在的問題，提供一種基于點云影像的魚眼 影像糾正方法，其計算量較小且具備空間量測的可行性。
[0007] 為實現(xiàn)上述目的，本發(fā)明采用W下技術(shù)方案：
[000引一種基于點云影像的魚眼影像糾正方法，包括W下步驟：
[0009] S1、W魚眼鏡頭的投影中屯、為視點，對魚眼影像進(jìn)行柱面投影變換，投影到柱面上 并展開形成魚眼全景影像；
[0010] S2、W魚眼鏡頭的投影中屯、為視點，對點云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上 并展開形成點云距離影像；
[0011] S3、對魚眼全景影像進(jìn)行邊緣檢測及直線特征提??；
[0012] S4、對點云距離影像進(jìn)行邊緣檢測及直線特征提??；
[0013] S5、通過仿射變換，把魚眼全景影像校正到點云距離影像上。
[0014] 進(jìn)一步地，在所述S1中，采用W下步驟對魚眼影像進(jìn)行柱面投影變換：
[0015] S101、W魚眼鏡頭的投影中屯、為原點，建立W原點為球屯、，W平行于魚眼影像的成 像平面且過原點的平面為截面，W魚眼鏡頭的焦距為半徑的半球模型；
[0016] S102、沿半球模型的軸屯、方向，將魚眼影像上的影像點投影到半球模型的半球面 上；
[0017] S103、建立W過原點的豎直方向直線為軸屯、，W魚眼鏡頭的焦距為半徑的圓柱模 型;將S102中所述半球面上的投影點投影到所述圓柱模型的柱面上；
[0018] S104、將柱面展開成二維平面，柱面上的所有投影點即構(gòu)成魚眼全景影像。
[0019] 進(jìn)一步地，在所述S103中，將S102中所述半球面上的投影點W等弧長映射的方式 投影到所述圓柱模型的柱面上。
[0020] 進(jìn)一步地，在所述S103中，將S102中所述半球面上的投影點沿其與原點的連線方 向投影到所述圓柱模型的柱面上。
[0021] 進(jìn)一步地，在所述S2中，采用W下步驟對點云數(shù)據(jù)進(jìn)行柱面投影變換：
[0022] S201、W魚眼鏡頭的投影中屯、為原點，建立W原點為中屯、，W過原點的豎直方向直 線為軸屯、的圓柱模型；
[0023] S202、針對每一個需轉(zhuǎn)化為影像的激光測點進(jìn)行柱面投影變換，將其投影到S1所 述的圓柱模型的柱面上，形成柱面投影點；
[0024] S203、將柱面展開成二維平面，在二維平面上對柱面投影點的坐標(biāo)進(jìn)行定義;計算 各激光測點與原點之間的距離值，將距離值與對應(yīng)的柱面投影點的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄；
[0025] S204、W激光測點與原點之間的距離值作為對應(yīng)的柱面投影點的灰度值，將S3所 述二維平面上的柱面投影點處理成柵格影像，即為點云距離影像。
[00%] 進(jìn)一步地，所述S202包括W下步驟：
[0027] S2021、建立W原點為球屯、，WS201所述的圓柱模型的半徑為半徑的球面模型，沿 激光測點與原點的連線方向?qū)⒓す鉁y點投影到球面模型上，形成球面投影點；
[00%] S2022、將S2021中所述的球面投影點W等弧長映射的方式投影到S1所述的圓柱模 型的柱面上，形成柱面投影點。
[0029] 進(jìn)一步地，所述S202包括:沿激光測點與原點的連線方向?qū)⒓す鉁y點投影到圓柱 模型的柱面上，形成柱面投影點。
[0030] 進(jìn)一步地，所述S3包括：
[0031] S301、將魚眼全景影像進(jìn)行灰度變換W及對比度拉伸；
[0032] S302、對灰度魚眼全景影像進(jìn)行平滑濾波處理；
[0033] S303、采用化nny算子對S302處理后的影像進(jìn)行邊緣檢測；
[0034] S304、采用化U曲變換對S303中檢測到的邊緣點集進(jìn)行共線判斷，求出共線點集， 然后對共線點集進(jìn)行直線特征提取。
[00巧]進(jìn)一步地，所述S4包括：
[0036] S401、對點云距離影像進(jìn)行平滑濾波處理；
[0037] S402、采用化nny算子對S401處理后的影像進(jìn)行邊緣檢測；
[003引S403、采用化U曲變換對S402中檢測到的邊緣點集進(jìn)行共線判斷，求出共線點集， 然后對共線點集進(jìn)行直線特征提取。
[0039] 進(jìn)一步地，所述S5包括：
[0040] S501、對魚眼全景影像和點云距離影像進(jìn)行仿射變換，得到配準(zhǔn)轉(zhuǎn)換函數(shù)；
[0041] S502、將S3和S4中提取的特征線作為配準(zhǔn)基元，根據(jù)特征線之間的共線約束得到 魚眼全景影像和點云距離影像的相似性測度，并得到共線約束方程；
[0042] S503、利用S502中得到的共線約束方程，解算出配準(zhǔn)轉(zhuǎn)換函數(shù)中的配準(zhǔn)轉(zhuǎn)換參數(shù)， 把魚眼全景影像校正到點云距離影像上。
[0043] 本發(fā)明提供的一種基于點云影像的魚眼影像糾正方法，W魚眼鏡頭的投影中屯、為 視點，分別對魚眼影像和點云數(shù)據(jù)進(jìn)行柱面投影變換，生成魚眼全景影像和點云距離影像， 提取兩種影像的直線特征后，通過仿射變換，把魚眼全景影像校正到點云距離影像上。由于 魚眼影像受到魚眼相機(jī)的外方位因素和成像粗差和的影響，W往采用的單一柱面投影變換 校正只是滿足了全景影像的可視化瀏覽需求，完全無法具備空間量測的可行性;而本發(fā)明 采用基于點云影像的仿射變換模型對柱面投影變換校正后的魚眼影像進(jìn)行二次校正，校正 后的魚眼影像可W直接給Ξ維模型進(jìn)行紋理映射，其計算量較小且具備空間量測的可行 性。
【附圖說明】
[0044] 圖1是本發(fā)明實施例一提供的一種基于點云影像的魚眼影像糾正方法的流程圖；
[0045] 圖2是本發(fā)明實施例一中魚眼鏡頭朝上時魚眼影像的投影過程示意圖；
[0046] 圖3是本發(fā)明實施例一中魚眼鏡頭朝向水平方向時魚眼影像的投影過程示意圖；
[0047] 圖4是本發(fā)明實施例一中點云數(shù)據(jù)的投影過程示意圖；
[0048] 圖5是本發(fā)明實施例一中魚眼全景影像和點云距離影像的仿射變換示意圖；
[0049] 圖6是本發(fā)明實施例二中魚眼鏡頭朝上時魚眼影像的投影過程示意圖；
[0050] 圖7是本發(fā)明實施例二中魚眼鏡頭朝向水平方向時魚眼影像的投影過程示意圖； [0051 ]圖8是本發(fā)明實施例二中點云數(shù)據(jù)的投影過程示意圖。
【具體實施方式】
[0052] 下面將結(jié)合附圖和具體的實施例對本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。
[0053] 實施例一
[0054] 本發(fā)明實施例提供了一種基于點云影像的魚眼影像糾正方法，如圖1所示，其包括 W下步驟：
[0055] S1、W魚眼鏡頭的投影中屯、為視點，對魚眼影像進(jìn)行柱面投影變換，投影到柱面上 并展開形成魚眼全景影像；
[0056] S2、W魚眼鏡頭的投影中屯、為視點，對點云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上 并展開形成點云距離影像；
[0057] S3、對魚眼全景影像進(jìn)行邊緣檢測及直線特征提??；
[005引S4、對點云距離影像進(jìn)行邊緣檢測及直線特征提取；
[0059] S5、通過仿射變換，把魚眼全景影像校正到點云距離影像上。
[0060] 本實施例中，采用柱面等距投影變換的方式對魚眼影像和點云數(shù)據(jù)進(jìn)行投影處 理。
[0061 ] 具體地，所述S1包括：
[0062] S101、W魚眼鏡頭的投影中屯、為原點，建立W原點為球屯、，W平行于魚眼影像的成 像平面且過原點的平面為截面，W魚眼鏡頭的焦距為半徑的半球模型；
[0063] S102、沿半球模型的軸屯、方向，將魚眼影像上的影像點投影到半球模型的半球面 上；
[0064] S103、建立W過原點的豎直方向直線為軸屯、，W魚眼鏡頭的焦距為半徑的圓柱模 型;將S102中所述半球面上的投影點W等弧長映射的方式投影到所述圓柱模型的柱面上；
[0065] S104、將柱面展開成二維平面，柱面上的所有投影點即構(gòu)成魚眼全景影像。
[0066] 本發(fā)明中采用的魚眼鏡頭的成像模型是球面透視模型，魚眼影像可W看作是成像 在一個球屯、為0、半徑為R的半球面上。柱面投影變換就是將魚眼影像上的每個二維像平面 點映射到半球面上的Ξ維影像點，即對于魚眼影像上的每一個像素點，都可W恢復(fù)為從照 相機(jī)的投影中屯、出發(fā)的一條Ξ維向量光線，也即入射光線，從而完成從像平面到半球面的 坐標(biāo)變換;然后按照半球面半徑，建立一個外切圓柱，將3D向量光線反向投射到柱面上就能 完成投影變換。
[0067] 具體地，魚眼鏡頭生成魚眼影像時一般有兩種朝向，一種是鏡頭朝上的，一種是鏡 頭水平的，鏡頭方向的不同會導(dǎo)致投影變換公式的不同。
[0068] 當(dāng)魚眼鏡頭朝上時，如圖2所示，W0為原點，W圓柱模型的軸屯、為Z軸，W半球模型 的截面為xOy平面，建立Ξ維直角坐標(biāo)系0-xyz。根據(jù)魚眼的等距成像模型計算魚眼影像上 任意一點影像坐標(biāo)A(x，y)在單位球面上的投影坐標(biāo)4'（01，弓1)，即計算入射光線相對于相機(jī) 成像坐標(biāo)系的方位角，設(shè)單位球面半徑為焦距f，它們的關(guān)系如下式：
[0069]
[0070] 其中，Θ功0A'與Z軸的夾角，ξ功0A與y軸的夾角。
[0071] Wy軸正方向與圓柱模型的柱面的交點B為原點，W柱面上y軸正方向到X軸正方向 的圓周方向為i軸方向，W柱面的軸向為巧由方向，在柱面上建立二維直角坐標(biāo)系B-ij;魚眼 影像中像點A經(jīng)過球面對應(yīng)點Α'（θι，ξι)再投影到柱面后沿母線抓展開，在影像空間iBj對應(yīng) 點為A"(i，j)，取焦距f為圓柱半徑。魚眼鏡頭朝上時，鏡頭主光軸垂直于地面，i，j可表示為 式：
[0072]
[0073] 從而直接通過球面坐標(biāo)(θι，ξι)可W建立柱面上A"(i，j)與魚眼影像坐標(biāo)A(x，y)之 間的對應(yīng)關(guān)系D
[0074] 當(dāng)魚眼鏡頭朝向水平方向時，如圖3所示，W0為原點，^圓柱模型的軸屯、為Z軸，W 半球模型的軸屯、為X軸，建立Ξ維直角坐標(biāo)系0-xyz。鏡頭水平的魚眼影像變換和鏡頭朝上 的不一樣，入射光線相對于相機(jī)成像坐標(biāo)系的方位角（Θ2，ξ2)不再是直接作為Ξ維直角坐標(biāo) 系0-xyz的方位角(α，β)。但是，可W建立柱面投影坐標(biāo)(α，β)與入射光線球面坐標(biāo)(Θ2，ξ2)的 關(guān)系如下式：
[0075]
[0076] 其中，02為0Α'與X軸的夾角，ξ勸0Α與Ζ軸的夾角，α為0Α'與xOy平面的夾角，峽J0A' 在xOy平面上的投影與y軸之間的夾角。
[0077] 進(jìn)一步地，Wy軸正方向與圓柱模型的柱面的交點B為原點，W柱面上y軸正方向到 X軸正方向的圓周方向為i軸方向，W柱面的軸向為巧由方向，在柱面上建立二維直角坐標(biāo)系 B-i j ;根據(jù)傾斜角α、水平方位角β在圓柱模型上進(jìn)行等弧長投影得到A" (i，j):
[007引
[0079] 從而通過傾斜角α、水平方位角β與球面坐標(biāo)Α'（θ2,ξ2)可W建立柱面上A"(i，j)與 魚眼影像坐標(biāo)A之間的對應(yīng)關(guān)系。
[0080] 進(jìn)一步地，所述S2包括：
[0081] S201、W魚眼鏡頭的投影中屯、為原點，建立W原點為中屯、，W過原點的豎直方向直 線為軸屯、的圓柱模型；
[0082] S202、針對每一個需轉(zhuǎn)化為影像的激光測點進(jìn)行柱面投影變換，將其投影到S1所 述的圓柱模型的柱面上，形成柱面投影點；
[0083] S203、將柱面展開成二維平面，在二維平面上對柱面投影點的坐標(biāo)進(jìn)行定義;計算 各激光測點與原點之間的距離值，將距離值與對應(yīng)的柱面投影點的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄；
[0084] S204、W激光測點與原點之間的距離值作為對應(yīng)的柱面投影點的灰度值，將S3所 述二維平面上的柱面投影點處理成柵格影像，即為點云距離影像。
[0085] 其中，所述S202包括W下步驟：
[0086] S2021、建立W原點為球屯、，WS201所述的圓柱模型的半徑為半徑的球面模型，沿 激光測點與原點的連線方向?qū)⒓す鉁y點投影到球面模型上，形成球面投影點；
[0087] S2022、將S2021中所述的球面投影點W等弧長映射的方式投影到S1所述的圓柱模 型的柱面上，形成柱面投影點。
[008引參見圖4，W魚眼鏡頭的投影中屯、0(X0，yo，Z0)為原點，建立W原點0為中屯、，WR為 半徑，W過原點0的豎直方向直線為軸屯、的圓柱模型；并W投影中屯、0(xo，yo，zo)為原點，W 圓柱模型的軸屯、為Z軸，建立立維直角坐標(biāo)系0-xyz;針對激光測點4佔，7^1)，建立^原點 0為球屯、，WR為半徑的球面模型，沿A0方向?qū)⒓す鉁y點A投影到球面模型上，形成球面投影 點的，巧);其中，θ3為激光測點A與原點0的連線在xOy平面上的投影與y軸正方向的夾角， 鉤為激光測點A與原點0的連線與xOy平面的夾角。W球面模型為參考，θ3也可理解為球面投 影點A'在球面模型上的經(jīng)度，妍也可理解為球面投影點A'在球面模型上的締度。
[0089] 具體地，θ3的計算方法如下：
[0090] 首先，判定激光測點A在xOy平面上的投影點相對于0-xy坐標(biāo)系所處的象限；
[0091] 然后按照如下公式進(jìn)行計算：
[0092]
[0093] 其中，當(dāng)激光測點A在xOy平面上的投影點分別落入0-xy坐標(biāo)系的第一、二、Ξ、四 象限時，k值分別取k = 0，1，2，3。
[0094] 約的計算公式則如下所示：
[0095]
[0096] 根據(jù)上述的方法獲得激光測點A在球面模型上的投影^'(0,，約）后，將球面投影 點/Γ(巧，0)W等弧長映射的方式投影到圓柱模型的柱面上，形成柱面投影點A"。此過程 即是一個由赤道到極地均勻地按照弧長的方式映射，其實也就是將球面締度方向180°的視 域按照締度進(jìn)行等分再均勻投影到柱面上，而經(jīng)度方面還是與柱面等角變換相同，如圖4所 /J、- 〇
[0097] 最后，Wy軸正方向與圓柱模型的柱面的交點B為原點，W柱面上y軸正方向到X軸 正方向的圓周方向為i軸方向，W柱面的軸向為巧由方向，在柱面上建立二維直角坐標(biāo)系B- ij ;則將柱面沿巧由（即圖4所示的抓方向）展開成二維平面后，柱面投影點A"在二維平面上 的坐標(biāo)(i，j) W及激光測點A與原點0之間的距離值d的取值如下：
[009引
[0099] 點云數(shù)據(jù)投影到二維平面后W柵格影像記錄，柵格影像中各象元的灰度由激光測 點A到原點0的距離值加角定。影像的分辨率根據(jù)點云數(shù)據(jù)密度而定，由于點云數(shù)據(jù)的密度非 常大，可W認(rèn)為不存在空桐的可能性。但肯定存在一個象元內(nèi)存在多個激光測點的投影的 情況，那么該象元的灰度就W最臨近原點的激光測點為準(zhǔn)，即取象元內(nèi)距離值d的最小值。
[0100] 柱面投影變換后，魚眼全景影像和點云距離影像在縱橫比例上存在較大的差異， 但是都很好地保證了現(xiàn)實世界里垂直線條的不變性。因此，接下來分別提取魚眼全景影像 和點云距離影像的直線特征。
[0101] 進(jìn)一步地，所述S3包括：
[0102] S301、將魚眼全景影像進(jìn)行灰度變換W及對比度拉伸；
[0103] S302、對灰度魚眼全景影像進(jìn)行平滑濾波處理；
[0104] S303、采用化nny算子對S302處理后的影像進(jìn)行邊緣檢測；
[0105] S304、采用化u曲變換對S303中檢測到的邊緣點集進(jìn)行共線判斷，求出共線點集， 然后對共線點集進(jìn)行直線特征提取。
[0106] 所述S4包括：
[0107] S401、對點云距離影像進(jìn)行平滑濾波處理；
[0108] S402、采用化nny算子對S401處理后的影像進(jìn)行邊緣檢測；
[0109] S403、采用化U曲變換對S402中檢測到的邊緣點集進(jìn)行共線判斷，求出共線點集， 然后對共線點集進(jìn)行直線特征提取。
[0110] 進(jìn)一步地，所述S5包括：
[0111] S501、對魚眼全景影像和點云距離影像進(jìn)行仿射變換，得到配準(zhǔn)轉(zhuǎn)換函數(shù)；
[0112] S502、將S3和S4中提取的特征線作為配準(zhǔn)基元，根據(jù)特征線之間的共線約束得到 魚眼全景影像和點云距離影像的相似性測度，并得到共線約束方程；
[0113] S503、利用S502中得到的共線約束方程，解算出配準(zhǔn)轉(zhuǎn)換函數(shù)中的配準(zhǔn)轉(zhuǎn)換參數(shù)， 把魚眼全景影像校正到點云距離影像上。
[0114] 由于經(jīng)過投影變換后的魚眼全景影像和點云距離影像均滿足透視成像條件，且具 有相同的視點，同時為滿足MIHT(Modified Iterated Hou曲^Transform，改進(jìn)的迭代Hough 變換)算法對于待解算的參數(shù)不宜過多的特性，可使用仿射變換模型作為配準(zhǔn)轉(zhuǎn)換模型。仿 射變換具有良好的數(shù)學(xué)特性，經(jīng)仿射變換后直線仍為直線，有平行關(guān)系的也會保持不變。
[0115] 設(shè)魚眼全景影像上的點的坐標(biāo)為(x，y)，點云距離影像上的點的坐標(biāo)為(x'，y'）。 則根據(jù)仿射變換模型，投影變換后的魚眼全景影像上的點坐標(biāo)和激光掃描點云距離影像上 的點坐標(biāo)之間的配準(zhǔn)轉(zhuǎn)換函數(shù)為：
[0116]
[01 17] 式中有日日、日1、日2、13日、131、62共6個參數(shù)，日日、13日是平移（化日]131日1：；[0]1)參數(shù)，日1、日2、131、62 分別是旋轉(zhuǎn)(Rotation)、縮放(Scale)、翻轉(zhuǎn)(Flip)和錯切（Shear)參數(shù)，解出運6個參數(shù)就 能完成魚眼全景影像的校正。
[0118] 將直線特征提取的特征線作為配準(zhǔn)基元，從特征線之間的共線約束可W得到相似 性測度。
[0119] 如圖5所示，魚眼全景影像的特征線段^變換到點云距離影像的影像坐標(biāo)X0Y后， 端點Pi(xi，yi)、P2(x2，y2)變換為Pi'（XI'，yi'）、P2'（X2'，y2'）。判定直線段1^1與直線段L2共線 的條件是Pi'、P2'距離特征線L2的距離都為0,即ηι = Π2 = 0。設(shè)P為影像坐標(biāo)X0Y下原點到直線 L2的距離，Θ為L2的法線和X軸的夾角，則此時共線約束條件用點線對偶的形式寫為：
[0120]
[0121]由上可知，每一對同名特征至少可在兩個端點上得到兩個共線約束方程(也可W 是根據(jù)特征線上的任意兩點來構(gòu)造約束方程）。利用η個特征共線關(guān)系，可W建立化個條件。 利用運些約束條件得到的共線約束方程，可解算出上述配準(zhǔn)轉(zhuǎn)換函數(shù)中6個配準(zhǔn)轉(zhuǎn)換參數(shù)， 公式如下：
[0122]
[0123] 實施例二
[0124] 本實施例提供的一種基于點云影像的魚眼影像糾正方法與實施例一大體相同，只 是在S1和S2中采用了另一種與實施例一不同的柱面投影變換方式對魚眼影像和點云數(shù)據(jù) 進(jìn)行投影處理。下面將圍繞S1和S2重點闡述本實施例的差異，S3至S5與實施例一相同，在此 不再寶述。
[0125] 具體地，本實施例在S1和S2中采用柱面等角投影變換的方式對魚眼影像和點云數(shù) 據(jù)進(jìn)行投影處理。
[0126] 所述S1包括：
[0127] S101、W魚眼鏡頭的投影中屯、為原點，建立W原點為球屯、，W平行于魚眼影像的成 像平面且過原點的平面為截面，W魚眼鏡頭的焦距為半徑的半球模型；
[0128] S102、沿半球模型的軸屯、方向，將魚眼影像上的影像點投影到半球模型的半球面 上；
[0129] S103、建立W過原點的豎直方向直線為軸屯、，W魚眼鏡頭的焦距為半徑的圓柱模 型；將S102中所述半球面上的投影點沿其與原點的連線方向投影到所述圓柱模型的柱面 上；
[0130] S104、將柱面展開成二維平面，柱面上的所有投影點即構(gòu)成魚眼全景影像。
[0131] 當(dāng)魚眼鏡頭朝上時，如圖6所示，W0為原點，W圓柱模型的軸屯、為Z軸，W半球模型 的截面為xOy平面，建立Ξ維直角坐標(biāo)系0-xyz。根據(jù)魚眼的等距成像模型計算魚眼影像上 任意一點影像坐標(biāo)A(x，y)在單位球面上的投影坐標(biāo)4'（04，弓4)，即計算入射光線相對于相機(jī) 成像坐標(biāo)系的方位角，設(shè)單位球面半徑為焦距f，它們的關(guān)系如下式：
[0132]
[013引其中，04為0A'與Z軸的夾角，ξ4為0A與y軸的夾角。
[0134] Wy軸正方向與圓柱模型的柱面的交點B為原點，W柱面上y軸正方向到X軸正方向 的圓周方向為i軸方向，W柱面的軸向為巧由方向，在柱面上建立二維直角坐標(biāo)系B-ij;魚眼 影像中像點A經(jīng)過球面對應(yīng)點Α'（θ4，ξ4)再投影到柱面后沿母線抓展開，在影像空間iBj對應(yīng) 點為A"(i，j)，取焦距f為圓柱半徑。魚眼鏡頭朝上時，鏡頭主光軸垂直于地面時，i，j可表示 為式：
[0135]
[0136] 從而直接通過球面坐標(biāo)(Θ4，ξ4)可W建立柱面上A"(i，j)與魚眼影像坐標(biāo)A(x，y)之 間的對應(yīng)關(guān)系。
[0137] 當(dāng)魚眼鏡頭朝向水平方向時，如圖7所示，W0為原點，W圓柱模型的軸屯、為Z軸，W 半球模型的軸屯、為X軸，建立Ξ維直角坐標(biāo)系0-xyz。鏡頭水平的魚眼影像變換和鏡頭朝上 的不一樣，入射光線相對于相機(jī)成像坐標(biāo)系的方位角（Θ5，ξ5)不再是直接作為傾斜角與水平 方位角(α，0)。但同樣按照中屯、透視的原理，柱面上的投影點Α"和球面上的投影點Α'（θ4，ξ4) 的傾斜角α與水平方位角0是相等的，從而可W建立柱面投影坐標(biāo)(α，0)與入射光線球面坐 標(biāo)此點)的關(guān)系如下式：
[013 引
[0139] 其中，05為0Α'與X軸的夾角，ξ功0Α與Ζ軸的夾角，α為0Α'與xOy平面的夾角，峽J0A' 在xOy平面上的投影與y軸之間的夾角。
[0140] 進(jìn)一步地，Wy軸正方向與圓柱模型的柱面的交點B為原點，W柱面上y軸正方向到 X軸正方向的圓周方向為i軸方向，W柱面的軸向為巧由方向，在柱面上建立二維直角坐標(biāo)系 B-i j ;根據(jù)傾斜角α、水平方位角β在圓柱上進(jìn)行等角投影得到A" (i，j):
[0141]
[0142] 從而通過傾斜角α、水平方位角β與球面坐標(biāo)（Θ5，ξ5)可W建立柱面上A"(i，j)與魚 眼影像坐標(biāo)A(r，Cs)之間的對應(yīng)關(guān)系。
[0143] 進(jìn)一步地，所述S2包括：
[0144] S201、W魚眼鏡頭的投影中屯、為原點，建立W原點為中屯、，W過原點的豎直方向直 線為軸屯、的圓柱模型；
[0145] S202、針對每一個需轉(zhuǎn)化為影像的激光測點進(jìn)行柱面投影變換，將其沿激光測點 與原點的連線方向?qū)⒓す鉁y點投影到圓柱模型的柱面上，形成柱面投影點；
[0146] S203、將柱面展開成二維平面，在二維平面上對柱面投影點的坐標(biāo)進(jìn)行定義;計算 各激光測點與原點之間的距離值，將距離值與對應(yīng)的柱面投影點的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄；
[0147] S204、W激光測點與原點之間的距離值作為對應(yīng)的柱面投影點的灰度值，將S3所 述二維平面上的柱面投影點處理成柵格影像，即為點云距離影像。
[014引參見圖8，W魚眼鏡頭的投影中屯、0(xo，yo，zo)為原點，建立W原點0為中屯、，WR為 半徑，W過原點0的豎直方向直線為軸屯、的圓柱模型；并W投影中屯、0(xo，yo，zo)為原點，W 圓柱模型的軸屯、為Z軸，建立Ξ維直角坐標(biāo)系0-xyz;沿A0方向?qū)⒓す鉁y點A投影到圓柱模型 的柱面上，直接得到柱面投影點A"。
[0149]接著，Wy軸正方向與圓柱模型的柱面的交點B為原點，W柱面上y軸正方向到X軸 正方向的圓周方向為i軸方向，W柱面的軸向為巧由方向，在柱面上建立二維直角坐標(biāo)系B- ij ;則將柱面沿巧由（即圖8所示的抓方向）展開成二維平面后，柱面投影點A"在二維平面上 的坐標(biāo)(i，j) W及對應(yīng)激光測點A與原點0之間的距離值d的取值如下：
[0150]
[0151] 其中，R為圓柱模型的半徑，06為激光測點A與原點0的連線在xOy平面上的投影與y 軸正方向的夾角，烤為激光測點A與原點0的連線與xOy平面的夾角。
[0152] 進(jìn)一步地，06的計算方法與實施例一相同，tan錢的值為；
[0153]
[0154] 本發(fā)明提供的一種基于點云影像的魚眼影像糾正方法，W魚眼鏡頭的投影中屯、為 視點，分別對魚眼影像和點云數(shù)據(jù)進(jìn)行柱面投影變換，生成魚眼全景影像和點云距離影像， 提取兩種影像的直線特征后，通過仿射變換，把魚眼全景影像校正到點云距離影像上。由于 魚眼影像受到魚眼相機(jī)的外方位因素和成像粗差和的影響，W往采用的單一柱面投影變換 校正只是滿足了全景影像的可視化瀏覽需求，完全無法具備空間量測的可行性;而本發(fā)明 采用基于點云影像的仿射變換模型對柱面投影變換校正后的魚眼影像進(jìn)行二次校正，校正 后的魚眼影像可W直接給Ξ維模型進(jìn)行紋理映射，其計算量較小且具備空間量測的可行 性。
[0155] W上所述實施例僅表達(dá)了本發(fā)明的幾種實施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員 來說，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)，運些都屬于本發(fā)明的保 護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)W所附權(quán)利要求為準(zhǔn)。
【主權(quán)項】
1. 一種基于點云影像的魚眼影像糾正方法，其特征在于，包括以下步驟： 51、 以魚眼鏡頭的投影中心為視點，對魚眼影像進(jìn)行柱面投影變換，投影到柱面上并展 開形成魚眼全景影像； 52、 以魚眼鏡頭的投影中心為視點，對點云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上并展 開形成點云距離影像； 53、 對魚眼全景影像進(jìn)行邊緣檢測及直線特征提取； 54、 對點云距離影像進(jìn)行邊緣檢測及直線特征提??； 55、 通過仿射變換，把魚眼全景影像校正到點云距離影像上。2. 根據(jù)權(quán)利要求1所述的基于點云影像的魚眼影像糾正方法，其特征在于，在所述S1 中，采用以下步驟對魚眼影像進(jìn)行柱面投影變換： 5101、 以魚眼鏡頭的投影中心為原點，建立以原點為球心，以平行于魚眼影像的成像平 面且過原點的平面為截面，以魚眼鏡頭的焦距為半徑的半球模型； 5102、 沿半球模型的軸心方向，將魚眼影像上的影像點投影到半球模型的半球面上； 5103、 建立以過原點的豎直方向直線為軸心，以魚眼鏡頭的焦距為半徑的圓柱模型;將 S102中所述半球面上的投影點投影到所述圓柱模型的柱面上； 5104、 將柱面展開成二維平面，柱面上的所有投影點即構(gòu)成魚眼全景影像。3. 根據(jù)權(quán)利要求2所述的基于點云影像的魚眼影像糾正方法，其特征在于，在所述S103 中，將S102中所述半球面上的投影點以等弧長映射的方式投影到所述圓柱模型的柱面上。4. 根據(jù)權(quán)利要求2所述的基于點云影像的魚眼影像糾正方法，其特征在于，在所述S103 中，將S102中所述半球面上的投影點沿其與原點的連線方向投影到所述圓柱模型的柱面 上。5. 根據(jù)權(quán)利要求1所述的基于點云影像的魚眼影像糾正方法，其特征在于，在所述S2 中，采用以下步驟對點云數(shù)據(jù)進(jìn)行柱面投影變換： 5201、 以魚眼鏡頭的投影中心為原點，建立以原點為中心，以過原點的豎直方向直線為 軸心的圓柱模型； 5202、 針對每一個需轉(zhuǎn)化為影像的激光測點進(jìn)行柱面投影變換，將其投影到S1所述的 圓柱模型的柱面上，形成柱面投影點； 5203、 將柱面展開成二維平面，在二維平面上對柱面投影點的坐標(biāo)進(jìn)行定義;計算各激 光測點與原點之間的距離值，將距離值與對應(yīng)的柱面投影點的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄； 5204、 以激光測點與原點之間的距離值作為對應(yīng)的柱面投影點的灰度值，將S3所述二 維平面上的柱面投影點處理成柵格影像，即為點云距離影像。6. 根據(jù)權(quán)利要求5所述的基于點云影像的魚眼影像糾正方法，其特征在于，所述S202包 括以下步驟： 52021、 建立以原點為球心，以S201所述的圓柱模型的半徑為半徑的球面模型，沿激光 測點與原點的連線方向?qū)⒓す鉁y點投影到球面模型上，形成球面投影點； 52022、 將S2021中所述的球面投影點以等弧長映射的方式投影到S1所述的圓柱模型的 柱面上，形成柱面投影點。7. 根據(jù)權(quán)利要求5所述的基于點云影像的魚眼影像糾正方法，其特征在于，所述S202包 括:沿激光測點與原點的連線方向?qū)⒓す鉁y點投影到圓柱模型的柱面上，形成柱面投影點。8. 根據(jù)權(quán)利要求1所述的基于點云影像的魚眼影像糾正方法，其特征在于，所述S3包 括： 5301、 將魚眼全景影像進(jìn)行灰度變換以及對比度拉伸； 5302、 對灰度魚眼全景影像進(jìn)行平滑濾波處理； 5303、 采用Canny算子對S302處理后的影像進(jìn)行邊緣檢測； 5304、 采用Hough變換對S303中檢測到的邊緣點集進(jìn)行共線判斷，求出共線點集，然后 對共線點集進(jìn)行直線特征提取。9. 根據(jù)權(quán)利要求1所述的基于點云影像的魚眼影像糾正方法，其特征在于，所述S4包 括： 5401、 對點云距離影像進(jìn)行平滑濾波處理； 5402、 采用Canny算子對S401處理后的影像進(jìn)行邊緣檢測； 5403、 采用Hough變換對S402中檢測到的邊緣點集進(jìn)行共線判斷，求出共線點集，然后 對共線點集進(jìn)行直線特征提取。10. 根據(jù)權(quán)利要求1所述的基于點云影像的魚眼影像糾正方法，其特征在于，所述S5包 括： 5501、 對魚眼全景影像和點云距離影像進(jìn)行仿射變換，得到配準(zhǔn)轉(zhuǎn)換函數(shù)； 5502、 將S3和S4中提取的特征線作為配準(zhǔn)基元，根據(jù)特征線之間的共線約束得到魚眼 全景影像和點云距離影像的相似性測度，并得到共線約束方程； 5503、 利用S502中得到的共線約束方程，解算出配準(zhǔn)轉(zhuǎn)換函數(shù)中的配準(zhǔn)轉(zhuǎn)換參數(shù)，把魚 眼全景影像校正到點云距離影像上。
【文檔編號】G06T3/00GK105825470SQ201610136853
【公開日】2016年8月3日
【申請日】2016年3月10日
【發(fā)明人】熊友誼
【申請人】廣州歐科信息技術(shù)股份有限公司