專利名稱：立體圖像校正方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于立體(3D)圖像顯示技術(shù)領(lǐng)域，涉及立體圖像校正方法方法及裝置。
背景技術(shù)：
立體(3D)圖像顯示裝置中設(shè)置有單個(gè)或多個(gè)攝像頭，例如，設(shè)置雙攝像頭拍攝模塊，其中的兩個(gè)攝像頭與左右人眼方向平行設(shè)置，左攝像頭用于拍攝獲取左視圖，右攝像頭用于拍攝獲取右視圖，二者形成原始立體圖像對(duì)。該圖像對(duì)經(jīng)過立體圖像顯示裝置進(jìn)一步3D處理后形成相對(duì)觀看者具有良好立體顯示效果的3D圖像?；蛲ㄟ^單攝像頭先拍攝左視圖，然后通過輔助裝置或輔助程序拍攝右視圖，所獲得的圖像對(duì)經(jīng)立體圖像顯示裝置進(jìn)一步3D處理后形成相對(duì)觀看者具有立體顯示效果的3D圖像。在以上的3D處理過程中，通常包括對(duì)該原始立體圖像對(duì)的校正處理過程，以提高3D圖像顯示效果，一直以來，校正處理過程得到不斷改進(jìn)以追求更佳的3D圖像顯示效果。

發(fā)明內(nèi)容
本發(fā)明的目的之一在于，獲取更好的3D圖像顯示效果。本發(fā)明的又一目的在于，消除3D圖像顯示時(shí)的垂直視差。 本發(fā)明的還一目的在于，提出一種適用于運(yùn)行處理能力相對(duì)低、內(nèi)存容量相對(duì)小的終端中使用的立體圖像校正方法。為實(shí)現(xiàn)以上目的或者其他目的，本發(fā)明提供以下技術(shù)方案。按照本發(fā)明的一方面，提供一種立體圖像校正方法，其包括
獲取步驟獲取原始立體圖像對(duì)；
校正參數(shù)提取步驟在所述原始立體圖像對(duì)中尋找匹配點(diǎn)對(duì)形成匹配點(diǎn)對(duì)集，并提取校正參數(shù)；
校正步驟至少根據(jù)所述校正參數(shù)以及景深調(diào)整參數(shù)生成校正矩陣、并基于該校正矩陣對(duì)所述原始立體圖像對(duì)進(jìn)行校正以消除垂直視差；以及
反饋步驟根據(jù)立體圖像顯示的出屏程度/入屏程度反饋輸出所述景深調(diào)整參數(shù)； 其中，所述反饋步驟所輸出的景深調(diào)整參數(shù)在所述校正步驟中被使用。在該校正方法中，觀看者可以應(yīng)用反饋模塊反饋景深調(diào)整參數(shù)，進(jìn)而可以結(jié)合景深調(diào)整參數(shù)對(duì)原始立體圖像對(duì)進(jìn)行校正，不但可以消除垂直視差，還可以根據(jù)觀看者的觀看體驗(yàn)要求來重新校正，從而調(diào)整3D圖像顯示的出屏和入屏程度，觀看者的立體圖像顯示體驗(yàn)更佳。按照本發(fā)明一實(shí)施例的立體圖像校正方法，其中，所述反饋步驟中，還包括
判斷步驟根據(jù)立體圖像顯示體驗(yàn)判斷是否需要重新校正，如果判斷為“是”，進(jìn)入所述
校正參數(shù)提取步驟，如果判斷為“否”，進(jìn)入所述校正步驟。具體地，所述獲取步驟中，所述原始立體圖像對(duì)由左攝像頭和右攝像頭對(duì)同一場(chǎng)景分別拍攝的左視圖和右視圖組成。
按照本發(fā)明又一實(shí)施例的立體圖像校正方法，其中，所述校正參數(shù)提取步驟包括
角點(diǎn)提取步驟從所述原始立體圖像對(duì)的視圖中提取出亮度變化相對(duì)劇烈且相對(duì)易于識(shí)別的角點(diǎn)；
角點(diǎn)匹配步驟對(duì)各個(gè)所述角點(diǎn)分別提取具有魯棒特性的特征描述子，并根據(jù)所述特征描述子對(duì)角點(diǎn)進(jìn)行匹配以形成初始匹配點(diǎn)對(duì)集；
誤匹配剔除步驟利用魯棒模型估計(jì)方法剔除所述初始匹配點(diǎn)對(duì)集中存在的誤匹配點(diǎn)對(duì)以形成相對(duì)穩(wěn)定可靠的第二內(nèi)點(diǎn)集；以及
校正參數(shù)優(yōu)化步驟將基礎(chǔ)矩陣參數(shù)化，并基于該參數(shù)化的基礎(chǔ)矩陣對(duì)所述第二內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)建立誤差方程，利用非線性最小二乘法對(duì)校正參數(shù)進(jìn)行優(yōu)化以獲取校正參數(shù)的優(yōu)值。
在該實(shí)施例的立體圖像校正方法中，經(jīng)過誤匹配剔除步驟、校正參數(shù)優(yōu)化步驟可以使校正參數(shù)更準(zhǔn)確可靠。進(jìn)一步，優(yōu)選地，所述角點(diǎn)提取步驟中，采用OFAST角點(diǎn)檢測(cè)方法提取OFAST角占.
其中，所述OFAST角點(diǎn)檢測(cè)方法包括OFAST角點(diǎn)判定步驟和OFAST角點(diǎn)主方向提取步驟。進(jìn)一步，優(yōu)選地，所述OFAST角點(diǎn)判定步驟中，針對(duì)被檢測(cè)的某一點(diǎn)P，以點(diǎn)P為圓心、半徑為r畫Bresenham (布雷森漢姆)圓，如果Bresenham圓上的連續(xù)η個(gè)點(diǎn)的灰度值
同時(shí)大于I(p)+It或同時(shí)小于I(P)-It
，則判定該點(diǎn)P為OFAST檢測(cè)點(diǎn)，其中，I (P)表示P點(diǎn)的灰度值It表示灰度閾值，η的取值
范圍為[[前0一1,[)j獻(xiàn)j+1]；
所述OFAST角點(diǎn)主方向提取步驟中，對(duì)于被判定的OFAST角點(diǎn)，對(duì)Bresenham圓上的點(diǎn)進(jìn)行標(biāo)號(hào)時(shí)，圓心正上方的點(diǎn)標(biāo)號(hào)1，并按照順時(shí)針方向依次對(duì)其他點(diǎn)進(jìn)行標(biāo)號(hào)，所述η個(gè)連續(xù)點(diǎn)中的兩個(gè)端點(diǎn)的標(biāo)號(hào)按順時(shí)針方向分別記為a、b，OFAST角點(diǎn)主方向通過以下關(guān)系式(I)確定，
。，^-1, 如果 a<b
2πζ 廣2⑴
ψ=~—, ζ = <(I)
ω( a + h+m(r) Λ,'
、」 -—-I,女B果 a >b
I 2 .
其中，#為OFAST角點(diǎn)主方向，O)(廠)為半徑為r的所述Bresenham圓所包含的點(diǎn)數(shù)。
該實(shí)施例的角點(diǎn)提取方法無須額外的信息就能夠判定角點(diǎn)的同時(shí)，為角點(diǎn)提取出主方向，主方向可以在其后的校正過程中被利用以減小較少的運(yùn)算量。進(jìn)一步，優(yōu)選地，所述角點(diǎn)匹配步驟中，采用OBRIEF特征描述子并基于該OBRIEF特征描述子進(jìn)行匹配。在一優(yōu)選實(shí)例中，所述角點(diǎn)匹配步驟包括步驟
生成標(biāo)準(zhǔn)采樣圖案；對(duì)角點(diǎn)構(gòu)建所述OBRIEF特征描述子；以及
利用所述OBRIEF特征描述子對(duì)所述原始立體圖像對(duì)中的左視圖中的角點(diǎn)和右視圖中的角點(diǎn)進(jìn)行匹配，形成匹配點(diǎn)對(duì)。在又一優(yōu)選實(shí)例中，所述角點(diǎn)匹配步驟包括
生成標(biāo)準(zhǔn)采樣圖案步驟通過在以點(diǎn)(O，O )為中心、大小為S XS的正方形框中，按均勻·分布ε/(—與或高斯分布σ(0，^)隨機(jī)抽取組點(diǎn)對(duì)( )，每組點(diǎn)對(duì)(I ,)中的采
2225nPχ
樣點(diǎn)a和ι直線連接形成線段以生成所述標(biāo)準(zhǔn)采樣圖案，其中，七和％為第i組點(diǎn)對(duì)中的·兩個(gè)采樣點(diǎn)，ISi彡力，所述正方形框的邊長(zhǎng)S的取值范圍為[2r+l, 12r+6], r為所述
OFAST角點(diǎn)檢測(cè)方法過程中所使用的Bresenham圓的半徑，M取區(qū)間[—,]內(nèi)
3 2
的偶數(shù)；
對(duì)OFAST角點(diǎn)構(gòu)建OBRIEF特征描述子步驟根據(jù)所述OFAST角點(diǎn)主方向# ,對(duì)所述標(biāo)
準(zhǔn)采樣圖案進(jìn)行旋轉(zhuǎn)，然后比較旋轉(zhuǎn)后的標(biāo)準(zhǔn)采樣圖案中每組點(diǎn)對(duì)中的兩個(gè)采樣點(diǎn)處的灰度值大小，以構(gòu)建二進(jìn)制的OBRIEF特征描述子；
匹配點(diǎn)對(duì)形成步驟利用所述OBRIEF特征描述子對(duì)所述原始立體圖像對(duì)中的左視圖中的角點(diǎn)和右視圖中的角點(diǎn)進(jìn)行匹配，形成匹配點(diǎn)對(duì)。進(jìn)一步，優(yōu)選地，在所述構(gòu)建OBRIEF特征描述子步驟中，某一 OFAST角點(diǎn)p的OBRIEF特征描述子/(P)通過以下關(guān)系式(2)構(gòu)建
/Φ)= Σ
Ol2, 如果 ΙφτΗΗ(ι^) 0<Ι^Η·]Κ(的1')-￡
< τ(ψ,ψ-,χ ,γ )-< OO2,如果 |l(>+R(的x^Vl(p+R(的y』<= (2)
IO2, 如果 I(p+R(^r)j^.)>I(pfR(^)y.) +￡
·)=[①·)I
[-Sin(^r) cos(^/)」
其中，ψ為該OFAST角點(diǎn)P的主方向，為所述標(biāo)準(zhǔn)采樣圖案中的點(diǎn)對(duì)數(shù)；A 為所述標(biāo)準(zhǔn)采樣圖案中的點(diǎn)對(duì)， 為量化閾值，其取值范圍[2，64] ; O2表示二進(jìn)制數(shù)；R(T)表示2維旋轉(zhuǎn)矩陣，I (P+R(^r)X,)表示點(diǎn)ρ+R(的Xi處的灰度值，I(p+R⑷y:)表示點(diǎn)P I R(^)Ji處的灰度值。在之前所述任意實(shí)例或?qū)嵤├男Ｕ椒ㄖ?，?yōu)選地，在角點(diǎn)進(jìn)行匹配過程中，對(duì)于OFAST角點(diǎn)Pz和PJ5,兩者的相似性通過以下關(guān)系式(3)計(jì)算
腕 Ip J=__國(guó)/WJ# J) P)其中P力左視圖的OFAST角點(diǎn)，P J5為右視圖的OFAST角點(diǎn)，XOR代表按位異或操作，辦表示統(tǒng)計(jì)二進(jìn)制數(shù)中I的數(shù)目(pz, P,)表示OFAST角點(diǎn)Pi和Pi{之間的相似性。在之前所述任意實(shí)例或?qū)嵤├男Ｕ椒ㄖ校槍?duì)左視圖的OFAST角點(diǎn),遍歷
右視圖中所有的OFAST角點(diǎn)，找到令關(guān)系式(3)。取值最小的點(diǎn)作為OFAST角點(diǎn)Pz的匹配點(diǎn)，從而形成所述匹配點(diǎn)對(duì)。以上實(shí)例中，采用OFAST角點(diǎn)檢測(cè)和二進(jìn)制的OBRIEF特征描述子，大量運(yùn)算主要為按位操作和比較運(yùn)算，因此運(yùn)算量和存儲(chǔ)消耗都很小。在之前所述任意實(shí)例或?qū)嵤├男Ｕ椒ㄖ?，這為進(jìn)一步減小運(yùn)算量，優(yōu)選地，所述校正參數(shù)優(yōu)化步驟中，按照以下關(guān)系式(4)，將所述基礎(chǔ)矩陣用參數(shù)[厶,^.戽成氏我進(jìn)行參數(shù)化， '= K/ U1 ma, A5)[t(#,r)]:.; K-1C/,)
/* 0 wJ2
KsaOi*)= ° Jm Ki2 , €[(>^+0/3, 3(ws+AJ]，.we{U}
.0 O I _⑷
Icos(^)sin(^fl) cos(a) _ sin(a)
(α β &)= cos (5) —sm(的Ism(X) cos(.a)
sm(0) cos(ff) -Β η(β) οο$(β)I
t(我 γ) = [cos(多)cos(y) cos(多)sin(y) - sm(則Γ其中，[紇為3維矢量t=h L1 i3f確定的反對(duì)稱矩陣，其通過以下關(guān)系式(5)得出
Γ O ~h h
[!L =| tj O -I1 (5)
其中，&為基礎(chǔ)矩陣，爲(wèi)約為3維旋轉(zhuǎn)矩陣，Θ為繞攝像頭Z軸旋轉(zhuǎn)角度，5為
繞攝像頭Y軸旋轉(zhuǎn)角度，a為繞攝像頭X軸旋轉(zhuǎn)角度；t#,7)表示用于拍攝所述原始立體圖像對(duì)的右視圖的右攝像頭相對(duì)用于拍攝所述原始立體圖像對(duì)的左視圖的左攝像頭的偏移方向，0為右攝像頭偏移方向與左攝像頭Y軸的夾角，r為右攝像頭偏移方向與左攝
像頭Z軸的夾角；巧、A1分別為以像素為單位的左視圖的寬度和高度，、hR分別為以像
素為單位的右視圖的寬度和高度；Si和叉分別為左攝像頭、右攝像頭的以像素為單位的焦距。在之前所述任意實(shí)例或?qū)嵤├男Ｕ椒ㄖ校瑑?yōu)選地，所述誤差方程為細(xì)(6)
其中，為基礎(chǔ)矩陣，<為矩陣Fipi的轉(zhuǎn)置，< 所述第二內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)中左視圖對(duì)應(yīng)的點(diǎn)，A所述第二內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)中右視圖對(duì)應(yīng)的點(diǎn)，^rror表示校正誤差；其中，基礎(chǔ)矩陣所包含的參數(shù)故氏我幻的初始值取[w￡ +h￡,wM +As,O, O, O,O,O]。按照本發(fā)明還一實(shí)施例的立體圖像校正方法，其中，所述校正步驟包括
校正矩陣構(gòu)建步驟利用校正參數(shù)構(gòu)建校正矩陣；
校正矩陣微調(diào)步驟至少結(jié)合所述景深調(diào)整參數(shù)對(duì)所述校正矩陣進(jìn)行微調(diào)；以及立體圖像裁剪步驟利用微調(diào)后的校正矩陣分別對(duì)原始立體圖像對(duì)中的視圖進(jìn)行處理，獲取校正后立體圖像對(duì)。按照本發(fā)明再一實(shí)施例的立體圖像校正方法，其中，所述校正步驟包括
校正矩陣構(gòu)建步驟利用校正參數(shù)構(gòu)建校正矩陣；
校正矩陣微調(diào)步驟至少結(jié)合所述景深調(diào)整參數(shù)和所述第二內(nèi)點(diǎn)集對(duì)所述校正矩陣進(jìn)行微調(diào)；以及
立體圖像裁剪步驟利用微調(diào)后的校正矩陣分別對(duì)原始立體圖像對(duì)中的視圖進(jìn)行處理，獲取校正后立體圖像對(duì)。在之前所述任意實(shí)施例的立體圖像校正方法中，優(yōu)選地，基于以下關(guān)系式(7)構(gòu)建所述校正矩陣
權(quán)利要求
1.一種立體圖像校正方法，其特征在于，包括 獲取步驟獲取原始立體圖像對(duì)； 校正參數(shù)提取步驟在所述原始立體圖像對(duì)中尋找匹配點(diǎn)對(duì)形成匹配點(diǎn)對(duì)集，并提取校正參數(shù)； 校正步驟至少根據(jù)所述校正參數(shù)以及景深調(diào)整參數(shù)生成校正矩陣、并基于該校正矩陣對(duì)所述原始立體圖像對(duì)進(jìn)行校正以消除垂直視差；以及 反饋步驟根據(jù)立體圖像顯示的出屏程度/入屏程度反饋輸出所述景深調(diào)整參數(shù)； 其中，所述反饋步驟所輸出的景深調(diào)整參數(shù)在所述校正步驟中被使用。
2.如權(quán)利要求I所述的立體圖像校正方法，其特征在于，所述反饋步驟中，還包括 判斷步驟根據(jù)立體圖像顯示體驗(yàn)判斷是否需要重新校正，如果判斷為“是”，進(jìn)入所述校正參數(shù)提取步驟，如果判斷為“否”，進(jìn)入所述校正步驟。
3.如權(quán)利要求I所述的立體圖像校正方法，其特征在于，所述獲取步驟中，所述原始立體圖像對(duì)由左攝像頭和右攝像頭對(duì)同一場(chǎng)景分別拍攝的左視圖和右視圖組成。
4.如權(quán)利要求I所述的立體圖像校正方法，其特征在于，所述校正參數(shù)提取步驟包括 角點(diǎn)提取步驟從所述原始立體圖像對(duì)的視圖中提取出亮度變化相對(duì)劇烈且相對(duì)易于識(shí)別的角點(diǎn)； 角點(diǎn)匹配步驟對(duì)各個(gè)所述角點(diǎn)分別提取具有魯棒特性的特征描述子，并根據(jù)所述特征描述子對(duì)角點(diǎn)進(jìn)行匹配以形成初始匹配點(diǎn)對(duì)集； 誤匹配剔除步驟利用魯棒模型估計(jì)方法剔除所述初始匹配點(diǎn)對(duì)集中存在的誤匹配點(diǎn)對(duì)以形成相對(duì)穩(wěn)定可靠的第二內(nèi)點(diǎn)集；以及 校正參數(shù)優(yōu)化步驟將基礎(chǔ)矩陣參數(shù)化，并基于該參數(shù)化的基礎(chǔ)矩陣對(duì)所述第二內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)建立誤差方程，利用非線性最小二乘法對(duì)校正參數(shù)進(jìn)行優(yōu)化以獲取校正參數(shù)的優(yōu)值。
5.如權(quán)利要求4所述的立體圖像校正方法，其特征在于，所述角點(diǎn)提取步驟中，采用基于加速分割檢測(cè)的定向特征(OFAST )角點(diǎn)檢測(cè)方法提取基于加速分割檢測(cè)的定向特征(OFAST)角點(diǎn)； 其中，所述OFAST角點(diǎn)檢測(cè)方法包括OFAST角點(diǎn)判定步驟和OFAST角點(diǎn)主方向提取步驟。
6.如權(quán)利要求5所述的立體圖像校正方法，其特征在于， 所述OFAST角點(diǎn)判定步驟中，針對(duì)被檢測(cè)的某一點(diǎn)P，以點(diǎn)P為圓心、半徑為r畫布雷森漢姆圓，如果布雷森漢姆圓上的連續(xù)η個(gè)點(diǎn)的灰度值同時(shí)大于I(P)+It或同時(shí)小于I(P)-It,則判定該點(diǎn)P為OFAST檢測(cè)點(diǎn)，其中，I (P)表示ρ點(diǎn)的灰度值，It表示灰度閾值，η的取值范圍為[ [嶺1’[1.5翁]+1]； 所述OFAST角點(diǎn)主方向提取步驟中，對(duì)于被判定的OFAST角點(diǎn)，對(duì)布雷森漢姆圓上的點(diǎn)進(jìn)行標(biāo)號(hào)時(shí)，圓心正上方的點(diǎn)標(biāo)號(hào)1，并按照順時(shí)針方向依次對(duì)其他點(diǎn)進(jìn)行標(biāo)號(hào)，所述η個(gè)連續(xù)點(diǎn)中的兩個(gè)端點(diǎn)的標(biāo)號(hào)按順時(shí)針方向分別記為a、b，OFAST角點(diǎn)主方向通過以下關(guān)系式(I)確定，
7.如權(quán)利要求4或5所述的立體圖像校正方法，其特征在于，所述角點(diǎn)匹配步驟中，采用定向二進(jìn)制獨(dú)立基元魯棒特征(0BRIEF)特征描述子并基于該OBRIEF特征描述子進(jìn)行匹配。
8.如權(quán)利要求7所述的立體圖像校正方法，其特征在于，所述角點(diǎn)匹配步驟包括步驟 生成標(biāo)準(zhǔn)采樣圖案； 對(duì)角點(diǎn)構(gòu)建所述OBRIEF特征描述子；以及 利用所述OBRIEF特征描述子對(duì)所述原始立體圖像對(duì)中的左視圖中的角點(diǎn)和右視圖中的角點(diǎn)進(jìn)行匹配，形成匹配點(diǎn)對(duì)。
9.如權(quán)利要求6所述的立體圖像校正方法，其特征在于，所述角點(diǎn)匹配步驟包括 生成標(biāo)準(zhǔn)采樣圖案步驟通過在以點(diǎn)(0，0)為中心、大小為SxS的正方形框中，按均勻分布或高斯分布0(0, 隨機(jī)抽?。ソM點(diǎn)對(duì)，v )，每組點(diǎn)對(duì)，ν )中的 采樣點(diǎn)A和y;直線連接形成線段以生成所述標(biāo)準(zhǔn)采樣圖案，其中，Xi和y力第i組點(diǎn)對(duì)中的兩個(gè)采樣點(diǎn)，
10.如權(quán)利要求9所述的立體圖像校正方法，其特征在于，在所述構(gòu)建OBRIEF特征描述子步驟中，某一 OFAST角點(diǎn)ρ的OBRIEF特征描述子/(P)通過以下關(guān)系式(2)構(gòu)建
11.如權(quán)利要求9所述的立體圖像校正方法，其特征在于，在角點(diǎn)進(jìn)行匹配過程中，對(duì)于OFAST角點(diǎn)Pi和，兩者的相似性通過以下關(guān)系式(3)計(jì)算
12.如權(quán)利要求11所述的立體圖像校正方法，其特征在于，針對(duì)左視圖的OFAST角點(diǎn)P 遍歷右視圖中所有的OFAST角點(diǎn)，找到令關(guān)系式(3)取值最小的點(diǎn)作為OFAST角點(diǎn)Pj的匹配點(diǎn)，從而形成所述匹配點(diǎn)對(duì)。
13.如權(quán)利要求4所述的立體圖像校正方法，其特征在于，所述校正參數(shù)優(yōu)化步驟中，按照以下關(guān)系式(4)，將所述基礎(chǔ)矩陣用參數(shù)[力,厶,戍進(jìn)行參數(shù)化，
14.如權(quán)利要求13所述的立體圖像校正方法，其特征在于，所述誤差方程為
15.如權(quán)利要求I所述的立體圖像校正方法，其特征在于，所述校正步驟包括 校正矩陣構(gòu)建步驟利用校正參數(shù)構(gòu)建校正矩陣； 校正矩陣微調(diào)步驟至少結(jié)合所述景深調(diào)整參數(shù)對(duì)所述校正矩陣進(jìn)行微調(diào)；以及立體圖像裁剪步驟利用微調(diào)后的校正矩陣分別對(duì)原始立體圖像對(duì)中的視圖進(jìn)行處理，獲取校正后立體圖像對(duì)。
16.如權(quán)利要求4所述的立體圖像校正方法，其特征在于，所述校正步驟包括 校正矩陣構(gòu)建步驟利用校正參數(shù)構(gòu)建校正矩陣； 校正矩陣微調(diào)步驟至少結(jié)合所述景深調(diào)整參數(shù)和所述第二內(nèi)點(diǎn)集對(duì)所述校正矩陣進(jìn)行微調(diào)；以及 立體圖像裁剪步驟利用微調(diào)后的校正矩陣分別對(duì)原始立體圖像對(duì)中的視圖進(jìn)行處理，獲取校正后立體圖像對(duì)。
17.如權(quán)利要求15或16所述的立體圖像校正方法，其特征在于，基于以下關(guān)系式(7)構(gòu)建所述校正矩陣
18.如權(quán)利要求17所述的立體圖像校正方法，其特征在于，所述微調(diào)后的校正矩陣通過以下關(guān)系式(8)計(jì)算
19.如權(quán)利要求15或16所述的立體圖像校正方法，其特征在于，所述立體圖像裁剪步驟包括步驟分別獲取原始立體圖像對(duì)的校正后的左視圖和校正后的右視圖的可裁剪區(qū)域； 獲取校正后的左視圖與校正后的右視圖之間的最大公共裁剪區(qū)域；以及利用原始立體圖像對(duì)的灰度值相應(yīng)地填充校正后的最大公共裁剪區(qū)域中的左視圖和右視圖。
20.—種立體圖像校正裝置，其特征在于，包括 獲取模塊，其用于獲取原始立體圖像對(duì)； 校正參數(shù)提取模塊，其用于在所述原始立體圖像對(duì)中尋找匹配點(diǎn)對(duì)形成匹配點(diǎn)對(duì)集，并提取校正參數(shù)； 校正模塊，其用于至少根據(jù)所述校正參數(shù)以及景深調(diào)整參數(shù)生成校正矩陣、并基于該校正矩陣對(duì)所述原始立體圖像對(duì)進(jìn)行校正以消除垂直視差；以及 反饋模塊，其用于根據(jù)立體圖像顯示的出屏程度/入屏程度反饋輸出所述景深調(diào)整參數(shù)； 其中，所述反饋模塊所輸出的景深調(diào)整參數(shù)輸出至所述校正模塊。
21.如權(quán)利要求20所述的立體圖像校正裝置，其特征在于，還包括 判斷模塊，其用于根據(jù)立體圖像顯示體驗(yàn)判斷是否需要重新校正。
22.如權(quán)利要求20所述的立體圖像校正裝置，其特征在于，所述獲取模塊獲取的所述原始立體圖像對(duì)是由左攝像頭和右攝像頭對(duì)同一場(chǎng)景分別拍攝的左視圖和右視圖組成。
23.如權(quán)利要求20所述的立體圖像校正裝置，其特征在于，所述校正參數(shù)提取模塊包括 角點(diǎn)提取單元，其用于從所述原始立體圖像對(duì)的視圖中提取出亮度變化相對(duì)劇烈且相對(duì)易于識(shí)別的角點(diǎn)； 角點(diǎn)匹配單元，其用于對(duì)各個(gè)所述角點(diǎn)分別提取具有魯棒特性的特征描述子，并根據(jù)所述特征描述子對(duì)角點(diǎn)進(jìn)行匹配以形成初始匹配點(diǎn)對(duì)集； 誤匹配剔除單元，其用于利用魯棒模型估計(jì)方法剔除所述初始匹配點(diǎn)對(duì)集中存在的誤匹配點(diǎn)對(duì)以形成相對(duì)穩(wěn)定可靠的第二內(nèi)點(diǎn)集；以及 校正參數(shù)優(yōu)化單元，其用于將基礎(chǔ)矩陣參數(shù)化，并基于該參數(shù)化的基礎(chǔ)矩陣對(duì)所述第二內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)建立誤差方程，利用非線性最小二乘法對(duì)校正參數(shù)進(jìn)行優(yōu)化以獲取校正參數(shù)的優(yōu)值。
24.如權(quán)利要求23所述的立體圖像校正裝置，其特征在于，所述角點(diǎn)提取單元采用基于加速分割檢測(cè)的定向特征(OFAST)角點(diǎn)檢測(cè)部件提取基于加速分割檢測(cè)的定向特征(OFAST)角點(diǎn)； 其中，所述OFAST角點(diǎn)檢測(cè)部件包括OFAST角點(diǎn)判定子模塊和OFAST角點(diǎn)主方向提取子模塊。
25.如權(quán)利要求24所述的立體圖像校正裝置，其特征在于，所述OFAST角點(diǎn)判定子模塊中，針對(duì)被檢測(cè)的某一點(diǎn)P，以點(diǎn)P為圓心、半徑為r畫布雷森漢姆圓,如果布雷森漢姆圓上的連續(xù)η個(gè)點(diǎn)的灰度值同時(shí)大于Kf )+It或同時(shí)小于I(P)-It ,則判定該點(diǎn)P為OFAST檢測(cè)點(diǎn)，其中，I(P)表示P點(diǎn)的灰度值，I1表示灰度閾值，η的取值范圍為[[取]~~1’[1.5取]+ 1]；所述OFAST角點(diǎn)主方向提取子模塊中，對(duì)于被判定的OFAST角點(diǎn)，對(duì)所述布雷森漢姆圓上的點(diǎn)進(jìn)行標(biāo)號(hào)時(shí)，圓心正上方的點(diǎn)標(biāo)號(hào)1，并按照順時(shí)針方向依次對(duì)其他點(diǎn)進(jìn)行標(biāo)號(hào)，所述η個(gè)連續(xù)點(diǎn)中的兩個(gè)端點(diǎn)的標(biāo)號(hào)按順時(shí)針方向分別記為a、b, OFAST角點(diǎn)主方向通過以下關(guān)系式(I)確定，
26.如權(quán)利要求23或24所述的立體圖像校正裝置，其特征在于，所述角點(diǎn)匹配單元采用定向二進(jìn)制獨(dú)立基元魯棒特征(0BRIEF)特征描述子并基于該OBRIEF特征描述子進(jìn)行匹配。
27.如權(quán)利要求26所述的立體圖像校正裝置，其特征在于，所述角點(diǎn)匹配單元包括 生成標(biāo)準(zhǔn)采樣圖案的部件； 對(duì)角點(diǎn)構(gòu)建所述OBRIEF特征描述子的部件；以及 利用所述OBRIEF特征描述子對(duì)所述原始立體圖像對(duì)中的左視圖中的角點(diǎn)和右視圖中的角點(diǎn)進(jìn)行匹配、形成匹配點(diǎn)對(duì)的部件。
28.如權(quán)利要求25所述的立體圖像校正裝置，其特征在于，所述角點(diǎn)匹配單元包括 生成標(biāo)準(zhǔn)采樣圖案部件通過在以點(diǎn)(0，0)為中心、大小為SxS的正方形框中，按均勻分布U(H)或高斯分布0(0, ·)隨機(jī)抽?。ソM點(diǎn)對(duì)(χ;，y;)，每組點(diǎn)對(duì)(χ;，y;)中的采樣點(diǎn)A和:^直線連接形成線段以生成所述標(biāo)準(zhǔn)采樣圖案，其中，A和y;為第i組點(diǎn)對(duì)中的兩個(gè)采樣點(diǎn)，
29.如權(quán)利要求28所述的立體圖像校正裝置，其特征在于，在所述構(gòu)建OBRIEF特征描述子部件中，某一 OFAST角點(diǎn)ρ的OBRIEF特征描述子/( )通過以下關(guān)系式(2)構(gòu)建
30.如權(quán)利要求28所述的立體圖像校正裝置，其特征在于，在所述匹配點(diǎn)對(duì)形成部件中，對(duì)于OFAST角點(diǎn)Pz和Pj ,兩者的相似性通過以下關(guān)系式(3)計(jì)算
31.如權(quán)利要求23所述的立體圖像校正裝置，其特征在于，所述校正參數(shù)優(yōu)化單元中，執(zhí)行以下關(guān)系式(4)將所述基礎(chǔ)矩陣用參數(shù)[力，厶,#7]進(jìn)行參數(shù)化，
32.如權(quán)利要求31所述的立體圖像校正裝置，其特征在于，所述誤差方程為
33.如權(quán)利要求20所述的立體圖像校正裝置，其特征在于，所述校正模塊包括 校正矩陣構(gòu)建單元，其用于利用校正參數(shù)構(gòu)建校正矩陣； 校正矩陣微調(diào)單元，其用于至少結(jié)合所述景深調(diào)整參數(shù)對(duì)所述校正矩陣進(jìn)行微調(diào)；以及 立體圖像裁剪單元，其用于利用微調(diào)后的校正矩陣分別對(duì)原始立體圖像對(duì)中的視圖進(jìn)行處理，獲取校正后立體圖像對(duì)。
34.如權(quán)利要求23所述的立體圖像校正裝置，其特征在于，所述校正模塊包括 校正矩陣構(gòu)建單元，其用于利用校正參數(shù)構(gòu)建校正矩陣； 校正矩陣微調(diào)單元，其用于至少結(jié)合所述景深調(diào)整參數(shù)和第二內(nèi)點(diǎn)集對(duì)所述校正矩陣進(jìn)行微調(diào)；以及 立體圖像裁剪單元，其用于利用微調(diào)后的校正矩陣分別對(duì)原始立體圖像對(duì)中的視圖進(jìn)行處理，獲取校正后立體圖像對(duì)。
35.如權(quán)利要求33或34所述的立體圖像校正裝置，其特征在于，所述校正矩陣構(gòu)建單元執(zhí)行以下關(guān)系式(7)構(gòu)建所述校正矩陣
36.如權(quán)利要求35所述的立體圖像校正裝置，其特征在于，所述校正矩陣微調(diào)單元執(zhí)行通過以下關(guān)系式(8)計(jì)算微調(diào)后的校正矩陣
37.如權(quán)利要求33或34所述的立體圖像校正裝置，其特征在于，所述立體圖像裁剪單元包括分別獲取原始立體圖像對(duì)的校正后的左視圖和校正后的右視圖的可裁剪區(qū)域的部件； 獲取校正后的左視圖與校正后的右視圖之間的最大公共裁剪區(qū)域的部件；以及利用原始立體圖像對(duì)的灰度值相應(yīng)地填充校正后的最大公共裁剪區(qū)域中的左視圖和右視圖的 部件。
全文摘要
本發(fā)明提供一種立體圖像校正方法及裝置，屬于立體(3D)圖像顯示技術(shù)領(lǐng)域。該立體圖像校正方法包括獲取步驟獲取原始立體圖像對(duì)；校正參數(shù)提取步驟在所述原始立體圖像對(duì)中尋找匹配點(diǎn)對(duì)形成匹配點(diǎn)對(duì)集，并提取校正參數(shù)；校正步驟至少根據(jù)所述校正參數(shù)以及景深調(diào)整參數(shù)生成校正矩陣、并基于該校正矩陣對(duì)所述原始立體圖像對(duì)進(jìn)行校正以消除垂直視差；反饋步驟根據(jù)立體圖像顯示的出屏程度/入屏程度反饋輸出所述景深調(diào)整參數(shù)。該校正方法可以消除垂直視差、并且3D圖像顯示的出屏和入屏程度可調(diào)整，觀看者的立體圖像觀賞體驗(yàn)更佳。
文檔編號(hào)G06T7/00GK102905147SQ201210320539
公開日2013年1月30日 申請(qǐng)日期2012年9月3日 優(yōu)先權(quán)日2012年9月3日
發(fā)明者姚華, 鐘雄光, 彭超建, 何光彩 申請(qǐng)人:上海立體數(shù)碼科技發(fā)展有限公司