通過圖像分析對場景進行三維重構(gòu)適用于工業(yè)領(lǐng)域,具體地,適用于對位于難以進入的位置,例如在核反應(yīng)堆、特別是在核反應(yīng)堆的蒸汽發(fā)生器中的部分或表面的三維形貌進行確定。具體地,可以監(jiān)測兩個部分之間所形成的焊縫的表面狀況,或者可以測量表面粗糙度。
在由圖像采集設(shè)備獲取的圖像上,位于清晰區(qū)中的元素表現(xiàn)清晰,而位于清晰區(qū)外的元素表現(xiàn)模糊。清晰區(qū)是包括在清晰前平面與清晰后平面之間的一段空間,清晰前平面與清晰后平面平行并且相隔被稱為景深的距離。清晰前平面和清晰后平面位于最大清晰度平面的任一側(cè)上。
可以通過分析圖像的光學(xué)模糊度來確定場景的三維重構(gòu)。
在稱為DFF(Depth From Focus,聚焦深度)的三維重構(gòu)方法中,使用圖像采集設(shè)備來獲取場景的幾個圖像,每次在上述圖像之間沿圖像采集軸平移最大清晰度平面,而不在圖像采集之間移動場景的元素。然后通過組合不同的捕獲圖像的清晰區(qū)域,可以逐平面地重構(gòu)場景的三維形貌。
在另一被稱為DFD(Depth From Defocus,離焦深度)的三維重構(gòu)方法中,通過分析圖像的光學(xué)模糊水平來重構(gòu)場景的形貌。在每個圖像中,某個區(qū)的模糊水平越高,則該區(qū)相對于清晰區(qū)沿深度方向移動得越多。通過了解圖像采集設(shè)備的光學(xué)參數(shù),可以確定場景的與圖像的每個像素相關(guān)聯(lián)的點的深度。
圖像的光學(xué)模糊水平例如通過測量圖像的對比度來測量。低對比度表示圖像的模糊區(qū)域,而高對比度表示圖像的清晰區(qū)域。
可以在場景上投射增加對比度的紋理光圖案以提高對捕獲圖像的光學(xué)模糊度的分析精度。該光圖案例如包括平行線、條紋或方格。
然而,例如對于具有低粗糙度的表面的三維重構(gòu),這在精度方面不能完全令人滿意。
本發(fā)明的一個目的是提出一種通過分析使用圖像采集設(shè)備所獲取的圖像來對場景進行三維重構(gòu)的設(shè)備,該設(shè)備易于使用并且具有令人滿意的精度。
為此,本發(fā)明提出了用于通過圖像分析來對場景進行三維重構(gòu)的設(shè)備,包括:圖像采集設(shè)備,用于捕獲場景的圖像;分析設(shè)備,用于根據(jù)由所述圖像采集設(shè)備獲取的場景的至少一個圖像來計算場景的三維重構(gòu);以及投射設(shè)備,用于將互補的第一光圖案和第二光圖案投射在受檢場景上,第一光圖案和第二光圖案沿著成非零角度的不同投射軸被投射,以被疊加從而在投射平面上形成強度一致的均勻圖像。
三維重構(gòu)設(shè)備可以包括以下單獨考慮或組合考慮的光學(xué)特征:
第一光圖案和第二光圖案各自包括形成幾何圖案的亮區(qū)和暗區(qū),尤其包括光條紋;
分析設(shè)備被編程為:根據(jù)場景的每個圖像的光強度的一致性上的變化的測量值來計算三維重構(gòu);
分析設(shè)備被編程為:按照場景的不同點之間的強度的一致性的變化,根據(jù)場景的至少一個圖像來計算場景的每個點相對于投射平面的位置,和/或根據(jù)至少一個捕獲圖像來計算場景的每個點的深度的測量值;
重構(gòu)設(shè)備被編程為通過在各次拍攝之間相對于場景移動圖像采集設(shè)備的最大清晰度平面來捕獲場景的圖像序列,分析設(shè)備被編程為根據(jù)所述圖像序列逐平面地計算場景的三維重構(gòu)。
本發(fā)明還涉及用于通過圖像分析來對場景進行三維重構(gòu)的方法,該方法包括以下步驟:
將互補的第一光圖案和第二光圖案投射在受檢場景上,第一光圖案和第二光圖案沿著成非零角度的不同投射軸被投射,以被疊加從而在投射平面上形成強度一致的均勻投射圖像;
捕獲受檢場景的至少一個圖像;以及
通過對捕獲圖像的分析來計算場景的三維重構(gòu)。
所述三維重構(gòu)方法可以包括以下單獨考慮或組合考慮的可選特征:
第一圖案和第二圖案各自包括形成幾何圖案的亮區(qū)和暗區(qū),特別包括光條紋;
分析設(shè)備被編程為:根據(jù)場景的每個圖像的光強度的一致性上的變化的測量值來計算三維重構(gòu);
用于計算三維重構(gòu)的步驟包括:按照場景的不同點之間的強度的一致性的變化,根據(jù)場景的至少一個圖像來計算場景的每個點相對于投射平面的位置,和/或根據(jù)至少一個捕獲圖像來計算場景的每個點的深度的測量值;
圖像采集步驟包括通過在各次拍攝之間相對場景移動圖像采集設(shè)備的最大清晰度平面來捕獲場景的圖像序列,用于計算三維重構(gòu)的步驟包括根據(jù)圖像序列逐平面地計算場景的三維重構(gòu)。
當閱讀僅作為示例提供并且參考附圖做出的以下描述時,將更好地理解本發(fā)明及其優(yōu)點,附圖中:
圖1是通過圖像分析對場景進行三維重構(gòu)的設(shè)備的正面示意圖;以及
圖2是對由三維重構(gòu)設(shè)備投射的光圖案在疊加前后的示意性說明。
圖1的三維重構(gòu)設(shè)備2適于通過場景的圖像分析來重構(gòu)該場景的三維形貌。
三維重構(gòu)設(shè)備2包括用于獲取場景的數(shù)字圖像的數(shù)字圖像采集設(shè)備4,例如數(shù)字拍攝設(shè)備或數(shù)字相機。
圖像采集設(shè)備4包括物鏡6,其用于將場景的光聚焦在矩陣傳感器8上。被場景的光照射的傳感器8捕獲場景的矩陣圖像10。矩陣圖像10由像素矩陣形成,每個像素具有關(guān)聯(lián)參數(shù)(彩色圖像的每個原色的光強度或黑白圖像的灰度水平)。圖像的每個像素與場景的點對應(yīng)。
圖像采集設(shè)備4具有圖像采集軸X,該圖像采集軸X與物鏡6的光軸對應(yīng)。
圖像采集設(shè)備4具有包括在清晰區(qū)中的最大清晰度平面Pmax,清晰區(qū)是限定在位于最大清晰度平面Pmax的任一側(cè)上的清晰前平面P1與清晰后平面P2之間的一段空間。
最大清晰度平面Pmax、清晰前平面P1和清晰后平面P2垂直于圖像采集軸X并且彼此平行。清晰前平面P1與清晰后平面P2之間的沿圖像采集軸X的距離是景深。
圖像采集設(shè)備4獲取以下圖像:包括在清晰區(qū)中的場景元素清晰,而清晰區(qū)外的場景元素模糊。
從最大清晰度平面Pmax至圖像采集設(shè)備4的距離以及景深取決于圖像采集設(shè)備4的參數(shù)(焦距、T-光圈等)。圖像采集設(shè)備4的參數(shù)是可調(diào)或固定的。
優(yōu)選地,對于三維重構(gòu),選擇或調(diào)節(jié)圖像采集設(shè)備4的參數(shù)以使景深低,例如低于要重構(gòu)的場景的深度。例如,測試表明,可以以1/10mm的深度分辨率來重構(gòu)深度為大約40mm、景深大約為20mm的場景。如果表面紋理使得可以確定對比度曲線的最大值,則還可以考慮較大的景深。
圖像采集設(shè)備4包括電子分析設(shè)備12,電子分析設(shè)備12能夠分析由圖像采集設(shè)備4捕獲的圖像以通過對捕獲圖像的分析來執(zhí)行場景的三維重構(gòu)。
分析設(shè)備12包括處理器以及存儲有計算機應(yīng)用程序的存儲器,該計算機應(yīng)用程序包括軟件指令,該軟件指令能夠由處理器執(zhí)行以自動地通過圖像分析來計算場景的三維重構(gòu)。
三維重構(gòu)設(shè)備2包括投射設(shè)備14,投射設(shè)備14用于在場景上投射紋理化且互補的第一光圖案16和第二光圖案18以在位于圖像采集設(shè)備4的清晰區(qū)中的投射平面PP中形成清晰的基本圖像,從而在投射平面PP中形成均勻的組合圖像。
優(yōu)選地,如所說明的,投射平面PP基本上與最大清晰度平面Pmax重合。
投射設(shè)備14被配置成分別沿成非零角度的第一投射軸A1和第二投射軸A2投射第一光圖案16的第一投射光束15以及第二光圖案18的第二投射光束17。第一光束15與第二光束17交錯。
至少一個投射軸A1,A2與圖像采集軸X不同并且與圖像采集軸X成非零角度。在所示出的示例中,各個投射軸A1,A2與圖像采集軸X不同并且與圖像采集軸X成非零角度。此處,圖像采集軸X在投射軸A1與投射軸A2之間形成二等分線。投射軸A1、A2與圖像采集軸X共點。
如圖1所示,投射設(shè)備14包括用于投射第一光圖案16的第一投射器20以及用于投射第二光圖案18的第二投射器22。
如圖2所示,每個光圖案16、18被紋理化并且具有亮區(qū)和暗區(qū)。此處,光圖案16和光圖案18各自由光條紋形成,即,多個亮暗交替的平行直線帶。此處,光圖案16、18是黑白色。
光圖案16和光圖案18互補以使得:通過在光圖案清晰的投射平面PP中將光圖案16和光圖案18疊加,產(chǎn)生光強度一致的均勻組合圖像24?;パa的光圖案16和光圖案18被疊加以使得一個光圖案的暗區(qū)被疊加在另一個光圖案的亮區(qū)上。
由于投射軸A1與投射軸A2成非零角度,當場景的點位于投射平面外時,基于該點的位置及深度來將其放置在:
中間光強度區(qū),對應(yīng)于光圖案16和光圖案18兩者之一的暗區(qū)與光圖案16和光圖案18兩者中另一個的亮區(qū)的交叉區(qū),并且其中光圖案不清晰且光強度被減??;
高光強度區(qū),對應(yīng)于光圖案16和光圖案18的兩個亮區(qū)的交叉區(qū),并且其中該光強度高于投射平面PP中的光強度;和/或
低光強度區(qū),對應(yīng)于光圖案16和光圖案18的兩個暗區(qū)的交叉區(qū),并且其中該光強度低于投射平面PP中的光強度.
場景的位于投射平面PP外的點的光強度不同于(低于或高于)該場景的位于投射平面PP中的點的光強度。由圖像設(shè)備4獲取的圖像的每個像素的光強度因此表示場景中的對應(yīng)點的深度。
圖像的強度一致性因場景深度而異。場景的區(qū)域距投射平面越遠,圖像的對應(yīng)區(qū)中的強度一致性就越低。場景的區(qū)域距投射平面越近,圖像的對應(yīng)區(qū)中的強度一致性就越高。
圖像分析設(shè)備12被編程為對由圖像設(shè)備4獲取的每個圖像進行掃描來檢測強度一致性變化,從而確定場景的點相對于投射平面的位置和/或測量場景中與每個像素對應(yīng)的點的深度。這使得可以計算場景的三維重構(gòu)。
在一種實施方式中,圖像采集設(shè)備4提供黑白圖像。黑白圖像將灰度水平與每個像素相關(guān)聯(lián),表示該像素的光強度。在此情況下,圖像分析設(shè)備12被編程為通過使自身以該圖像的灰度水平為基礎(chǔ)來分析這樣的圖像的光強度。
在一種實施方式中,圖像采集設(shè)備4提供彩色圖像。彩色圖像包括三個強度圖像,其中每個與相應(yīng)的顏色相關(guān)聯(lián),從而將該顏色中的光強度與圖像的每個像素相關(guān)聯(lián)。三種顏色例如是三種基本顏色(綠、黃、藍)。在此情況下,圖像分析設(shè)備12被編程為:通過分析三個強度圖像中每個圖像的光強度,然后例如通過將每個像素的三個強度圖像的光強度相加來組合上述分析,從而對捕獲圖像中的光強度進行分析。
圖像分析設(shè)備12例如提供場景的深度圖形式的三維重構(gòu)作為輸出,該深度圖將深度與由圖像采集設(shè)備獲取的場景的圖像的每個像素相關(guān)聯(lián)。
圖像分析設(shè)備12被編程為:基于與場景的每個點相關(guān)聯(lián)的深度來計算該場景的三維重構(gòu)。
在一種實施方式中,三維重構(gòu)設(shè)備2被編程為通過在各次拍攝之間使得最大清晰度平面Pmax和投射平面PP一起移動來獲取場景的圖像序列,圖像分析設(shè)備12被編程為例如通過針對每個圖像來確定位于投射平面PP中的清晰元素來逐平面地計算場景的三維重構(gòu)。為了移動最大清晰度平面Pmax和投射平面PP,圖像采集設(shè)備4沿其圖像采集軸X可調(diào)和/或可移動,和/或投射設(shè)備14沿圖像采集軸X可調(diào)和/或可移動。
在一種實施方式中,圖像分析設(shè)備12被編程為:例如基于通過在各次拍攝之間移動投射平面PP(以及使最大清晰度平面一起移動)而獲取的圖像序列中的圖像之間的點的清晰度變化,來計算場景的每個點相對于投射平面PP的位置。如果場景的點的清晰度在兩次拍攝之間增加,則投射平面PP已經(jīng)移近場景的該點。如果場景的點的清晰度在兩次拍攝之間減小,則投射平面PP遠離了場景的該點。從各次拍攝之間場景的該點的清晰度變化以及投射平面PP的移動方向來推導(dǎo)出場景的該點的位置。
在一種實施方式中,圖像分析設(shè)備12被編程為基于以下各項來確定場景的三維重構(gòu):場景的點相對于投射平面PP的位置,例如根據(jù)在其之間移動了投射平面PP(以及使得最大清晰度平面Pmax一起移動)的圖像序列中的點的清晰度變化來確定此位置;以及根據(jù)在至少一個圖像中的強度一致性變化的檢測來確定的場景的每個點的深度。
此處,場景由希望檢查的對象24的表面22形成。
在操作期間,對象24被布置在圖像采集設(shè)備4的視場中,要受檢的表面22被定向成朝向圖像采集設(shè)備4。投射設(shè)備14在要受檢的表面22上投射光圖案16、18。通過在位于圖像采集設(shè)備4的清晰區(qū)P1-P2中的投射平面PP中形成具有一致光強度的光照來在該投射平面PP中將光圖案16和光圖案18疊加。圖像采集設(shè)備4獲取場景的至少一個圖像10并且將圖像提供給分析設(shè)備12,其例如通過計算由圖像采集設(shè)備4獲取的圖像的每個像素的深度來根據(jù)該圖像或每個圖像對場景進行三維重構(gòu)。
根據(jù)本發(fā)明,可以以令人滿意的精度來執(zhí)行場景的三維重構(gòu)。具體地,可以三維重構(gòu)具有低粗糙度的表面。
實際上,通過分析圖像的光學(xué)模糊度而進行的深度測量一般基于對比度測量,其是一種相對性測量。為了測量表面粗糙度,在該表面的圖像中所測量的模糊度水平因此取決于該表面的粗糙度,并且如果表面具有低粗糙度,則模糊度水平差異在圖像的各區(qū)域之間很小,并且測量精度很低。
相反地,投射被疊加的互補光圖案使得可以基于強度的一致性的變化來實現(xiàn)深度測量,此變化不取決于表面的總體粗糙度從而使得即使對于低粗糙度的表面仍能夠進行精確的深度測量。