技術領域
至少一個示例實施例涉及一種估計三維(3D)顯示裝置的參數(shù)的方法和/或使用所述方法的3D顯示裝置。
背景技術:
在與三維(3D)圖像識別有關的因素中,最重要的因素是通過用戶的雙眼看到的圖像之間視差。向用戶的雙眼提供不同圖像的方法可被分為立體式和自動立體式。立體式方法可通過包括使用偏振光、時間分割和用于區(qū)分原色的波長的波長分割的分割方法來過濾期望的圖像。自動立體式方法可使用3D轉(zhuǎn)換裝置(例如,視差屏障、雙凸透鏡或定向背光單元)使圖像僅在期望的(或可選地,預定的)空間被觀看。
自動立體式方法可減輕佩戴眼鏡的不便。在自動立體式方法中,為抑制3D圖像的串擾,3D圖像將被準確地投影到用戶的雙眼。當在檢測用戶的雙眼的位置的處理中出現(xiàn)誤差時,或者當在生產(chǎn)或安裝3D顯示裝置和3D轉(zhuǎn)換裝置的處理中出現(xiàn)與設計值不同的誤差時,圖像的質(zhì)量會劣化。
技術實現(xiàn)要素:
至少一個示例實施例涉及一種估計顯示裝置的參數(shù)的方法。
在至少一個示例實施例中,所述方法可包括:在顯示器上顯示包括第一圖案的第一圖像;使用與顯示器結(jié)合的相機捕獲當?shù)谝粓D像被反射器以不同的角度反射時所產(chǎn)生的第二圖像;基于第一圖像和第二圖像估計相機與顯示器之間的第一轉(zhuǎn)換參數(shù)。
第一轉(zhuǎn)換參數(shù)可包括執(zhí)行相機的坐標與顯示器的坐標之間的轉(zhuǎn)換的旋轉(zhuǎn)矩陣和執(zhí)行相機的坐標與顯示器的坐標之間的轉(zhuǎn)換的平移向量中的至少一個。
估計的步驟可包括:確定將第一圖案和與第二圖像相應的虛擬圖案之間的投影誤差最小化的第一轉(zhuǎn)換參數(shù)。
估計的步驟可包括:基于第二圖像估計顯示器與反射器之間的幾何關系;基于所述幾何關系計算第一圖案和與第二圖像相應的虛擬圖案之間的投影誤差;更新第一轉(zhuǎn)換參數(shù)以減小投影誤差。
所述方法還可包括以下步驟中的至少一個:基于第一圖案和至少一個第二圖像估計相機的內(nèi)部參數(shù);基于包括在第一圖像中的第二圖案和所述至少一個第二圖像估計顯示器和與顯示器結(jié)合的光學層之間的第二轉(zhuǎn)換參數(shù)。
估計第二轉(zhuǎn)換參數(shù)的步驟可包括:基于第二圖案的周期、包括在所述至少一個第二圖像中的第三圖案的周期以及第三圖案的梯度來估計第二轉(zhuǎn)換參數(shù)。
所述方法還可包括以下步驟中的至少一個:基于顯示器的子像素結(jié)構(gòu)獲取第二圖案的周期;在第三圖案被頻率轉(zhuǎn)換的傅里葉空間中獲取第三圖案的周期和第三圖案的梯度。
內(nèi)部參數(shù)可包括相機的焦距、相機的中心位置和相機的偏度中的至少一個。
第二轉(zhuǎn)換參數(shù)可包括光學層的間距和光學層與顯示器之間的旋轉(zhuǎn)角中的至少一個。
第二圖案可包括相同亮度的連續(xù)線被間隔排列的圖案和包括具有相同顏色和相同亮度的區(qū)域的圖案中的至少一個。
第一圖案可包括重復一種形狀的圖案。每個虛擬圖案是當在反射器中以相應的角度對第一圖案進行聚焦時所產(chǎn)生的虛擬圖像。第二圖案可被包括于在第一圖案中重復的形狀中。
至少一個示例實施例涉及一種三維(3D)顯示裝置。
在至少一個示例實施例中,所述3D顯示裝置可包括:相機,被配置為執(zhí)行眼睛跟蹤;顯示器,被配置為顯示3D圖像;處理器,被配置為控制顯示器以顯示包括第一圖案的第一圖像,控制相機以捕獲當?shù)谝粓D像被反射器以不同角度反射時所產(chǎn)生的第二圖像,基于第一圖像和第二圖像估計相機與顯示器之間的第一轉(zhuǎn)換參數(shù),基于第一轉(zhuǎn)換參數(shù)跟蹤用戶的眼睛,并基于跟蹤的眼睛渲染3D圖像。
至少一個示例實施例涉及一種估計顯示裝置的參數(shù)的方法。
在至少一個示例實施例中,所述方法可包括:在顯示器上顯示包括第一圖案和第二圖案的第一圖像;使用與顯示器結(jié)合的相機捕獲當?shù)谝粓D像在反射器中被反射時所產(chǎn)生的第二圖像;基于第二圖像中的與第一圖案相應的區(qū)域估計相機的參數(shù);基于第二圖像中的與第一圖案相應的所述區(qū)域估計相機與顯示器之間的第一轉(zhuǎn)換參數(shù);基于第二圖像中的與第二圖案相應的區(qū)域估計顯示器和與顯示器結(jié)合的光學層之間的第二轉(zhuǎn)換參數(shù)。
至少一個示例實施例涉及一種顯示裝置。
在至少一個示例實施例中,所述顯示裝置可包括:顯示器,被配置為顯示包括第一圖案和第二圖案的第一圖像;相機,與顯示器結(jié)合,用于捕獲當?shù)谝粓D像在反射器中被反射時所產(chǎn)生的第二圖像;處理器,被配置為基于第二圖像中的與第一圖案相應的區(qū)域估計相機的參數(shù),基于第二圖像中的與第一圖案相應的所述區(qū)域估計相機與顯示器之間的第一轉(zhuǎn)換參數(shù),并且基于第二圖像中的與第二圖案相應的區(qū)域估計顯示器和與顯示器結(jié)合的光學層之間的第二轉(zhuǎn)換參數(shù)。
至少一個示例實施例涉及一種包括處理器以及包含計算機可讀指令的存儲器的裝置,其中,當由處理器執(zhí)行所述計算機可讀指令時,使得處理器接收由顯示器顯示的第一圖像,第一圖像包括第一圖案。所述計算機可讀指令使得處理器接收第二圖像,第二圖像是以不同角度被捕獲的第一圖像的反射的形式。所述計算機可讀指令使得處理器基于第一圖像和第二圖像估計相機和顯示器之間的第一轉(zhuǎn)換參數(shù)。
第一轉(zhuǎn)換參數(shù)包括旋轉(zhuǎn)矩陣和平移向量中的至少一個,存儲器包括用于使處理器基于旋轉(zhuǎn)矩陣和平移向量中的至少一個將相機的坐標系轉(zhuǎn)換為顯示器的坐標系并使用轉(zhuǎn)換的坐標系渲染三維圖像的計算機可讀指令。
處理器被配置為通過將第一轉(zhuǎn)換參數(shù)確定為將第一圖案和與第二圖像相應的虛擬圖案之間的投影誤差最小化的轉(zhuǎn)換參數(shù)來進行估計。
每個虛擬圖案是當以所述不同的角度中的相應的一個角度對第一圖案進行聚焦時所產(chǎn)生的虛擬圖像。
處理器被配置為通過以下操作進行估計:基于第二圖像估計顯示器和反射器之間的幾何關系,其中,反射器被用于產(chǎn)生第二圖像;基于所述幾何關系計算第一圖案和與第二圖像相應的虛擬圖案之間的投影誤差;更新第一轉(zhuǎn)換參數(shù)以減小投影誤差。
第一圖像包括第二圖案,存儲器包括用于使處理器基于第一圖案和至少一個第二圖像來估計相機的內(nèi)部參數(shù)并基于第二圖案和所述至少一個第二圖像來估計顯示器和與顯示器關聯(lián)的光學層之間的第二轉(zhuǎn)換參數(shù)的計算機可讀指令。
所述至少一個第二圖像包括第三圖案,處理器被配置為基于第二圖案的周期、第三圖案的周期和第三圖案的梯度估計第二轉(zhuǎn)換參數(shù)。
第二轉(zhuǎn)換參數(shù)包括光學層的間距和光學層與顯示器之間的旋轉(zhuǎn)角中的至少一個,存儲器包括用于使處理器基于間距和旋轉(zhuǎn)角中的至少一個來渲染三維圖像的計算機可讀指令。
至少一個示例實施例涉及一種包括接收由顯示器顯示的第一圖像的方法,其中,第一圖像包括第一圖案。所述方法包括接收第二圖像,第二圖像是以不同角度被捕獲的第一圖像的反射的形式。所述方法包括基于第一圖像和第二圖像估計相機和顯示器之間的第一轉(zhuǎn)換參數(shù)并基于第一轉(zhuǎn)換參數(shù)渲染三維圖像。
示例實施例的另外的方面將在以下描述中被部分闡述,部分從描述中將是清楚的,或可通過本公開的實踐而獲知。
附圖說明
通過以下結(jié)合附圖對示例實施例的描述,這些和/或其他方面將變得清楚和更容易理解,在附圖中:
圖1示出根據(jù)至少一個示例實施例的參數(shù)之間的關系;
圖2A和圖2B示出根據(jù)至少一個示例實施例的估計參數(shù)的處理;
圖3示出根據(jù)至少一個示例實施例的得到捕獲的圖像的方法;
圖4示出根據(jù)至少一個示例實施例的圖案的類型;
圖5示出根據(jù)至少一個示例實施例的得到捕獲的圖像的方法;
圖6示出根據(jù)至少一個示例實施例的特征點;
圖7示出根據(jù)至少一個示例實施例的計算第一轉(zhuǎn)換參數(shù)的處理;
圖8示出根據(jù)至少一個示例實施例的虛擬圖案的坐標;
圖9示出根據(jù)至少一個示例實施例的還原的虛擬圖案;
圖10A示出根據(jù)至少一個示例實施例的虛擬圖案、顯示器和反射器之間的幾何關系;
圖10B示出根據(jù)至少一個示例實施例的通過虛擬平面估計第一轉(zhuǎn)換參數(shù)的處理;
圖11示出根據(jù)至少一個示例實施例的估計第一轉(zhuǎn)換參數(shù)的處理;
圖12示出根據(jù)至少一個示例實施例的估計第二轉(zhuǎn)換參數(shù)的處理;
圖13示出根據(jù)至少一個示例實施例的對提取的區(qū)域進行轉(zhuǎn)換的處理;
圖14示出根據(jù)至少一個示例實施例的輸出第二圖案的處理;
圖15A至圖15C示出根據(jù)至少一個示例實施例的第三圖案的圖像和第二轉(zhuǎn)換參數(shù)之間的幾何關系;
圖16示出根據(jù)至少一個示例實施例的在光學層上的與第二圖案的單個周期相應的元件的數(shù)量和光學層的旋轉(zhuǎn)角之間的關系;
圖17示出根據(jù)至少一個示例實施例的通過對第三圖案的圖像執(zhí)行傅里葉變換來測量與第三圖案的梯度相應的系數(shù)和與第三圖案的周期相應的系數(shù)的方案;
圖18和圖19示出根據(jù)至少一個示例實施例的在提供多個相機的情況下估計參數(shù)的處理;
圖20和圖21示出根據(jù)至少一個示例實施例的估計包括相機的顯示裝置的參數(shù)的處理;
圖22示出根據(jù)至少一個示例實施例的電子系統(tǒng)。
具體實施方式
現(xiàn)在將參照附圖更全面地描述發(fā)明構(gòu)思,其中,在附圖中示出了示例實施例。提供這些示例實施例以使本公開將是徹底和完整的,并將向本領域技術人員全面地傳達發(fā)明構(gòu)思??墒褂酶鞣N修改以許多不同形式來實現(xiàn)發(fā)明構(gòu)思,并且將在附圖中示出并詳細解釋一些實施例。然而,這不應解釋為限于這里闡述的示例實施例,相反,應理解,在不脫離發(fā)明構(gòu)思的原理和精神的情況下,可在這些示例實施例中作出改變,其中,發(fā)明構(gòu)思的范圍在權(quán)利要求及其等同物中被限定。相同的標號始終指示相同的元件。在附圖中,為清晰起見,層和區(qū)域的厚度被夸大。
將理解,雖然術語第一、第二等可在這里使用以描述各種元件,但是這些元件不應被這些術語限制。這些術語僅用于將一個元件與另一元件區(qū)分。例如,在不脫離示例實施例的范圍的情況下,第一元件可被稱為第二元件,同樣地,第二元件可被稱為第一元件。如在這里使用的,術語“和/或”包括一個或多個關聯(lián)所列項的任意組合和所有組合。
將理解,當元件被稱為“連接”或者“結(jié)合”到另一元件時,該元件可直接連接或結(jié)合到所述另一元件,或者可存在中間元件。與此相反,當元件被稱為“直接連接”或者“直接結(jié)合”到另一元件時,不存在中間元件。用來描述元件之間的關系的其他詞語應以同樣的方式被解釋(例如,“在……之間”與“直接在……之間”、“相鄰”與“直接相鄰”等)。
除非另有特別說明,否則如通過本討論而顯見的,諸如“處理”或“運算”或“計算”或“確定”或“顯示”等的術語是指將表示為計算機系統(tǒng)的寄存器或存儲器內(nèi)的物理量、電子量的數(shù)據(jù)操作并轉(zhuǎn)換為被類似地表示為計算機系統(tǒng)存儲器或寄存器或其他這種信息存儲、傳輸或顯示裝置內(nèi)的物理量的其他數(shù)據(jù)的計算機系統(tǒng)或類似的電子計算裝置的行為和處理。
在以下描述中提供具體細節(jié)以提供對示例實施例的徹底理解。然而,本領域的普通技術人員將理解,可在沒有這些具體細節(jié)的情況下實踐示例實施例。例如,可以以框圖示出系統(tǒng)以免在不必要的細節(jié)上模糊示例實施例。在其他情形下,熟知的處理、結(jié)構(gòu)和技術可不示出不必要的細節(jié)以避免模糊示例實施例。
雖然流程圖可將操作描述為順序的過程,但是許多操作可并行或同時被執(zhí)行。此外,操作的次序可被重新排列。當處理的操作完成時,該處理可被終止,但是也可具有未包括在圖中的另外的步驟。處理可對應于方法、函數(shù)、程序、子例程、子程序等。當處理對應于函數(shù)時,其終止可對應于該函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。
這里使用的術語僅是為了描述特定實施例的目的,而并非意在限制。如在這里使用的,除非上下文清楚地另有指示,否則單數(shù)形式意在也包括復數(shù)形式。還將理解的是,當在本說明書中使用術語“包括”和/或“包含”時,所述術語指定陳述的特征、整體、步驟、操作、元件和/或組件的存在,但不排除存在或添加一個或多個其他特征、整體、步驟、操作、元件、組件和/或它們的組。
雖然可能未示出一些截面圖的相應的平面圖和/或立體圖,但是這里示出的裝置結(jié)構(gòu)的截面圖向多個裝置結(jié)構(gòu)提供支持,所述多個裝置結(jié)構(gòu)如同在平面圖中示出的一樣沿著兩個不同的方向擴展,和/或如同在立體圖中示出的一樣沿著三個不同的方向擴展。所述兩個不同的方向可以是或可以不是相互正交的。所述三個不同的方向可包括可與所述兩個不同的方向正交的第三方向。所述多個裝置結(jié)構(gòu)可被集成于同一電子裝置中。例如,當在截面圖中示出裝置結(jié)構(gòu)(例如,存儲器單元結(jié)構(gòu)或晶體管結(jié)構(gòu))時,如同會由電子裝置的平面圖示出的一樣,該電子裝置可包括多個裝置結(jié)構(gòu)(例如,存儲器單元結(jié)構(gòu)或晶體管結(jié)構(gòu))。所述多個裝置結(jié)構(gòu)可以以陣列和/或二維模式被布置。
除非另有定義,否則這里使用的全部術語(包括技術術語和科學術語)具有與發(fā)明構(gòu)思所屬領域的普通技術人員通常理解的含義相同的含義。還將理解,除非在這里明確地定義,否則術語(諸如在通用字典中定義的術語)應該被解釋為具有與它們在相關領域的上下文中的含義一致的含義,而不應被解釋為理想化或過于正式的意義。
當諸如“……中的至少一個”的表述在一列元素之后時,所述表述修飾整列元素,而不是修飾該列的單個元素。
以下示例實施例可被應用于配備相機的顯示裝置、三維(3D)顯示裝置和配備相機的3D顯示裝置。例如,示例實施例可被用于提高自動立體3D顯示裝置中的圖像的質(zhì)量。
圖1示出根據(jù)至少一個示例實施例的參數(shù)之間的關系。
參照圖1,3D顯示系統(tǒng)包括相機100、顯示器200和3D轉(zhuǎn)換裝置300。相機100檢測用戶的右眼21和左眼22。3D轉(zhuǎn)換裝置300可包括光學層,例如,諸如透鏡陣列、視差屏障或定向背光單元。3D轉(zhuǎn)換裝置300將顯示器200上輸出的圖像分為與右眼21相應的光線11和與左眼22相應的光線12。光線11和光線12被分別投影到右眼21和左眼22。用戶可在不佩戴眼鏡的情況下通過光線11和光線12觀看3D圖像。
為提高3D圖像的質(zhì)量,右眼21和左眼22的位置將被準確地檢測,并且光線11和光線12將被準確地投影到右眼21和左眼22。圖像的質(zhì)量可被諸如在將二維(2D)圖像轉(zhuǎn)換為3D圖像的處理中的誤差和在生產(chǎn)和安裝各個裝置的過程中出現(xiàn)的不同于設計值的誤差的因素影響。這種因素可導致串擾。當發(fā)生串擾時,用戶可看到模糊的圖像,或者看到失真的圖像,如果該失真極端,可導致眩暈。
所述因素可通過相機參數(shù)Pc、相機100和顯示器200之間的姿態(tài)參數(shù)Tcp以及3D轉(zhuǎn)換裝置的參數(shù)Pb來調(diào)整。通過調(diào)整這些參數(shù)(例如,針對隨后的圖像渲染),可提高3D圖像的質(zhì)量。
相機100可將3D空間中的對象表示為2D圖像。因此,在將3D空間轉(zhuǎn)換為2D圖像的處理中可出現(xiàn)誤差。例如,所述誤差可由在相機100的內(nèi)部的圖像傳感器或透鏡造成??赏ㄟ^參數(shù)Pc來估計3D空間和2D圖像之間的對應關系。相機參數(shù)Pc包括內(nèi)部參數(shù)和外部參數(shù)。表示3D真實空間的世界坐標系和相機坐標系Cc可通過相機參數(shù)Pc相互轉(zhuǎn)換(或關聯(lián))。因此,在圖像渲染期間可通過相機參數(shù)Pc補償由相機100造成的誤差。
相機100和顯示器200使用不同的坐標軸。通過相機參數(shù)Pc估計的用戶的眼睛21和22的位置是基于相機坐標系Cc。因此,相機坐標系Cc將被轉(zhuǎn)換為顯示器坐標系Cp。相機100和顯示器200之間的姿態(tài)參數(shù)Tcp表示相機坐標系Cc和顯示器坐標系Cp之間的轉(zhuǎn)換關系(例如,旋轉(zhuǎn)和平移)。相機坐標系Cc可通過姿態(tài)參數(shù)Tcp被轉(zhuǎn)換為顯示器坐標系Cp。在下文中,為便于描述,姿態(tài)參數(shù)Tcp將被稱為第一轉(zhuǎn)換參數(shù)。3D顯示系統(tǒng)通過相機100檢測用戶的眼睛21和22,基于第一轉(zhuǎn)換參數(shù)將用戶的眼睛21和22的相機坐標轉(zhuǎn)換為顯示器坐標,并且使用顯示器坐標跟蹤用戶的視點。
從顯示器200輸出的光線11和12通過3D轉(zhuǎn)換裝置300(或光學層)被傳輸?shù)接脩?。因此,由?D轉(zhuǎn)換裝置300中的設計誤差可導致發(fā)生串擾。當在光線11和12的實際方向與設計的方向之間出現(xiàn)誤差時,可發(fā)生串擾。例如,這種誤差可包括大小誤差和姿態(tài)(或位置)誤差。大小誤差可指不同于設計值的光學層的維度,姿態(tài)誤差可指不同于設計值的光學層的姿態(tài)(或位置)。大小誤差和姿態(tài)誤差可通過3D轉(zhuǎn)換裝置300的參數(shù)Pb補償。
參數(shù)Pb包括3D轉(zhuǎn)換裝置300的大小和姿態(tài)。作為大小的代表性示例,可使用光學層的間距(pitch)。光學層的間距可以是光學元件之間的距離。此外,作為姿態(tài)的代表性示例,可使用光學層和面板之間的旋轉(zhuǎn)角。包括在光學層中的透鏡或屏障可傾斜。旋轉(zhuǎn)角可以是包括在光學層中的透鏡或屏障傾斜的角度。在下文中,為便于描述,3D轉(zhuǎn)換裝置300的參數(shù)Pb將被稱為第二轉(zhuǎn)換參數(shù)。
在示例中,旋轉(zhuǎn)角可基于當制造光學層時所確定的傾斜角、光學層附著于面板的高度和光學層附著于面板的角度而改變。姿態(tài)誤差可通過3D轉(zhuǎn)換裝置300的參數(shù)Pb和顯示器200與3D轉(zhuǎn)換裝置300之間的姿態(tài)系數(shù)cb來補償。在一個示例中,第二轉(zhuǎn)換參數(shù)可包括3D轉(zhuǎn)換裝置300的參數(shù)Pb和顯示器200與3D轉(zhuǎn)換裝置300之間的姿態(tài)系數(shù)cb??墒褂脜?shù)Pb渲染三維圖像。
根據(jù)至少一個示例實施例,通過拍攝單個圖像或圖像的單個集,可獲取全部的相機100的內(nèi)部參數(shù)、第一轉(zhuǎn)換參數(shù)和第二轉(zhuǎn)換參數(shù)。
圖2A和圖2B示出根據(jù)至少一個示例實施例的估計參數(shù)的處理。如圖2A所示,根據(jù)至少一個示例實施例的方法可包括操作1010、1020、1040、1045和/或1047。如圖2B所示,根據(jù)至少一個示例實施例的方法可包括操作1010、1020、1030、1040、1050、1053和/或1055。圖2A和圖2B中的操作可由圖22的處理器2810執(zhí)行和/或產(chǎn)生。
參照圖2A,在操作1010,在顯示器上顯示第一圖像。第一圖像可包括第一圖案。在操作1020,捕獲當?shù)谝粓D像被反射器以不同角度反射時所產(chǎn)生的第二圖像。可使用與顯示器結(jié)合的相機來捕獲第二圖像。相機可捕獲當顯示器上顯示的圖像在反射器中被反射時所產(chǎn)生的圖像。當捕獲在反射器中反射的圖像時,將顯示器上顯示的圖像的z坐標值設置為“0”可以是可靠的。此外,使用在顯示器上輸出的圖像來估計相機和顯示器之間的姿態(tài)可以是有用的。將參照圖3詳細描述通過反射器得到捕獲的圖像的處理。在操作1040,基于相機的外部參數(shù)計算第一轉(zhuǎn)換參數(shù)。將參照圖7描述計算第一轉(zhuǎn)換參數(shù)的處理。在操作1045,可通過第一轉(zhuǎn)換參數(shù)Tcp將相機坐標系Cc轉(zhuǎn)換為顯示器坐標系Cp。在操作1047,可基于轉(zhuǎn)換的坐標系渲染三維(3D)圖像。例如,當由圖1的3D系統(tǒng)渲染3D圖像時,可將轉(zhuǎn)換的坐標系應用于跟蹤用戶的眼睛,以提高3D圖像的質(zhì)量。
圖3示出根據(jù)至少一個示例實施例的得到捕獲的圖像的方法。
參照圖3,相機100可捕獲當在顯示器200上輸出的第一圖像210被反射器400反射時所產(chǎn)生的第二圖像410。反射器400可包括鏡子。當?shù)谝粓D像210被反射器400反射時,第一圖像210可看上去是位于反射器400的后面。被聚焦于反射器400中的第二圖像410可以是虛擬圖像。第一圖像210和第二圖像410包括用于估計參數(shù)的期望的(或可選地,預定的)圖案。在下文中,包括在第二圖像410中的圖案將被稱為虛擬圖案。將參照圖4詳細描述圖案的類型。
圖4示出根據(jù)至少一個示例實施例的圖案的類型。如上所述,第一圖像和第二圖像包括期望的(或可選地,預定的)圖案。圖案可具有用于估計參數(shù)的重復的形狀。例如,圖案可以是棋盤圖案210-1、點排列圖案210-2、同心圓圖案210-3和修改的圖案210-4。在下文中,具有單一重復形狀的圖案(類似于圖案210-1、210-2、210-3和210-4)或具有修改的單一重復形狀的圖案將被稱為第一圖案。
第一圖案可在其中包括另一圖案。例如,第一圖案可在其中包括圖案211-1和圖案211-2。在下文中,包括在第一圖案中的圖案將被稱為第二圖案。第二圖案可被包括在與第一圖案區(qū)別的區(qū)域中(類似于圖案211-1),或者可被包括在形成第一圖案的部分區(qū)域中(類似于圖案211-2)。第二圖案可包括包含相同顏色和相同亮度的連續(xù)區(qū)域的圖案(類似于圖案211-1)和被以期望的(或可選地,預定的)間隔布置的相同亮度的連續(xù)線的圖案(類似于圖案211-2)。
第一圖案可被用于估計相機參數(shù)Pc和第一轉(zhuǎn)換參數(shù),第二圖案可被用于估計第二轉(zhuǎn)換參數(shù)。因此,當?shù)谝粓D案和第二圖案被同時使用時,可通過拍攝單個圖像或圖像的單個集來獲取相機參數(shù)Pc、第一轉(zhuǎn)換參數(shù)和第二轉(zhuǎn)換參數(shù)。
圖5示出根據(jù)至少一個示例實施例的得到捕獲的圖像的方法。
參照圖5,顯示器輸出第一圖案210和第二圖案211。第一圖案210和第二圖案211可被反射器400反射。相機100可捕獲被反射器400反射的虛擬圖案。相機100可通過反射器400的移動而得到捕獲的圖像。例如,反射器400可旋轉(zhuǎn)和/或移動,并且相機100可得到以不同角度和位置所捕獲的圖像。反射器400可通過機械式的機器被操控和/或被用戶手動操控。角度和位置的數(shù)量可以是基于經(jīng)驗證據(jù)而選擇的設計參數(shù)。雖然在附圖中未示出,但是當顯示器200和相機100被包括在移動裝置中時,可在固定的反射器400前移動或旋轉(zhuǎn)顯示器200和相機100,以得到捕獲的圖像。
圖6示出根據(jù)至少一個示例實施例的特征點。
參照圖6,示出第一圖案210、第二圖案211和第一圖案210的特征點212。第一圖案210可包括特征點212。特征點212可被布置在圓的中心或圖案的交點??墒褂媒屈c檢測和/或圓檢測來檢測特征點212。特征點212可被用于估計參數(shù)。當使用特征點212時,可減少用于估計參數(shù)的時間量。
在下文中,將參照圖2B詳細描述估計參數(shù)的處理。
在操作1030,可基于捕獲的圖像計算相機參數(shù)Pc。如上所述,相機參數(shù)Pc包括內(nèi)部參數(shù)和外部參數(shù)。內(nèi)部參數(shù)包括相機100的焦距、中心位置和/或偏度。外部參數(shù)包括旋轉(zhuǎn)參數(shù)和/或平移參數(shù)。內(nèi)部參數(shù)可由等式1表示。
[等式1]
在等式1中,K表示內(nèi)部參數(shù),fx表示針對相機的x軸的焦距,fy表示針對相機的y軸的焦距。uc和vc表示相機100的主軸或相機坐標的z軸與像平面相交處的坐標x和y。s表示像素的梯度。世界坐標系的點X和投影到像平面上的點x之間的關系可由等式2表示。
[等式2]
x=K[R t]X
在等式2中,R表示旋轉(zhuǎn)參數(shù),t表示平移參數(shù)。等式2可由等式3和等式4表示。
[等式3]
x=f(K,R,t,X)
[等式4]
在等式3中,當圖案被捕獲n次時,在針對第i個捕獲的圖像中的特征點的m個相應的點中的第j個相應的點可由等式5來表示。這里,相應的點是指針對顯示器上輸出的圖案的特征點212由相機100捕獲的圖像所對應的點。
[等式5]
xj=f(K,Ri,ti,Xj)
可通過等式6估計減少(或可選地,最小化)當n個捕獲的圖像的全部m個相應的點被投影時的投影誤差的相機參數(shù)Pc。
[等式6]
在等式6中,f(X)表示通過投影X獲得的值,并且可由[ud vd 1]表示。在等式6中,f(X)包括失真。相機參數(shù)Pc可包括徑向失真??赏ㄟ^徑向失真來提高相機參數(shù)Pc的準確度??紤]徑向失真,等式6可由等式7表示。
[等式7]
在等式7中,k表示徑向失真。等式7的f'(X)可由[uu vu 1]表示??紤]k,在k、r、uu和vu之間的關系表達式可由等式8來表示。為降低計算復雜度,當相機鏡頭的失真相對小時,可通過等式6獲得相機參數(shù)Pc。
[等式8]
k={k1,k2,k3,k4,k5}
在操作1040,可基于相機的外部參數(shù)計算第一轉(zhuǎn)換參數(shù)。將參照圖7描述計算第一轉(zhuǎn)換參數(shù)的處理。
圖7示出根據(jù)至少一個示例實施例的計算第一轉(zhuǎn)換參數(shù)的處理。根據(jù)至少一個示例實施例的方法可包括操作1210至1230中的一個或多個??捎蓤D22的處理器2810執(zhí)行和/或產(chǎn)生圖7中的操作。
參照圖7,在操作1210,確定與第二圖像相應的虛擬圖案的位置??赏ㄟ^等式9確定虛擬圖案的位置。
[等式9]
在等式9中,xij表示在第i個圖像中的第j個相應的點的位置。Ri和ti分別表示在第i個圖像中的旋轉(zhuǎn)參數(shù)和平移參數(shù)??蓮南鄼C的外部參數(shù)確定旋轉(zhuǎn)參數(shù)和平移參數(shù)。tj表示第j個特征點的坐標。將參照圖8詳細描述tj。
圖8示出根據(jù)至少一個示例實施例的虛擬圖案的坐標。
參照圖8,示出圖案的坐標軸213和四個點針對坐標軸213的位置。在圖8中,d表示包括在棋盤圖案中的矩形的單側(cè)的長度。如圖8所示,tj可以是表示第j個相應的點的坐標的1×3的矩陣。
再次參照圖7,可通過等式9還原與n個圖像相應的虛擬圖案。圖9示出根據(jù)至少一個示例實施例的還原的虛擬圖案。
在操作1220,估計虛擬圖案、顯示器和反射器之間的幾何關系。將參照圖10A詳細描述操作1220。
圖10A示出根據(jù)至少一個示例實施例的虛擬圖案、顯示器和反射器之間的幾何關系。
參照圖10A,示出估計的虛擬圖案405、顯示器200和反射器400之間的幾何關系。可基于第一轉(zhuǎn)換參數(shù)的初始值確定顯示器200的位置。第一轉(zhuǎn)換參數(shù)的初始值可被設置為設計值或期望的(或可選地,預定的)值。第一轉(zhuǎn)換參數(shù)可由等式10來表示。
[等式10]
在等式10中,Tcp表示第一轉(zhuǎn)換參數(shù),Rcp表示顯示器坐標系Cp針對相機坐標系Cc的旋轉(zhuǎn)參數(shù),tcp表示顯示器坐標系Cp針對相機坐標系Cc的平移參數(shù)。
當通過設置第一轉(zhuǎn)換參數(shù)的初始值來設置顯示器200的位置時,第一圖案的特征點可被投影為虛擬圖案405。當?shù)谝晦D(zhuǎn)換參數(shù)和真實值之間的差減小時,基于第一轉(zhuǎn)換參數(shù)投影的特征點和虛擬圖案405的相應的點之間的距離減小。相反,當?shù)谝晦D(zhuǎn)換參數(shù)和真實值之間的差增大時,基于第一轉(zhuǎn)換參數(shù)投影的特征點和虛擬圖案405的相應的點之間的距離增大。
在下文中,將描述將由第一轉(zhuǎn)換參數(shù)設置的顯示器200的特征點投影為虛擬圖案405的方法。顯示器200的第j個特征點可由等式11表示。
[等式11]
在等式11中,表示顯示器200的第j個特征點,tj表示第j個特征點針對顯示器200的原點的平移位置。其余參數(shù)與由等式10表示的相同。因為所有特征點被呈現(xiàn)在同一平面上,所以這些特征點具有相同的法向量。顯示器200的法向量對應于Rcp的第三行,并且可由等式12表示。
[等式12]
虛擬圖案405和相機100之間的姿態(tài)通過相機100的外部參數(shù)是已知的。因此,可指定相機100和虛擬圖案405的位置??苫诘谝晦D(zhuǎn)換參數(shù)的初始值設置顯示器200的位置,并且可將反射器400的位置設置于顯示器200和虛擬圖案405之間的中點。由反射器400和顯示器200形成的角度與由反射器400和虛擬圖案405形成的角度相同。因此,使用上述方法,可估計虛擬圖案405、顯示器200和反射器400之間的幾何關系。
再次參照圖7,在操作1230,減少(或可選地,最小化)第一圖案和虛擬圖案之間的投影誤差。將參照圖10A描述投影特征點的處理和計算特征點的投影誤差的處理。顯示器200的歸一化法向量nmi可由等式13表示。
[等式13]
在等式13中,表示顯示器200的法向量,ni表示虛擬圖案405的法向量。如圖10A所示,當顯示器200的特征點沿反射器400的法線方向nmi平移dij時,特征點被投影于Xij的位置。dij可由等式14表示。
[等式14]
此外,上述特征點的投影可由等式15表示。
[等式15]
投影誤差表示設置的顯示器200的特征點被投影的和相應的第i個虛擬圖案的特征點Xij之間的歐幾里得距離(Euclidian distance)。當特征點被投影到所有虛擬圖案時出現(xiàn)的誤差的平均數(shù)Em可由等式16表示。
[等式16]
當通過將第一轉(zhuǎn)換參數(shù)的初始值改變成期望的(或可選地,預定的)值而獲取的Em的值小于通過初始值獲取的Em時,第一轉(zhuǎn)換參數(shù)可被更新成改變的值。通過迭代這樣的處理直至第一轉(zhuǎn)換參數(shù)的值不改變?yōu)橹?,可獲得第一轉(zhuǎn)換參數(shù)的最終值。
圖10B示出根據(jù)至少一個示例實施例的通過虛擬平面估計第一轉(zhuǎn)換參數(shù)的處理。在圖10B中,減小(或可選地,最小化)和基于顯示器200、反射器401、402和403以及虛擬平面411、412和413而獲取的和之間的誤差的第一轉(zhuǎn)換參數(shù)可被確定為最終第一轉(zhuǎn)換參數(shù)。
圖11示出根據(jù)至少一個示例實施例的估計第一轉(zhuǎn)換參數(shù)的處理。如圖11所示,根據(jù)至少一個示例實施例的方法可包括操作1310至1410中的一個或多個。圖11中的操作可由圖22的處理器2810執(zhí)行和/或產(chǎn)生。
參照圖11,在操作1310,基于虛擬圖案的旋轉(zhuǎn)R和平移t計算虛擬圖案的坐標。虛擬圖案的旋轉(zhuǎn)R和平移t可從相機的外部參數(shù)獲取。在操作1320,設置第一轉(zhuǎn)換參數(shù)Tcp。在初始迭代中,可將第一轉(zhuǎn)換參數(shù)Tcp設置為初始Tcp并且將表示虛擬圖案的圖像的索引i設置為初始值(例如,值1)。隨著迭代的執(zhí)行,第一轉(zhuǎn)換參數(shù)Tcp可被設置為修改的第一轉(zhuǎn)換參數(shù)Tcp。
在操作1325,表示虛擬圖案的圖像的索引i增加(i=i+1)。
在操作1328,確定i+1是否大于數(shù)n。如果是,則方法轉(zhuǎn)到操作1370(下面描述)。如果否,則方法轉(zhuǎn)到操作1330。數(shù)n可以是操作1330至1360執(zhí)行的虛擬圖案的數(shù)量。
在操作1330,使用表示虛擬圖案的圖像的索引i設置與每個虛擬圖案相應的法向量nmi。
在操作1335,表示每個虛擬圖案中的特征點的索引j增加(j=j+1,其中,j具有例如1的初始值)。
在操作1338,確定j+1是否大于數(shù)m。如果是,則方法返回到操作1325以增加i并搜索下一個虛擬圖案。如果否,則方法轉(zhuǎn)到操作1340。數(shù)m可以是操作1340和1360執(zhí)行的特征點的數(shù)量。
在操作1340,使用表示每個虛擬圖案中的特征點的索引j計算特征點之間的距離。例如,可計算在顯示器上顯示的特征點和虛擬圖案中的特征點之間的距離。在操作1360,計算投影誤差Em。例如,可基于針對虛擬圖案計算的特征點之間的距離的累積總和來計算投影誤差Em。方法可返回到操作1335以增加j并搜索虛擬圖案中的另一特征點。
當針對所有虛擬圖案計算出投影誤差Em(即,當發(fā)生i+1﹥n)時,在操作1370,驗證投影誤差Em是否小于先前投影誤差Ep。先前投影誤差Ep是在先前迭代中計算的投影誤差,并且在初始迭代中可被設置為足夠大的值。
當投影誤差Em小于先前投影誤差Ep時,在操作1380更新先前投影誤差Ep,并在操作1390修改第一轉(zhuǎn)換參數(shù)Tcp,并且方法返回到操作1320(其中,i被重置為初始值(例如,1))。當投影誤差Em大于或等于先前投影誤差Ep時,在操作1400,驗證先前投影誤差Ep和投影誤差Em之間的差是否小于閾值ε。閾值ε可以是基于經(jīng)驗證據(jù)而設置的設計參數(shù)。
當先前投影誤差Ep和投影誤差Em之間的差大于或等于閾值ε時,在操作1390,可修改第一轉(zhuǎn)換參數(shù)Tcp。相反,當先前投影誤差Ep和投影誤差Em之間的差小于閾值ε時,在操作1410,確認第一轉(zhuǎn)換參數(shù)Tcp。確認的第一轉(zhuǎn)換參數(shù)Tcp可以是在先前迭代中修改的第一轉(zhuǎn)換參數(shù)Tcp。
再次參照圖2B,在操作1050,可基于捕獲的圖像計算第二轉(zhuǎn)換參數(shù)。將參照圖12至圖17詳細描述計算第二轉(zhuǎn)換參數(shù)的處理。在操作1053,使用第一轉(zhuǎn)換參數(shù)Tcp將相機坐標系Cc轉(zhuǎn)換為顯示器坐標系Cp。在操作1055,可基于轉(zhuǎn)換的坐標系、第二轉(zhuǎn)換參數(shù)Pb和相機參數(shù)Pc渲染3D圖像。例如,可由圖1的3D系統(tǒng)使用轉(zhuǎn)換的坐標系跟蹤用戶的眼睛,同時可將第二轉(zhuǎn)換參數(shù)Pb和相機參數(shù)Pc應用于渲染3D圖像,以便提高3D圖像的質(zhì)量。
圖12示出根據(jù)至少一個示例實施例的估計第二轉(zhuǎn)換參數(shù)的處理。如圖12所示,根據(jù)至少一個示例實施例的方法可包括操作2200至2250中的一個或多個。圖12中的操作可由圖22的處理器2810執(zhí)行和/或產(chǎn)生。
參照圖12,在操作2200,表示虛擬圖案的索引i(例如,從初始值1)被增加1。
在操作2205,確定i+1是否大于數(shù)n。數(shù)n可以是操作2210至2240執(zhí)行的虛擬圖案的數(shù)量。
在操作2210,使用表示虛擬圖案的索引i從每個虛擬圖案提取與第二圖案相應的區(qū)域。在顯示器上顯示的第二圖案可以是相同顏色和相同亮度的區(qū)域(例如,白色背景)。在一個示例中,在使用傾斜屏障作為光學層的情況下,當在監(jiān)視器上顯示白色背景時通過鏡子拍攝的圖像包括與傾斜屏障相應的圖案。參照圖4的圖案210-5和圖案211-1,可使用圖案210-5來估計相機參數(shù)和第一轉(zhuǎn)換參數(shù),并且可使用圖案211-1來估計第二轉(zhuǎn)換參數(shù)。
在另一示例中,當使用傾斜透鏡作為光學層時,可能不能直接觀察透鏡。因此,可使用相同亮度的連續(xù)線被以期望的(或可選地,預定的)間隔布置的圖案(例如,單色條紋圖案)作為在顯示器上顯示的第二圖案。參照圖4的圖案210-6和圖案211-2,可使用圖案210-6來估計相機參數(shù)和第一轉(zhuǎn)換參數(shù),并且可使用圖案211-2來估計第二轉(zhuǎn)換參數(shù)。
在操作2220,對提取的區(qū)域進行轉(zhuǎn)換。被提取用于估計第二轉(zhuǎn)換參數(shù)的區(qū)域是投影區(qū)域,因此具有與原始大小和形狀不同的大小和形狀。因此,需要將提取的區(qū)域轉(zhuǎn)換成具有原始大小和形狀的處理。圖13示出根據(jù)至少一個示例實施例的對提取的區(qū)域進行轉(zhuǎn)換的處理。如圖13所示,根據(jù)至少一個示例實施例的方法可包括操作2310至2340中的一個或多個。圖13中的操作可由圖22的處理器2810執(zhí)行和/或產(chǎn)生。
參照圖13,由于捕獲的圖像是通過鏡子反射的圖像,所以在操作2310翻轉(zhuǎn)捕獲的圖像的左和右。在操作2320,從左右翻轉(zhuǎn)的圖像提取與第二圖案相應的區(qū)域,并檢測提取的區(qū)域的角(corner)。提取的區(qū)域的角點可被定義為p1、p2、p3和p4。這里,p1可對應于左上角,p2可對應于右上角,p3可對應于左下角,p4可對應于右下角。
角點可具有如等式17所表示的關系。
[等式17]
在等式17中,w表示第二圖案的實際寬度,h表示第二圖案的實際高度。pnx表示pn的坐標x,pny表示pn的坐標y。H[]表示單應矩陣算子(homographic operator)。
在操作2330,計算滿足等式17的單應矩陣H。在操作2340,通過將H應用于屬于提取的區(qū)域S的所有像素pi來轉(zhuǎn)換所述區(qū)域。區(qū)域轉(zhuǎn)換可被稱為區(qū)域變形(area warping)。變形的像素pi’可由等式18表示。
[等式18]
p'i(i∈S)=Hpi(i∈S)
再次參照圖12,在操作2230,計算被包括在轉(zhuǎn)換的區(qū)域中的圖案的梯度。在操作2240,計算被包括在轉(zhuǎn)換的區(qū)域中的圖案的間距。在使用傾斜屏障作為光學層并且使用白色背景作為第二圖案的情況下,可從轉(zhuǎn)換的圖像直接推知梯度和間距。例如,在轉(zhuǎn)換的圖像中的以白色表示的部分可對應于光學層的狹縫。因此,通過測量以白色表示的圖案的梯度,可獲取光學層傾斜的角度。
當將狹縫之間的距離定義為ph(像素)時,可如等式19所示計算光學層的間距p。
[等式19]
p=spphcosθ
在等式19中,sp表示像素的大小。
當轉(zhuǎn)換的圖像的對比度相對低時,或當轉(zhuǎn)換的圖像中包括大量噪音時,很難從轉(zhuǎn)換的圖像直接提取第二轉(zhuǎn)換參數(shù)。在這個示例中,可將轉(zhuǎn)換的圖像轉(zhuǎn)換到頻域,并且可使用等式20和21來提取第二轉(zhuǎn)換參數(shù)。
[等式20]
在等式20中,δ表示在頻域圖像中的垂直線和連接具有最高強度的點的線之間的角度,θ表示光學層傾斜的角度。
[等式21]
在等式21中,ρ表示在頻域圖像中的具有最高強度的點之間的水平距離,p表示光學層的間距。在操作2240之后,方法返回到操作2200以增加i并搜索另一虛擬圖案,對所述另一虛擬圖案執(zhí)行操作2210至2240。
當計算在所有虛擬圖案中的梯度和間距(即,當發(fā)生i+1>n)時,在操作2250計算梯度的平均數(shù)和間距的平均數(shù)。
在下文中,將參照圖14至圖17描述在使用傾斜透鏡作為光學層并且第二圖案包括條紋圖案的情況下計算第二轉(zhuǎn)換參數(shù)的操作。
圖14示出根據(jù)至少一個示例實施例的輸出第二圖案的處理。
參照圖14,第二圖案的圖像1421可對應于條紋圖案。第二圖案的圖像1421可穿過光學層1423并被顯示為第三圖案的圖像1430。第三圖案的圖像1430可以是穿過光學層1423的中心點(例如,透鏡或狹縫的中軸)的光線圖像。第三圖案的圖像1430可包括以期望的(或可選地,預定的)間隔布置包含多個點的線的圖案。例如,第三圖案的圖像1430可包括具有單一的主方向的重復線。
包括在第三圖案的圖像1430中的每條線的斜率可與包括在第二圖案的圖像1421中的每條線的斜率不同。例如,包括在第二圖案的圖像1421中的線可以是垂直線,而包括在第三圖案的圖像1430中的線可以是斜線。此外,包括在第三圖案的圖像1430中的線之間的間隔可與包括在第二圖案的圖像1421中的線之間的間隔不同。
如將在以下詳細描述的,處理器可通過分析被包括在第三圖案的圖像1430中的線中的兩條相鄰線1431和1432來確定用于3D顯示裝置1420的第二轉(zhuǎn)換參數(shù)。例如,處理器可基于線1431和線1432之間的間隔以及線1431和線1432的斜率來確定第二轉(zhuǎn)換參數(shù)。如上所述,第二轉(zhuǎn)換參數(shù)可包括光學層1423的姿態(tài)和間距。
圖15A至圖15C示出根據(jù)至少一個示例實施例的第三圖案的圖像和第二轉(zhuǎn)換參數(shù)之間的幾何關系。
參照圖15A,第三圖案的圖像可包括構(gòu)成線1731和1732的多個點。處理器可從第三圖案的圖像測量與第三圖案的梯度相應的系數(shù)α。例如,與第三圖案的梯度相應的系數(shù)α可對應于線1732的斜率。此外,處理器(例如,圖22中的處理器2810)可從第三圖案的圖像測量與第三圖案的周期相應的系數(shù)c。例如,與第三圖案的周期相應的系數(shù)c可對應于線1731和1732之間的垂直間隔。
線1711和線1712是被包括在第二圖案的圖像中的線。線1711和線1712垂直于線1750。處理器可提前知道關于3D顯示裝置的面板的信息。例如,處理器可知道面板的子像素結(jié)構(gòu)、面板的分辨率和面板的大小。面板的子像素結(jié)構(gòu)可包括面板中的用于第二圖案的顏色的子像素之間的間隔。處理器可基于關于面板的信息獲取與第二圖案的周期相應的系數(shù)g。例如,與第二圖案的周期相應的系數(shù)g可以是線1711和1712之間的間隔。
第二圖案的圖像可被顯示在面板上,第三圖案的圖像可從期望的(或可選地,預定的)視點捕獲。因此,在面板上顯示的線之間的實際間隔可與在第三圖案的圖像上虛擬示出的線1711和1712之間的間隔不同。處理器可基于面板的大小與第三圖案的圖像的大小的比率來獲取線1711和1712之間的間隔。
處理器可基于第二圖案和第三圖案確定用于3D顯示裝置的第二轉(zhuǎn)換參數(shù)。例如,處理器可基于與第三圖案的梯度相應的系數(shù)α、與第三圖案的周期相應的系數(shù)c和與第二圖案的周期相應的系數(shù)g來確定第二轉(zhuǎn)換參數(shù)。第二轉(zhuǎn)換參數(shù)可包括與光學層的維度相關的系數(shù)p和與光學層的姿態(tài)相關的系數(shù)θ。
與光學層的維度相關的系數(shù)p可以是光學層的間距。光學層的間距可以是被包括在光學層中的元件之間的間隔。例如,光學層的間距可以是第一透鏡的中軸1721和第二透鏡的中軸1722之間的最短間隔。與光學層的姿態(tài)相關的系數(shù)θ可以是光學層的旋轉(zhuǎn)角。光學層的旋轉(zhuǎn)角可以是光學層針對面板而旋轉(zhuǎn)的角度。例如,光學層的旋轉(zhuǎn)角可以是第三透鏡的中軸1723和在面板上顯示的線1712之間的角度。
參照圖15B,第一透鏡的中軸1721和第二透鏡的中軸1722之間的水平間隔可以是p/cosθ。p/cosθ可以是光學層的水平間距。第一透鏡的中軸1721和第二透鏡的中軸1722之間的水平間隔可等于第二透鏡的中軸1722和第三透鏡的中軸1723之間的水平間隔。因此,第一透鏡的中軸1721和第三透鏡的中軸1723之間的水平間隔可以是2·p/cosθ。
參照直角三角形1760,底邊的長度可以是2·p/cosθ-g,高度可以是g·tanα,在中軸1723、線1712和線1732的交叉點處的銳角可以是θ?;谥苯侨切?760的兩條邊的長度和銳角,可推知等式22。
[等式22]
等式22可被整理為由等式23表示。
[等式23]
g·tanαsinθ+g·cosθ-np=0
在等式23中,g表示與第二圖案的周期相應的系數(shù),α表示與第三圖案的梯度相應的系數(shù)。θ表示光學層和面板之間的旋轉(zhuǎn)角,p表示光學層的間距。n表示與第二圖案的單個周期相應的光學層的元件的數(shù)量。例如,n可對應于在被包括在第三圖案的圖像中的相鄰線之間設置的透鏡的數(shù)量。
參照圖15C,第一透鏡的中軸1721和第二透鏡的中軸1722之間的垂直間隔可以是p/sinθ。參照直角三角形910,底邊的長度可以是p,一個銳角可以是θ?;谥苯侨切?10的兩條邊的長度和一個銳角,可推知等式24。
[等式24]
在等式24中,c表示與第三圖案的周期相應的系數(shù),p表示光學層的間距,θ表示光學層和面板之間的旋轉(zhuǎn)角。處理器可基于等式23和24來確定光學層的間距p以及光學層和面板之間的旋轉(zhuǎn)角θ。
為便于描述,假設在n對應于“2”的情況下描述圖15A至圖15C。然而,光學層的間距p以及光學層和面板之間的旋轉(zhuǎn)角θ可根據(jù)n而改變。在一個示例中,在給定第二圖案和第三圖案的情況下,可計算在n為“1”的情況下滿足等式23和24的光學層的間距p以及光學層和面板之間的旋轉(zhuǎn)角θ。在另一示例中,在給定第二圖案和第三圖案的情況下,可計算在n為“3”的情況下滿足等式23和24的光學層的間距p以及光學層和面板之間的旋轉(zhuǎn)角θ。
在等式23和24中,總共存在三個未知數(shù)n、p和θ。因為未知數(shù)的數(shù)量大于等式的數(shù)量,所以可存在滿足等式23和24的多個解。例如,與第二圖案的單個周期相應的光學層的元件的數(shù)量n和光學層的旋轉(zhuǎn)角θ可被表示為圖16的曲線圖所示。
與第二圖案的單個周期相應的光學層的元件的數(shù)量n可以是大于或等于“1”的正整數(shù),光學層的旋轉(zhuǎn)角θ可大于或等于-90度且小于或等于+90度。因此,可從圖16的曲線圖提取候選解。例如,當n是“1”、“2”、“3”或“4”時,θ可分別是23.2735度、11.9920度、8.0214度或6.0218度。當θ已知時,可基于等式24計算p。
當3D顯示裝置的初始參數(shù)已知時,可基于初始參數(shù)從候選解選擇最優(yōu)解。初始參數(shù)可以是針對3D顯示裝置的設計值。例如,當3D顯示裝置的光學層被設計為具有0.5毫米(mm)的間距時,可從候選解中最終選擇具有最接近設計值0.5mm的間距p的n=2的候選解。當3D顯示裝置的光學層被設計為具有12度的旋轉(zhuǎn)角時,可從候選解中最終選擇具有最接近設計值12度的旋轉(zhuǎn)角θ的n=2的候選解。至少一個示例實施例可提供同時確定光學層的旋轉(zhuǎn)角和光學層的間距的技術。
圖17示出根據(jù)至少一個示例實施例的通過對第三圖案的圖像執(zhí)行傅里葉變換來測量與第三圖案的梯度相應的系數(shù)和與第三圖案的周期相應的系數(shù)的方案。至少一個示例實施例可提供測量抗噪音的系數(shù)而不管捕獲的圖像的梯度的技術。
被包括在第三圖案的圖像中的圖案可包括噪音,或者可以是無規(guī)律的。因此,當從第三圖案的圖像直接測量第三圖案的梯度和/或第三圖案的間隔時可發(fā)生誤差。至少一個示例實施例可提供通過對第三圖案的圖像執(zhí)行傅里葉變換來在頻域中準確地測量與第三圖案的梯度相應的系數(shù)和與第三圖案的周期相應的系數(shù)的技術。
參照圖17,圖像2120可以是對第三圖案的圖像2110執(zhí)行傅里葉變換的結(jié)果。不同于第三圖案的圖像2110,圖案的梯度和周期可被明確地示出在圖像2120中。雖然在第三圖案的圖像2110中包括噪音,但是相同的梯度和相同的周期可被示出在圖像2120中。
處理器(例如,圖22中的處理器2810)可使用圖像2120測量與第三圖案的梯度相應的系數(shù)和與第三圖案的周期相應的系數(shù)。向量b可以是連接水平地接近圖像2120的中心的點的線。向量b可表示第三圖案的圖像中的垂直頻率分量,并且表示第三圖案的圖像是傾斜的。處理器可基于向量b校準其余梯度。向量a可以是連接圖像2120中的具有最高強度的點的線。向量a的斜率可垂直于第三圖案的梯度。圖像2130示出圖像2120中的局部區(qū)域的強度。圖像2130的x軸和y軸對應于圖像2120的x軸和y軸,并且圖像2130的z軸的值可被表示為圖像2120中的亮度。
處理器可使用等式25來測量與第三圖案的梯度相應的系數(shù)。
[等式25]
在等式25中,α表示與第三圖案的梯度相應的系數(shù),b表示圖像2120的x軸和向量a之間的角度,a表示圖像2120的x軸和向量b之間的角度。
處理器可通過按高度劃分圖像2120的整體高度來計算在第三圖案的圖像中的具有相同的斜率或相同的主方向的線的數(shù)量。在這里,高度可以是圖像2120中的具有最高強度的點之間的高度差,或者在圖像2120中的具有最高強度的點中最接近圖像2120的原點的點的高度。
處理器可通過按照計算的數(shù)量劃分顯示在3D顯示裝置上的第二圖案的圖像的高度來計算與第三圖案的周期相應的系數(shù)。在這個示例中,處理器將與第二圖案的周期相應的系數(shù)計算為顯示在面板上的第二圖案的線之間的實際間隔。
處理器可通過劃分第三圖案的捕獲的圖像的高度來計算與第三圖案的周期相應的系數(shù)。在這個示例中,處理器可通過基于面板的大小和第三圖案的圖像的大小的比率調(diào)整顯示在面板上的第二圖案的線之間的實際間隔來計算與第二圖案的周期相應的系數(shù)。
處理器可通過迭代地執(zhí)行前述處理來更準確地確定用于3D顯示裝置的第二轉(zhuǎn)換參數(shù)。例如,處理器可使用被推知為迭代執(zhí)行的結(jié)果的第二轉(zhuǎn)換參數(shù)的統(tǒng)計來確定最終的第二轉(zhuǎn)換參數(shù)。在另一示例中,處理器可通過從第二轉(zhuǎn)換參數(shù)中排除來自標準分布的第二轉(zhuǎn)換參數(shù)來確定最終的第二轉(zhuǎn)換參數(shù)。處理器可基于被推知為迭代執(zhí)行的結(jié)果的第二轉(zhuǎn)換參數(shù)來確定最終的第二轉(zhuǎn)換參數(shù),從而降低(或可選地,最小化)由于可被包括在單一迭代的結(jié)果中的誤差而引起的最終的轉(zhuǎn)換參數(shù)不準確的程度。
圖18和圖19示出根據(jù)至少一個示例實施例的在提供多個相機的情況下估計參數(shù)的處理。所圖19所示,根據(jù)至少一個示例實施例的方法可包括操作2510至2540中的一個或多個。圖18和圖19中的操作可由圖22的處理器2810執(zhí)行和/或產(chǎn)生。
參照圖18,示出與左相機101和右相機102結(jié)合的顯示器200以及顯示器200的3D轉(zhuǎn)換裝置300。相機101和102分別具有相機坐標軸Clc和相機坐標軸Crc。顯示器200具有顯示器坐標軸Cp。參照圖19,在操作2510,基于捕獲的圖像計算右相機參數(shù)。在操作2520,基于捕獲的圖像計算左相機參數(shù)。在操作2530,基于外部參數(shù)計算第一轉(zhuǎn)換參數(shù)。外部參數(shù)可包括針對左相機101計算的第一外部參數(shù)和針對右相機102計算的第二外部參數(shù)??蓡为毟鶕?jù)上述操作來計算針對第一外部參數(shù)的第一轉(zhuǎn)換參數(shù)和針對第二外部參數(shù)的第二轉(zhuǎn)換參數(shù)。在操作2540,基于捕獲的圖像計算第二轉(zhuǎn)換參數(shù)。雖然描述了提供兩個相機的示例,但是可使用類似方法在提供至少三個相機的情況下估計參數(shù)。
圖20和圖21示出根據(jù)至少一個示例實施例的估計包括相機的顯示裝置的參數(shù)的處理。如圖21所示,根據(jù)至少一個示例實施例的方法可包括操作2710和2720中的一個或多個。圖20和圖21中的操作可由圖22的處理器2810執(zhí)行和/或產(chǎn)生。
參照圖20,示出平板計算機的相機103和顯示器203、TV或監(jiān)視器的相機104和顯示器204以及移動電話的相機105和顯示器205。參照圖21,在操作2710,基于捕獲的圖像計算相機參數(shù)。在操作2720,基于外部參數(shù)計算第一轉(zhuǎn)換參數(shù)。每個電子裝置可通過第一轉(zhuǎn)換參數(shù)估計它的相機和顯示器的姿態(tài)。除了平板計算機、TV、監(jiān)視器和移動電話以外,前述描述還可應用于結(jié)合顯示器和相機的電子裝置。
圖22示出根據(jù)至少一個示例實施例的電子系統(tǒng)。
參照圖22,電子系統(tǒng)包括處理器2810、相機2820和顯示器2830。處理器2810、相機2820和顯示器2830可通過總線2840進行通信。
相機2820可使用已知方法(例如,將光學圖像轉(zhuǎn)換為電子信號的方法)捕獲圖像。捕獲的圖像被輸出至處理器2810。處理器2810可包括參照圖1至圖21描述的至少一個裝置,或可執(zhí)行參照圖1至圖21描述的至少一個方法。例如,處理器2810可執(zhí)行參照圖2A和圖2B描述的操作。顯示器2830可顯示包括第一圖案和第二圖案的第一圖像。
雖然在附圖中未示出,但是電子系統(tǒng)還可包括存儲器(例如,作為處理器2810的部分或作為單獨的元件)。存儲器可存儲由相機2820捕獲的圖像和/或由處理器2810計算的參數(shù)。存儲器可以是易失性存儲器或非易失性存儲器。
處理器2810可以是執(zhí)行程序(或計算機可讀指令)的專用處理器,并控制電子系統(tǒng)。由處理器2810執(zhí)行的程序代碼(或計算機可讀指令)可被存儲在存儲器中。電子系統(tǒng)可通過輸入/輸出裝置(未示出)連接到外部裝置(例如,個人計算機或網(wǎng)絡),并與外部裝置交換數(shù)據(jù)。
雖然圖22將處理器2810、相機2820和顯示器2830示出為單一系統(tǒng)的部分,但是應理解,每個元件可作為單獨的裝置而存在。例如,處理器2810(包括存儲器)可作為由具有用于向相機2820和顯示器2830發(fā)送數(shù)據(jù)/從相機2820和顯示器2830接收數(shù)據(jù)的數(shù)據(jù)接口(例如,通用串行總線(USB)接口、高清多媒體接口(HDMI)等)的軟件狗(dongle)實現(xiàn)的裝置而存在。
電子系統(tǒng)可包括各種電子系統(tǒng),例如,移動裝置(諸如移動電話、智能電話、個人數(shù)字助理(PDA)、平板計算機和膝上型計算機)、計算裝置(諸如個人計算機、平板計算機和上網(wǎng)本)以及電子產(chǎn)品(諸如電視機、智能電視機和用于門控制的安全裝置)。
可使用硬件組件和軟件組件來實現(xiàn)這里所描述的單元和/或模塊。例如,硬件組件可包括麥克風、放大器、帶通濾波器、音頻數(shù)字轉(zhuǎn)換器和處理裝置??墒褂靡粋€或多個被配置為通過執(zhí)行算術、邏輯和輸入/輸出的操作來執(zhí)行和/或運行程序代碼的硬件裝置來實現(xiàn)處理裝置。處理裝置可包括處理器(即,專用處理器)、控制器和算術邏輯單元、數(shù)字信號處理器、微型計算機、現(xiàn)場可編程陣列、可編程邏輯單元、微型處理器或能夠以限定的方式響應并執(zhí)行指令的任何其他裝置。處理裝置可運行操作系統(tǒng)(OS)以及運行在OS上的一個或多個軟件應用。處理裝置也可響應于軟件的執(zhí)行來訪問、存儲、操控、處理和創(chuàng)建數(shù)據(jù)。為了簡單起見,使用單數(shù)來描述處理裝置;然而,本領域技術人員將理解,處理裝置可包括多個處理元件和多種類型的處理元件。例如,處理裝置可包括多個處理器或包括一個處理器和一個控制器。此外,不同的處理配置是可行的(諸如,并行處理器)。
軟件可包括用于獨立地或共同地指示和/或配置處理裝置以如所期望的進行操作的計算機程序、一段代碼、指令或它們的一些組合,從而使處理裝置轉(zhuǎn)變?yōu)閷S锰幚砥?。軟件和?shù)據(jù)可在任何類型的機器、組件、物理或虛擬設備、計算機存儲介質(zhì)或裝置中、或在能夠?qū)⒅噶罨驍?shù)據(jù)提供給處理裝置或由處理裝置解釋的傳播信號波中被永久地或臨時地實現(xiàn)。軟件也可被分布在聯(lián)網(wǎng)的計算機系統(tǒng)上,使得軟件按照分布的方式被存儲并被執(zhí)行。軟件和數(shù)據(jù)可由一個或多個非暫時性計算機可讀記錄介質(zhì)進行存儲。
根據(jù)上述示例實施例的方法可被記錄在包括用于實現(xiàn)上述示例實施例的各種操作的程序指令的非暫時性計算機可讀介質(zhì)中。所述介質(zhì)還可包括單獨的或與所述程序指令結(jié)合的數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。在所述介質(zhì)上記錄的程序指令可以是針對示例實施例的目的而專門設計和構(gòu)建的那些程序指令,或者它們可以是計算機軟件領域的技術人員公知的和可用的種類的程序指令。非暫時性計算機可讀介質(zhì)的示例包括磁介質(zhì)(諸如硬盤、軟盤和磁帶)、光學介質(zhì)(諸如CD-ROM盤、DVD和/或藍光盤)、磁光介質(zhì)(諸如光盤)和專門被配置為存儲并執(zhí)行程序指令的硬件裝置(諸如只讀存儲器(ROM)、隨機存取存儲器(RAM)、閃存(例如,USB閃存驅(qū)動器、存儲卡、記憶棒)等)。程序指令的示例包括機器代碼(諸如由編譯器產(chǎn)生的機器代碼)和包含可由計算機使用解釋器來執(zhí)行的更高級代碼的文件兩者。上述裝置可被配置為充當一個或多個軟件模塊以便執(zhí)行上述示例實施例的操作,或者反之亦然。
以上已經(jīng)描述了許多示例實施例。但是,應該理解,可以對這些示例實施例做出各種修改。例如,如果以不同的順序執(zhí)行所描述的技術,和/或如果所描述的系統(tǒng)、架構(gòu)、裝置或電路中的組件以不同的方式被組合和/或被其他組件或其等同物替代或補充,則可實現(xiàn)合適的結(jié)果。因此,其他實施方式在權(quán)利要求的范圍內(nèi)。