本發(fā)明涉及顯示技術(shù)領(lǐng)域,特別涉及一種立體攝影方法、裝置及立體攝影設(shè)備。
背景技術(shù):
隨著立體顯示技術(shù)和虛擬與現(xiàn)實(shí)VR(Virtual Reality)技術(shù)的不斷完善和成熟,廣大民眾對(duì)于立體顯示的興趣和需求也在不斷的增加。實(shí)現(xiàn)立體顯示的關(guān)鍵在于構(gòu)建分別被觀察者左眼和右眼接收的具有細(xì)微差異的不同圖像,由于左右眼接收到的視覺圖像不同,大腦綜合了左右眼兩幅圖像的信息對(duì)圖像進(jìn)行疊加重生,從而使觀看者產(chǎn)生立體感。
立體電影作為立體顯示技術(shù)的一種應(yīng)用,已經(jīng)是當(dāng)今電影產(chǎn)業(yè)很重要的一部分。在觀看立體電影時(shí),人們能夠有身臨其境的感覺。立體電影前期通常使用具有兩個(gè)模擬人眼的鏡頭的拍攝裝置,拍攝下景物的雙視點(diǎn)圖像,放映時(shí)通過放映機(jī)把兩個(gè)視點(diǎn)的圖像同步放映,使這略有差別的兩幅圖像顯示在銀幕上,使觀眾左眼看到從左視角拍攝的畫面,右眼看到從右視角拍攝的畫面,進(jìn)而合成為立體視覺影像。
受制于硬件放映設(shè)備和拍攝設(shè)備的影響,觀看的立體效果也會(huì)有很大的區(qū)別,而且,立體電影可以具有多種放映場(chǎng)合,例如影院、立體顯示終端等,相同的立體電影片源在不同的放映場(chǎng)合放映的立體效果可能是不同的,因此,使拍攝得到的立體電影片源與放映場(chǎng)合相適配,從而使得立體效果更加真實(shí),已經(jīng)成為立體攝影技術(shù)的一個(gè)難點(diǎn)。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題是提供一種立體攝影方法、裝置及立體攝影設(shè)備,解決現(xiàn)有技術(shù)中立體電影片源不能與放映場(chǎng)合較好的適配從而無法達(dá)到較佳的立體效果的問題。
為解決上述技術(shù)問題,本發(fā)明的實(shí)施例提供一種立體攝影方法,所述立體攝影方法應(yīng)用于立體攝影設(shè)備,所述立體攝影設(shè)備包括左右雙目立體攝像機(jī),所述立體攝影方法包括:
利用所述左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右原始圖像;
根據(jù)所述左右原始圖像,確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離;
根據(jù)真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離和所述立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù);
根據(jù)所述左右雙目立體攝像機(jī)的視間距,調(diào)整所述左右雙目立體攝像機(jī)之間的距離;
利用調(diào)整后的左右雙目立體攝像機(jī)采集所述當(dāng)前拍攝場(chǎng)景的左右圖像,并利用所述圖像裁剪參數(shù),對(duì)所述左右圖像進(jìn)行裁剪處理;
輸出裁剪處理后的左右圖像,從而能夠根據(jù)裁剪處理后的左右圖像構(gòu)建所述當(dāng)前拍攝場(chǎng)景的立體圖像。
進(jìn)一步來說,所述根據(jù)所述左右原始圖像,確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離的步驟包括:
提取兩幅所述左右原始圖像的特征點(diǎn)信息;
根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì);
獲取所述匹配點(diǎn)集對(duì)之間的水平視差;
根據(jù)所述匹配點(diǎn)集對(duì)之間的水平視差,獲取所述匹配點(diǎn)集對(duì)所對(duì)應(yīng)的物點(diǎn)的深度;
根據(jù)所述物點(diǎn)的深度確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離。
進(jìn)一步來說,所述提取兩幅所述左右原始圖像的特征點(diǎn)信息的步驟包括:
采用尺度不變特征變換SIFT算法提取兩幅所述左右原始圖像的特征點(diǎn)信息;
所述根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì)的步驟包括:
采用最小均方差ZSSD算法,根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì)。
進(jìn)一步來說,所述根據(jù)真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離和所述立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù)的步驟包括:
通過如下公式獲取真實(shí)場(chǎng)景中最大凸出距離下的第一視差dN_R:
其中,N_R為所述最大凸出距離,E_R為真實(shí)場(chǎng)景中的視間距,Z_R為真實(shí)場(chǎng)景中雙眼到真實(shí)屏幕的距離;
通過如下公式獲取真實(shí)場(chǎng)景中最大凹進(jìn)距離下的第二視差dF_R;
其中,F(xiàn)_R為所述最大凹進(jìn)距離;
根據(jù)真實(shí)場(chǎng)景中所述第一視差與所述第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等所構(gòu)建的如下關(guān)系式,確定立體攝像機(jī)到零視差平面的第一距離Con:
其中:N_O為立體攝像機(jī)到最近物體的距離,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離,R為所述第一視差dN_R與所述第二視差dF_R之間的比值,
根據(jù)所述第一距離,確定所述左右雙目立體攝像機(jī)的視間距;
根據(jù)所述第一距離以及所述左右雙目立體攝像機(jī)的視間距,確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)。
進(jìn)一步來說,所述根據(jù)所述第一距離,確定所述左右雙目立體攝像機(jī)的視間距的步驟包括:
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,Con為所述第一距離,W_R為真實(shí)場(chǎng)景中真實(shí)屏幕的寬度,dN_R為所述第一視差,N_O為立體攝像機(jī)到最近物體的距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,dF_R為所述第二視差,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
進(jìn)一步來說,所述根據(jù)所述第一距離以及所述左右雙目立體攝像機(jī)的視間距,確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)的步驟包括:
通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Con為所述第一距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
通過如下公式確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)Crop:
其中,Sep為所述左右雙目立體攝像機(jī)的視間距。
進(jìn)一步來說,所述利用所述圖像裁剪參數(shù),對(duì)所述左右圖像進(jìn)行裁剪處理的步驟包括:
利用所述圖像裁剪參數(shù),將左圖像水平方向上的最左端裁剪掉X*Crop像素,從而得到裁剪后的左圖像;
以及
利用所述圖像裁剪參數(shù),將右圖像水平方向上的最右端裁剪掉X*Crop像素,從而得到裁剪后的右圖像;其中,X為所述左右圖像的水平像素?cái)?shù),Crop為所述圖像裁剪參數(shù)。
進(jìn)一步來說,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在影院場(chǎng)合,并且所述影院擁有左右兩臺(tái)放映設(shè)備,將左圖像提供給影院的左放映設(shè)備,將右圖像提供給影院的右放映設(shè)備,從而進(jìn)行放映立體拍攝場(chǎng)景;
進(jìn)一步來說,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在虛擬現(xiàn)實(shí)頭盔中,并且所述虛擬現(xiàn)實(shí)頭盔擁有左右顯示屏,將左圖像提供虛擬現(xiàn)實(shí)頭盔的左顯示屏,將右圖像提供給虛擬現(xiàn)實(shí)頭盔的右顯示屏;
進(jìn)一步來說,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在增強(qiáng)現(xiàn)實(shí)眼鏡中,并且所述增強(qiáng)現(xiàn)實(shí)眼鏡擁有左右顯示鏡片,將左圖像提供增強(qiáng)現(xiàn)實(shí)眼鏡的左顯示鏡片,將右圖像提供給增強(qiáng)現(xiàn)實(shí)眼鏡的右顯示鏡片。
為解決上述技術(shù)問題,本發(fā)明的實(shí)施例還提供一種立體攝影裝置,所述立體攝影裝置應(yīng)用于立體攝影設(shè)備,所述立體攝影設(shè)備包括左右雙目立體攝像機(jī),所述立體攝影裝置包括:
采集模塊,用于利用所述左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右原始圖像;
第一確定模塊,用于根據(jù)所述左右原始圖像,確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離;
第二確定模塊,用于根據(jù)真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離和所述立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù);
調(diào)整模塊,用于根據(jù)所述左右雙目立體攝像機(jī)的視間距,調(diào)整所述左右雙目立體攝像機(jī)之間的距離;
所述采集模塊,還用于利用調(diào)整后的左右雙目立體攝像機(jī)采集所述當(dāng)前拍攝場(chǎng)景的左右圖像;
裁剪模塊,用于利用所述圖像裁剪參數(shù),對(duì)所述左右圖像進(jìn)行裁剪處理;
輸出模塊,用于輸出裁剪處理后的左右圖像,從而能夠根據(jù)裁剪處理后的左右圖像構(gòu)建所述當(dāng)前拍攝場(chǎng)景的立體圖像。
進(jìn)一步來說,所述第一確定模塊包括:
提取子模塊,用于提取兩幅所述左右原始圖像的特征點(diǎn)信息;
第一確定子模塊,用于根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì);
第一獲取子模塊,用于獲取所述匹配點(diǎn)集對(duì)之間的水平視差;
第二獲取子模塊,用于根據(jù)所述匹配點(diǎn)集對(duì)之間的水平視差,獲取所述匹配點(diǎn)集對(duì)所對(duì)應(yīng)的物點(diǎn)的深度;
第二確定子模塊,用于根據(jù)所述物點(diǎn)的深度確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離。
進(jìn)一步來說,所述提取子模塊包括:
提取單元,用于采用尺度不變特征變換SIFT算法提取兩幅所述左右原始圖像的特征點(diǎn)信息;
所述第一確定子模塊包括:
第一確定單元,用于采用最小均方差ZSSD算法,根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì)。
進(jìn)一步來說,所述第二確定模塊包括:
第三獲取子模塊,用于通過如下公式獲取真實(shí)場(chǎng)景中最大凸出距離下的第一視差dN_R:
其中,N_R為所述最大凸出距離,E_R為真實(shí)場(chǎng)景中的視間距,Z_R為真實(shí)場(chǎng)景中雙眼到真實(shí)屏幕的距離;
第四獲取子模塊,用于通過如下公式獲取真實(shí)場(chǎng)景中最大凹進(jìn)距離下的第二視差dF_R;
其中,F(xiàn)_R為所述最大凹進(jìn)距離;
第三確定子模塊,用于根據(jù)真實(shí)場(chǎng)景中所述第一視差與所述第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等所構(gòu)建的如下關(guān)系式,確定立體攝像機(jī)到零視差平面的第一距離Con:
其中:N_O為立體攝像機(jī)到最近物體的距離,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離,R為所述第一視差dN_R與所述第二視差dF_R之間的比值,
第四確定子模塊,用于根據(jù)所述第一距離,確定所述左右雙目立體攝像機(jī)的視間距;
第五確定子模塊,用于根據(jù)所述第一距離以及所述左右雙目立體攝像機(jī)的視間距,確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)。
進(jìn)一步來說,所述第四確定子模塊包括:
第二確定單元,用于通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,Con為所述第一距離,W_R為真實(shí)場(chǎng)景中真實(shí)屏幕的寬度,dN_R為所述第一視差,N_O為立體攝像機(jī)到最近物體的距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,dF_R為所述第二視差,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
進(jìn)一步來說,所述第五確定子模塊包括:
第一獲取單元,用于通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Con為所述第一距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
第三確定單元,用于通過如下公式確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)Crop:
其中,Sep為所述左右雙目立體攝像機(jī)的視間距。
進(jìn)一步來說,所述裁剪模塊包括:
第一裁剪子模塊,用于利用所述圖像裁剪參數(shù),將左圖像水平方向上的最左端裁剪掉X*Crop像素,從而得到裁剪后的左圖像;
以及
第二裁剪子模塊,用于利用所述圖像裁剪參數(shù),將右圖像水平方向上的最右端裁剪掉X*Crop像素,從而得到裁剪后的右圖像;
其中,X為所述左右圖像的水平像素?cái)?shù),Crop為所述圖像裁剪參數(shù)。
進(jìn)一步來說,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在影院場(chǎng)合,并且所述影院擁有左右兩臺(tái)放映設(shè)備,將左圖像提供給影院的左放映設(shè)備,將右圖像提供給影院的右放映設(shè)備,從而進(jìn)行放映立體拍攝場(chǎng)景;
進(jìn)一步來說,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在虛擬現(xiàn)實(shí)頭盔中,并且所述虛擬現(xiàn)實(shí)頭盔擁有左右顯示屏,將左圖像提供虛擬現(xiàn)實(shí)頭盔的左顯示屏,將右圖像提供給虛擬現(xiàn)實(shí)頭盔的右顯示屏;
進(jìn)一步來說,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在增強(qiáng)現(xiàn)實(shí)眼鏡中,并且所述虛擬現(xiàn)實(shí)眼鏡擁有左右顯示鏡片,將左圖像提供增強(qiáng)現(xiàn)實(shí)眼鏡的左顯示鏡片,將右圖像提供給增強(qiáng)現(xiàn)實(shí)眼鏡的右顯示鏡片。
為解決上述技術(shù)問題,本發(fā)明的實(shí)施例還提供一種立體攝影設(shè)備,包括:左右雙目立體攝像機(jī)、顯示屏,殼體、處理器、存儲(chǔ)器、電路板和電源電路,其中:
所述左右雙目立體攝像機(jī)、所述顯示屏嵌接在所述殼體上;
所述電路板安置在所述殼體圍成的空間內(nèi)部,所述處理器和所述存儲(chǔ)器設(shè)置在所述電路板上;
所述電源電路,用于為上述立體攝影設(shè)備的各個(gè)電路或器件供電;
所述存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼;
所述處理器通過讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序,執(zhí)行:
利用所述左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右原始圖像;
根據(jù)所述左右原始圖像,確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離;
根據(jù)真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離和所述立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù);
根據(jù)所述左右雙目立體攝像機(jī)的視間距,調(diào)整所述左右雙目立體攝像機(jī)之間的距離;
利用調(diào)整后的左右雙目立體攝像機(jī)采集所述當(dāng)前拍攝場(chǎng)景的左右圖像,并利用所述圖像裁剪參數(shù),對(duì)所述左右圖像進(jìn)行裁剪處理;
輸出裁剪處理后的左右圖像;
根據(jù)裁剪處理后的左右圖像構(gòu)建所述當(dāng)前拍攝場(chǎng)景的立體圖像,從而通過所述顯示屏將立體圖像呈現(xiàn)出來。
本發(fā)明的上述技術(shù)方案的有益效果如下:
本發(fā)明實(shí)施例的立體攝影方法、裝置及立體攝影設(shè)備,獲取當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離,然后根據(jù)真實(shí)場(chǎng)景(對(duì)應(yīng)于放映場(chǎng)合的放映裝置)中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù);再根據(jù)左右雙目立體攝像機(jī)的視間距,調(diào)整左右雙目立體攝像機(jī)之間的距離;利用調(diào)整后的左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右圖像,并根據(jù)圖像裁剪參數(shù),對(duì)左右圖像進(jìn)行裁剪處理;最后輸出裁剪處理后的左右圖像,放映裝置能夠根據(jù)裁剪處理后的左右圖像構(gòu)建當(dāng)前拍攝場(chǎng)景的立體圖像,即放映立體影像。這樣,根據(jù)真實(shí)場(chǎng)景和拍攝場(chǎng)景的視差比例相等來設(shè)置立體攝像機(jī)之間的視間距和對(duì)圖片進(jìn)行裁剪,在利用所獲得的拍攝場(chǎng)景的立體圖像構(gòu)建立體拍攝場(chǎng)景時(shí),拍攝場(chǎng)景可映射到真實(shí)場(chǎng)景中的最大凸出距離和最大凹進(jìn)距離之間,使得拍攝場(chǎng)景能夠與真實(shí)場(chǎng)景即放映場(chǎng)合較好的適配,從而能夠達(dá)到較好的立體效果,提升了用戶的觀看體驗(yàn),解決了現(xiàn)有技術(shù)中立體電影的片源不能與放映場(chǎng)合較好的適配從而無法達(dá)到較佳的立體效果的問題。
附圖說明
圖1為本發(fā)明立體攝影方法的流程圖;
圖2為本發(fā)明立體攝影方法中真實(shí)場(chǎng)景觀察視景示意圖;
圖3為本發(fā)明立體攝影方法中拍攝場(chǎng)景觀察視景示意圖;
圖4為本發(fā)明立體攝影方法中左立體攝像機(jī)對(duì)稱投影示意圖;
圖5為本發(fā)明立體攝影裝置的結(jié)構(gòu)示意圖;
圖6為本發(fā)明立體攝影設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。
為了使本領(lǐng)域技術(shù)人員更好的理解本發(fā)明,首先對(duì)本發(fā)明實(shí)施例中所言的真實(shí)場(chǎng)景和拍攝場(chǎng)景進(jìn)行介紹。
真實(shí)場(chǎng)景即人真實(shí)的觀察空間,人眼看到的空間,觀察者可以通過認(rèn)知和經(jīng)驗(yàn)等獲取真實(shí)場(chǎng)景下的物體的深度和大小等信息,真實(shí)場(chǎng)景下是以長(zhǎng)度單位為度量。本發(fā)明實(shí)施例中,觀察者觀察的真實(shí)場(chǎng)景為顯示器,人和顯示器構(gòu)成“觀察者-顯示空間”??梢岳斫獾模景l(fā)明實(shí)施例中,針對(duì)立體攝影來講,真實(shí)場(chǎng)景可以認(rèn)為是所拍攝內(nèi)容的放映場(chǎng)合,即放映用顯示器。
拍攝場(chǎng)景即利用立體攝像設(shè)備拍攝的場(chǎng)景。拍攝場(chǎng)景通過顯示器顯示,而人在真實(shí)場(chǎng)景下的固定位置通過人眼接收顯示器所顯示的內(nèi)容。拍攝場(chǎng)景的內(nèi)容想要表現(xiàn)在真實(shí)場(chǎng)景中,并且以立體的方式呈現(xiàn),就需要場(chǎng)景的映射。
本發(fā)明實(shí)施例提供的立體攝影方法和裝置,即提供了一種立體攝影的方式,通過拍攝和剪裁獲得某場(chǎng)景的左右圖像,該左右圖像將作為立體片源在真實(shí)場(chǎng)景進(jìn)行放映,即將拍攝場(chǎng)景映射到真實(shí)場(chǎng)景,從而在真實(shí)場(chǎng)景中呈現(xiàn)拍攝場(chǎng)景的立體圖像。
本發(fā)明實(shí)施例提供的立體攝影方法和裝置,實(shí)際上模擬了采用圖形引擎構(gòu)建的虛擬場(chǎng)景,通過虛擬攝像機(jī)的偏移形成左右虛擬攝像機(jī),通過左右虛擬攝像機(jī)的非對(duì)稱透視投影,將虛擬場(chǎng)景構(gòu)建為虛擬立體場(chǎng)景的原理,將拍攝場(chǎng)景等同于虛擬場(chǎng)景,將左右雙目立體攝像機(jī)等同于左右虛擬攝像機(jī),左右雙目立體攝像機(jī)拍攝的左右圖像等同于左右虛擬攝像機(jī)非對(duì)稱透視投影后的場(chǎng)景內(nèi)容,從而將拍攝場(chǎng)景立體呈現(xiàn)在真實(shí)場(chǎng)景。
結(jié)合圖1至圖3所示,本發(fā)明實(shí)施例的立體攝影方法,應(yīng)用于立體攝影設(shè)備,立體攝影設(shè)備包括左右雙目立體攝像機(jī),該立體攝影方法包括:
步驟101,利用左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右原始圖像。
這里,初始化左右雙目立體攝像機(jī)的位置后,開始立體攝像機(jī)攝制,實(shí)時(shí)采集立體攝像機(jī)拍攝的兩幅左右原始圖像。
步驟102,根據(jù)左右原始圖像,確定當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離N_O和立體攝像機(jī)到最遠(yuǎn)物體的距離F_O。
這里,根據(jù)左右原始圖像,確定當(dāng)前拍攝場(chǎng)景下的N_O與F_O,以得到當(dāng)前拍攝場(chǎng)景的立體圖像。
步驟103,根據(jù)真實(shí)場(chǎng)景中最大凸出距離N_R下的第一視差dN_R與最大凹進(jìn)距離F_R下的第二視差dF_R之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離N_O下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離F_O下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離N_O和所述立體攝像機(jī)到最遠(yuǎn)物體的距離F_O,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù)。
其中,參見圖2,最大凸出距離N_R和最大凹進(jìn)距離F_R用于表征真實(shí)場(chǎng)景即放映場(chǎng)合的立體顯示器的立體顯示能力,即立體顯示器所能夠呈現(xiàn)的立體場(chǎng)景的深度范圍,也即,立體顯示器所能夠呈現(xiàn)的立體場(chǎng)景的深度范圍介于該最大凸出距離和最大凹進(jìn)距離所限定的區(qū)間內(nèi),立體場(chǎng)景的最凸出部分不會(huì)超過該最大凸出距離,而最凹進(jìn)部分不會(huì)超過該最大凹進(jìn)距離。
這里,基于真實(shí)場(chǎng)景中第一視差與第二視差之間的比值與拍攝場(chǎng)景中第三視差與第四視差之間的比值相等,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪,能有效保證拍攝場(chǎng)景映射到真實(shí)場(chǎng)景的立體效果。
其中,與利用圖形引擎構(gòu)建的虛擬場(chǎng)景的立體顯示不同,虛擬場(chǎng)景的左右虛擬攝像機(jī)構(gòu)建的是非對(duì)稱投影視景體,而立體攝像機(jī)對(duì)應(yīng)使用的是對(duì)稱投影視景體,為了保證較好的立體效果,所以要模仿非對(duì)稱視景體(類似OpenGL構(gòu)建的虛擬場(chǎng)景),并且維持相同的視野寬度,因此,就需要對(duì)獲取的立體圖像進(jìn)行裁剪,并對(duì)立體攝像機(jī)的間距進(jìn)行調(diào)整。一般來講,攝像機(jī)在無法調(diào)整視場(chǎng)角或者焦距的情況下,則無法直接對(duì)應(yīng)非對(duì)稱視景體,因此要先對(duì)左右雙目攝像機(jī)的視間距進(jìn)行微調(diào),從而首先滿足非對(duì)稱視景體下的零視差平面的位置需求,然后再對(duì)多出的平面進(jìn)行裁剪。
步驟104,根據(jù)左右雙目立體攝像機(jī)的視間距,調(diào)整左右雙目立體攝像機(jī)之間的距離。
步驟105,利用調(diào)整后的左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右圖像,并利用圖像裁剪參數(shù),對(duì)左右圖像進(jìn)行裁剪處理。
步驟106,輸出裁剪處理后的左右圖像,從而能夠根據(jù)裁剪處理后的左右圖像構(gòu)建當(dāng)前拍攝場(chǎng)景的立體圖像。
這里,根據(jù)左右雙目立體攝像機(jī)的視間距,對(duì)左右雙目立體攝像機(jī)的位置調(diào)整后,利用圖像裁剪參數(shù),對(duì)調(diào)整后的左右雙目立體攝像機(jī)采集的左右圖像進(jìn)行裁剪處理,最后輸出裁剪處理后的左右圖像。左右圖像作為片源進(jìn)行放映時(shí),放映裝置能夠根據(jù)裁剪處理后的左右圖像構(gòu)建當(dāng)前拍攝場(chǎng)景的立體圖像,即放映立體圖像。
本發(fā)明實(shí)施例的立體攝影方法,根據(jù)真實(shí)場(chǎng)景和拍攝場(chǎng)景的視差比例相等來設(shè)置立體攝像機(jī)之間的視間距和對(duì)圖片進(jìn)行裁剪,在利用所獲得的拍攝場(chǎng)景的立體圖像構(gòu)建立體拍攝場(chǎng)景時(shí),拍攝場(chǎng)景可映射到真實(shí)場(chǎng)景中的最大凸出距離和最大凹進(jìn)距離之間,使得拍攝場(chǎng)景能夠與真實(shí)場(chǎng)景即放映場(chǎng)合較好的適配,從而能夠達(dá)到較好的立體效果,提升了用戶的觀看體驗(yàn),解決了現(xiàn)有技術(shù)中立體電影的片源不能與放映場(chǎng)合較好的適配從而無法達(dá)到較佳的立體效果的問題。
優(yōu)選的,上述步驟102的步驟可以包括:
步驟1021,提取兩幅左右原始圖像的特征點(diǎn)信息;
步驟1022,根據(jù)特征點(diǎn)信息,確定兩幅左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì);
步驟1023,獲取匹配點(diǎn)集對(duì)之間的水平視差;
步驟1024,根據(jù)匹配點(diǎn)集對(duì)之間的水平視差,獲取匹配點(diǎn)集對(duì)所對(duì)應(yīng)的物點(diǎn)的深度;
步驟1025,根據(jù)物點(diǎn)的深度確定當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離N_O和立體攝像機(jī)到最遠(yuǎn)物體的距離F_O。
此時(shí),通過建立兩幅左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì),并獲取匹配點(diǎn)集對(duì)之間的水平視差,結(jié)合雙目視覺系統(tǒng)的理論和公式,能夠準(zhǔn)確、快速地獲取匹配點(diǎn)集對(duì)所對(duì)應(yīng)的物點(diǎn)的深度,即立體攝像機(jī)到物體的距離,從而確定拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離N_O和立體攝像機(jī)到最遠(yuǎn)物體的距離F_O。
具體的,上述步驟1021可采用尺度不變特征變換SIFT算法提取兩幅左右原始圖像的特征點(diǎn)信息。
這里,針對(duì)兩幅左右原始圖像可分別使用SIFT算法,得到特征點(diǎn)信息。
具體的,上述步驟1022可采用最小均方差ZSSD算法,根據(jù)特征點(diǎn)信息,確定兩幅左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì)。
這里,利用提取的兩幅左右原始圖像的特征點(diǎn)信息和ZSSD算法,可準(zhǔn)確建立兩幅左右原始圖像之間的匹配點(diǎn)集對(duì)。
進(jìn)一步的,上述步驟1025可構(gòu)建物點(diǎn)的深度信息直方圖,并過濾掉波動(dòng)的數(shù)據(jù),直接定位到深度最大值和深度最小值,從而得到立體攝像機(jī)到最近物體的距離N_O和立體攝像機(jī)到最遠(yuǎn)物體的距離F_O。
得到立體攝像機(jī)到最近物體的距離N_O和立體攝像機(jī)到最遠(yuǎn)物體的距離F_O后,需要根據(jù)N_O和F_O,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù)。下面對(duì)如何確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù)進(jìn)行詳細(xì)介紹。
優(yōu)選的,上述步驟103的步驟可以包括:
步驟1031,通過如下公式獲取真實(shí)場(chǎng)景中最大凸出距離N_R下的第一視差dN_R:
其中,N_R為最大凸出距離,E_R為真實(shí)場(chǎng)景中的視間距,Z_R為真實(shí)場(chǎng)景中雙眼到真實(shí)屏幕的距離。
步驟1032,通過如下公式獲取真實(shí)場(chǎng)景中最大凹進(jìn)距離F_R下的第二視差dF_R;
其中,F(xiàn)_R為最大凹進(jìn)距離。N_R、E_R、Z_R和F_R都是預(yù)先設(shè)定的值。
這里,參見圖2可知,上述關(guān)系式(1)和(2)依據(jù)相似圖形對(duì)應(yīng)邊成比例關(guān)系得到。如圖2所示,真實(shí)場(chǎng)景中左眼L與右眼R的視間距E_R、雙眼到真實(shí)屏幕Display的距離Z_R、最大凸出距離N_R、最大凹進(jìn)距離F_R、真實(shí)屏幕display的寬度W_R、第一視差dN_R和第二視差dF_R均在圖中進(jìn)行了標(biāo)示。根據(jù)相似三角形定理可以得到上面的公式(1)、(2)。
此時(shí),通過上述公式(1)、(2)可準(zhǔn)確獲取真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差,進(jìn)而可準(zhǔn)確獲取第一視差與第二視差之間的比值,利用幾何關(guān)系提高了計(jì)算的準(zhǔn)確性和便利性。
步驟1033,根據(jù)真實(shí)場(chǎng)景中第一視差dN_R與第二視差dF_R之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離N_O下的第三視差dN_O與立體攝像機(jī)到最遠(yuǎn)物體的距離F_O下的第四視差dF_O之間的比值相等所構(gòu)建的如下關(guān)系式,確定立體攝像機(jī)到零視差平面(即虛擬屏幕)的第一距離Con:
其中:N_O為立體攝像機(jī)到最近物體的距離,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離,R為所述第一視差dN_R與所述第二視差dF_R之間的比值,
其中:
第三視差
第四視差
第三視差與第四視差的比值
關(guān)系式(3)由推導(dǎo)獲得。
這里,如圖3所示,拍攝場(chǎng)景中對(duì)應(yīng)左眼輸出圖像的左立體攝像機(jī)L’與對(duì)應(yīng)右眼輸出圖像的右立體攝像機(jī)R’之間的視間距Sep、立體攝像機(jī)到虛擬屏幕Virtual Display 2(也稱為零視差平面)的第一距離Con、立體攝像機(jī)到近裁剪平面1的距離N_V、立體攝像機(jī)到遠(yuǎn)裁剪平面3的距離F_V、立體攝像機(jī)到近裁剪平面1的第五視差dN_V和立體攝像機(jī)到遠(yuǎn)裁剪平面3的第六視差dF_V均在圖中進(jìn)行了標(biāo)示。根據(jù)相似三角形定理可以得到:
類比上述公式(8)、(9)可以得到:
因此,通過上述公式(5)、(6)可以得到第三視差與第四視差之間的比值關(guān)系式:
基于上述公式(7),有如下關(guān)系式:
這里,在拍攝場(chǎng)景和真實(shí)場(chǎng)景中的視差雖然換算單位和數(shù)值都不相同,但是它們具有相同的比值R。
對(duì)公式(10)進(jìn)行變形可以得到:
此時(shí),根據(jù)第一視差、第二視差,立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離,可準(zhǔn)確求得立體攝像機(jī)到虛擬屏幕的第一距離。
步驟1034,根據(jù)第一距離Con,確定左右雙目立體攝像機(jī)的視間距Sep;
步驟1035,根據(jù)第一距離Con以及左右雙目立體攝像機(jī)的視間距Sep,確定左右雙目立體攝像機(jī)的圖像裁剪參數(shù)。
此時(shí),首先根據(jù)真實(shí)場(chǎng)景中最大凸出距離和最大凹進(jìn)距離下的視差比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離下的視差比值相等,可有效確定立體攝像機(jī)到零視差平面的第一距離;然后根據(jù)第一距離,可有效確定左右雙目立體攝像機(jī)的視間距;最后根據(jù)第一距離以及視間距,確定左右雙目立體攝像機(jī)的圖像裁剪參數(shù)。根據(jù)真實(shí)場(chǎng)景和拍攝場(chǎng)景的視差比例相等來設(shè)置立體攝像機(jī)之間的視間距和對(duì)圖片進(jìn)行裁剪,在利用所獲得的拍攝場(chǎng)景的立體圖像構(gòu)建立體拍攝場(chǎng)景時(shí),拍攝場(chǎng)景可映射到真實(shí)場(chǎng)景中的最大凸出距離和最大凹進(jìn)距離之間,使得拍攝場(chǎng)景能夠與真實(shí)場(chǎng)景即放映場(chǎng)合較好的適配,從而能夠達(dá)到較好的立體效果。。
進(jìn)一步的,上述步驟1034的步驟可以包括:
通過如下公式確定左右雙目立體攝像機(jī)的視間距Sep:
其中,Con為第一距離,W_R為真實(shí)場(chǎng)景中真實(shí)屏幕的寬度,dN_R為第一視差,N_O為立體攝像機(jī)到最近物體的距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式確定左右雙目立體攝像機(jī)的視間距Sep:
其中,dF_R為第二視差,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離;
或者
通過如下公式確定左右雙目立體攝像機(jī)的視間距Sep:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,W_R、θ、Wf和f均為預(yù)先設(shè)定的值。
此時(shí),通過上述公式(11)、(12)、(13)或(14)均可準(zhǔn)確獲取拍攝場(chǎng)景中對(duì)應(yīng)真實(shí)場(chǎng)景視間距的左右雙目立體攝像機(jī)的視間距。
下面對(duì)上述公式(11)的推導(dǎo)過程詳細(xì)描述如下:
參照?qǐng)D4所示,對(duì)于左右雙目立體攝像機(jī)的對(duì)稱投影視景體,左攝像機(jī)left camera與右攝像機(jī)right camera的場(chǎng)景相交的部分,即為虛擬屏幕即零視差平面,其寬度為WCon。
首先,通過如下公式可以得到虛擬屏幕與真實(shí)屏幕之間的縮放比例
其中,WCon為虛擬屏幕的寬度,W_R為真實(shí)屏幕的寬度。
通過上述公式(15)可得:
將上述公式(16)進(jìn)行變換可得:
Sep滿足:
將上述公式(18)進(jìn)行變換可得:
將上述公式(19)代入上述公式(17)可得:
再將上述公式(20)代入上述公式(18)可得:
參照?qǐng)D4所示,對(duì)于立體攝像機(jī)的對(duì)稱投影視景體,視場(chǎng)角滿足如下公式:
將上述公式(22)代入上述公式(21)即可求得上述公式(11):
參照上述公式(11)的推導(dǎo)過程即可求得上述公式(12)。
另外,將上述公式(22)替換為如下公式:
按照同樣的推導(dǎo)過程即可求得上述公式(13)、(14)。
至此,得到了第一距離和左右雙目立體攝像機(jī)之間的視間距,之后還需要進(jìn)一步確定左右雙目立體攝像機(jī)的圖像裁剪參數(shù),以對(duì)左右雙目立體攝像機(jī)的位置調(diào)整后,根據(jù)圖像裁剪參數(shù)對(duì)圖像進(jìn)行裁剪。
如圖4所示,左右雙目攝像機(jī)所拍攝的場(chǎng)景內(nèi)容在構(gòu)建立體場(chǎng)景時(shí)的有效部分為Wcon,而無效部分Sep所占的比例為Sep/(Sep+Wcon),因此,可根據(jù)該比例對(duì)拍攝的左右圖像進(jìn)行裁剪。
對(duì)于左右雙目立體攝像機(jī)的位置調(diào)整,可參考左右雙目立體攝像機(jī)當(dāng)前的位置,然后根據(jù)左右雙目立體攝像機(jī)之間的視間距,對(duì)兩個(gè)立體攝像機(jī)的位置進(jìn)行微調(diào)。
對(duì)于左右雙目立體攝像機(jī)的圖像裁剪參數(shù),優(yōu)選的,上述步驟1035的步驟可以包括:
步驟10351,通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Con為所述第一距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距。
如圖4所示,左右雙目攝像機(jī)所拍攝的場(chǎng)景內(nèi)容在構(gòu)建立體場(chǎng)景時(shí)的有效部分為Wcon,而無效部分Sep所占的比例為Sep/(Sep+Wcon),因此,可根據(jù)該比例對(duì)拍攝的左右圖像進(jìn)行裁剪。因此:
步驟10352,通過如下公式確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)Crop:
其中,Sep為所述左右雙目立體攝像機(jī)的視間距。
此時(shí),通過上述公式(26)可準(zhǔn)確獲取左右雙目立體攝像機(jī)的圖像裁剪參數(shù)。
具體的,上述步驟105中,利用圖像裁剪參數(shù),對(duì)左右圖像進(jìn)行裁剪處理的步驟可以包括:
步驟1051,利用圖像裁剪參數(shù),將左圖像水平方向上的最左端裁剪掉X*Crop像素,從而得到裁剪后的左圖像;
以及
步驟1052,利用圖像裁剪參數(shù),將右圖像水平方向上的最右端裁剪掉X*Crop像素,從而得到裁剪后的右圖像;
其中,X為所述左右圖像的水平像素?cái)?shù),Crop為所述圖像裁剪參數(shù)。
此時(shí),對(duì)于左立體攝像機(jī)Left Camera拍攝的左圖像,從水平方向最左端開始裁剪X*Crop像素,裁剪后左圖像的寬度為:X*(1-Crop)像素。對(duì)于右立體攝像機(jī)Right Camera拍攝的右圖像,從水平方向最右端開始裁剪X*Crop像素,裁剪后右圖像的寬度也為:X*(1-Crop)像素。
本發(fā)明實(shí)施例的方法可按照上述流程根據(jù)一幀左右原始圖像數(shù)據(jù)調(diào)整左右雙目立體攝像機(jī)的距離,并利用計(jì)算出的圖像裁剪參數(shù),對(duì)調(diào)整后的左右雙目立體攝像機(jī)拍攝的左右圖像進(jìn)行裁剪,再處理下一幀圖像數(shù)據(jù),即動(dòng)態(tài)調(diào)整。也可按照預(yù)設(shè)場(chǎng)景,預(yù)先調(diào)整左右雙目立體攝像機(jī)的距離,并利用計(jì)算出的圖像裁剪參數(shù),對(duì)調(diào)整后的左右雙目立體攝像機(jī)拍攝的左右圖像進(jìn)行裁剪。
進(jìn)一步的,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在影院場(chǎng)合,并且所述影院擁有左右兩臺(tái)放映設(shè)備,將左圖像提供給影院的左放映設(shè)備,將右圖像提供給影院的右放映設(shè)備,從而進(jìn)行放映立體拍攝場(chǎng)景;
進(jìn)一步的,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在虛擬現(xiàn)實(shí)頭盔中,并且所述虛擬現(xiàn)實(shí)頭盔擁有左右顯示屏,將左圖像提供虛擬現(xiàn)實(shí)頭盔的左顯示屏,將右圖像提供給虛擬現(xiàn)實(shí)頭盔的右顯示屏;
進(jìn)一步的,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在增強(qiáng)現(xiàn)實(shí)眼鏡中,并且所述增強(qiáng)現(xiàn)實(shí)眼鏡擁有左右顯示鏡片,將左圖像提供增強(qiáng)現(xiàn)實(shí)眼鏡的左顯示鏡片,將右圖像提供給增強(qiáng)現(xiàn)實(shí)眼鏡的右顯示鏡片。
可以理解的是,本發(fā)明實(shí)施例中所言的虛擬攝像機(jī)、零視差平面、近裁剪平面、遠(yuǎn)裁剪平面等術(shù)語均為計(jì)算機(jī)圖形學(xué)中公知的術(shù)語,這里不進(jìn)行詳細(xì)說明。
下面對(duì)本發(fā)明立體攝影方法的一具體實(shí)現(xiàn)實(shí)施例舉例說明如下:
假設(shè):真實(shí)場(chǎng)景中最大凸出距離N_R為50mm,最大凹進(jìn)距離F_R為60mm,真實(shí)屏幕的寬度W_R為435mm,雙眼視間距E_R為65mm,雙眼到真實(shí)屏幕的距離Z_R為500mm。通過上述步驟101-102確定的拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離N_O為2135mm,立體攝像機(jī)到最遠(yuǎn)物體的距離F_O為2584mm。立體攝像機(jī)的分辨率為X(1600)*Y(900),立體攝像機(jī)的透鏡焦距f為80mm,立體攝像機(jī)傳感器的寬度Wf為36mm。
應(yīng)用本發(fā)明的方法,首先通過如下公式獲取真實(shí)場(chǎng)景中最大凸出距離N_R下的第一視差dN_R和最大凹進(jìn)距離F_R下的第二視差dF_R:
再通過如下公式獲取第一視差與第二視差之間的比值R:
然后通過如下公式獲取立體攝像機(jī)到虛擬屏幕的第一距離Con:
然后通過如下公式獲取左右雙目立體攝像機(jī)之間的視間距Sep:
故左右雙目立體攝像機(jī)之間的距離要調(diào)整到153.98mm。
再通過如下公式獲取虛擬屏幕的寬度WCon:
再通過如下公式獲取左右雙目立體攝像機(jī)的圖像裁剪參數(shù)Crop:
故對(duì)調(diào)整后的左立體攝像機(jī)拍攝的左圖像從水平方向最左端開始裁剪X*Crop=240像素,裁剪后左圖像的寬度為:X*(1-Crop)=1360像素。
對(duì)調(diào)整后的右立體攝像機(jī)拍攝的右圖像從水平方向最右端開始裁剪X*Crop=240像素,裁剪后右圖像的寬度為:X*(1-Crop)=1360像素。
綜上,本發(fā)明實(shí)施例的立體攝影方法,根據(jù)真實(shí)場(chǎng)景和拍攝場(chǎng)景的視差比例相等來設(shè)置立體攝像機(jī)之間的視間距和對(duì)圖片進(jìn)行裁剪,在利用所獲得的拍攝場(chǎng)景的立體圖像構(gòu)建立體拍攝場(chǎng)景時(shí),拍攝場(chǎng)景可映射到真實(shí)場(chǎng)景中的最大凸出距離和最大凹進(jìn)距離之間,使得拍攝場(chǎng)景能夠與真實(shí)場(chǎng)景即放映場(chǎng)合較好的適配,從而能夠達(dá)到較好的立體效果,提升了用戶的觀看體驗(yàn),解決了現(xiàn)有技術(shù)中立體電影的片源不能與放映場(chǎng)合較好的適配從而無法達(dá)到較佳的立體效果的問題。
如圖5所示,本發(fā)明的實(shí)施例還提供一種立體攝影裝置,所述立體攝影裝置應(yīng)用于立體攝影設(shè)備,所述立體攝影設(shè)備包括左右雙目立體攝像機(jī),所述立體攝影裝置包括:
采集模塊601,用于利用所述左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右原始圖像;
第一確定模塊602,用于根據(jù)所述左右原始圖像,確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離;
第二確定模塊603,用于根據(jù)真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離和所述立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù);
調(diào)整模塊604,用于根據(jù)所述左右雙目立體攝像機(jī)的視間距,調(diào)整所述左右雙目立體攝像機(jī)之間的距離;
所述采集模塊601,還用于利用調(diào)整后的左右雙目立體攝像機(jī)采集所述當(dāng)前拍攝場(chǎng)景的左右圖像;
裁剪模塊605,用于利用所述圖像裁剪參數(shù),對(duì)所述左右圖像進(jìn)行裁剪處理;
輸出模塊606,用于輸出裁剪處理后的左右圖像,從而能夠根據(jù)裁剪處理后的左右圖像構(gòu)建所述當(dāng)前拍攝場(chǎng)景的立體圖像。
本發(fā)明實(shí)施例的立體攝影裝置,根據(jù)真實(shí)場(chǎng)景和拍攝場(chǎng)景的視差比例相等來設(shè)置立體攝像機(jī)之間的視間距和對(duì)圖片進(jìn)行裁剪,在利用所獲得的拍攝場(chǎng)景的立體圖像構(gòu)建立體拍攝場(chǎng)景時(shí),拍攝場(chǎng)景可映射到真實(shí)場(chǎng)景中的最大凸出距離和最大凹進(jìn)距離之間,使得拍攝場(chǎng)景能夠與真實(shí)場(chǎng)景即放映場(chǎng)合較好的適配,從而能夠達(dá)到較好的立體效果,提升了用戶的觀看體驗(yàn),解決了現(xiàn)有技術(shù)中立體電影的片源不能與放映場(chǎng)合較好的適配從而無法達(dá)到較佳的立體效果的問題。
優(yōu)選的,所述第一確定模塊602可以包括:
提取子模塊,用于提取兩幅所述左右原始圖像的特征點(diǎn)信息;
第一確定子模塊,用于根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì);
第一獲取子模塊,用于獲取所述匹配點(diǎn)集對(duì)之間的水平視差;
第二獲取子模塊,用于根據(jù)所述匹配點(diǎn)集對(duì)之間的水平視差,獲取所述匹配點(diǎn)集對(duì)所對(duì)應(yīng)的物點(diǎn)的深度;
第二確定子模塊,用于根據(jù)所述物點(diǎn)的深度確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離。
進(jìn)一步的,所述提取子模塊可以包括:
提取單元,用于采用尺度不變特征變換SIFT算法提取兩幅所述左右原始圖像的特征點(diǎn)信息;
所述第一確定子模塊包括:
第一確定單元,用于采用最小均方差ZSSD算法,根據(jù)所述特征點(diǎn)信息,確定兩幅所述左右原始圖像之間的特征點(diǎn)匹配點(diǎn)集對(duì)。
優(yōu)選的,所述第二確定模塊603可以包括:
第三獲取子模塊,用于通過如下公式獲取真實(shí)場(chǎng)景中最大凸出距離下的第一視差dN_R:
其中,N_R為所述最大凸出距離,E_R為真實(shí)場(chǎng)景中的視間距,Z_R為真實(shí)場(chǎng)景中雙眼到真實(shí)屏幕的距離;
第四獲取子模塊,用于通過如下公式獲取真實(shí)場(chǎng)景中最大凹進(jìn)距離下的第二視差dF_R;
其中,F(xiàn)_R為所述最大凹進(jìn)距離;
第三確定子模塊,用于根據(jù)真實(shí)場(chǎng)景中所述第一視差與所述第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等所構(gòu)建的如下關(guān)系式,確定立體攝像機(jī)到零視差平面的第一距離Con:
其中:N_O為立體攝像機(jī)到最近物體的距離,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離,R為所述第一視差dN_R與所述第二視差dF_R之間的比值,
第四確定子模塊,用于根據(jù)所述第一距離,確定所述左右雙目立體攝像機(jī)的視間距;
第五確定子模塊,用于根據(jù)所述第一距離以及所述左右雙目立體攝像機(jī)的視間距,確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)。
進(jìn)一步的,所述第四確定子模塊可以包括:
第二確定單元,用于通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,Con為所述第一距離,W_R為真實(shí)場(chǎng)景中真實(shí)屏幕的寬度,dN_R為所述第一視差,N_O為立體攝像機(jī)到最近物體的距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,dF_R為所述第二視差,F(xiàn)_O為立體攝像機(jī)到最遠(yuǎn)物體的距離;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
或者
通過如下公式確定所述左右雙目立體攝像機(jī)的視間距Sep:
進(jìn)一步的,所述第五確定子模塊可以包括:
第一獲取單元,用于通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Con為所述第一距離,θ為立體攝像機(jī)的視場(chǎng)角;
或者
通過如下公式獲取當(dāng)前拍攝場(chǎng)景中虛擬屏幕的寬度WCon:
其中,Wf為立體攝像機(jī)傳感器的寬度,f立體攝像機(jī)的透鏡焦距;
第三確定單元,用于通過如下公式確定所述左右雙目立體攝像機(jī)的圖像裁剪參數(shù)Crop:
其中,Sep為所述左右雙目立體攝像機(jī)的視間距。
優(yōu)選的,所述裁剪模塊605可以包括:
第一裁剪子模塊,用于利用所述圖像裁剪參數(shù),將左圖像水平方向上的最左端裁剪掉X*Crop像素,從而得到裁剪后的左圖像;
以及
第二裁剪子模塊,用于利用所述圖像裁剪參數(shù),將右圖像水平方向上的最右端裁剪掉X*Crop像素,從而得到裁剪后的右圖像;
其中,X為所述左右圖像的水平像素?cái)?shù),Crop為所述圖像裁剪參數(shù)。
進(jìn)一步的,輸出的所述裁剪處理后的左右圖像具體運(yùn)用在影院場(chǎng)合,并且所述影院擁有左右兩臺(tái)放映設(shè)備,將左圖像提供給影院的左放映設(shè)備,將右圖像提供給影院的右放映設(shè)備,從而進(jìn)行放映立體拍攝場(chǎng)景;
或者,
輸出的所述裁剪處理后的左右圖像具體運(yùn)用在虛擬現(xiàn)實(shí)頭盔中,并且所述虛擬現(xiàn)實(shí)頭盔擁有左右顯示屏,將左圖像提供虛擬現(xiàn)實(shí)頭盔的左顯示屏,將右圖像提供給虛擬現(xiàn)實(shí)頭盔的右顯示屏;
或者
輸出的所述裁剪處理后的左右圖像具體運(yùn)用在增強(qiáng)現(xiàn)實(shí)眼鏡中,并且所述虛擬現(xiàn)實(shí)眼鏡擁有左右顯示鏡片,將左圖像提供增強(qiáng)現(xiàn)實(shí)眼鏡的左顯示鏡片,將右圖像提供給增強(qiáng)現(xiàn)實(shí)眼鏡的右顯示鏡片。
本發(fā)明實(shí)施例的立體攝影裝置,根據(jù)真實(shí)場(chǎng)景和拍攝場(chǎng)景的視差比例相等來設(shè)置立體攝像機(jī)之間的視間距和對(duì)圖片進(jìn)行裁剪,在利用所獲得的拍攝場(chǎng)景的立體圖像構(gòu)建立體拍攝場(chǎng)景時(shí),拍攝場(chǎng)景可映射到真實(shí)場(chǎng)景中的最大凸出距離和最大凹進(jìn)距離之間,使得拍攝場(chǎng)景能夠與真實(shí)場(chǎng)景即放映場(chǎng)合較好的適配,從而能夠達(dá)到較好的立體效果,提升了用戶的觀看體驗(yàn),解決了現(xiàn)有技術(shù)中立體電影的片源不能與放映場(chǎng)合較好的適配從而無法達(dá)到較佳的立體效果的問題。
需要說明的是,該立體攝影裝置是與上述立體攝影方法相對(duì)應(yīng)的裝置,其中上述方法實(shí)施例中所有實(shí)現(xiàn)方式均適用于該裝置的實(shí)施例中,也能達(dá)到同樣的技術(shù)效果。
本發(fā)明實(shí)施例還提供一種立體攝影設(shè)備,所述立體攝影設(shè)備可包含前述任一實(shí)施例所述的立體攝影裝置。
圖6為本發(fā)明立體攝影設(shè)備一個(gè)實(shí)施例的結(jié)構(gòu)示意圖,可以實(shí)現(xiàn)本發(fā)明圖1所示實(shí)施例的流程。如圖6所示,上述立體攝影設(shè)備可以包括:左右雙目立體攝像機(jī)(未示出),顯示屏(未示出),殼體71、處理器72、存儲(chǔ)器73、電路板74和電源電路75,其中,左右雙目立體攝像機(jī)、顯示屏嵌接在殼體71上;電路板74安置在殼體71圍成的空間內(nèi)部,處理器72和存儲(chǔ)器73設(shè)置在電路板74上;電源電路75,用于為上述立體攝影設(shè)備的各個(gè)電路或器件供電;存儲(chǔ)器73用于存儲(chǔ)可執(zhí)行程序代碼;處理器72通過讀取存儲(chǔ)器73中存儲(chǔ)的可執(zhí)行程序代碼來運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序,用于執(zhí)行前述任一實(shí)施例所述的立體攝影方法,利用左右雙目立體攝像機(jī)采集當(dāng)前拍攝場(chǎng)景的左右原始圖像;根據(jù)所述左右原始圖像,確定所述當(dāng)前拍攝場(chǎng)景下立體攝像機(jī)到最近物體的距離和立體攝像機(jī)到最遠(yuǎn)物體的距離;根據(jù)真實(shí)場(chǎng)景中最大凸出距離下的第一視差和最大凹進(jìn)距離下的第二視差之間的比值與拍攝場(chǎng)景中立體攝像機(jī)到最近物體的距離下的第三視差與立體攝像機(jī)到最遠(yuǎn)物體的距離下的第四視差之間的比值相等,從而根據(jù)所述立體攝像機(jī)到最近物體的距離和所述立體攝像機(jī)到最遠(yuǎn)物體的距離,確定左右雙目立體攝像機(jī)的視間距和圖像裁剪參數(shù);根據(jù)所述左右雙目立體攝像機(jī)的視間距,調(diào)整所述左右雙目立體攝像機(jī)之間的距離;利用調(diào)整后的左右雙目立體攝像機(jī)采集所述當(dāng)前拍攝場(chǎng)景的左右圖像,并利用所述圖像裁剪參數(shù),對(duì)所述左右圖像進(jìn)行裁剪處理;輸出裁剪處理后的左右圖像;根據(jù)裁剪處理后的左右圖像構(gòu)建所述當(dāng)前拍攝場(chǎng)景的立體圖像,從而通過所述顯示屏將立體圖像呈現(xiàn)出來。
處理器72對(duì)上述步驟的具體執(zhí)行過程以及處理器72通過運(yùn)行可執(zhí)行程序代碼來進(jìn)一步執(zhí)行的步驟,可以參見本發(fā)明圖1所示實(shí)施例的描述,在此不再贅述。
該立體攝影設(shè)備以多種形式存在,包括但不限于:
(1)移動(dòng)通信設(shè)備:這類設(shè)備的特點(diǎn)是具備移動(dòng)通信功能,并且以提供話音、數(shù)據(jù)通信為主要目標(biāo)。這類終端包括:智能手機(jī)(例如iPhone)、多媒體手機(jī)、功能性手機(jī),以及低端手機(jī)等。
(2)超移動(dòng)個(gè)人計(jì)算機(jī)設(shè)備:這類設(shè)備屬于個(gè)人計(jì)算機(jī)的范疇,有計(jì)算和處理功能,一般也具備移動(dòng)上網(wǎng)特性。這類終端包括:PDA、MID和UMPC設(shè)備等,例如iPad。
(3)便攜式娛樂設(shè)備:這類設(shè)備可以顯示和播放多媒體內(nèi)容。該類設(shè)備包括:音頻、應(yīng)用程序的提供器(例如iPod),掌上游戲機(jī),電子書,以及智能玩具和便攜式車載導(dǎo)航設(shè)備。
(4)服務(wù)器:提供計(jì)算服務(wù)的設(shè)備,服務(wù)器的構(gòu)成包括處理器、硬盤、內(nèi)存、系統(tǒng)總線等,服務(wù)器和通用的計(jì)算機(jī)架構(gòu)類似,但是由于需要提供高可靠的服務(wù),因此在處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性、可管理性等方面要求較高。
(5)其他具有數(shù)據(jù)交互功能的電子設(shè)備。
本發(fā)明實(shí)施例中,模塊可以用軟件實(shí)現(xiàn),以便由各種類型的處理器執(zhí)行。舉例來說,一個(gè)標(biāo)識(shí)的可執(zhí)行代碼模塊可以包括計(jì)算機(jī)指令的一個(gè)或多個(gè)物理或者邏輯塊,舉例來說,其可以被構(gòu)建為對(duì)象、過程或函數(shù)。盡管如此,所標(biāo)識(shí)模塊的可執(zhí)行代碼無需物理地位于一起,而是可以包括存儲(chǔ)在不同位里上的不同的指令,當(dāng)這些指令邏輯上結(jié)合在一起時(shí),其構(gòu)成模塊并且實(shí)現(xiàn)該模塊的規(guī)定目的。
實(shí)際上,可執(zhí)行代碼模塊可以是單條指令或者是許多條指令,并且甚至可以分布在多個(gè)不同的代碼段上,分布在不同程序當(dāng)中,以及跨越多個(gè)存儲(chǔ)器設(shè)備分布。同樣地,操作數(shù)據(jù)可以在模塊內(nèi)被識(shí)別,并且可以依照任何適當(dāng)?shù)男问綄?shí)現(xiàn)并且被組織在任何適當(dāng)類型的數(shù)據(jù)結(jié)構(gòu)內(nèi)。所述操作數(shù)據(jù)可以作為單個(gè)數(shù)據(jù)集被收集,或者可以分布在不同位置上(包括在不同存儲(chǔ)設(shè)備上),并且至少部分地可以僅作為電子信號(hào)存在于系統(tǒng)或網(wǎng)絡(luò)上。
在模塊可以利用軟件實(shí)現(xiàn)時(shí),考慮到現(xiàn)有硬件工藝的水平,所以可以以軟件實(shí)現(xiàn)的模塊,在不考慮成本的情況下,本領(lǐng)域技術(shù)人員都可以搭建對(duì)應(yīng)的硬件電路來實(shí)現(xiàn)對(duì)應(yīng)的功能,所述硬件電路包括常規(guī)的超大規(guī)模集成(VLSI)電路或者門陣列以及諸如邏輯芯片、晶體管之類的現(xiàn)有半導(dǎo)體或者是其它分立的元件。模塊還可以用可編程硬件設(shè)備,諸如現(xiàn)場(chǎng)可編程門陣列、可編程陣列邏輯、可編程邏輯設(shè)備等實(shí)現(xiàn)。
在本發(fā)明的各種實(shí)施例中,應(yīng)理解,上述各過程的序號(hào)的大小并不意味著執(zhí)行順序的先后,各過程的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定,而不應(yīng)對(duì)本發(fā)明實(shí)施例的實(shí)施過程構(gòu)成任何限定。
以上所述是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明所述原理的前提下,還可以作出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。