本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體是一種自適應(yīng)變基線雙目立體相機系統(tǒng)。

背景技術(shù)：
：

隨著計算機視覺的不斷發(fā)展，虛擬現(xiàn)實技術(shù)也逾趨成熟，雙目立體視覺和全景圖像已成為目前手機終端虛擬現(xiàn)實技術(shù)和增強現(xiàn)實技術(shù)的主要方式，并且雙目立體顯示技術(shù)已成為3D電影、電視的發(fā)展主流。然而對于雙目立體成像模型，目前基本上還是主要使用簡單的雙目定基線的數(shù)據(jù)獲取方式，這種成像方式存在很大缺陷，生成的立體圖像會存在較大失真，僅僅只能保證圖像較少區(qū)域的較好顯示效果，較大區(qū)域的立體圖像在觀看上會存在錯位，立體效果較差，易導(dǎo)致人眼疲勞。

由于雙目立體成像在成像過程中，離成像平面距離越遠(yuǎn)的景物在雙目圖像之中會存在較小的視差，越近的景物的視差越小、，雙目圖像中的對應(yīng)物體的視差隨物體離雙目相機的距離是不斷變化的。將雙目圖像疊加顯示時，僅僅只能保證部分的物體在3D顯示時不存在重影，無法保證圖像中所有的物體均能正確的顯示出3D效果。

通常情況下，人眼在自然觀察的情況下基本上也僅僅只是對雙目交匯處區(qū)域的物體表現(xiàn)出清晰的立體效果，而不是人眼整個視場范圍內(nèi)所有的物體均能顯示出清晰的立體效果。所以僅僅只需要保證人眼觀察所感興趣的區(qū)域顯示出好的3D顯示效果，而其他區(qū)域則表現(xiàn)出模糊的顯示效果即可。這樣就能夠產(chǎn)生較為真實的虛擬現(xiàn)實效果，在運用到遠(yuǎn)程機器人操控過程中能夠，通過在機器人上加裝雙目相機，實時回傳雙目圖像，客戶端顯示立體效果，遠(yuǎn)程客戶端即可在虛擬現(xiàn)實的環(huán)境中對遠(yuǎn)端機器人進(jìn)行沉浸式操控。

技術(shù)實現(xiàn)要素：
：

本發(fā)明為了克服現(xiàn)有技術(shù)中存在的上述缺陷，提供了一種自適應(yīng)變基線雙目立體相機系統(tǒng)，使拍攝的圖像現(xiàn)實的3D效果隨人眼觀察目標(biāo)自適應(yīng)的顯示出最佳的立體視覺效果。

為解決上述問題，本發(fā)明提出的自適應(yīng)變基線雙目立體相機系統(tǒng)，包括：第一相機、第二相機、雙滑桿、服務(wù)器、客戶端、PC主機、3D顯示器、眼動儀、所述第一相機通過一固定相機安裝云臺固定在所述雙滑竿的一端，所述步進(jìn)電機通過一電機安裝架固定在所述雙滑竿的另一端，所述第二相機通過一滑動相機安裝云臺可滑動安裝在所述雙滑桿上，所述雙滑桿上設(shè)置有一履帶，所述履帶通過一根主動軸和一根從動軸套接在所述雙滑桿的兩端，所述主動軸與一步進(jìn)電機的輸出軸相連，所述第二相機固定在所述履帶上，所述第一相機和第二相機均與所述PC主機相連，所述PC主機與所述服務(wù)器和3D顯示器分別相連，所述服務(wù)器與所述客戶端相連，所述3D顯示器上加裝眼動儀，所述PC主機上安裝有眼動儀驅(qū)動軟件。

上述技術(shù)方案中，所述第一相機和第二相機的攝像頭位于同一水平面上。

上述技術(shù)方案中，所述步進(jìn)電機與一電源相連，所述電源的輸出電壓為12V，輸出電流為1A。

上述技術(shù)方案中，所述PC主機的CPU為I3或以上，內(nèi)存等于或大于2G，硬盤等于或大于256G，系統(tǒng)為Windows 10或windows7。

上述技術(shù)方案中，所述PC主機采用OpenCV及相機自帶SDK讀取所述第一相機和第二相機拍攝的圖像。

上述技術(shù)方案中，所述服務(wù)器采用boost庫中的TCP網(wǎng)絡(luò)通信接口將獲取的壓縮后的圖像傳輸?shù)娇蛻舳?，所述客戶端采用對?yīng)的boost庫中的TCP網(wǎng)絡(luò)通信接口接收壓縮圖像，并采用JPEG-turbo解碼顯示。

上述技術(shù)方案中，所述客戶端與服務(wù)器之間通信采用winsocket UDP通信，對圖像的采集、壓縮、傳輸以及步進(jìn)電機的運行進(jìn)行相應(yīng)的遠(yuǎn)程控制。

本發(fā)明提出的自適應(yīng)變基線雙目立體相機系統(tǒng)的工作原理如下：

通過眼動儀驅(qū)動軟件跟蹤捕捉雙目觀察的興趣點；

獲取眼動儀視點跟蹤數(shù)據(jù)并將視點跟蹤數(shù)據(jù)轉(zhuǎn)換為圖像上相應(yīng)關(guān)注點的視差值，假設(shè)T時刻眼動儀捕捉的視點在圖像上的點為p_t點,則p_t點的視差可根據(jù)公式(1)獲得：

其中，b_e、f_e表示兩只眼睛的距離和眼睛的焦距，z_e表示眼睛到屏幕的垂直觀看距離；

獲得圖像上p_t點的視差值后根據(jù)公式(2)計算出兩相機的基線長度值

其中，表示計算得到的基線長度值，表示圖像上點p_t對應(yīng)的真實三維空間中的點到相機拍攝平面的垂直距離，該參數(shù)值可通過雙目相機先前拍攝的圖像匹配計算得出，f表示相機焦距；

將得到的相機基線長度值轉(zhuǎn)換為步進(jìn)電機的移動指令，通過UDP指令傳給拍攝端，控制拍攝端步進(jìn)電機移動，使雙目相機移動至指定基線長度，進(jìn)行拍攝；

采用opencv及相機自帶的SDK讀取兩相機圖像；

采用boost庫中的TCP網(wǎng)絡(luò)通信接口進(jìn)行圖像傳輸，將服務(wù)器端獲取的壓縮后的圖像傳輸?shù)娇蛻舳耍?/p>

客戶端采用對應(yīng)的boost庫中的TCP網(wǎng)絡(luò)通信接口接收壓縮圖像，并采用JPEG-turbo解碼并通過3D顯示器進(jìn)行顯示。

本發(fā)明與現(xiàn)有技術(shù)方案相比具有以下有益效果和優(yōu)點：

本發(fā)明提出的自適應(yīng)變基線雙目立體相機系統(tǒng)，采用步進(jìn)電機驅(qū)動雙滑竿，在雙滑竿上面安裝兩個相機作為可變基線雙目相機，可視化端采用眼動儀跟蹤捕捉雙目觀察的興趣點，將觀察的雙目交匯點信息轉(zhuǎn)換為雙目相機的基線長度，反饋給遠(yuǎn)程雙目攝像機，步進(jìn)電機調(diào)節(jié)相應(yīng)基線，使得可視化端感興趣區(qū)域?qū)崿F(xiàn)最佳的3D視覺效果，并對重影區(qū)域進(jìn)行模糊化處理，既能避免人眼疲勞，又能夠產(chǎn)生較為真實的虛擬現(xiàn)實效果，在運用到遠(yuǎn)程機器人操控過程中能夠，通過在機器人上加裝雙目相機，實時回傳雙目圖像，客戶端顯示立體效果，遠(yuǎn)程客戶端即可在虛擬現(xiàn)實的環(huán)境中對遠(yuǎn)端機器人進(jìn)行沉浸式操控。

附圖說明

圖1是本發(fā)明提出的自適應(yīng)變基線雙目立體相機系統(tǒng)的部分結(jié)構(gòu)示意圖。

圖中編號說明：1、第一相機；2、第二相機；3、雙滑桿；4、服務(wù)器；5、客戶端；6、PC主機；7、3D顯示器；8、眼動儀；9、履帶；10、主動軸；11、步進(jìn)電機；12、電源。

具體實施方式

以下結(jié)合附圖和具體實施例對本發(fā)明作進(jìn)一步的詳細(xì)描述：

本實施例中，本發(fā)明提出的自適應(yīng)變基線雙目立體相機系統(tǒng)，包括：第一相機1、第二相機2、雙滑桿3、服務(wù)器4、客戶端5、PC主機6、3D顯示器7、眼動儀8、第一相機1通過一固定相機安裝云臺固定在雙滑竿3的一端，步進(jìn)電機11通過一電機安裝架固定在雙滑竿3的另一端，第二相機2通過一滑動相機安裝云臺可滑動安裝在雙滑桿3上，雙滑桿3上設(shè)置有一履帶9，履帶9通過主動軸10和一根從動軸套接在雙滑桿3的兩端，主動軸10與一步進(jìn)電機11的輸出軸相連，第二相機2固定在履帶9上，第一相機1和第二相機2均與PC主機6相連，PC主機6與服務(wù)器4和3D顯示器7分別相連，服務(wù)器4與客戶端5相連，3D顯示器7上加裝眼動儀8，PC主機6上安裝有眼動儀驅(qū)動軟件。

第一相機1和第二相機2的攝像頭位于同一水平面上。

步進(jìn)電機11與一電源12相連，電源12的輸出電壓為12V，輸出電流為1A。

PC主機的CPU為I3，內(nèi)存為2G，硬盤為256G，系統(tǒng)為Windows10。

PC主機6采用OpenCV及相機自帶SDK讀取第一相機1和第二相機2拍攝的圖像。

服務(wù)器4采用boost庫中的TCP網(wǎng)絡(luò)通信接口將獲取的壓縮后的圖像傳輸?shù)娇蛻舳?，客戶端5采用對應(yīng)的boost庫中的TCP網(wǎng)絡(luò)通信接口接收壓縮圖像，并采用JPEG-turbo解碼顯示。

客戶端5與服務(wù)器4之間通信采用winsocket UDP通信，對圖像的采集、壓縮、傳輸以及步進(jìn)電機11的運行進(jìn)行相應(yīng)的遠(yuǎn)程控制。

本發(fā)明提出的自適應(yīng)變基線雙目立體相機的工作原理如下：

通過眼動儀驅(qū)動軟件跟蹤捕捉雙目觀察的興趣點；

獲取眼動儀8上的視點跟蹤數(shù)據(jù)并將視點跟蹤數(shù)據(jù)轉(zhuǎn)換為圖像上相應(yīng)關(guān)注點的視差值，假設(shè)T時刻眼動儀捕捉的視點在圖像上的點為p_t點,則p_t點的視差可根據(jù)公式(1)獲得：

其中，b_e、f_e表示兩只眼睛的距離和眼睛的焦距，z_e表示眼睛到屏幕的垂直觀看距離；

獲得圖像上p_t點的視差值后根據(jù)公式(2)計算出兩相機的基線長度值

其中，表示計算得到的基線長度值，表示圖像上點p_t對應(yīng)的真實三維空間中的點到相機拍攝平面的垂直距離，該參數(shù)值可通過第一相機1和第二相機2先前拍攝的圖像匹配計算得出，f表示相機焦距；

將得到的相機基線長度值轉(zhuǎn)換為步進(jìn)電機11的移動指令，通過UDP指令傳給拍攝端，控制拍攝端步進(jìn)電機11移動，使第二相機2移動至指定基線長度，進(jìn)行拍攝；

采用opencv及相機自帶SDK讀取第一相機1和第二相機2拍攝的圖像；

采用boost庫中的TCP網(wǎng)絡(luò)通信接口進(jìn)行圖像傳輸，將服務(wù)器4端獲取的壓縮后的圖像傳輸?shù)娇蛻舳?；

客戶端5采用對應(yīng)的boost庫中的TCP網(wǎng)絡(luò)通信接口接收壓縮圖像，并采用JPEG-turbo解碼并通過3D顯示器7進(jìn)行顯示。

最后說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實施例對本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍中。