、外參數(shù)的標(biāo)定，以實(shí)現(xiàn)圖像畸變校正;3D顯示屏幕為指向性背光式的裸眼3D顯示屏幕，其僅向屏幕前方提供兩個(gè)視區(qū)，只有操作者的左、右眼同時(shí)位于視區(qū)內(nèi)才可以看見隨機(jī)散點(diǎn)圖內(nèi)隱藏的操作界面，而在其他位置只能看到隨機(jī)散點(diǎn)，如圖7所示，而且指向性背光式的裸眼3D顯示屏幕的防窺視廣角較大，這有利于增加人機(jī)交互系統(tǒng)顯示的私密性，另外，指向性背光式的裸眼3D顯示屏幕的亮度和對(duì)比度較普通液晶屏幕好。
[0031]人機(jī)交互時(shí)，操作者站在指向性背光式的裸眼3D顯示屏幕的前方，并使雙眼分別位于設(shè)定的左、右眼視區(qū)內(nèi)，此時(shí)，操作者將能看到隨機(jī)散點(diǎn)圖內(nèi)隱藏的操作界面，如圖9所示，而旁觀者的雙眼在非設(shè)定的左、右眼視區(qū)內(nèi)，只能看到雜亂的散點(diǎn)，如圖8所示。當(dāng)用戶對(duì)操作界面內(nèi)的按鈕進(jìn)行操作時(shí)，攝像機(jī)進(jìn)行拍照，以獲得操作者手部在指向性背光式的裸眼3D顯示屏幕的操作界面內(nèi)的按鈕上進(jìn)行操作的手勢圖像，圖像處理與信息判定終端對(duì)已獲得的手勢圖像進(jìn)行一系列處理，如畸變矯正、平滑處理及圖像分割技術(shù)，即可確定操作者手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將處理過的左眼圖像和右眼圖像傳輸至指向性背光式的裸眼3D顯示屏幕，指向性背光式的裸眼3D顯示屏幕載入左眼圖像和右眼圖像并顯示3D圖像;操作者可以在操作界面內(nèi)點(diǎn)擊數(shù)字按鈕，退格“―”按鈕等，直至操作者點(diǎn)擊確認(rèn)T按鈕時(shí)，表示輸入完畢，退出該人機(jī)交互界面。
[0032]其中，將指向性背光式的裸眼3D顯示屏幕的操作界面內(nèi)的按鈕設(shè)置成隨機(jī)顯示，如圖10所示，這有助于進(jìn)一步增加圖像的雜亂性，防止按鈕固定顯示時(shí)，旁觀者根據(jù)操作者的操作就可以大概猜出圖像中的信息。
[0033]另外，該裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)還包括播放器，當(dāng)用戶手部點(diǎn)擊按鈕時(shí)，播放器播出聲音。
[0034]其中，為了防止遮蔽效應(yīng)，將攝像機(jī)的個(gè)數(shù)設(shè)置為三個(gè)，其中人眼成像的虛擬屏幕的左上角與右上角各設(shè)置一個(gè)攝像機(jī)，虛擬屏幕的正下方設(shè)置一個(gè)攝像機(jī)，如圖5所示。三個(gè)攝像機(jī)拍攝三幅操作者的手部在指向性背光式的裸眼3D顯示屏幕的操作界面內(nèi)的手勢圖像，通過對(duì)這三幅圖像的處理，確定操作者手部點(diǎn)擊的按鈕與想執(zhí)行的操作。
[0035]另外，為了防止三個(gè)攝像機(jī)時(shí)放在虛擬屏幕的正下方的那個(gè)攝像機(jī)需要的視角較廣，可使用四個(gè)攝像機(jī)，這四個(gè)攝像機(jī)分別放置在人眼成像的虛擬屏幕的對(duì)角線的四個(gè)頂端，如圖6所示。此時(shí)，四個(gè)攝像機(jī)拍攝四幅手勢圖像，通過對(duì)這四幅圖像的處理，確定操作者手部點(diǎn)擊的按鈕與想執(zhí)行的操作。
[0036]當(dāng)然，也可以設(shè)置更多的攝像機(jī)，只要保證所有攝像機(jī)拍攝區(qū)域的并集為整個(gè)屏幕前方的區(qū)域即可，對(duì)各個(gè)攝像機(jī)拍攝的所有手勢圖像進(jìn)行處理，以確定操作者手部點(diǎn)擊的按鈕與想執(zhí)行的操作。
[0037]本發(fā)明一種裸眼3D私隱式虛擬人機(jī)交互的交互方法如下:首先，基于隨機(jī)散點(diǎn)圖繪制3D顯示所需的左眼圖像及右眼圖像;其次，用3D顯示屏幕載入左眼圖像和右眼圖像并顯示3D圖像;再次，用圖像獲取設(shè)備獲取用戶手部在3D顯示屏幕的操作界面內(nèi)的按鈕上操作的手勢圖像;然后，用圖像處理與信息判定終端對(duì)圖像獲取設(shè)備獲取的手勢圖像進(jìn)行處理，以確定用戶手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將處理過的左眼圖像和右眼圖像傳輸至3D顯示屏幕;最后，用3D顯示屏幕載入左眼圖像和右眼圖像并顯示3D圖像。
[0038]其中，用圖像處理與信息判定終端對(duì)圖像獲取設(shè)備獲取的手勢圖像進(jìn)行處理，以確定用戶手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將左眼圖像和右眼圖像傳輸至3D顯示屏幕的步驟如下:首先，在手勢圖像上利用畸變矯正、平滑處理及圖像分割技術(shù)提取手指的輪廓;其次，根據(jù)3D顯示屏幕與圖像獲取設(shè)備的位置關(guān)系及手指在圖像獲取設(shè)備獲取的手勢圖像中的圖像坐標(biāo)計(jì)算出手指的世界坐標(biāo);然后，比對(duì)手指的世界坐標(biāo)和3D顯示屏幕的操作界面內(nèi)的各個(gè)按鈕的世界坐標(biāo)，即可確定用戶點(diǎn)擊的按鈕與想要執(zhí)行的操作;最后，分別在對(duì)應(yīng)的左眼圖像和右眼圖像中執(zhí)行相應(yīng)的操作，并將處理過的左眼圖像和右眼圖像傳輸至3D顯示屏幕。
[0039]顯然，本發(fā)明的上述實(shí)施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對(duì)本發(fā)明的實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無需也無法對(duì)所有的實(shí)施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，包括圖像獲取設(shè)備、圖像處理與信息判定終端及3D顯示屏幕；圖像獲取設(shè)備用于獲取用戶手部在3D顯示屏幕的操作界面內(nèi)的按鈕上進(jìn)行操作的手勢圖像;圖像處理與信息判定終端用于對(duì)圖像獲取設(shè)備獲取的手勢圖像進(jìn)行處理，以確定用戶手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將處理過的左眼圖像和右眼圖像傳輸至3D顯示屏幕;3D顯示屏幕用于載入左眼圖像和右眼圖像并顯示3D圖像;所述左眼圖像和右眼圖像均基于隨機(jī)散點(diǎn)圖繪制。2.根據(jù)權(quán)利要求1所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，所述圖像獲取設(shè)備為攝像機(jī)。3.根據(jù)權(quán)利要求2所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，所述攝像機(jī)的視角大于等于90°。4.根據(jù)權(quán)利要求3所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，所述攝像機(jī)的個(gè)數(shù)為兩個(gè)，兩個(gè)攝像機(jī)分別位于人眼成像的虛擬屏幕的左上角與右上角，且均與水平面成45°夾角。5.根據(jù)權(quán)利要求3所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，所述攝像機(jī)的個(gè)數(shù)為兩個(gè)以上，且所有攝像機(jī)拍攝區(qū)域的并集為整個(gè)屏幕前方的區(qū)域。6.根據(jù)權(quán)利要求1所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，3D顯示屏幕的操作界面內(nèi)的按鈕呈隨機(jī)顯示。7.根據(jù)權(quán)利要求1所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，還包括播放器，當(dāng)用戶手部點(diǎn)擊按鈕時(shí)，播放器播出聲音。8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)，其特征在于，3D顯示屏幕為指向性背光式的裸眼3D顯示屏幕。9.一種裸眼3D私隱式虛擬人機(jī)交互方法，其特征在于，包括如下步驟: 9.1)基于隨機(jī)散點(diǎn)圖繪制3D顯示所需的左眼圖像及右眼圖像； 9.2)用3D顯示屏幕載入左眼圖像和右眼圖像并顯示3D圖像； 9.3)用圖像獲取設(shè)備獲取用戶手部在3D顯示屏幕的操作界面內(nèi)的按鈕上操作的手勢圖像； 9.4)用圖像處理與信息判定終端對(duì)圖像獲取設(shè)備獲取的手勢圖像進(jìn)行處理，以確定用戶手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將處理過的左眼圖像和右眼圖像傳輸至3D顯示屏幕； 9.5)用3D顯示屏幕載入左眼圖像和右眼圖像并顯示3D圖像。10.根據(jù)權(quán)利要求9所述的裸眼3D私隱式虛擬人機(jī)交互方法，其特征在于，所述步驟9.4)中用圖像處理與信息判定終端對(duì)圖像獲取設(shè)備獲取的手勢圖像進(jìn)行處理，以確定用戶手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將左眼圖像和右眼圖像傳輸至3D顯示屏幕的步驟如下: 10.1)在手勢圖像上利用畸變矯正、平滑處理及圖像分割技術(shù)提取手指的輪廓； 10.2)根據(jù)3D顯示屏幕與圖像獲取設(shè)備的位置關(guān)系及手指在圖像獲取設(shè)備獲取的手勢圖像中的圖像坐標(biāo)計(jì)算出手指的世界坐標(biāo)； 10.3)比對(duì)手指的世界坐標(biāo)和3D顯示屏幕的操作界面內(nèi)的各個(gè)按鈕的世界坐標(biāo)，即可確定用戶點(diǎn)擊的按鈕與想要執(zhí)行的操作； 10.4)分別在對(duì)應(yīng)的左眼圖像和右眼圖像中執(zhí)行相應(yīng)的操作，并將處理過的左眼圖像和右眼圖像傳輸至3D顯示屏幕。
【專利摘要】本發(fā)明涉及顯示技術(shù)和人機(jī)交互技術(shù)領(lǐng)域，具體涉及一種裸眼3D私隱式虛擬人機(jī)交互系統(tǒng)及方法，該人機(jī)交互系統(tǒng)包括圖像獲取設(shè)備、圖像處理與信息判定終端及3D顯示屏幕；圖像獲取設(shè)備用于獲取用戶手部在3D顯示屏幕的操作界面內(nèi)的按鈕上進(jìn)行操作的手勢圖像；圖像處理與信息判定終端用于對(duì)圖像獲取設(shè)備獲取的手勢圖像進(jìn)行處理，以確定用戶手部點(diǎn)擊的按鈕與想執(zhí)行的操作，在對(duì)應(yīng)的左眼圖像和右眼圖像上執(zhí)行相應(yīng)的操作后將處理過的左眼圖像和右眼圖像傳輸至3D顯示屏幕；3D顯示屏幕用于載入左眼圖像和右眼圖像并顯示3D圖像；左眼圖像和右眼圖像均基于隨機(jī)散點(diǎn)圖繪制。本發(fā)明不但防窺視廣角較大，而且圖像的雜亂性也比較大，保證人機(jī)交互系統(tǒng)顯示的私密性。
【IPC分類】G06F3/01, G06F3/0481
【公開號(hào)】CN105573491
【申請(qǐng)?zhí)枴緾N201510774535
【發(fā)明人】王嘉輝, 池騁, 周建英, 梁浩文, 李焜陽, 許宇滿, 陳海域, 林岱昆
【申請(qǐng)人】廣東順德中山大學(xué)卡內(nèi)基梅隆大學(xué)國際聯(lián)合研究院
【公開日】2016年5月11日
【申請(qǐng)日】2015年11月13日