本發(fā)明涉及信息技術(shù)領域,尤其涉及一種基于固定觸發(fā)源的增強現(xiàn)實交互方法及系統(tǒng)。
背景技術(shù):
增強現(xiàn)實(Augmented Reality,簡稱AR)是國外眾多知名大學和研究機構(gòu)的研究熱點之一。AR技術(shù)不僅在與VR技術(shù)(虛擬現(xiàn)實)相類似的應用領域,諸如尖端武器、飛行器的研制與開發(fā)、數(shù)據(jù)模型的可視化、虛擬訓練、娛樂與藝術(shù)等領域具有廣泛的應用,而且由于其具有能夠?qū)φ鎸嵀h(huán)境進行增強顯示輸出的特性,在醫(yī)療研究與解剖訓練、精密儀器制造和維修、軍用飛機導航、工程設計和遠程機器人控制等領域,具有比VR技術(shù)更加明顯的優(yōu)勢。
申請?zhí)枮?01510785428.6的中國專利文件公開了一種基于增強現(xiàn)實技術(shù)實現(xiàn)互動的方法、系統(tǒng)和終端,其中所述方法為:服務器接收第一終端上傳的第一圖像和互動信息,保存第一圖像中的第一圖像信息和互動信息;第二終端獲取第二圖像,并實時提取第二圖像信息,將第二圖像信息發(fā)送至服務器;服務器查找與第二圖像信息相匹配的第一圖像信息和互動信息,以及將互動信息返回至第二終端;第二終端接通過增強現(xiàn)實將互動信息與第二圖像疊加以獲得增強現(xiàn)實信息;以及,第二終端顯示增強現(xiàn)實信息。然而上述的方法在更換不同互動信息時需要更換對應的圖像,操作較為復雜,并且互動內(nèi)容單一,用戶體驗不足。
技術(shù)實現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問題是:提供一種操作簡單的基于固定觸發(fā)源的增強現(xiàn)實交互方法及系統(tǒng)。
為了解決上述技術(shù)問題,本發(fā)明采用的技術(shù)方案為:
一種基于固定觸發(fā)源的增強現(xiàn)實交互方法,包括:
預設映射表,所述映射表存儲有第一圖像的第一圖像信息和與所述第一圖像信息對應的多個的互動信息組;所述第一圖像信息包括第一圖像的特征點和方位信息;所述互動信息組包括第一互動信息組,所述第一互動信息組包括第一方位信息和與所述第一方位信息對應的第一互動信息;所述第一互動信息包括文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種;
獲取第二圖像,所述第二圖像具有第二圖像信息,所述第二圖像信息包括第二圖像的特征點和第二方位信息;
若識別到所述第二圖像的特征點與第一圖像的特征點相匹配,獲取與第一圖像信息對應的互動信息組;
獲取互動信息組中的第二互動信息組;所述第二互動信息組包括第三方位信息和與所述第三方位信息對應的第二互動信息;
從第二互動信息組中提取與第二圖像信息中的第二方位信息的方位相同的第三方位信息對應的第二互動信息;
通過增強現(xiàn)實將與第二方位信息的方位相同的第三方位信息對應的第二互動信息與所述第二圖像疊加以得到增強現(xiàn)實信息。
本發(fā)明采用的另一技術(shù)方案為:
一種基于固定觸發(fā)源的增強現(xiàn)實交互系統(tǒng),包括:預設模塊、第一獲取模塊、第二獲取模塊、第三獲取模塊、提取模塊和增強現(xiàn)實模塊;
所述預設模塊,用于預設映射表,所述映射表存儲有第一圖像的第一圖像信息和與所述第一圖像信息對應的多個的互動信息組;所述第一圖像信息包括第一圖像的特征點和方位信息;所述互動信息組包括第一互動信息組,所述第一互動信息組包括第一方位信息和與所述第一方位信息對應的第一互動信息;所述第一互動信息包括文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種;
所述第一獲取模塊,用于獲取第二圖像,所述第二圖像具有第二圖像信息,所述第二圖像信息包括第二圖像的特征點和第二方位信息;
所述第二獲取模塊,用于若識別到所述第二圖像的特征點與第一圖像的特征點相匹配,獲取與第一圖像信息對應的互動信息組;
所述第三獲取模塊,用于獲取互動信息組中的第二互動信息組;所述第二互動信息組包括第三方位信息和與所述第三方位信息對應的第二互動信息;
所述提取模塊,用于從第二互動信息組中提取與第二圖像信息中的第二方位信息的方位相同的第三方位信息對應的第二互動信息;
所述增強現(xiàn)實模塊,用于通過增強現(xiàn)實將與第二方位信息的方位相同的第三方位信息對應的第二互動信息與所述第二圖像疊加以得到增強現(xiàn)實信息。
本發(fā)明的有益效果在于:本發(fā)明提供的基于固定觸發(fā)源的增強現(xiàn)實交互方法及系統(tǒng),采用第一圖像作為固定觸發(fā)源,并且該固定觸發(fā)源與多個互動信息組相關(guān)聯(lián),通過一個觸發(fā)源即可觸發(fā)多個互動信息組,在多個互動信息組之間切換時無需變更觸發(fā)源即可實現(xiàn)快速變更,操作簡單。結(jié)合方位信息,根據(jù)接收到的圖像信息中的方位信息獲取方位相同的互動信息,使得增強現(xiàn)實后可根據(jù)方位展現(xiàn),不同方位獲取到的圖像信息,互動信息在展示時的方位也是不同的,提高用戶體驗以及應用在教學領域時起到促進教學互動的作用。
附圖說明
圖1為本發(fā)明的一種基于固定觸發(fā)源的增強現(xiàn)實交互方法的步驟流程圖;
圖2為本發(fā)明的一種基于固定觸發(fā)源的增強現(xiàn)實交互系統(tǒng)的結(jié)構(gòu)示意圖;
圖3為本發(fā)明的一種基于固定觸發(fā)源的增強現(xiàn)實交互系統(tǒng)的實施示意圖;
圖4為本發(fā)明的一種基于固定觸發(fā)源的增強現(xiàn)實交互系統(tǒng)的示意圖;
標號說明:
1、預設模塊;2、第一獲取模塊;3、第二獲取模塊;4、第三獲取模塊;5、提取模塊;6、增強現(xiàn)實模塊;7、觸發(fā)區(qū)域;8、第一移動終端;9、第二移動終端。
具體實施方式
為詳細說明本發(fā)明的技術(shù)內(nèi)容、所實現(xiàn)目的及效果,以下結(jié)合實施方式并配合附圖予以說明。
本發(fā)明最關(guān)鍵的構(gòu)思在于:采用一對多的觸發(fā)方式,使操作更為簡單,并且結(jié)合方位信息,提高用戶體驗以及促進教學互動。
請參照圖1,本發(fā)明提供的一種基于固定觸發(fā)源的增強現(xiàn)實交互方法,包括:
預設映射表,所述映射表存儲有第一圖像的第一圖像信息和與所述第一圖像信息對應的多個的互動信息組;所述第一圖像信息包括第一圖像的特征點和方位信息;所述互動信息組包括第一互動信息組,所述第一互動信息組包括第一方位信息和與所述第一方位信息對應的第一互動信息;所述第一互動信息包括文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種;
獲取第二圖像,所述第二圖像具有第二圖像信息,所述第二圖像信息包括第二圖像的特征點和第二方位信息;
若識別到所述第二圖像的特征點與第一圖像的特征點相匹配,獲取與第一圖像信息對應的互動信息組;
獲取互動信息組中的第二互動信息組;所述第二互動信息組包括第三方位信息和與所述第三方位信息對應的第二互動信息;
從第二互動信息組中提取與第二圖像信息中的第二方位信息的方位相同的第三方位信息對應的第二互動信息;
通過增強現(xiàn)實將與第二方位信息的方位相同的第三方位信息對應的第二互動信息與所述第二圖像疊加以得到增強現(xiàn)實信息。
從上述描述可知,本發(fā)明的有益效果在于:本發(fā)明提供的基于固定觸發(fā)源的增強現(xiàn)實交互方法,采用第一圖像作為固定觸發(fā)源,并且該固定觸發(fā)源與多個互動信息組相關(guān)聯(lián),通過一個觸發(fā)源即可觸發(fā)多個互動信息組,在多個互動信息組之間切換時無需變更觸發(fā)源即可實現(xiàn)快速變更,操作簡單。結(jié)合方位信息,根據(jù)接收到的圖像信息中的方位信息獲取方位相同的互動信息,使得增強現(xiàn)實后可根據(jù)方位展現(xiàn),不同方位獲取到的圖像信息,互動信息在展示時的方位也是不同的,提高用戶體驗以及應用在教學領域時起到促進教學互動的作用。
進一步的,還包括顯示步驟:顯示所述增強現(xiàn)實信息。
由上述描述可知,將增強現(xiàn)實后得到的增強現(xiàn)實信息進行顯示,可直觀地觀察到獲取到的互動信息,并且更具有畫面感。
進一步的,還包括操作步驟:對所述增強現(xiàn)實信息進行操作;所述操作包括查看、評論、回復、收藏中的一種或幾種。
由上述描述可知,對所述增強現(xiàn)實信息可進行查看、評論、回復、收藏中的一種或幾種,例如進行評論后,所述增強現(xiàn)實信息會更新為評論與原增強顯示信息疊加生成新的增強現(xiàn)實信息并顯示,促進互動交流。
進一步的,所述第二圖像的特征點與所述第一圖像的特征點相匹配的判斷方法為:
獲取預設數(shù)量的第二圖像特征點的灰度值;
判斷第一圖像的特征點中是否存在與所述第二圖像特征點的灰度值相同的圖像特征點,若存在,則記錄相同圖像特征點的數(shù)量;
根據(jù)記錄的相同圖像特征點的數(shù)量除以第二圖像特征點的預設數(shù)量,計算得到所述第二圖像的特征點與所述第一圖像的特征點的相似度;
若所述相似度大于預設的相似度閾值,則判定所述第二圖像的特征點與所述第一圖像的特征點相匹配。
由上述描述可知,本發(fā)明采用上述方法來判斷兩個圖像是否匹配,具體為根據(jù)計算得到的兩個圖像的相似度,以及兩個圖像的相似度是否大于預設的相似度閾值的判斷,當相似度大于預設的相似度閾值(通常預設的相似度閾值為99%),則可以認定所述第二圖像的特征點與所述第一圖像的特征點是相匹配,還可以使用其他的計算方法來計算兩個圖像的相似度。
參閱圖2,本發(fā)明還提供的一種基于固定觸發(fā)源的增強現(xiàn)實交互系統(tǒng),包括:預設模塊1、第一獲取模塊2、第二獲取模塊3、第三獲取模塊4、提取模塊5和增強現(xiàn)實模塊6;
所述預設模塊1,用于預設映射表,所述映射表存儲有第一圖像的第一圖像信息和與所述第一圖像信息對應的多個的互動信息組;所述第一圖像信息包括第一圖像的特征點和方位信息;所述互動信息組包括第一互動信息組,所述第一互動信息組包括第一方位信息和與所述第一方位信息對應的第一互動信息;所述第一互動信息包括文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種;
所述第一獲取模塊2,用于獲取第二圖像,所述第二圖像具有第二圖像信息,所述第二圖像信息包括第二圖像的特征點和第二方位信息;
所述第二獲取模塊3,用于若識別到所述第二圖像的特征點與第一圖像的特征點相匹配,獲取與第一圖像信息對應的互動信息組;
所述第三獲取模塊4,用于獲取互動信息組中的第二互動信息組;所述第二互動信息組包括第三方位信息和與所述第三方位信息對應的第二互動信息;
所述提取模塊5,用于從第二互動信息組中提取與第二圖像信息中的第二方位信息的方位相同的第三方位信息對應的第二互動信息;
所述增強現(xiàn)實模塊6,用于通過增強現(xiàn)實將與第二方位信息的方位相同的第三方位信息對應的第二互動信息與所述第二圖像疊加以得到增強現(xiàn)實信息。
從上述描述可知,本發(fā)明的有益效果在于:本發(fā)明提供的基于固定觸發(fā)源的增強現(xiàn)實交互系統(tǒng),采用第一圖像作為固定觸發(fā)源,并且該固定觸發(fā)源與多個互動信息組相關(guān)聯(lián),通過一個觸發(fā)源即可觸發(fā)多個互動信息組,在多個互動信息組之間切換時無需變更觸發(fā)源即可實現(xiàn)快速變更,操作簡單。結(jié)合方位信息,根據(jù)接收到的圖像信息中的方位信息獲取方位相同的互動信息,使得增強現(xiàn)實后可根據(jù)方位展現(xiàn),不同方位獲取到的圖像信息,互動信息在展示時的方位也是不同的,提高用戶體驗以及應用在教學領域時起到促進教學互動的作用。
進一步的,還包括顯示模塊,用于顯示所述增強現(xiàn)實信息。
由上述描述可知,將增強現(xiàn)實后得到的增強現(xiàn)實信息進行顯示,可直觀地觀察到獲取到的互動信息,并且更具有畫面感。
進一步的,還包括操作模塊,用于對所述增強現(xiàn)實信息進行操作;所述操作包括查看、評論、回復、收藏中的一種或幾種。
由上述描述可知,對所述增強現(xiàn)實信息可進行查看、評論、回復、收藏中的一種或幾種,例如進行評論后,所述增強現(xiàn)實信息會更新為評論與原增強顯示信息疊加生成新的增強現(xiàn)實信息并顯示,促進互動交流。
進一步的,所述獲取模塊包括獲取單元、判斷單元、計算單元和判定單元;
所述獲取單元,用于獲取預設數(shù)量的第二圖像特征點的灰度值;
所述判斷單元,用于判斷第一圖像的特征點中是否存在與所述第二圖像特征點的灰度值相同的圖像特征點,若存在,則記錄相同圖像特征點的數(shù)量;
所述計算單元,用于根據(jù)記錄的相同圖像特征點的數(shù)量除以第二圖像特征點的預設數(shù)量,計算得到所述第二圖像的特征點與所述第一圖像的特征點的相似度;
所述判定單元,用于若所述相似度大于預設的相似度閾值,則判定所述第二圖像的特征點與所述第一圖像的特征點相匹配。
由上述描述可知,本發(fā)明采用上述方法來判斷兩個圖像是否匹配,具體為根據(jù)計算得到的兩個圖像的相似度,以及兩個圖像的相似度是否大于預設的相似度閾值的判斷,當相似度大于預設的相似度閾值(通常預設的相似度閾值為99%),則可以認定所述第二圖像的特征點與所述第一圖像的特征點是相匹配,還可以使用其他的計算方法來計算兩個圖像的相似度。
請參照圖1-4,本發(fā)明的實施例一為:
本發(fā)明提供的基于固定觸發(fā)源的增強現(xiàn)實交互方法主要應用在教學領域,關(guān)于實施例的場景說明如下:
1、在教室里,老師的講臺與學生的課桌一起沿圓周呈環(huán)形排布,在環(huán)形的中央位置的地面上設有觸發(fā)區(qū)域7,在觸發(fā)區(qū)域7上設有觸發(fā)圖像;觸發(fā)圖像特征程度建議達到5顆星(即通過高通Vuforia來判定),觸發(fā)圖像的制作方式不限,觸發(fā)圖像固定方式不限(甚至可設計為可靈活拆裝方式),觸發(fā)圖像尺寸根據(jù)教室實際空間確定,一般在直徑2m-10m之間,觸發(fā)圖像以圓形為最佳,但采用其它形式也可以。該觸發(fā)圖像是固定的,即為固定觸發(fā)源。采用任意一圖像作為固定觸發(fā)源,并且該固定觸發(fā)源與多個互動信息組相關(guān)聯(lián),通過一個觸發(fā)源即可觸發(fā)多個互動信息組,在多個互動信息組之間切換時無需變更觸發(fā)源即可實現(xiàn)快速變更,操作簡單。
2、老師的講臺上和學生的課桌上均擺放有移動終端,如ipad,老師的移動終端為第一移動終端8,學生的移動終端為第二移動終端9,第一移動終端8和第二移動終端9的攝像頭朝向觸發(fā)區(qū)域7,老師的講臺高度與學生的課桌的高度可能都不相同,桌面放置平板電腦或顯示器(顯示器+攝像頭+主機),也可以是AR眼鏡,需確保觸發(fā)圖像全部在攝像頭的捕捉范圍內(nèi)、需確保觸發(fā)圖像顯像清晰,且觸發(fā)圖像的遠端至攝像頭連線與地面夾角建議不小于10°。
本發(fā)明提供的基于固定觸發(fā)源的增強現(xiàn)實交互方法可獨立在一個設備端上實施,如下以學生的移動終端的操作為例,具體步驟如下:
步驟1、預設映射表,所述映射表存儲有第一圖像的第一圖像信息和與所述第一圖像信息對應的多個的互動信息組;所述第一圖像信息包括第一圖像的特征點和方位信息;所述互動信息組包括第一互動信息組,所述第一互動信息組包括第一方位信息和與所述第一方位信息對應的第一互動信息;所述第一互動信息包括文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種;
在本實施方式中,事先開啟學生的移動終端的攝像頭,將學生的移動終端的攝像頭面對的事物拍攝下來,拍攝的照片作為第一圖像,將多角度拍攝的每一個角度的第一圖像作為包含方位信息的第一圖像信息,其中拍攝的照片中的物體、輪廓、亮度等作為第一圖像的特征點,也可以是灰度。所述第一互動信息包括文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種;將文字信息、視頻信息、圖片信息、音頻信息、動畫特效中的一種或幾種不同的組合方式作為互動信息組,例如動畫特效作為第一互動信息組。將上述的第一圖像的第一圖像信息和與所述第一圖像信息對應的多個的互動信息組存儲在預設的映射表中,該映射表存儲在學生的移動終端的存儲器中。
步驟2、獲取第二圖像,所述第二圖像具有第二圖像信息,所述第二圖像信息包括第二圖像的特征點和第二方位信息;
在本實施方式中,再次通過學生的移動終端的攝像頭面對的事物拍攝下來,獲取到第二圖像,并且該移動終端能夠獲取到該第二圖像的第二圖像信息。
步驟3、若識別到所述第二圖像的特征點與第一圖像的特征點相匹配,獲取與第一圖像信息對應的互動信息組;
在本實施方式中,所述第二圖像的特征點與所述第一圖像的特征點相匹配的判斷方法為:
(1)獲取預設數(shù)量的第二圖像特征點的灰度值;
(2)判斷第一圖像的特征點中是否存在與所述第二圖像特征點的灰度值相同的圖像特征點,若存在,則記錄相同圖像特征點的數(shù)量;
(3)根據(jù)記錄的相同圖像特征點的數(shù)量除以第二圖像特征點的預設數(shù)量,計算得到所述第二圖像的特征點與所述第一圖像的特征點的相似度;
(4)若所述相似度大于預設的相似度閾值,則判定所述第二圖像的特征點與所述第一圖像的特征點相匹配。
本發(fā)明采用上述方法來判斷兩個圖像是否匹配,具體為根據(jù)計算得到的兩個圖像的相似度,以及兩個圖像的相似度是否大于預設的相似度閾值的判斷,當相似度大于預設的相似度閾值(通常預設的相似度閾值為99%),則可以認定所述第二圖像的特征點與所述第一圖像的特征點是相匹配,還可以使用其他的計算方法來計算兩個圖像的相似度。
步驟4、獲取互動信息組中的第二互動信息組;所述第二互動信息組包括第三方位信息和與所述第三方位信息對應的第二互動信息;
在本實施方式中,第二互動信息組為文字信息;由多角度來展示的每一個角度的文字信息作為包含第三方位信息的第二互動信息。
步驟5、從第二互動信息組中提取與第二圖像信息中的第二方位信息的方位相同的第三方位信息對應的第二互動信息;
在本實施方式中,若獲取第二圖像時是從第二圖像的正北方向獲取的,那么上述的第二方位信息即為正北方向,此時從第二互動信息組中獲取正北方向(即為第三方位信息)的文字信息。
步驟6、通過增強現(xiàn)實將與第二方位信息的方位相同的第三方位信息對應的第二互動信息與所述第二圖像疊加以得到增強現(xiàn)實信息。
在本實施方式中,通過增強現(xiàn)實將獲取正北方向(即為第三方位信息)的文字信息與所述第二圖像疊加以得到增強現(xiàn)實信息。再通過移動終端顯示該增強現(xiàn)實信息。例如在該同學的移動終端上可以看到動物長頸鹿的正面,而從正南方向獲取的觸發(fā)圖像的同學則在其移動終端上看到的是動物長頸鹿的背面,在教學過程中,老師可以直接提問坐在長勁鹿背面位置上的同學,增加老師與學生之間的交互。
在上述實施例的基礎上進一步提升移動終端之間的交互,具體如下:
老師的移動終端優(yōu)先獲取觸發(fā)源,經(jīng)過觸發(fā)源匹配后,進入教學程序,老師在其移動終端選擇一種類型的課程,即為選擇一種互動信息組,選擇完畢后,老師的移動終端會發(fā)送一同步控制信號給多個學生的移動終端,此時多個學生的移動終端同步開啟,并驅(qū)動獲取觸發(fā)源進入教學程序,系統(tǒng)會直接進入老師選擇的那一種互動信息組,如動物。老師的移動終端可對每一個學生的移動終端實現(xiàn)獨立控制,每一個學生的移動終端上顯示的內(nèi)容會根據(jù)其獲取不同方位的觸發(fā)源來顯示不同方位的增強現(xiàn)實,例如在正北方向獲取的觸發(fā)圖像的同學的移動終端上看到的是動物長頸鹿的正面,那么從正南方向獲取的觸發(fā)圖像的同學則在其移動終端上看到的是動物長頸鹿的背面,在教學過程中,老師可以直接提問坐在長勁鹿背面位置上的同學,增加老師與學生之間的交互。結(jié)合方位信息,根據(jù)接收到的圖像信息中的方位信息獲取方位相同的互動信息,使得增強現(xiàn)實后可根據(jù)方位展現(xiàn),不同方位獲取到的圖像信息,互動信息在展示時的方位也是不同的,提高用戶體驗以及應用在教學領域時起到促進教學互動的作用。
上述方法還包括操作步驟:對所述增強現(xiàn)實信息進行操作;所述操作包括查看、評論、回復、收藏中的一種或幾種。對所述增強現(xiàn)實信息可進行查看、評論、回復、收藏中的一種或幾種,例如學生的移動終端可進行評論后,所述增強現(xiàn)實信息會更新為評論與原增強顯示信息疊加生成新的增強現(xiàn)實信息并顯示,以及發(fā)送反饋至老師的移動終端,從而促進互動交流。
綜上所述,本發(fā)明提供的一種基于固定觸發(fā)源的增強現(xiàn)實交互方法及系統(tǒng),采用第一圖像作為固定觸發(fā)源,并且該固定觸發(fā)源與多個互動信息組相關(guān)聯(lián),通過一個觸發(fā)源即可觸發(fā)多個互動信息組,在多個互動信息組之間切換時無需變更觸發(fā)源即可實現(xiàn)快速變更,操作簡單。結(jié)合方位信息,根據(jù)接收到的圖像信息中的方位信息獲取方位相同的互動信息,使得增強現(xiàn)實后可根據(jù)方位展現(xiàn),不同方位獲取到的圖像信息,互動信息在展示時的方位也是不同的,提高用戶體驗以及應用在教學領域時起到促進教學互動的作用。
以上所述僅為本發(fā)明的實施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等同變換,或直接或間接運用在相關(guān)的技術(shù)領域,均同理包括在本發(fā)明的專利保護范圍內(nèi)。