本發(fā)明涉及視覺增加智能穿戴設備技術領域，尤其涉及一種智能視覺輔助增強系統(tǒng)及其使用方法。

背景技術：

“可穿戴式智能設備”是對日常穿戴進行智能化設計、開發(fā)出的可以穿戴的智能設備的總稱。隨著移動互聯(lián)網(wǎng)的發(fā)展和高性能、低功耗處理芯片的應用，可穿戴式智能設備的形態(tài)開始變得多樣化，如眼鏡、手套、手表、服飾及鞋等。目前，可穿戴式智能設備逐漸在工業(yè)、醫(yī)療、教育、娛樂等諸多領域表現(xiàn)出重要的研究價值和應用潛力，其中部分新穎的可穿戴式智能設備已經(jīng)逐步商用化。

本發(fā)明主要涉及“可穿戴式智能設備”中的“頭戴式智能設備”，即智能眼鏡、智能隱形眼鏡、智能頭盔等設備。在該領域，主要的商用化應用由谷歌和三星提出，此外，索尼、微軟等公司也提出了各自的產(chǎn)品原型。

谷歌眼鏡(googleprojectglass)是由谷歌公司發(fā)布的一款增強現(xiàn)實智能眼鏡，它集眼鏡、智能手機、gps、相機、攝像機于一身，可以將信息顯示在鏡片的微型投影儀上并疊加到用戶的視野中，在用戶眼前實時展現(xiàn)彈出式的提醒，相比手機更為直觀。谷歌眼鏡的主要功能包括拍攝照片、視頻通話、查詢天氣、查詢交通信息、地圖導航、網(wǎng)頁瀏覽、收發(fā)電子郵件、收發(fā)文字信息或語音信息等。谷歌眼鏡的結構包括：攝像頭用來拍攝視頻與圖像；存儲傳輸模塊用于存儲與輸出數(shù)據(jù)；操控設備可通過語音、觸控和自動三種模式控制，除了語音指令控制之外，還允許動作指令控制，例如用戶只需要眨眼就能夠控制其他功能，這就需要傳感器來進行各種動作檢測；微型投影儀進行信息的顯示，由于微型投影儀固定在右眼的鏡片，所以谷歌眼鏡應用的是單眼型顯示技術；嵌入式天線能夠將數(shù)據(jù)傳輸?shù)狡渌O備(如智能手機)上進行處理；橫置于鼻梁上的鼻托里植入了電容，感應器能夠辨識眼鏡是否被佩戴；電池可以支持設備的正常使用并進行充電。

目前，谷歌正在開發(fā)智能隱形眼鏡，該應用能夠測量佩戴者淚液中的葡萄糖，幫助糖尿病患者檢測血糖水平。該設備在軟性隱形眼鏡的兩層材料之間嵌入了微型無線芯片和小型化的葡萄糖傳感器，并集成微型led光源，通過閃光來提示葡萄糖水平超過上限或下限。此外，谷歌智能隱形眼鏡的功能還包括：追蹤佩戴者的體溫或血液中的酒精含量，檢測空氣中的過敏原和產(chǎn)品價格標簽識別等。

三星公司也提出了智能眼鏡(gearglass)相關的專利。這款智能眼鏡不僅能夠像谷歌眼鏡一樣收發(fā)消息，拍照錄像等，其功能還包括基于現(xiàn)有內容將其他信息疊加到用戶看到的實時景象上，比如在看國外視頻時自動添加字幕，在看球賽時推送球員的相關信息等。gearglass允許與手機等其他設備進行交互。

此外，三星最新獲批了智能隱形眼鏡專利，其基本形狀與一般隱形眼鏡類似，其中內置有攝像頭、傳感器、嵌入式天線、微細屏幕等。傳感器可以檢測到各種動作，用戶只需通過眨眼睛能夠控制其他功能，嵌入式天線能夠將數(shù)據(jù)傳輸?shù)街悄苁謾C上進行處理，微細屏幕能將影像直接投射到佩戴者的眼球之上。相比傳統(tǒng)智能眼鏡，三星智能隱形眼鏡佩戴起來非常隱蔽，且圖像是直接投影到眼睛上的，不需要其他的載體。

索尼公司也提出了智能眼鏡(smarteyeglass)的原型產(chǎn)品。與谷歌眼鏡類似，smarteyeglass能在用戶的眼前實時顯示信息。與谷歌眼鏡不同的是，smarteyeglass外觀更像是普通眼鏡，在透明鏡片上以綠色的文字顯示信息。此外，smarteyeglass采用雙眼型顯示技術，使文字的顯示呈現(xiàn)距離感，從而更易閱讀，這也有別于谷歌眼鏡。smarteyeglass還集成了嵌入的攝像頭、麥克風，以及與智能手機類似的傳感器，包括加速計、陀螺儀和數(shù)字羅盤等。

微軟公司在該領域提出的原型產(chǎn)品hololens也是一種增強現(xiàn)實全息智能眼鏡。hololens以實際周圍環(huán)境作為載體，通過在現(xiàn)實的世界里添加各種虛擬物體或信息，讓用戶以環(huán)境為載體進行全息體驗。hololens將人的頭部移動虛擬成指針，將手勢用作動作開關，而將聲音指令作為輔助，幫助切換不同的動作指令。

技術實現(xiàn)要素：

為解決上述技術問題，本發(fā)明的目的是提供一種能夠將用戶視線內的文字進行注釋并疊加顯示在用戶視野中的智能視覺輔助增強系統(tǒng)和方法。

本發(fā)明提出的一種智能視覺輔助增強系統(tǒng)，包括兩個微型攝像頭、微型顯示屏、微型處理器、存儲模塊、麥克風、設備控制模塊和電池；

所述兩個微型攝像頭分別為向后捕捉眼睛注視點以及焦距變化的后向攝像頭和獲取用戶視線集中處圖像的前向攝像頭；

所述后向攝像頭和前向攝像頭均傳信于所述微型處理器，所述微型處理器傳信于所述微型顯示屏，所述存儲模塊與所述微型處理器通信連接，所述后向攝像頭、前向攝像頭、微型顯示屏、微型處理器和存儲模塊組成增強現(xiàn)實設備；

所述麥克風用于發(fā)出語音指令，所述麥克風傳信于所述設備控制模塊，所述設備控制模塊控制所述增強現(xiàn)實設備的運作；

所述電池用于提供系統(tǒng)所需的電能。

進一步的，所述微型顯示屏呈透明狀。

進一步的，所述系統(tǒng)為雙目式系統(tǒng)，所述系統(tǒng)運行和關閉由用戶的語音控制。

本發(fā)明提出的一種智能視覺輔助增強系統(tǒng)的使用方法，包括以下步驟：

(1)自動獲取視線中的圖像：通過系統(tǒng)前方懸置的一個后向攝像頭捕捉眼睛的注視點以及焦距變化，如果用戶的視線停留超過一定時間，則通過一個前向攝像頭自動獲取用戶視線集中處的圖像；

(2)圖像處理：通過系統(tǒng)內置的微型處理器對獲取的圖像進行處理，獲取文字信息；

(3)虛擬顯示：將圖像中獲取的文字信息回傳至該系統(tǒng)，在微型透明顯示屏中顯示，顯示效果是在用戶眼前的環(huán)境中疊加文字信息，實現(xiàn)視覺增強效果。

進一步的，步驟(1)中采用眼動跟蹤(eyetrackingmethodology)技術，來捕捉眼睛的注視點以及焦距變化。

進一步的，步驟(2)中圖像處理的方法包括以下步驟：

((a)智能文字識別：通過智能文字識別技術，將圖像中的圖片文字轉化為文本格式；

(b)智能圖像識別：對圖像本身，通過使用以圖識圖技術，獲得對圖像的說明信息的文本格式；

(c)文本注釋、翻譯：對步驟(a)和(b)中的文本進行注解，如果該文本屬于使用者設置的母語，則注釋可以調用維基百科詞條；如果該文本對于使用者來說是非母語，則通過翻譯軟件將其轉化為使用者母語的文字，并調用維基百科詞條。

進一步的，步驟(3)中采用光學透視式增強現(xiàn)實，將光投射到反射屏上，而后通過凸透鏡折射到人的眼球，在眼前形成一個足夠大的虛擬屏幕來進行顯示，由于鏡片上的顯示屏是透明的，現(xiàn)實環(huán)境和虛擬屏幕的內容能夠達到疊加顯示的效果。

借由上述方案，本發(fā)明至少具有以下優(yōu)點：該智能視覺輔助增強系統(tǒng)及其使用方法，該系統(tǒng)能夠像眼鏡一樣帶在用戶的臉上，采用眼動跟蹤(eyetrackingmethodology)技術，通過后向攝像頭捕捉眼睛的注視點以及焦距變化，獲取用戶視線停留超過一定時間的圖像，將其轉換為文字并進行注釋，最終回傳至該系統(tǒng)，疊加在用戶視野中進行顯示，采用語音指令控制的模式由用戶發(fā)出語音指令，控制系統(tǒng)的運行，該系統(tǒng)具有顯示效果好、使用簡便的優(yōu)勢，可以完全獨立使用，無需線纜連接，也無需同步電腦或智能手機等設備。

上述說明僅是本發(fā)明技術方案的概述，為了能夠更清楚了解本發(fā)明的技術手段，并可依照說明書的內容予以實施，以下以本發(fā)明的較佳實施例并配合附圖詳細說明如后。

附圖說明

圖1為本發(fā)明一種智能視覺輔助增強系統(tǒng)的結構框架圖；

圖2為本發(fā)明一種智能視覺輔助增強系統(tǒng)的使用方法的步驟示意圖。

具體實施方式

下面結合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述，以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

實施例：一種智能視覺輔助增強系統(tǒng)，包括兩個微型攝像頭、微型顯示屏3、微型處理器4、存儲模塊5、麥克風6、設備控制模塊7和電池8；

所述兩個微型攝像頭分別為向后捕捉眼睛注視點以及焦距變化的后向攝像頭1和獲取用戶視線集中處圖像的前向攝像頭2；

所述后向攝像頭和前向攝像頭均傳信于所述微型處理器，所述微型處理器傳信于所述微型顯示屏，所述存儲模塊與所述微型處理器通信連接，所述后向攝像頭、前向攝像頭、微型顯示屏、微型處理器和存儲模塊組成增強現(xiàn)實設備；

所述麥克風用于發(fā)出語音指令，所述麥克風傳信于所述設備控制模塊，所述設備控制模塊控制所述增強現(xiàn)實設備的運作；

所述電池用于提供系統(tǒng)所需的電能。

進一步的，所述微型顯示屏呈透明狀。

進一步的，所述系統(tǒng)為雙目式系統(tǒng)，所述系統(tǒng)運行和關閉由用戶的語音控制。

該智能視覺輔助增強系統(tǒng)的使用方法，包括以下步驟：

第一步，通過該系統(tǒng)前方懸置的一個后向攝像頭捕捉眼睛的注視點以及焦距變化，如果用戶的視線停留超過一定時間，則通過一個前向攝像頭自動獲取用戶視線集中處的圖像，用于在下一步驟中進行處理。這里應用的是眼動跟蹤(eyetrackingmethodology)技術，即對眼睛的注視點進行測量的技術。當前用于可穿戴式智能設備的眼動跟蹤主要是基于圖像和視頻測量法，該方法囊括了多種測量可區(qū)分眼動特征的技術，這些特征有鞏膜和虹膜的異色邊沿、角膜反射的光強以及瞳孔的外觀形狀等。

第二步，通過該系統(tǒng)內置的微型處理器對獲取的圖像進行處理，包括如下步驟：(a)通過智能文字識別技術，將圖像中的圖片文字轉化為文本格式。(b)對圖像本身，通過使用以圖識圖技術，獲得對圖像的說明信息的文本格式。(c)對步驟(a)和(b)中的文本進行注解，如果該文本屬于使用者設置的母語，則注釋可以調用維基百科詞條；如果該文本對于使用者來說是非母語，則通過翻譯軟件將其轉化為使用者母語的文字，并調用維基百科詞條。這里還需要一個存儲模塊支持微型處理器的工作，用于存儲數(shù)據(jù)。

第三步，將上述從圖像中獲取的文字信息回傳至該系統(tǒng)，在微型透明顯示屏中顯示，顯示效果是在用戶眼前的環(huán)境中疊加文字信息。這里使用的是增強現(xiàn)實(augmentedreality，ar)技術，這是一種實時計算攝像機影像的位置及角度并加上相應圖像、視頻、3d模型的技術。該技術不僅展現(xiàn)了真實世界的信息,而且將虛擬的信息同時顯示出來，相互補充、疊加，并進行互動。增強現(xiàn)實技術囊括了多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等技術。本發(fā)明使用的是光學透視式增強現(xiàn)實，即在增強現(xiàn)實中廣泛應用的基于光學原理的穿透式(opticalsee-through)技術，其顯示方案是將光投射到反射屏上，而后通過凸透鏡折射到人的眼球，在眼前形成一個足夠大的虛擬屏幕來進行顯示，同時，由于鏡片上的顯示屏是透明的，現(xiàn)實環(huán)境和虛擬屏幕的內容達到疊加顯示的效果。本發(fā)明使用雙眼型顯示技術，因此，該系統(tǒng)是雙目式的。

本發(fā)明采用語音指令控制的模式，因此需要在該系統(tǒng)中配置麥克風和設備控制模塊，由用戶發(fā)出語音指令，控制設備的運行。電池用于支持設備的正常使用，可以通過接口或充電器進行充電。本發(fā)明可以完全獨立使用，因此無需線纜連接，也無需同步電腦或智能手機等設備。

舉例：用戶佩戴該智能視覺輔助增強系統(tǒng)，視線中出現(xiàn)一張英文的電影海報，用戶注視該海報，該系統(tǒng)通過智能圖像識別和智能文字識別，獲取海報上的英文為“harrypotterandthesorcerer'sstone”，由于用戶設置的母語為中文，該系統(tǒng)將其翻譯為“哈利·波特與魔法石”，疊加顯示在視線中英文名稱的附近，對于海報本身，則在其附近顯示維基百科中對于這部電影的詞條注釋。

以上所述僅是本發(fā)明的優(yōu)選實施方式，并不用于限制本發(fā)明，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明技術原理的前提下，還可以做出若干改進和變型，這些改進和變型也應視為本發(fā)明的保護范圍。