基于讀屏應(yīng)用指令輸入方法及裝置的制造方法
【專利摘要】本發(fā)明實施例公開了一種讀屏應(yīng)用指令輸入方法，包括：獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)；在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢；確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。另外，本發(fā)明實施例還公開了一種讀屏應(yīng)用指令輸入裝置。采用本發(fā)明，可提高讀屏應(yīng)用的指令輸入的操作便利性。
【專利說明】
基于讀屏應(yīng)用指令輸入方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種讀屏應(yīng)用指令輸入方法及裝置。
【背景技術(shù)】
[0002]隨著智能手機(jī)、個人電腦等計算機(jī)設(shè)備的快速普及，各種移動互聯(lián)網(wǎng)應(yīng)用也層出不窮，越來越多的用戶能夠真實感受到移動互聯(lián)技術(shù)帶來的生活便利和無線樂趣;但是，社會中還有一部分特殊群體也需要使用智能手機(jī)等計算機(jī)設(shè)備，那就是有一定功能障礙的人群，例如視障人群，尤其是全盲的視障群體，完全是靠耳朵聽取聲音來操作計算機(jī)。
[0003]在使用智能手機(jī)、平板電腦、個人電腦等終端設(shè)備的輔助操作功能(包括但不限于Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用)時，用戶界面元素及其功能會被提取出來并通過TTS(Text to Speech，文字轉(zhuǎn)語音技術(shù))把所選擇的文字用語音播放出來，以幫助用戶了解手機(jī)屏幕當(dāng)前顯示的內(nèi)容;并且，用戶可以通過在觸摸屏上進(jìn)行點擊、滑動等操作，對終端進(jìn)行操作，給用戶帶來了更全面更豐富的使用體驗，尤其是使得存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)能夠無障礙的使用智能手機(jī)等終端設(shè)備。
[0004]也就是說，用戶必須手持智能手機(jī)、鼠標(biāo)等輸入設(shè)備才能對終端進(jìn)行操作。以智能手機(jī)為例，對于用戶來講，就算有語音的輔助，也需要用戶用手指在顯示界面上進(jìn)行多次點擊或者滑動操作。另外，若手機(jī)不在身邊，則無法進(jìn)行操作，使得用戶使用智能手機(jī)等終端設(shè)備的使用體驗不佳。進(jìn)一步地，對于存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來講，要準(zhǔn)確快速的尋找手機(jī)也存在一定的問題，這就造成了存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)在使用手機(jī)時操作的便利性不足。

【發(fā)明內(nèi)容】

[0005]基于此，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，特提出了一種基于讀屏應(yīng)用指令輸入方法。
[0006]—種基于讀屏應(yīng)用指令輸入方法，包括:
[0007]獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)；
[0008]在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢；
[0009]確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0010]可選的，在其中一個實施例中，所述用戶輸入的感應(yīng)操作包括通過已連接的可穿戴設(shè)備輸入的運動操作、通過已連接的攝像頭輸入的運動操作、通過紅外傳感器輸入的運動操作、通過麥克風(fēng)輸入的聲音控制操作、通過腦電波傳感器輸入的腦電波信號操作和/或通過聲吶裝置輸入的運動操作中的至少一個。
[0011]可選的，在其中一個實施例中，所述執(zhí)行所述讀屏功能操作的步驟之后還包括:
[0012]獲取所述讀屏功能操作的執(zhí)行結(jié)果；
[0013]在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息；
[0014]播放所述語音提示消息。
[0015]可選的，在其中一個實施例中，所述在預(yù)設(shè)的手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括:
[0016]獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框；
[0017]所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為:
[0018]根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0019]可選的，在其中一個實施例中，所述讀屏功能操作為音頻應(yīng)用開啟操作；
[0020]所述執(zhí)行所述讀屏功能操作的步驟具體為:
[0021]根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0022]可選的，在其中一個實施例中，所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為:
[0023]將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。
[0024]可選的，在其中一個實施例中，所述獲取用戶輸入的感應(yīng)操作的步驟之前還包括:
[0025]接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。
[0026]可選的，在其中一個實施例中，所述在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括:
[0027]獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息；
[0028]或
[0029]獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息；
[0030]所述方法還包括:
[0031 ]根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)；
[0032]根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。
[0033]此外，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，還提出了一種讀屏應(yīng)用指令輸入裝置。
[0034]一種讀屏應(yīng)用指令輸入裝置，包括:
[0035]動作獲取模塊，用于獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)；
[0036]目標(biāo)動作/手勢查找模塊，用于在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢；
[0037]操作確定執(zhí)行模塊，確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0038]可選的，在其中一個實施例中，所述用戶輸入的感應(yīng)操作包括通過已連接的可穿戴設(shè)備輸入的運動操作、通過已連接的攝像頭輸入的運動操作、通過紅外傳感器輸入的運動操作、通過麥克風(fēng)輸入的聲音控制操作、通過腦電波傳感器輸入的腦電波信號操作和/或通過聲吶裝置輸入的運動操作中的至少一個。
[0039]可選的，在其中一個實施例中，所述裝置還包括語音提示消息播放模塊，用于:
[0040]獲取所述讀屏功能操作的執(zhí)行結(jié)果；
[0041]在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息；
[0042]播放所述語音提示消息。
[0043]可選的，在其中一個實施例中，所述裝置還包括顯示界面獲取模塊，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框；
[0044]所述操作確定執(zhí)行模塊還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0045]可選的，在其中一個實施例中，所述讀屏功能操作為音頻應(yīng)用開啟操作；
[0046]所述操作確定執(zhí)行模塊還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0047]可選的，在其中一個實施例中，所述操作確定執(zhí)行模塊還用于:將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。
[0048]可選的，在其中一個實施例中，所述裝置還包括讀屏應(yīng)用開啟模塊，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。
[0049]可選的，在其中一個實施例中，所述裝置還包括反饋信息獲取模塊和數(shù)據(jù)庫更新模塊，其中:
[0050]所述反饋信息獲取模塊用于:
[0051 ]獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息；
[0052]或
[0053]獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息；
[0054]所述數(shù)據(jù)庫更新模塊用于:
[0055]根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)；
[0056]根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。
[0057]實施本發(fā)明實施例，將具有如下有益效果:
[0058]采用了上述讀屏應(yīng)用指令輸入方法及裝置之后，用戶可以通過對終端輸入終端或者與終端連接的其他設(shè)備可識別的感應(yīng)操作對終端進(jìn)行控制，具體的，根據(jù)獲取到的用戶輸入的感應(yīng)操作確定對應(yīng)的讀屏軟件的目標(biāo)動作/手勢，從而確定對應(yīng)的用戶需要輸入的操作指令，也就是說，終端根據(jù)接收到的數(shù)據(jù)確定用戶需要輸入的與讀屏應(yīng)用對應(yīng)的操作指令完成讀屏應(yīng)用的指令的輸入，并由讀屏軟件將相應(yīng)的操作指令發(fā)送給計算機(jī)對應(yīng)的裝置進(jìn)行執(zhí)行，實現(xiàn)了通過感應(yīng)操作向終端的讀屏應(yīng)用輸入指令和讀屏軟件將操作指令的輸出，相較于傳統(tǒng)技術(shù)中用戶必須通過終端的實體按鍵或觸控屏輸入指令的方案來講，可提高指令輸入的操作便利性;進(jìn)一步地，上述方案還實現(xiàn)了在用戶不手持終端的情況下也可操作終端，對讀屏應(yīng)用發(fā)送指令進(jìn)行相關(guān)操作，進(jìn)一步的提高了用戶使用讀屏應(yīng)用的操作便利性;尤其是針對存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來講，其操作便利性的提高尤為明顯。
【附圖說明】
[0059]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0060]其中:
[0061 ]圖1為一個實施例中一種讀屏應(yīng)用指令輸入方法的流程示意圖；
[0062]圖2為一個實施例中一種讀屏應(yīng)用指令輸入方法的流程示意圖；
[0063]圖3為一個實施例中動作/手勢數(shù)據(jù)庫的反饋更新方法的流程示意圖；
[0064]圖4為一個實施例中一種讀屏應(yīng)用指令輸入裝置的結(jié)構(gòu)示意圖；
[0065]圖5為一個實施例中運行前述讀屏應(yīng)用指令輸入方法的計算機(jī)設(shè)備的結(jié)構(gòu)示意圖。
【具體實施方式】
[0066]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0067]為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，在本實施例中，特提出了一種讀屏應(yīng)用指令輸入方法，該方法的實現(xiàn)可依賴于計算機(jī)程序，該計算機(jī)程序可運行于基于馮諾依曼體系的計算機(jī)系統(tǒng)之上，該計算機(jī)程序可以是讀屏應(yīng)用程序或屏幕閱讀應(yīng)用程序、與讀屏應(yīng)用或屏幕閱讀應(yīng)用程序關(guān)聯(lián)的與感應(yīng)操作數(shù)據(jù)采集的應(yīng)用程序。該計算機(jī)系統(tǒng)可以是智能手機(jī)、平板電腦、掌上電腦、筆記本電腦或個人電腦等計算機(jī)設(shè)備。
[0068]具體的，終端的讀屏應(yīng)用，有些是用戶安裝的，有些也可能是原先就內(nèi)置的:例如基于1S系統(tǒng)的voiceover就是內(nèi)置的，基于windows系統(tǒng)的NVDA就是用戶安裝的第三方軟件。
[0069]具體的，如圖1所示，上述讀屏應(yīng)用指令輸入方法包括如下步驟:
[0070]步驟SlOl:獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)。
[0071]感應(yīng)操作為用戶不直接在終端上進(jìn)行的操作，該操作可以被終端或者與終端相連的其他感應(yīng)設(shè)備獲取，例如可以通過傳感器或者其他感應(yīng)設(shè)備獲取到的用戶動作、聲音和/或腦波信號等操作。具體的，在本實施例中，上述用戶輸入的感應(yīng)操作包括通過已連接的可穿戴設(shè)備輸入的運動操作、通過已連接的攝像頭輸入的運動操作、通過紅外傳感器輸入的運動操作、通過麥克風(fēng)輸入的聲音控制操作、通過腦電波傳感器輸入的腦電波信號操作和/或通過聲吶裝置輸入的運動操作中的至少一個。
[0072]在一個實施例中，用戶可以通過與終端建立了通信連接的可穿戴設(shè)備(例如智能手環(huán))輸入運動軌跡等運動操作。
[0073]本發(fā)明實施例中所描述的可穿戴設(shè)備可為智能手表、智能手環(huán)、智能耳機(jī)等便于用戶佩戴的設(shè)備，在此不做限制。需要說明的是，在本實施例中，可穿戴設(shè)備與終端之間可以通過藍(lán)牙、WIF1、有線等方式進(jìn)行連接并建立通信關(guān)系，也就是說，在可穿戴設(shè)備與終端之間建立通信連接關(guān)系之后，終端與可穿戴設(shè)備之間可實現(xiàn)數(shù)據(jù)的發(fā)送和接收。
[0074]在該可穿戴設(shè)備上安裝了運動傳感器，用于檢測和獲取該可穿戴設(shè)備的運動操作，例如，運動傳感器可謂加速度傳感器和/或陀螺儀，加速度傳感器可以檢測軸向的線性動作，陀螺儀可以檢測偏轉(zhuǎn)、傾斜時的轉(zhuǎn)動角速度。例如，可通過三軸加速度傳感器檢測可穿戴設(shè)備在X、Y、Z三個方向上的加速度數(shù)據(jù)，并通過積分將X、Y、Z三個方向上的加速度數(shù)據(jù)轉(zhuǎn)換成即時速度，并將即時速度在時間軸上的積分作Χ、Υ、Ζ上的運動軌跡，然后將三個方向上的運動軌跡疊加在一起，得到可穿戴設(shè)備的運動軌跡圖。
[0075]也就是說，用戶可以通過可穿戴設(shè)備輸入運動操作，并獲取該運動操作的運動軌跡數(shù)據(jù)，通過與終端之間的通信連接關(guān)系將相應(yīng)的運動操作的運動軌跡數(shù)據(jù)發(fā)送給終端。需要說明的是，在本實施例中，用戶通過可穿戴設(shè)備輸入的運動操作包括單不限于晃動、曲線、滑動等操作。
[0076]在其他實施例中，用戶可以通過與終端建立了通信連接的攝像頭輸入運動操作。
[0077]本實施例所提及的攝像頭指的是與終端相連的外部攝像頭，例如固定安裝在房間某處的攝像頭，并且，該攝像頭中包含了通訊模塊，并且通過該通訊模塊與終端之間建立無線通信連接(例如WIFI連接、藍(lán)牙連接以及其他無線通訊連接方式)或者有線通信連接，并通過該通訊連接將采集到的視頻數(shù)據(jù)發(fā)送給終端。進(jìn)一步地，上述攝像頭可為單目攝像頭，也可為多攝像頭，例如，可使用多個攝像頭從不同角度采集的視頻圖像獲取對應(yīng)的深度圖、或者獲取對應(yīng)的三維圖像。在本步驟中，終端通過攝像頭采集到的視頻圖像之后，對該視頻圖像進(jìn)行圖像處理，獲取該視頻圖像中的運動操作數(shù)據(jù)，獲取運動操作數(shù)據(jù)的過程即為圖像識別的過程。上述運動操作數(shù)據(jù)可以是用戶的手部動作信息(即手勢操作)，也可以是用戶的肢體動作信息(即動作操作)，運動操作數(shù)據(jù)還可以是其他可以表示與用戶對應(yīng)的運動操作對應(yīng)的數(shù)據(jù)或信息。
[0078]在一個實施例中，上述圖像識別獲取運動操作數(shù)據(jù)的過程可以是:根據(jù)視頻圖像的每一個圖像幀，獲取每個圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個圖像幀之間的變化，從而獲取用戶手部的運動軌跡或者肢體動作。在另一個實施例中，上述圖像識別獲取運動操作數(shù)據(jù)的過程還可以是，獲取視頻圖像的每一個圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個圖像幀中確定手部的待測特征點，并根據(jù)視頻圖像中的每個圖像幀的手部待測特征點，確定用戶雙手的動作軌跡/動作名稱和/或位置。
[0079]在其他實施例中，上述感應(yīng)操作可以是用戶通過紅外傳感器輸入的運動操作。
[0080]紅外傳感器可以是終端內(nèi)置的裝置，也可以是與終端相連的外設(shè)的紅外傳感器。具體的，上述紅外傳感器包括了紅外線信號輸出模塊和紅外圖像采集模塊，且紅外線信號輸出模塊用于向外發(fā)射紅外線信號，例如，紅外線信號輸出模塊可以由一個或者多個紅外二極管構(gòu)成；另外，紅外圖像采集模塊用于采集紅外視頻圖像。例如，若紅外傳感器是與終端相連的外設(shè)紅外傳感器時，該紅外傳感器包括了通信模塊，紅外傳感器通過通信模塊與終端通過WIFI或藍(lán)牙等無線通信方式連接或者有線連接，并且通過上述連接傳輸數(shù)據(jù)，例如紅外傳感器通過上述通信連接向終端發(fā)送獲取到的紅外視頻圖像。在本步驟中，終端采集到的紅外視頻圖像之后，對該紅外視頻圖像進(jìn)行圖像處理，獲取該紅外視頻圖像中的人體動作數(shù)據(jù)，獲取人體動作數(shù)據(jù)的過程即為圖像識別的過程。
[0081]具體的，在本實施例中，上述人體動作數(shù)據(jù)可以是用戶的手部動作信息(即手勢操作)，也可以是用戶的肢體動作信息(即動作操作)，在其他實施例中，人體動作數(shù)據(jù)還可以是其他可以表示與用戶對應(yīng)的人體動作對應(yīng)的數(shù)據(jù)或信息。
[0082]在一個實施例中，上述人體動作數(shù)據(jù)獲取的過程可以是:根據(jù)紅外視頻圖像的每一個圖像幀，獲取每個圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，該外部輪廓可以根據(jù)紅外視頻圖像的圖像中的熱成像獲取，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個圖像幀之間的變化，從而獲取用戶手部的運動軌跡或者肢體動作。在另一個實施例中，上述人體動作數(shù)據(jù)獲取的過程還可以是，獲取紅外視頻圖像的每一個圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個圖像幀中確定手部的待測特征點，并根據(jù)紅外視頻圖像中的每個圖像幀的手部待測特征點，確定用戶雙手的動作軌跡/動作名稱和/或位置。
[0083]在其他實施例中，上述感應(yīng)操作可以是用戶通過麥克風(fēng)輸入的聲音控制操作。
[0084]在本實施例中，音頻數(shù)據(jù)的采集可以是通過麥克風(fēng)實現(xiàn)的，也可以通過其他聲音采集裝置實現(xiàn)的，并且，上述麥克風(fēng)等聲音采集裝置可以是終端內(nèi)置的，也可以外設(shè)的與終端之間相連的外部設(shè)備，并且可以與終端之間進(jìn)行通信數(shù)據(jù)的傳輸，例如，該外部設(shè)備可以向終端發(fā)送采集到的音頻數(shù)據(jù)。
[0085]需要說明的是，在本實施例中，上述麥克鳳或者其他聲音采集裝置可以是安裝在終端上的(例如終端內(nèi)置的麥克風(fēng))，也可以是與終端通過無線或者有線方式連接的麥克風(fēng)或者其他聲音采集裝置，例如，可以是與終端通過WiF1、藍(lán)牙或者其他無線通信連接方式連接的麥克風(fēng)，并且，該麥克風(fēng)可以將采集到的音頻數(shù)據(jù)發(fā)送給終端，以使終端接收到該麥克風(fēng)發(fā)送的音頻數(shù)據(jù)。
[0086]在其他實施例中，上述感應(yīng)操作還可以是通過腦電波傳感器輸入的腦電波信號操作
[0087]本實施例所提及的腦電波傳感器指的是與終端相連的外部腦電波傳感器，例如可穿戴的腦電波傳感器，并且，在該腦電波傳感器中包含了通信模塊，并且通過該通信模塊與終端之間建立通信連接。具體的，在該腦電波傳感器與終端之間是通過無線通信的方式進(jìn)行連接的情況下，腦電波傳感器包含的通信模塊為無線通信模塊，并且通過該無線通訊模塊與終端之間建立無線通信連接(例如WIFI連接、藍(lán)牙連接以及其他無線通訊連接方式)，并通過該無線通訊連接將采集到的腦波信號數(shù)據(jù)發(fā)送給終端。在上述腦電波傳感器與終端之間是通過有線通信的方式連接的情況下，腦電波傳感器包含的通信模塊為有線通信模塊，并且通過該有線通訊模塊與終端之間建立有線通信連接，并通過該有線通訊連接將采集到的腦波信號數(shù)據(jù)發(fā)送給終端。
[0088]—般來講，腦電波傳感器可以是可穿戴的頭盔、頭箍等形式的智能可穿戴設(shè)備，其腦波信號采集的感應(yīng)區(qū)域為大腦前額皮質(zhì)區(qū)。針對用戶的腦波信號，腦電波傳感器將感應(yīng)到的腦波信號通過預(yù)設(shè)的途徑發(fā)送給終端，在本實施例中，終端即為與該腦電波傳感器建立了通信連接的終端設(shè)備。
[0089]在其他實施例中，上述感應(yīng)操作還可以是通過聲吶裝置輸入的運動操作。
[0090]聲吶，即Sound Navigat1n And Ranging(SONAR)，聲音導(dǎo)航與測距，是一種利用聲波的傳播特性，通過電聲轉(zhuǎn)換和信息處理，完成探測和通訊任務(wù)的電子設(shè)備。它有主動式和被動式兩種類型，屬于聲學(xué)定位的范疇。
[0091]在本實施例中所提及的聲吶裝置可以是終端內(nèi)置的聲吶裝置，該聲吶裝置包括了麥克風(fēng)和揚聲器，揚聲器用于向外發(fā)送超聲波，麥克風(fēng)用于接收聲波。在其他實施例中，上述聲吶裝置還可以是外設(shè)的聲吶裝置，例如，安裝在房間某處的聲吶裝置，該聲吶裝置通過有線或者WiF1、藍(lán)牙等無線連接方式與終端相連，并可以通過上述連接實現(xiàn)與終端之間的通信，也就是說，聲吶裝置和終端之間能相互傳輸數(shù)據(jù)。
[0092]聲吶裝置在采集到距離信息和位置信息之后，根據(jù)采集到的距離信息和位置信息，確定對應(yīng)的用戶輸入的感應(yīng)操作。具體的，在任意時刻，根據(jù)聲吶裝置采集到的距離信息和位置信息，可以確定在預(yù)設(shè)區(qū)域或者預(yù)設(shè)平面上的物體的分布信息，然后根據(jù)聲吶裝置持續(xù)采集的位置信息和距離信息，就可以確定在一段時間內(nèi)預(yù)設(shè)區(qū)域或者預(yù)設(shè)平面上的物體變化的信息。例如，在聲吶裝置采集的為某個特定平面上的距離和位置信息時，可以確定在該平面區(qū)域上的物體變化的軌跡，例如，可以確定用戶在該平面上輸入的滑動軌跡。再例如，在聲吶裝置采集的其覆蓋范圍之內(nèi)的空間之內(nèi)的位置信息和距離信息時，可以確定在該控件區(qū)域內(nèi)的人體運動信息。上述用戶在該平面上輸入的滑動軌跡以及在該控件區(qū)域內(nèi)的人體運動信息即為用戶輸入的運動操作。
[0093]在獲取到用戶輸入的感應(yīng)操作之后，需要對獲取到的感應(yīng)操作進(jìn)行特征提取，SP，獲取所述感應(yīng)操作的特征數(shù)據(jù)。在本實施例中，不同的感應(yīng)操作，其對應(yīng)的特征數(shù)據(jù)不同。例如，在感應(yīng)操作為運動操作時，獲取的特征數(shù)據(jù)可以是但不限于該感應(yīng)操作運動軌跡、運動時長、軌跡長度、敲擊頻率、和/或動作幅度等;在例如，在感應(yīng)操作為腦電波信號操作時，獲取的特征數(shù)據(jù)可以是腦電波信號的腦波類型、頻率、電位等等特征數(shù)據(jù)。也就是說，可以根據(jù)感應(yīng)操作的具體類型和用戶的需求進(jìn)行設(shè)置，設(shè)定在本步驟中需要進(jìn)行提取的感應(yīng)操作的特征數(shù)據(jù)。
[0094]步驟S102:在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢。
[0095]在本實施例中，讀屏應(yīng)用可識別的動作/手勢包括但不限于左劃、右劃、上下滑動、雙擊、單擊等，用戶可根據(jù)需要設(shè)置多個動作/手勢，例如雙指縮放。
[0096]動作/手勢數(shù)據(jù)庫是讀屏應(yīng)用中預(yù)設(shè)的操作動作/手勢，也就是說，當(dāng)檢測到與動作/手勢數(shù)據(jù)庫中的操作動作/手勢匹配的操作動作/手勢時，即可將該操作動作/手勢判定為有效動作/手勢，否則判定為無效操作動作/手勢。
[0097]在本實施例中，需預(yù)先設(shè)定動作/手勢數(shù)據(jù)庫中的動作/手勢與輸入的感應(yīng)操作之間的對應(yīng)關(guān)系，也即設(shè)定動作/手勢數(shù)據(jù)庫中的動作/手勢與通過可穿戴設(shè)備輸入的感應(yīng)操作的特征數(shù)據(jù)之間的對應(yīng)關(guān)系。在上述對應(yīng)關(guān)系建立之后，可通過該對應(yīng)關(guān)系在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)對應(yīng)的目標(biāo)動作/手勢，即與用戶輸入的感應(yīng)操作對應(yīng)的目標(biāo)動作/手勢。
[0098]需要說明的是，在本實施例中，在目標(biāo)動作/手勢與特征數(shù)據(jù)的匹配關(guān)系是根據(jù)特征數(shù)據(jù)確定的，例如，在特征數(shù)據(jù)是特征點信息時，上述匹配關(guān)系可以是與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)軌跡上的特征點與運動軌跡數(shù)據(jù)上的特征點的匹配度超過預(yù)設(shè)值，在其他實施例中，在特征數(shù)據(jù)是運動軌跡的幅度、長度、時長等信息時，上述匹配關(guān)系還可以是運動軌跡的幅度、長度、時長等參數(shù)滿足與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)值。
[0099]步驟S103:確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0100]具體實現(xiàn)中，在讀屏應(yīng)用中，每一個動作/手勢均對應(yīng)了一個具體的操作指令，例如，可以設(shè)置“單擊”對應(yīng)的選中觸摸點所在的按鈕/區(qū)域并播放與該按鈕/區(qū)域?qū)?yīng)的語音消息，還可以設(shè)置“雙擊”對應(yīng)打開當(dāng)前選中框?qū)?yīng)的鏈接/頁面。
[0101]在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作包括但不限于打開讀屏應(yīng)用、打開某個頁面、改變讀屏選中框的位置等。并且，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作可以根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系進(jìn)行確定，例如，當(dāng)步驟SlOl中輸入的感應(yīng)操作為晃動兩下時，對應(yīng)的目標(biāo)動作/手勢可以為輕點兩下，對應(yīng)的讀屏功能操作為打開當(dāng)前讀屏選中框?qū)?yīng)的頁面/鏈接。
[0102]可選的，在一個實施例中，在步驟S103之后，針對讀屏功能操作的執(zhí)行結(jié)果，用戶還可以通過語音播放的形式獲知相關(guān)的指令執(zhí)行結(jié)果，以便用戶在不用查看終端的顯示屏幕上的相關(guān)內(nèi)容的情況下，通過聲音獲知相關(guān)的讀屏功能操作的執(zhí)行情況。
[0103]具體的，如圖2所示，在步驟S103:執(zhí)行所述讀屏功能操作之后，上述方法還包括如下步驟:
[0104]步驟S104:獲取所述讀屏功能操作的執(zhí)行結(jié)果；
[0105]步驟S105:在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息；
[0106]步驟S106:播放所述語音提示消息。
[0107]讀屏功能操作的執(zhí)行結(jié)果包括了執(zhí)行成功、執(zhí)行失敗，并且執(zhí)行成功還包括了該讀屏功能指令的具體指令結(jié)果，例如，選中了當(dāng)前顯示界面的某個空間或者圖片等信息，還例如，移動了當(dāng)前顯示界面上的選中框所在的位置，再例如，打開了一個新的操作頁面等。
[0108]例如，當(dāng)讀屏功能操作打開了QQ音樂的操作頁面時，語音提示消息可以是:QQ音樂已被打開。再例如，當(dāng)讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的是選中了當(dāng)前顯示界面中的“刪除”按鈕，則語音提示消息可以是:選中按鈕“返回”。
[0109]在一個實施例中，可以根據(jù)終端的顯示界面上的具體內(nèi)容確定步驟S103中所執(zhí)行的讀屏功能操作的具體內(nèi)容。
[0110]具體的，上述步驟S102:在預(yù)設(shè)的手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括:獲取終端的當(dāng)前顯示界面，獲取當(dāng)前顯示界面的讀屏功能選中框；并且，步驟S103:確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為:根據(jù)當(dāng)前顯示界面的讀屏功能選中框確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0111]終端的當(dāng)前顯示界面即在終端的顯示界面展示的相關(guān)內(nèi)容。讀屏功能選中框為顯示界面上與讀屏應(yīng)用對應(yīng)的選中框，一般來講，在終端的顯示界面上的讀屏功能選中框的數(shù)量為一個，讀屏功能選中框可以對應(yīng)一個按鈕，也可以對應(yīng)一個圖標(biāo)、或者一個控件、或者一段文字、或者一個鏈接等。
[0112]需要說明的是，在本實施例中，若讀屏功能選中框?qū)?yīng)的是一個可操作的按鈕，則針對該讀屏功能選中框的操作包括但不限于點擊進(jìn)去、移動選中框、返回上一級目錄等;若讀屏功能選中框?qū)?yīng)的是一段不可操作的文字，則針對該讀屏功能選中框的操作可以是移動選中框，卻不能是點擊進(jìn)入等操作。因此，針對讀屏功能選中框?qū)?yīng)的具體內(nèi)容不同，目標(biāo)動作/手勢對應(yīng)的操作指令也會隨之發(fā)生改變。
[0113]具體的，根據(jù)當(dāng)前顯示界面的讀屏功能選中框，確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，并在步驟S103中執(zhí)行該讀屏功能操作。
[0114]在另一個實施例中，上述讀屏功能操作的具體內(nèi)容由讀屏應(yīng)用來確定。具體的，上述步驟S103:確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作具體為:將目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。
[0115]也就是說，在步驟S102中查找到目標(biāo)動作/手勢之后，將該目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，讀屏應(yīng)用在接收到該目標(biāo)動作/手勢之后，根據(jù)該目標(biāo)動作/手勢在讀屏應(yīng)用的讀屏功能操作數(shù)據(jù)庫中，根據(jù)操作手勢與讀屏功能操作之間的對應(yīng)關(guān)系，查找與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。主要說明的是，在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作是唯一的，且若沒有查找到對應(yīng)的讀屏功能操作，則將對應(yīng)的目標(biāo)動作/手勢判定為無效操作手勢。即對于讀屏應(yīng)用來講，本實施例所公開的內(nèi)容并不需要改變讀屏應(yīng)用本身的結(jié)果，只需要一個對應(yīng)的目標(biāo)動作/手勢接收的接口即可，通過可穿戴設(shè)備輸入的相關(guān)數(shù)據(jù)的接收和提取均可由其他應(yīng)用完成。
[0116]在一個實施例中，讀屏功能操作為音頻應(yīng)用開啟指令;上述步驟S103:執(zhí)行讀屏功能操作的步驟具體為:根據(jù)音頻應(yīng)用開啟指令啟動與音頻應(yīng)用開啟指令對應(yīng)的音頻應(yīng)用。
[0117]也就是說，用戶可以預(yù)先設(shè)置音頻應(yīng)用的開啟條件，即與音頻應(yīng)用開啟指令對應(yīng)的目標(biāo)動作/手勢以及與目標(biāo)動作/手勢對應(yīng)的感應(yīng)操作的特征數(shù)據(jù)應(yīng)該滿足的要求，或者與音頻應(yīng)用開啟指令對應(yīng)的目標(biāo)動作/手勢與感應(yīng)操作的特征數(shù)據(jù)之間的對應(yīng)關(guān)系;從而使得用戶可以在任意界面均可以直接開啟音頻應(yīng)用，這對于視覺障礙的殘障人員來講，可以更便捷地開啟使用頻率最高的音頻應(yīng)用，提高了操作的便利性。
[0118]在本實施例中，如圖2所示，可選的步驟還包括:在步驟SlOI之前，上述方法還包括步驟S100:接收用戶輸入的讀屏應(yīng)用開啟指令，讀屏應(yīng)用開啟指令與讀屏應(yīng)用對應(yīng)，根據(jù)讀屏應(yīng)用開啟指令啟動讀屏應(yīng)用。
[0119]讀屏應(yīng)用開啟指令即為與終端中安裝的讀屏應(yīng)用對應(yīng)的應(yīng)用開啟指令，對于視覺障礙的殘障人員來講，使用手機(jī)的第一步就需要開啟讀屏應(yīng)用，將手機(jī)設(shè)置了讀屏模式以方便使用。用戶可預(yù)先設(shè)置讀屏應(yīng)用開啟指令的具體操作或者系統(tǒng)也可以進(jìn)行相關(guān)的設(shè)定，例如，連續(xù)點擊Home鍵3次，當(dāng)終端檢測到用戶輸入的讀屏應(yīng)用開啟指令時，根據(jù)檢測到的讀屏應(yīng)用開啟指令啟動讀屏應(yīng)用，將終端設(shè)置為讀屏模式。
[0120]可選的，在一個實施例中，還可以根據(jù)用戶每次輸入的感應(yīng)操作對數(shù)據(jù)庫進(jìn)行矯正，也就是說，根據(jù)用戶每次輸入的感應(yīng)操作和用戶的輸入習(xí)慣，建立與用戶對應(yīng)的個性化動作/手勢數(shù)據(jù)庫，使得用戶在下一次輸入操作的過程中，與樣本數(shù)據(jù)庫的比對更為快速和精準(zhǔn)。
[0121]具體的，如圖3所示，所述在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后，上述方法還包括如下步驟:
[0122]步驟S2011:獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息；
[0123]或
[0124]步驟S2012:獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息；
[0125]步驟S202:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)；
[0126]步驟S203:根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。
[0127]反饋信息包括了目標(biāo)動作/手勢的查找結(jié)果不符合用戶預(yù)期時用戶在相應(yīng)的反饋頁面輸入的反饋信息，還包括了用戶輸入的運動操作的具體的操作參數(shù)與預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)之間的匹配程度確定的用戶輸入習(xí)慣的反饋信息，也就是說，反饋信息可以是用戶手動反饋的，也可以終端根據(jù)用戶的操作習(xí)慣確定的。
[0128]在反饋信息獲取到之后，根據(jù)反饋信息的具體內(nèi)容，對預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)、以及樣本參數(shù)與操作參數(shù)之間的對應(yīng)關(guān)系進(jìn)行修正，然后更新動作/手勢數(shù)據(jù)庫，以便下一次用戶輸入相應(yīng)操作時使用的動作/手勢數(shù)據(jù)庫為更新后的數(shù)據(jù)庫。
[0129]此外，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式對于視覺障礙的殘障人士來講存在操作的便利性不足的技術(shù)問題，在一個實施例中，還提出了一種讀屏應(yīng)用指令輸入裝置，如圖4所示，上述裝置包括動作獲取模塊101、目標(biāo)動作/手勢查找模塊102、操作確定執(zhí)行模塊103;其中:
[0130]動作獲取模塊101，用于獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)。
[0131]感應(yīng)操作為用戶不直接在終端上進(jìn)行的操作，該操作可以被終端或者與終端相連的其他感應(yīng)設(shè)備獲取，例如可以通過傳感器或者其他感應(yīng)設(shè)備獲取到的用戶動作、聲音和/或腦波信號等操作。具體的，在本實施例中，上述用戶輸入的感應(yīng)操作包括通過已連接的可穿戴設(shè)備輸入的運動操作、通過已連接的攝像頭輸入的運動操作、通過紅外傳感器輸入的運動操作、通過麥克風(fēng)輸入的聲音控制操作、通過腦電波傳感器輸入的腦電波信號操作和/或通過聲吶裝置輸入的運動操作中的至少一個。
[0132]在一個實施例中，用戶可以通過與終端建立了通信連接的可穿戴設(shè)備(例如智能手環(huán))輸入運動軌跡等運動操作。
[0133]本發(fā)明實施例中所描述的可穿戴設(shè)備可為智能手表、智能手環(huán)、智能耳機(jī)等便于用戶佩戴的設(shè)備，在此不做限制。需要說明的是，在本實施例中，可穿戴設(shè)備與終端之間可以通過藍(lán)牙、WIF1、有線等方式進(jìn)行連接并建立通信關(guān)系，也就是說，在可穿戴設(shè)備與終端之間建立通信連接關(guān)系之后，終端與可穿戴設(shè)備之間可實現(xiàn)數(shù)據(jù)的發(fā)送和接收。
[0134]在該可穿戴設(shè)備上安裝了運動傳感器，用于檢測和獲取該可穿戴設(shè)備的運動操作，例如，運動傳感器可謂加速度傳感器和/或陀螺儀，加速度傳感器可以檢測軸向的線性動作，陀螺儀可以檢測偏轉(zhuǎn)、傾斜時的轉(zhuǎn)動角速度。例如，可通過三軸加速度傳感器檢測可穿戴設(shè)備在X、Y、Z三個方向上的加速度數(shù)據(jù)，并通過積分將X、Y、Z三個方向上的加速度數(shù)據(jù)轉(zhuǎn)換成即時速度，并將即時速度在時間軸上的積分作Χ、Υ、Ζ上的運動軌跡，然后將三個方向上的運動軌跡疊加在一起，得到可穿戴設(shè)備的運動軌跡圖。
[0135]也就是說，用戶可以通過可穿戴設(shè)備輸入運動操作，動作獲取模塊101獲取該運動操作的運動軌跡數(shù)據(jù)，通過與終端之間的通信連接關(guān)系將相應(yīng)的運動操作的運動軌跡數(shù)據(jù)發(fā)送給終端。需要說明的是，在本實施例中，用戶通過可穿戴設(shè)備輸入的運動操作包括單不限于晃動、曲線、滑動等操作。
[0136]在其他實施例中，用戶可以通過與終端建立了通信連接的攝像頭輸入運動操作。
[0137]本實施例所提及的攝像頭指的是與終端相連的外部攝像頭，例如固定安裝在房間某處的攝像頭，并且，該攝像頭中包含了通訊模塊，并且通過該通訊模塊與終端之間建立無線通信連接(例如WIFI連接、藍(lán)牙連接以及其他無線通訊連接方式)或者有線通信連接，并通過該通訊連接將采集到的視頻數(shù)據(jù)發(fā)送給終端。進(jìn)一步地，上述攝像頭可為單目攝像頭，也可為多攝像頭，例如，可使用多個攝像頭從不同角度采集的視頻圖像獲取對應(yīng)的深度圖、或者獲取對應(yīng)的三維圖像。在本步驟中，終端通過攝像頭采集到的視頻圖像之后，對該視頻圖像進(jìn)行圖像處理，獲取該視頻圖像中的運動操作數(shù)據(jù)，獲取運動操作數(shù)據(jù)的過程即為圖像識別的過程。上述運動操作數(shù)據(jù)可以是用戶的手部動作信息(即手勢操作)，也可以是用戶的肢體動作信息(即動作操作)，運動操作數(shù)據(jù)還可以是其他可以表示與用戶對應(yīng)的運動操作對應(yīng)的數(shù)據(jù)或信息。
[0138]在一個實施例中，上述圖像識別獲取運動操作數(shù)據(jù)的過程可以是:根據(jù)視頻圖像的每一個圖像幀，獲取每個圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個圖像幀之間的變化，從而獲取用戶手部的運動軌跡或者肢體動作。在另一個實施例中，上述圖像識別獲取運動操作數(shù)據(jù)的過程還可以是，獲取視頻圖像的每一個圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個圖像幀中確定手部的待測特征點，并根據(jù)視頻圖像中的每個圖像幀的手部待測特征點，確定用戶雙手的動作軌跡/動作名稱和/或位置。
[0139]在其他實施例中，上述感應(yīng)操作可以是用戶通過紅外傳感器輸入的運動操作。
[0140]紅外傳感器可以是終端內(nèi)置的裝置，也可以是與終端相連的外設(shè)的紅外傳感器。具體的，上述紅外傳感器包括了紅外線信號輸出模塊和紅外圖像采集模塊，且紅外線信號輸出模塊用于向外發(fā)射紅外線信號，例如，紅外線信號輸出模塊可以由一個或者多個紅外二極管構(gòu)成；另外，紅外圖像采集模塊用于采集紅外視頻圖像。例如，若紅外傳感器是與終端相連的外設(shè)紅外傳感器時，該紅外傳感器包括了通信模塊，紅外傳感器通過通信模塊與終端通過WIFI或藍(lán)牙等無線通信方式連接或者有線連接，并且通過上述連接傳輸數(shù)據(jù)，例如紅外傳感器通過上述通信連接向終端發(fā)送獲取到的紅外視頻圖像。在本步驟中，終端采集到的紅外視頻圖像之后，對該紅外視頻圖像進(jìn)行圖像處理，獲取該紅外視頻圖像中的人體動作數(shù)據(jù)，獲取人體動作數(shù)據(jù)的過程即為圖像識別的過程。
[0141]具體的，在本實施例中，上述人體動作數(shù)據(jù)可以是用戶的手部動作信息(即手勢操作)，也可以是用戶的肢體動作信息(即動作操作)，在其他實施例中，人體動作數(shù)據(jù)還可以是其他可以表示與用戶對應(yīng)的人體動作對應(yīng)的數(shù)據(jù)或信息。
[0142]在一個實施例中，上述人體動作數(shù)據(jù)獲取的過程可以是:根據(jù)紅外視頻圖像的每一個圖像幀，獲取每個圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，該外部輪廓可以根據(jù)紅外視頻圖像的圖像中的熱成像獲取，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個圖像幀之間的變化，從而獲取用戶手部的運動軌跡或者肢體動作。在另一個實施例中，上述人體動作數(shù)據(jù)獲取的過程還可以是，獲取紅外視頻圖像的每一個圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個圖像幀中確定手部的待測特征點，并根據(jù)紅外視頻圖像中的每個圖像幀的手部待測特征點，確定用戶雙手的動作軌跡/動作名稱和/或位置。
[0143]在其他實施例中，上述感應(yīng)操作可以是用戶通過麥克風(fēng)輸入的聲音控制操作。
[0144]在本實施例中，音頻數(shù)據(jù)的采集可以是通過麥克風(fēng)實現(xiàn)的，也可以通過其他聲音采集裝置實現(xiàn)的，并且，上述麥克風(fēng)等聲音采集裝置可以是終端內(nèi)置的，也可以外設(shè)的與終端之間相連的外部設(shè)備，并且可以與終端之間進(jìn)行通信數(shù)據(jù)的傳輸，例如，該外部設(shè)備可以向終端發(fā)送采集到的音頻數(shù)據(jù)。
[0145]需要說明的是，在本實施例中，上述麥克鳳或者其他聲音采集裝置可以是安裝在終端上的(例如終端內(nèi)置的麥克風(fēng))，也可以是與終端通過無線或者有線方式連接的麥克風(fēng)或者其他聲音采集裝置，例如，可以是與終端通過WiF1、藍(lán)牙或者其他無線通信連接方式連接的麥克風(fēng)，并且，該麥克風(fēng)可以將采集到的音頻數(shù)據(jù)發(fā)送給終端，以使終端接收到該麥克風(fēng)發(fā)送的音頻數(shù)據(jù)。
[0146]在其他實施例中，上述感應(yīng)操作還可以是通過腦電波傳感器輸入的腦電波信號操作
[0147]本實施例所提及的腦電波傳感器指的是與終端相連的外部腦電波傳感器，例如可穿戴的腦電波傳感器，并且，在該腦電波傳感器中包含了通信模塊，并且通過該通信模塊與終端之間建立通信連接。具體的，在該腦電波傳感器與終端之間是通過無線通信的方式進(jìn)行連接的情況下，腦電波傳感器包含的通信模塊為無線通信模塊，并且通過該無線通訊模塊與終端之間建立無線通信連接(例如WIFI連接、藍(lán)牙連接以及其他無線通訊連接方式)，并通過該無線通訊連接將采集到的腦波信號數(shù)據(jù)發(fā)送給終端。在上述腦電波傳感器與終端之間是通過有線通信的方式連接的情況下，腦電波傳感器包含的通信模塊為有線通信模塊，并且通過該有線通訊模塊與終端之間建立有線通信連接，并通過該有線通訊連接將采集到的腦波信號數(shù)據(jù)發(fā)送給終端。
[0148]—般來講，腦電波傳感器可以是可穿戴的頭盔、頭箍等形式的智能可穿戴設(shè)備，其腦波信號采集的感應(yīng)區(qū)域為大腦前額皮質(zhì)區(qū)。針對用戶的腦波信號，腦電波傳感器將感應(yīng)到的腦波信號通過預(yù)設(shè)的途徑發(fā)送給終端，在本實施例中，終端即為與該腦電波傳感器建立了通信連接的終端設(shè)備。
[0149]在其他實施例中，上述感應(yīng)操作還可以是通過聲吶裝置輸入的運動操作。
[0150]聲吶，即Sound Navigat1n And Ranging(SONAR)，聲音導(dǎo)航與測距，是一種利用聲波的傳播特性，通過電聲轉(zhuǎn)換和信息處理，完成探測和通訊任務(wù)的電子設(shè)備。它有主動式和被動式兩種類型，屬于聲學(xué)定位的范疇。
[0151]在本實施例中所提及的聲吶裝置可以是終端內(nèi)置的聲吶裝置，該聲吶裝置包括了麥克風(fēng)和揚聲器，揚聲器用于向外發(fā)送超聲波，麥克風(fēng)用于接收聲波。在其他實施例中，上述聲吶裝置還可以是外設(shè)的聲吶裝置，例如，安裝在房間某處的聲吶裝置，該聲吶裝置通過有線或者WiF1、藍(lán)牙等無線連接方式與終端相連，并可以通過上述連接實現(xiàn)與終端之間的通信，也就是說，聲吶裝置和終端之間能相互傳輸數(shù)據(jù)。
[0152]聲吶裝置在采集到距離信息和位置信息之后，根據(jù)采集到的距離信息和位置信息，確定對應(yīng)的用戶輸入的感應(yīng)操作。具體的，在任意時刻，根據(jù)聲吶裝置采集到的距離信息和位置信息，可以確定在預(yù)設(shè)區(qū)域或者預(yù)設(shè)平面上的物體的分布信息，然后根據(jù)聲吶裝置持續(xù)采集的位置信息和距離信息，就可以確定在一段時間內(nèi)預(yù)設(shè)區(qū)域或者預(yù)設(shè)平面上的物體變化的信息。例如，在聲吶裝置采集的為某個特定平面上的距離和位置信息時，可以確定在該平面區(qū)域上的物體變化的軌跡，例如，可以確定用戶在該平面上輸入的滑動軌跡。再例如，在聲吶裝置采集的其覆蓋范圍之內(nèi)的空間之內(nèi)的位置信息和距離信息時，可以確定在該控件區(qū)域內(nèi)的人體運動信息。上述用戶在該平面上輸入的滑動軌跡以及在該控件區(qū)域內(nèi)的人體運動信息即為用戶輸入的運動操作。
[0153]在動作獲取模塊101獲取到用戶輸入的感應(yīng)操作之后，需要對獲取到的感應(yīng)操作進(jìn)行特征提取，即，獲取所述感應(yīng)操作的特征數(shù)據(jù)。在本實施例中，不同的感應(yīng)操作，其對應(yīng)的特征數(shù)據(jù)不同。例如，在感應(yīng)操作為運動操作時，動作獲取模塊101獲取的特征數(shù)據(jù)可以是但不限于該感應(yīng)操作運動軌跡、運動時長、軌跡長度、敲擊頻率、和/或動作幅度等;在例如，在感應(yīng)操作為腦電波信號操作時，獲取的特征數(shù)據(jù)可以是腦電波信號的腦波類型、頻率、電位等等特征數(shù)據(jù)。也就是說，可以根據(jù)感應(yīng)操作的具體類型和用戶的需求進(jìn)行設(shè)置，設(shè)定在本步驟中需要進(jìn)行提取的感應(yīng)操作的特征數(shù)據(jù)。
[0154]目標(biāo)動作/手勢查找模塊102，用于在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢。
[0155]在本實施例中，讀屏應(yīng)用可識別的動作/手勢包括但不限于左劃、右劃、上下滑動、雙擊、單擊等，用戶可根據(jù)需要設(shè)置多個動作/手勢，例如雙指縮放。
[0156]動作/手勢數(shù)據(jù)庫是讀屏應(yīng)用中預(yù)設(shè)的操作動作/手勢，也就是說，當(dāng)檢測到與動作/手勢數(shù)據(jù)庫中的操作動作/手勢匹配的操作動作/手勢時，即可將該操作動作/手勢判定為有效動作/手勢，否則判定為無效操作動作/手勢。
[0157]在本實施例中，需預(yù)先設(shè)定動作/手勢數(shù)據(jù)庫中的動作/手勢與輸入的感應(yīng)操作之間的對應(yīng)關(guān)系，也即設(shè)定動作/手勢數(shù)據(jù)庫中的動作/手勢與通過可穿戴設(shè)備輸入的感應(yīng)操作的特征數(shù)據(jù)之間的對應(yīng)關(guān)系。在上述對應(yīng)關(guān)系建立之后，可通過該對應(yīng)關(guān)系在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)對應(yīng)的目標(biāo)動作/手勢，即與用戶輸入的感應(yīng)操作對應(yīng)的目標(biāo)動作/手勢。
[0158]需要說明的是，在本實施例中，在目標(biāo)動作/手勢與特征數(shù)據(jù)的匹配關(guān)系是根據(jù)特征數(shù)據(jù)確定的，例如，在特征數(shù)據(jù)是特征點信息時，上述匹配關(guān)系可以是與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)軌跡上的特征點與運動軌跡數(shù)據(jù)上的特征點的匹配度超過預(yù)設(shè)值，在其他實施例中，在特征數(shù)據(jù)是運動軌跡的幅度、長度、時長等信息時，上述匹配關(guān)系還可以是運動軌跡的幅度、長度、時長等參數(shù)滿足與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)值。
[0159]操作確定執(zhí)行模塊103，確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0160]具體實現(xiàn)中，在讀屏應(yīng)用中，每一個動作/手勢均對應(yīng)了一個具體的操作指令，例如，可以設(shè)置“單擊”對應(yīng)的選中觸摸點所在的按鈕/區(qū)域并播放與該按鈕/區(qū)域?qū)?yīng)的語音消息，還可以設(shè)置“雙擊”對應(yīng)打開當(dāng)前選中框?qū)?yīng)的鏈接/頁面。
[0161]在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作包括但不限于打開讀屏應(yīng)用、打開某個頁面、改變讀屏選中框的位置等。并且，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作可以根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系進(jìn)行確定，例如，當(dāng)動作獲取模塊101獲取的感應(yīng)操作為晃動兩下時，對應(yīng)的目標(biāo)動作/手勢可以為輕點兩下，對應(yīng)的讀屏功能操作為打開當(dāng)前讀屏選中框?qū)?yīng)的頁面/鏈接。
[0162]可選的，在一個實施例中，在操作確定執(zhí)行模塊103執(zhí)行所述讀屏功能操作之后，針對讀屏功能操作的執(zhí)行結(jié)果，用戶還可以通過語音播放的形式獲知相關(guān)的指令執(zhí)行結(jié)果，以便用戶在不用查看終端的顯示屏幕上的相關(guān)內(nèi)容的情況下，通過聲音獲知相關(guān)的讀屏功能操作的執(zhí)行情況。
[0163]具體的，如圖4所示，所述終端還包括語音提示消息播放模塊104，用于:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息;播放所述語音提示消息。
[0164]讀屏功能操作的執(zhí)行結(jié)果包括了執(zhí)行成功、執(zhí)行失敗，并且執(zhí)行成功還包括了該讀屏功能指令的具體指令結(jié)果，例如，選中了當(dāng)前顯示界面的某個空間或者圖片等信息，還例如，移動了當(dāng)前顯示界面上的徐中框所在的位置，再例如，打開了一個新的操作頁面等。
[0165]例如，當(dāng)讀屏功能操作打開了QQ音樂的操作頁面時，語音提示消息播放模塊104播放的語音提示消息可以是:QQ音樂已被打開。再例如，當(dāng)讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的是選中了當(dāng)前顯示界面中的“刪除”按鈕，語音提示消息播放模塊104播放的語音提示消息可以是:選中按鈕“返回”。
[0166]可選的，在一個實施例中，如圖4所示，上述終端還包括了顯示界面獲取模塊105，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框;操作確定執(zhí)行模塊103還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0167]終端的當(dāng)前顯示界面即在終端的顯示界面展示的相關(guān)內(nèi)容。讀屏功能選中框為顯示界面上與讀屏應(yīng)用對應(yīng)的選中框，一般來講，在終端的顯示界面上的讀屏功能選中框的數(shù)量為一個，讀屏功能選中框可以對應(yīng)一個按鈕，也可以對應(yīng)一個圖標(biāo)、或者一個控件、或者一段文字、或者一個鏈接等。
[0168]需要說明的是，在本實施例中，若讀屏功能選中框?qū)?yīng)的是一個可操作的按鈕，則針對該讀屏功能選中框的操作包括但不限于點擊進(jìn)去、移動選中框、返回上一級目錄等;若讀屏功能選中框?qū)?yīng)的是一段不可操作的文字，則針對該讀屏功能選中框的操作可以是移動選中框，卻不能是點擊進(jìn)入等操作。因此，針對讀屏功能選中框?qū)?yīng)的具體內(nèi)容不同，目標(biāo)動作/手勢對應(yīng)的操作指令也會隨之發(fā)生改變。
[0169]具體的，根據(jù)當(dāng)前顯示界面的讀屏功能選中框，操作確定執(zhí)行模塊103確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，并執(zhí)行該讀屏功能操作。
[0170]可選的，在一個實施例中，上述讀屏功能操作為音頻應(yīng)用開啟操作;操作確定執(zhí)行模塊103還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0171]也就是說，用戶可以預(yù)先設(shè)置音頻應(yīng)用的開啟條件，即與音頻應(yīng)用開啟操作對應(yīng)的目標(biāo)動作/手勢以及與目標(biāo)動作/手勢對應(yīng)的運動操作的特征數(shù)據(jù)應(yīng)該滿足的要求，或者與音頻應(yīng)用開啟操作對應(yīng)的目標(biāo)動作/手勢與運動操作的特征數(shù)據(jù)之間的對應(yīng)關(guān)系;從而使得用戶可以在任意界面均可以直接開啟音頻應(yīng)用，這對于視覺障礙的殘障人員來講，可以更便捷地開啟使用頻率最高的音頻應(yīng)用，提高了操作的便利性。
[0172]可選的，在一個實施例中，如圖4所示，上述終端還包括讀屏應(yīng)用開啟模塊106，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。
[0173]讀屏應(yīng)用開啟指令即為與終端中安裝的讀屏應(yīng)用對應(yīng)的應(yīng)用開啟指令，對于視覺障礙的殘障人員來講，使用手機(jī)的第一步就需要開啟讀屏應(yīng)用，將手機(jī)設(shè)置了讀屏模式以方便使用。用戶可預(yù)先設(shè)置讀屏應(yīng)用開啟指令的具體操作或者系統(tǒng)也可以進(jìn)行相關(guān)的設(shè)定，例如，連續(xù)點擊Home鍵3次，當(dāng)讀屏應(yīng)用開啟模塊106檢測到用戶輸入的讀屏應(yīng)用開啟指令時，根據(jù)檢測到的讀屏應(yīng)用開啟指令啟動讀屏應(yīng)用，讀屏應(yīng)用開啟模塊106將終端設(shè)置為讀屏模式。
[0174]在另一個實施例中，上述讀屏功能操作的具體內(nèi)容由讀屏應(yīng)用來確定。具體的，所述操作確定執(zhí)行模塊103還用于:將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。
[0175]也就是說，在目標(biāo)動作/手勢查找模塊102查找到目標(biāo)動作/手勢之后，操作確定執(zhí)行模塊103將該目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，讀屏應(yīng)用在接收到該目標(biāo)動作/手勢之后，根據(jù)該目標(biāo)動作/手勢在讀屏應(yīng)用的讀屏功能操作數(shù)據(jù)庫中，根據(jù)操作手勢與讀屏功能操作之間的對應(yīng)關(guān)系，查找與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。需要說明的是，在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作是唯一的，且若操作確定執(zhí)行模塊103沒有查找到對應(yīng)的讀屏功能操作，則將對應(yīng)的目標(biāo)動作/手勢判定為無效操作手勢。即對于讀屏應(yīng)用來講，本實施例所公開的內(nèi)容并不需要改變讀屏應(yīng)用本身的結(jié)果，只需要一個對應(yīng)的目標(biāo)動作/手勢接收的接口即可，通過可穿戴設(shè)備輸入的相關(guān)數(shù)據(jù)的接收和提取均可由其他應(yīng)用完成。
[0176]可選的，在一個實施例中，還可以根據(jù)用戶每次輸入的運動操作對數(shù)據(jù)庫進(jìn)行矯正，也就是說，根據(jù)用戶每次輸入的運動操作和用戶的輸入習(xí)慣，建立與用戶對應(yīng)的個性化動作/手勢數(shù)據(jù)庫，使得用戶在下一次輸入操作的過程中，與樣本數(shù)據(jù)庫的比對更為快速和精準(zhǔn)。
[0177]具體的，如圖4所示，所述終端還包括反饋信息獲取模塊107和數(shù)據(jù)庫更新模塊108，其中:所述反饋信息獲取模塊107用于:獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息;或獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息;所述數(shù)據(jù)庫更新模塊108用于:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。
[0178]反饋信息包括了目標(biāo)動作/手勢的查找結(jié)果不符合用戶預(yù)期時，反饋信息獲取模塊107獲取的用戶在相應(yīng)的反饋頁面輸入的反饋信息，還包括了反饋信息獲取模塊107獲取的用戶輸入的運動操作的具體的操作參數(shù)與預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)之間的匹配程度確定的用戶輸入習(xí)慣的反饋信息，也就是說，反饋信息獲取模塊107獲取的反饋信息可以是用戶手動反饋的，也可以終端根據(jù)用戶的操作習(xí)慣確定的。
[0179]在反饋信息獲取模塊107獲取到反饋信息之后，根據(jù)反饋信息的具體內(nèi)容，數(shù)據(jù)庫更新模塊108對預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)、以及樣本參數(shù)與操作參數(shù)之間的對應(yīng)關(guān)系進(jìn)行修正，然后更新動作/手勢數(shù)據(jù)庫，以便下一次用戶輸入相應(yīng)操作時使用的動作/手勢數(shù)據(jù)庫為更新后的數(shù)據(jù)庫。
[0180]實施本發(fā)明實施例，將具有如下有益效果:
[0181]采用了上述讀屏應(yīng)用指令輸入方法及裝置之后，用戶可以通過對終端輸入終端或者與終端連接的其他設(shè)備可識別的感應(yīng)操作對終端進(jìn)行控制，具體的，根據(jù)獲取到的用戶輸入的感應(yīng)操作確定對應(yīng)的讀屏軟件的目標(biāo)動作/手勢，從而確定對應(yīng)的用戶需要輸入的操作指令，也就是說，終端根據(jù)接收到的數(shù)據(jù)確定用戶需要輸入的與讀屏應(yīng)用對應(yīng)的操作指令完成讀屏應(yīng)用的指令的輸入，并由讀屏軟件將相應(yīng)的操作指令發(fā)送給計算機(jī)對應(yīng)的裝置進(jìn)行執(zhí)行，實現(xiàn)了通過感應(yīng)操作向終端的讀屏應(yīng)用輸入指令和讀屏軟件將操作指令的輸出，相較于傳統(tǒng)技術(shù)中用戶必須通過終端的實體按鍵或觸控屏輸入指令的方案來講，可提高指令輸入的操作便利性;進(jìn)一步地，上述方案還實現(xiàn)了在用戶不手持終端的情況下也可操作終端，對讀屏應(yīng)用發(fā)送指令進(jìn)行相關(guān)操作，進(jìn)一步的提高了用戶使用讀屏應(yīng)用的操作便利性;尤其是針對存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來講，其操作便利性的提高尤為明顯。
[0182]在一個實施例中，如圖5所示，圖5展示了一種運行上述讀屏應(yīng)用指令輸入方法的基于馮諾依曼體系的計算機(jī)系統(tǒng)的終端。該計算機(jī)系統(tǒng)可以是與可穿戴設(shè)備連接的智能手機(jī)、平板電腦、掌上電腦，筆記本電腦或個人電腦等終端設(shè)備。具體的，可包括通過系統(tǒng)總線連接的外部輸入接口 1001、處理器1002、存儲器1003和輸出接口 1004。其中，外部輸入接口1001可選的可至少包括網(wǎng)絡(luò)接口 10012。存儲器1003可包括外存儲器10032(例如硬盤、光盤或軟盤等)和內(nèi)存儲器10034。輸出接口 1004可至少包括顯示屏10042等設(shè)備。
[0183]在本實施例中，本方法的運行基于計算機(jī)程序，該計算機(jī)程序的程序文件存儲于前述基于馮諾依曼體系的計算機(jī)系統(tǒng)的外存儲器10032中，在運行時被加載到內(nèi)存儲器10034中，然后被編譯為機(jī)器碼之后傳遞至處理器1002中執(zhí)行，從而使得基于馮諾依曼體系的計算機(jī)系統(tǒng)中形成邏輯上的動作獲取模塊101、目標(biāo)動作/手勢查找模塊102、操作確定執(zhí)行模塊103、語音提示消息播放模塊104、顯示界面獲取模塊105、讀屏應(yīng)用開啟模塊106、反饋信息獲取模塊107以及數(shù)據(jù)庫更新模塊108。且在上述讀屏應(yīng)用指令輸入方法執(zhí)行過程中，輸入的參數(shù)均通過外部輸入接口 1001接收，并傳遞至存儲器1003中緩存，然后輸入到處理器1002中進(jìn)行處理，處理的結(jié)果數(shù)據(jù)或緩存于存儲器1003中進(jìn)行后續(xù)地處理，或被傳遞至輸出接口 1004進(jìn)行輸出。
[0184]以上所揭露的僅為本發(fā)明較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
【主權(quán)項】
1.一種讀屏應(yīng)用指令輸入方法，其特征在于，包括: 獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)； 在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢； 確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述用戶輸入的感應(yīng)操作包括通過已連接的可穿戴設(shè)備輸入的運動操作、通過已連接的攝像頭輸入的運動操作、通過紅外傳感器輸入的運動操作、通過麥克風(fēng)輸入的聲音控制操作、通過腦電波傳感器輸入的腦電波信號操作和/或通過聲吶裝置輸入的運動操作中的至少一個。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述執(zhí)行所述讀屏功能操作的步驟之后還包括: 獲取所述讀屏功能操作的執(zhí)行結(jié)果； 在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息; 播放所述語音提示消息。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在預(yù)設(shè)的手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括: 獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框； 所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為: 根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述讀屏功能操作為音頻應(yīng)用開啟操作； 所述執(zhí)行所述讀屏功能操作的步驟具體為: 根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為: 將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述獲取用戶輸入的感應(yīng)操作的步驟之前還包括: 接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。8.根據(jù)權(quán)利要求1至7任一所述的方法，其特征在于，所述在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括: 獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息； 或 獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息； 所述方法還包括: 根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)； 根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。9.一種讀屏應(yīng)用指令輸入裝置，其特征在于，包括: 動作獲取模塊，用于獲取用戶輸入的感應(yīng)操作，獲取所述感應(yīng)操作的特征數(shù)據(jù)； 目標(biāo)動作/手勢查找模塊，用于在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢； 操作確定執(zhí)行模塊，確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述用戶輸入的感應(yīng)操作包括通過已連接的可穿戴設(shè)備輸入的運動操作、通過已連接的攝像頭輸入的運動操作、通過紅外傳感器輸入的運動操作、通過麥克風(fēng)輸入的聲音控制操作、通過腦電波傳感器輸入的腦電波信號操作和/或通過聲吶裝置輸入的運動操作中的至少一個。11.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括語音提示消息播放模塊，用于: 獲取所述讀屏功能操作的執(zhí)行結(jié)果； 在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息; 播放所述語音提示消息。12.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括顯示界面獲取模塊，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框； 所述操作確定執(zhí)行模塊還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。13.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述讀屏功能操作為音頻應(yīng)用開啟操作； 所述操作確定執(zhí)行模塊還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。14.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述操作確定執(zhí)行模塊還用于:將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。15.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括讀屏應(yīng)用開啟模塊，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。16.根據(jù)權(quán)利要求9至15任一所述的裝置，其特征在于，所述裝置還包括反饋信息獲取模塊和數(shù)據(jù)庫更新模塊，其中: 所述反饋信息獲取模塊用于: 獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息； 或 獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息； 所述數(shù)據(jù)庫更新模塊用于: 根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)；根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。
【文檔編號】G06F3/01GK105843404SQ201610321272
【公開日】2016年8月10日
【申請日】2016年5月12日
【發(fā)明人】梁振宇, 張昆
【申請人】深圳市聯(lián)諦信息無障礙有限責(zé)任公司