本發(fā)明涉及智能機(jī)器人技術(shù)領(lǐng)域，尤其是涉及一種基于非侵入式腦機(jī)接口機(jī)器臂控制系統(tǒng)及其控制方法。
背景技術(shù)：
據(jù)統(tǒng)計(jì)，在我國(guó)約有6000萬(wàn)人患有不同程度的殘疾，且患者的總量以及比率呈現(xiàn)逐年遞增的趨勢(shì)。其中有一部分人群雖然喪失了上肢運(yùn)動(dòng)功能，但他們的大腦以及神經(jīng)通路還完整的保留下來(lái)。該人群不僅無(wú)法像正常人一樣體驗(yàn)日常生活，而且在日常的護(hù)理過(guò)程中也會(huì)占用大量的資源。近年來(lái)，隨著電子技術(shù)、通訊技術(shù)以及機(jī)器人技術(shù)的迅猛發(fā)展，科研人員越來(lái)越多的將研究的重點(diǎn)帶入到基于腦-機(jī)接口控制外圍設(shè)備的研究上來(lái)。這樣就可以在很大程度上利用機(jī)器人高強(qiáng)度，高重復(fù)度的優(yōu)勢(shì)，從而減少康復(fù)人員的陪護(hù)時(shí)間、精力，解放很大一部分生產(chǎn)力，另一方面在一定程度上還可以幫助患者更好的融入日常生活，逐漸幫助他們重拾信心。
區(qū)別于現(xiàn)在主流的采用聲音、按鈕等傳統(tǒng)媒介控制機(jī)器人的策略，腦-機(jī)接口可以為該患者人群提供一個(gè)更加方便，合理，可行的控制策略。其中一種基于頭皮腦電的非侵入式腦-機(jī)接口以其安全，價(jià)格低廉，采集腦電信號(hào)方便等優(yōu)點(diǎn)在腦機(jī)接口的控制研究方向上廣受推崇。常見(jiàn)的監(jiān)測(cè)大腦活動(dòng)的方法有多種，其中基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位的腦-機(jī)接口又可以為患者提供一種自然，直觀的控制界面。
基于腦-機(jī)接口的機(jī)器人控制系統(tǒng)已經(jīng)被成功應(yīng)用于移動(dòng)機(jī)器人、機(jī)器臂、智能輪椅以及仿生機(jī)器人領(lǐng)域。其中機(jī)器臂的控制策略是針對(duì)患有嚴(yán)重上肢運(yùn)動(dòng)功能受損的患者設(shè)計(jì)的，而精密的多軸機(jī)器臂可以幫助患者完成一些強(qiáng)度大且重復(fù)度高的動(dòng)作。理論上機(jī)器臂的自由度越高能完成的控制動(dòng)作會(huì)越精細(xì)， 但過(guò)多的自由度可能會(huì)造成控制策略的復(fù)雜化以及帶來(lái)高額的成本。6軸機(jī)器臂理論上可以完成空間任意點(diǎn)，任意角度的定位，結(jié)合抓手以及不同形狀的抓指可以實(shí)現(xiàn)不同大小、形狀的物體的抓取。
中國(guó)專利文獻(xiàn)“一種基于腦機(jī)接口的機(jī)器人系統(tǒng)及實(shí)現(xiàn)方法”(專利申請(qǐng)?zhí)?01610028846.5)提出一種基于SSVEP腦-機(jī)接口控制輪式機(jī)器人8個(gè)方向的動(dòng)作的控制策略及實(shí)現(xiàn)方法。中國(guó)專利文獻(xiàn)“腰部可穿戴功能輔助機(jī)器臂”(專利申請(qǐng)?zhí)?01510130861.6)提供了一種腰部可穿戴功能輔助機(jī)器臂，用來(lái)輔助幫助正常人和老年人的作業(yè)，減少勞動(dòng)強(qiáng)度。中國(guó)專利文獻(xiàn)“用眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)和控制方法”(專利申請(qǐng)?zhí)?01110215580.2)設(shè)計(jì)了一套基于眼動(dòng)信號(hào)控制上假肢運(yùn)動(dòng)的控制系統(tǒng)。中國(guó)專利文獻(xiàn)“一種假手柔順抓取操作的串行多模態(tài)腦控方法”(專利申請(qǐng)?zhí)?01510988443.0)設(shè)計(jì)了一種假手柔順抓取物體的方法，受試通過(guò)視覺(jué)刺激識(shí)別要實(shí)現(xiàn)的動(dòng)作，在此基礎(chǔ)上通過(guò)采集4種面部表情所產(chǎn)生的腦電信號(hào)，處理后產(chǎn)生控制上肢機(jī)器臂的控制指令進(jìn)而控制假手完成4種既定的動(dòng)作。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于針對(duì)現(xiàn)有的腦-機(jī)接口控制上肢機(jī)器臂的實(shí)現(xiàn)方法中存在的不足，提出一種安全，可靠的控制六自由度機(jī)器臂實(shí)現(xiàn)多功能動(dòng)作的實(shí)現(xiàn)方法。
本發(fā)明的一種技術(shù)方案是這樣實(shí)現(xiàn)的：
一種基于非侵入式腦機(jī)接口機(jī)器臂控制系統(tǒng)，包括腦機(jī)接口子系統(tǒng)，通過(guò)將電極帽采集到的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，特征提取，用于在線解碼人的控制意圖生成計(jì)算機(jī)可識(shí)別的控制指令；通訊子系統(tǒng)，將計(jì)算機(jī)可識(shí)別的控制指令發(fā)送到機(jī)器臂子系統(tǒng)，進(jìn)而與機(jī)器臂子系統(tǒng)控制命令一一映射；機(jī)器臂子系統(tǒng)，包括一個(gè)六軸的垂直多關(guān)節(jié)機(jī)器臂和一個(gè)氣動(dòng)抓手。
作為一種優(yōu)選的技術(shù)方案，所述腦機(jī)接口子系統(tǒng)包括計(jì)算機(jī)顯示器、腦電 信號(hào)采集模塊和腦電信號(hào)處理模塊，計(jì)算機(jī)顯示器用于呈現(xiàn)視覺(jué)刺激，所述腦機(jī)接口子系統(tǒng)通過(guò)腦電信號(hào)采集模塊記錄來(lái)自于頭皮的腦電信號(hào)，并將其輸送至腦電信號(hào)處理模塊進(jìn)行相應(yīng)的信號(hào)處理，最后將識(shí)別結(jié)果輸入至通訊子系統(tǒng)。
作為一種優(yōu)選的技術(shù)方案，所述電極帽的電極具體安放位置為：腦電測(cè)量電極分別安放在使用者的大腦頂枕區(qū)P3、Pz、P4、T5、PO3、PO4、T6、O1、Oz、O2位置，參考電極位于頭頂，地電極位于Fpz和Fz連線的中點(diǎn)，電極阻抗低于10KΩ。
作為一種優(yōu)選的技術(shù)方案，所述腦電信號(hào)獲取模塊采用Neuracle放大器，其數(shù)據(jù)采樣率為250Hz，帶通濾波1～100Hz，并進(jìn)行在線50Hz陷波。
本發(fā)明的一種技術(shù)方案是這樣實(shí)現(xiàn)的：
一種基于非侵入式腦機(jī)接口機(jī)器臂的控制方法，包括以下步驟：
步驟1、將腦機(jī)接口子系統(tǒng)、通訊子系統(tǒng)和機(jī)器臂子系統(tǒng)連接在一起，并將腦電測(cè)量電極安放在使用者頂枕區(qū)，電極分布符合國(guó)際10-20系統(tǒng)，在頭頂處安放參考電極，在Fpz和Fz連線的中點(diǎn)處安放接地電極；
步驟2、將刺激界面投射到刺激屏幕上，刺激界面是一個(gè)3(行)×5(列)的目標(biāo)塊矩陣，主要分為3個(gè)部分：左半功能區(qū)目標(biāo)塊按笛卡爾坐標(biāo)系建立分別代表X,Y,Z三個(gè)方向的步進(jìn)；右上功能區(qū)目標(biāo)塊代表機(jī)器臂4,5,6軸的角度的步進(jìn)；右下部分代表氣動(dòng)抓手的開(kāi)/合以及復(fù)位功能。15個(gè)命令配合使用可以完成桌面上物體任意坐標(biāo)，任意角度的抓放；
步驟3、使用者集中注意力觀察以特定頻率閃爍的目標(biāo)塊一段時(shí)間，大腦皮層所誘發(fā)出的腦電信號(hào)經(jīng)過(guò)腦電信號(hào)采集模塊獲取，并通過(guò)腦電信號(hào)處理模塊對(duì)其進(jìn)行特征提取并解碼使用者的意圖，接下來(lái)通過(guò)通訊子系統(tǒng)將使用者的意圖與機(jī)器臂的控制命令一一映射起來(lái)，進(jìn)而完成對(duì)機(jī)器臂的控制；
步驟4、機(jī)器臂子系統(tǒng)的動(dòng)作會(huì)根據(jù)使用者注意力的集中程度做出相應(yīng)的反饋，使用者需要在刺激目標(biāo)塊閃爍間隔時(shí)間內(nèi)觀察抓手末端與被加持物體的空間位置，從而決策接下來(lái)要注視的目標(biāo)塊；
步驟5、返回步驟3并重復(fù)執(zhí)行，進(jìn)行下一次目標(biāo)塊識(shí)別任務(wù)，直到抓到物體為止。
作為一種優(yōu)選的技術(shù)方案，所述的3(行)×5(列)的目標(biāo)塊矩陣閃爍頻 率按照從左到右，從上到下的順序依次為：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。
作為一種優(yōu)選的技術(shù)方案，所述步驟3的具體實(shí)現(xiàn)方法包括以下步驟：
步驟(1)、腦機(jī)接口子系統(tǒng)對(duì)采集到的腦電信號(hào)進(jìn)行降采樣處理，降采樣頻率為250Hz；
步驟(2)、腦機(jī)接口子系統(tǒng)對(duì)采集到的腦電信號(hào)進(jìn)行帶通濾波，陷波處理，帶通濾波1～100Hz,并在此基礎(chǔ)上進(jìn)行50Hz的陷波處理；
步驟(3)、腦機(jī)接口子系統(tǒng)分別計(jì)算上述各頻帶信號(hào)與各刺激頻率對(duì)應(yīng)的正弦-余弦參考信號(hào)的典型相關(guān)系數(shù)，并得到對(duì)應(yīng)的最大相關(guān)系數(shù)；參考信號(hào)所用的諧波次數(shù)Nh＝5；
步驟(4)、腦機(jī)接口子系統(tǒng)將各刺激頻率下各頻帶對(duì)應(yīng)的最大相關(guān)系數(shù)的平方乘上相應(yīng)的權(quán)重系數(shù)并進(jìn)行相加求和作為目標(biāo)識(shí)別的特征；各頻帶對(duì)應(yīng)的權(quán)重系數(shù)w＝(n)-1.25+0.25，其中，n為頻帶的序號(hào)，n＝1，2，…；
步驟(5)、腦機(jī)接口子系統(tǒng)選擇特征值最大時(shí)所對(duì)應(yīng)的刺激頻率的圖片為使用者所注視的目標(biāo)；
步驟(6)、腦機(jī)接口子系統(tǒng)根據(jù)檢測(cè)出的目標(biāo)進(jìn)行相應(yīng)的視覺(jué)反饋提示，將相應(yīng)的目標(biāo)塊用紅色的方框框起來(lái)，同時(shí)將分類結(jié)果翻譯為機(jī)器臂子系統(tǒng)能識(shí)別的控制指令，通過(guò)通訊子系統(tǒng)將控制指令傳輸給機(jī)器臂子系統(tǒng)。
采用了上述技術(shù)方案，本發(fā)明的有益效果為：
1.本發(fā)明所構(gòu)建的穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦-機(jī)接口不需要訓(xùn)練就可以幫助使用者進(jìn)行實(shí)時(shí)的操作控制，節(jié)省培訓(xùn)所需要的時(shí)間。
2.本發(fā)明可實(shí)現(xiàn)精準(zhǔn)的多目標(biāo)化的控制，從而衍生更多的控制模式。
3.本發(fā)明有利于上肢運(yùn)動(dòng)功能缺失的人實(shí)現(xiàn)抓取，放置物體，幫助他們更好的體驗(yàn)生活。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明的系統(tǒng)框圖；
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
實(shí)施例一
如圖1所示，一種基于非侵入式腦-機(jī)接口機(jī)器臂控制系統(tǒng)包括腦-機(jī)接口子系統(tǒng)、通訊子系統(tǒng)以及機(jī)器臂子系統(tǒng)。其中，腦-機(jī)接口子系統(tǒng)通過(guò)將穩(wěn)態(tài)視覺(jué)誘發(fā)電位產(chǎn)生的頭皮腦電信號(hào)進(jìn)行提取，特征識(shí)別，解碼使用者的意圖，產(chǎn)生控制信號(hào)；機(jī)器臂子系統(tǒng)集成了一臺(tái)DENSO公司生產(chǎn)的6軸垂直多關(guān)節(jié)機(jī)器臂與一臺(tái)氣動(dòng)抓手，在機(jī)器臂物理約束范圍內(nèi)配合自主設(shè)計(jì)的抓指可實(shí)現(xiàn)空間內(nèi)任意物體的抓取，機(jī)器臂固定在一臺(tái)安裝有滾輪的光學(xué)平臺(tái)上，易于根據(jù)使用者要求移動(dòng)到相應(yīng)的位置。通訊子系統(tǒng)則將上位機(jī)產(chǎn)生的控制命令實(shí)時(shí)的傳輸?shù)綑C(jī)器臂控制器，并與機(jī)器臂的動(dòng)作命令一一映射。接下來(lái)對(duì)3個(gè)子系統(tǒng)分別進(jìn)行說(shuō)明：
腦-機(jī)接口子系統(tǒng)包括計(jì)算機(jī)(戴爾工作站)、計(jì)算機(jī)顯示器(華碩27英寸、刷新頻率60Hz、分辨率1920×1080)和腦電信號(hào)獲取模塊，計(jì)算機(jī)與腦電信號(hào)獲取模塊、計(jì)算機(jī)顯示器相連，腦電信號(hào)獲取模塊通過(guò)電極與使用者大腦皮層 相連。該系統(tǒng)所用電極共10個(gè)分別為：P3、Pz、P4、T5、PO3、PO4、T6、O1、Oz、O2。電極分布符合國(guó)際10-20系統(tǒng)，參考電極位于頭頂，地電極位于Fpz和Fz連線的中點(diǎn)，電極阻抗低于10KΩ。所述腦電信號(hào)獲取模塊采用Neuracle公司生產(chǎn)的可穿戴無(wú)線腦電系統(tǒng)，采樣率為250Hz，帶通濾波1～100Hz，并在此基礎(chǔ)上進(jìn)行50Hz陷波。
計(jì)算機(jī)是一臺(tái)裝有Matlab的Psychtoolbox工具包編寫的刺激程序，其利用采樣正弦編碼方法在計(jì)算機(jī)顯示器上實(shí)現(xiàn)所需的閃爍頻率。刺激界面由3×5的目標(biāo)塊矩陣組成，各目標(biāo)塊以不同的刺激頻率閃爍。整個(gè)刺激界面由3大功能區(qū)域組成，位于左半部分刺激界面是根據(jù)笛卡爾坐標(biāo)系建立的目標(biāo)塊分別代表了X、Y、Z三個(gè)方向的步進(jìn)；右上部分代表了4、5、6軸的步進(jìn)正/反轉(zhuǎn)；右下部分的3個(gè)目標(biāo)塊分別代表了氣動(dòng)抓手的開(kāi)/合以及復(fù)位功能。各目標(biāo)塊內(nèi)分別標(biāo)有醒目的表示機(jī)器臂動(dòng)作功能的簡(jiǎn)易符號(hào)，方便操作者的控制。3×5的目標(biāo)塊矩陣的閃爍頻率按從左到右，從上到下的順序依次為：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。所述計(jì)算機(jī)內(nèi)安裝有腦電信號(hào)特征提取與轉(zhuǎn)換程序，能夠?qū)δX電信號(hào)特征進(jìn)行提取并獲得特征的最大值所對(duì)應(yīng)的刺激頻率的圖片為使用者所注視的目標(biāo)，形成控制命令并傳輸給機(jī)器人子系統(tǒng)。
通訊子系統(tǒng)采用了TCP/IP通訊協(xié)議，將腦-機(jī)接口子系統(tǒng)和機(jī)器人子系統(tǒng)連接在一起，實(shí)現(xiàn)實(shí)時(shí)的信息交互功能。
機(jī)器臂子系統(tǒng)集成了一臺(tái)DENSO公司生產(chǎn)的6軸垂直多關(guān)節(jié)機(jī)器臂與一臺(tái)氣動(dòng)抓手，在機(jī)器臂物理約束范圍內(nèi)配合自主設(shè)計(jì)的抓指可實(shí)現(xiàn)空間內(nèi)任意物體的抓取，機(jī)器臂固定在一臺(tái)安裝有滾輪的光學(xué)平臺(tái)上，易于根據(jù)使用者要求移動(dòng)到相應(yīng)的位置。通訊子系統(tǒng)則將上位機(jī)產(chǎn)生的控制命令實(shí)時(shí)的傳輸?shù)綑C(jī)器臂控制器，并與機(jī)器臂的動(dòng)作命令一一映射。
實(shí)施例二
一種基于非侵入式腦-機(jī)接口機(jī)器臂控制系統(tǒng)的實(shí)現(xiàn)方法，包括以下步驟：
步驟1、將腦-機(jī)接口子系統(tǒng)、通訊子系統(tǒng)和機(jī)器臂子系統(tǒng)連接在一起，并將腦電測(cè)量電極安放在使用者頂枕區(qū)，電極分布符合國(guó)際10-20系統(tǒng)，在頭頂處安放參考電極，在Fpz和Fz連線的中點(diǎn)處安放接地電極。
步驟2、將刺激界面投射到刺激屏幕上。刺激界面是一個(gè)3(行)×5(列)的目標(biāo)塊矩陣，主要分為3個(gè)部分：左半功能區(qū)目標(biāo)塊按笛卡爾坐標(biāo)系建立分別代表X,Y,Z三個(gè)方向的步進(jìn)；右上功能區(qū)目標(biāo)塊代表機(jī)器臂4,5,6軸的角度的步進(jìn)；右下部分代表氣動(dòng)抓手的開(kāi)/合以及復(fù)位功能。15個(gè)命令配合使用可以完成桌面上物體任意坐標(biāo)，任意角度的抓放；所述的3(行)×5(列)的目標(biāo)塊矩陣閃爍頻率按照從左到右，從上到下的順序依次為：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。
步驟3、使用者集中注意力觀察以特定頻率閃爍的目標(biāo)塊一段時(shí)間，大腦皮層所誘發(fā)出的腦電信號(hào)經(jīng)過(guò)腦電信號(hào)采集模塊獲取，并通過(guò)腦電信號(hào)處理模塊對(duì)其進(jìn)行特征提取并解碼使用者的意圖，接下來(lái)通過(guò)通訊子系統(tǒng)將使用者的意圖與機(jī)器臂的控制命令一一映射起來(lái)，進(jìn)而完成對(duì)機(jī)器臂的控制。
步驟4、機(jī)器臂子系統(tǒng)的動(dòng)作會(huì)根據(jù)使用者注意力的集中程度做出相應(yīng)的反饋，使用者需要在刺激目標(biāo)塊閃爍間隔時(shí)間內(nèi)觀察抓手末端與被加持物體的空間位置，從而決策接下來(lái)要注視的目標(biāo)塊。
步驟5、返回步驟3并重復(fù)執(zhí)行，進(jìn)行下一次目標(biāo)塊識(shí)別任務(wù)，直到抓到物體為止。
其中，步驟3的具體實(shí)現(xiàn)方法包括以下步驟：
步驟(1)、腦-機(jī)接口子系統(tǒng)對(duì)采集到的腦電信號(hào)進(jìn)行降采樣處理，降采樣頻率為250Hz；
步驟(2)、腦-機(jī)接口子系統(tǒng)對(duì)采集到的腦電信號(hào)進(jìn)行帶通濾波，陷波處理，帶通濾波1～100Hz,并在此基礎(chǔ)上進(jìn)行50Hz的陷波處理；
步驟(3)、腦-機(jī)接口子系統(tǒng)分別計(jì)算上述各頻帶信號(hào)與各刺激頻率對(duì)應(yīng)的正弦-余弦參考信號(hào)的典型相關(guān)系數(shù)，并得到對(duì)應(yīng)的最大相關(guān)系數(shù)；參考信號(hào)所用的諧波次數(shù)Nh＝5；
步驟(4)、腦-機(jī)接口子系統(tǒng)將各刺激頻率下各頻帶對(duì)應(yīng)的最大相關(guān)系數(shù)的平方乘上相應(yīng)的權(quán)重系數(shù)并進(jìn)行相加求和作為目標(biāo)識(shí)別的特征；各頻帶對(duì)應(yīng)的權(quán)重系數(shù)w＝(n)-1.25+0.25，其中，n為頻帶的序號(hào)，n＝1，2，…；
步驟(5)、腦-機(jī)接口子系統(tǒng)選擇特征值最大時(shí)所對(duì)應(yīng)的刺激頻率的圖片為 使用者所注視的目標(biāo)；
步驟(6)、腦-機(jī)接口子系統(tǒng)根據(jù)檢測(cè)出的目標(biāo)進(jìn)行相應(yīng)的視覺(jué)反饋提示，將相應(yīng)的目標(biāo)塊用紅色的方框框起來(lái)，同時(shí)將分類結(jié)果翻譯為機(jī)器臂子系統(tǒng)能識(shí)別的控制指令，通過(guò)通訊子系統(tǒng)將控制指令傳輸給機(jī)器臂子系統(tǒng)。
以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。