一種基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手及其繪圖方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及嵌入式信號(hào)處理技術(shù)領(lǐng)域，尤其涉及一種基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手。本發(fā)明還涉及一種基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手的繪圖方法。
【背景技術(shù)】
[0002]人類大腦作為協(xié)調(diào)身體與精神活動(dòng)的神經(jīng)系統(tǒng)控制中樞，它管理著人體與外界進(jìn)行交互通信的各項(xiàng)神經(jīng)系統(tǒng)。當(dāng)今世界上，腦中風(fēng)、各種癱瘓、失語(yǔ)癥、帕氏綜合征困擾著越來(lái)越多人，醫(yī)療水平的不斷提高，有利于延長(zhǎng)這些患者的生命周期，但由于缺失對(duì)肌肉的控制力，他們無(wú)法與外界進(jìn)行正常交流和有效控制，生活質(zhì)量無(wú)法得到保障，這給患者自身和社會(huì)帶來(lái)了沉重的負(fù)擔(dān)。腦-機(jī)接口(brain-computer interface，BCI)是一種將具有意圖的腦電信號(hào)轉(zhuǎn)換成計(jì)算機(jī)指令的系統(tǒng)，它不同于人體大腦與肌肉組織的通訊方式，利用可識(shí)別的腦電信號(hào)實(shí)現(xiàn)人腦直接與外部設(shè)備通訊，涉及生物醫(yī)學(xué)工程、電生理學(xué)、腦神經(jīng)科學(xué)、信號(hào)處理技術(shù)和計(jì)算機(jī)科學(xué)等多學(xué)科領(lǐng)域交叉。除康復(fù)醫(yī)學(xué)工程領(lǐng)域，對(duì)于范圍更廣泛的健康用戶，在人機(jī)交互和多媒體娛樂(lè)通訊等相關(guān)領(lǐng)域，腦機(jī)接口可以結(jié)合傳統(tǒng)的視覺(jué)、聽(tīng)覺(jué)等通信方式構(gòu)成全新的通信交流方式，從而擴(kuò)充人類對(duì)外通信和環(huán)境控制的能力。目前腦機(jī)接口系統(tǒng)基本上都是基于PC機(jī)實(shí)現(xiàn)的，為了提高腦-機(jī)接口系統(tǒng)的實(shí)用性，腦-機(jī)接口系統(tǒng)必將朝著小型化方向發(fā)展，但目前國(guó)內(nèi)現(xiàn)有腦機(jī)接口系統(tǒng)大多數(shù)基于PC機(jī)實(shí)現(xiàn)，系統(tǒng)體積龐大，實(shí)用性不強(qiáng)。

【發(fā)明內(nèi)容】

[0003]為克服上述現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的之一在于提供一種小型化、便攜性、藝術(shù)性、實(shí)用性強(qiáng)的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手。
[0004]本發(fā)明的另一個(gè)目的在于提供一種基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手的繪圖方法。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手的技術(shù)方案是:
[0006]一種基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手，包括視覺(jué)刺激器，采用穩(wěn)態(tài)視覺(jué)誘發(fā)腦電信號(hào)，根據(jù)穩(wěn)態(tài)視覺(jué)誘發(fā)電位的原理，使用基于白色發(fā)光二極管LED實(shí)現(xiàn)視覺(jué)刺激；腦電信號(hào)采集模塊，采用便攜式信號(hào)采集放大器對(duì)腦電信號(hào)進(jìn)行采集；腦電數(shù)據(jù)傳輸模塊，在現(xiàn)場(chǎng)可編程邏輯門(mén)陣列FPGA的設(shè)計(jì)中使用VHDL將通用異步收發(fā)器功能集成到FPGA內(nèi)部，實(shí)現(xiàn)FPGA開(kāi)發(fā)板與信號(hào)采集放大器之間的數(shù)據(jù)傳輸中設(shè)置環(huán)形緩沖區(qū)用于不斷的從信號(hào)采集放大器接收腦電數(shù)據(jù)塊，并存儲(chǔ)起來(lái)，同時(shí)設(shè)置邏輯控制子模塊接收環(huán)形緩沖區(qū)提供的觸發(fā)，并通過(guò)邏輯控制，決定是否可以觸發(fā)信號(hào)處理；信號(hào)處理模塊，信號(hào)預(yù)處理:采用Matlab中的FADTooI生成FIR帶通濾波器系數(shù)和對(duì)應(yīng)的VHDL程序，然后把VHDL程序在FPGA里面生成對(duì)應(yīng)的FIR帶通濾波器模塊，從而實(shí)現(xiàn)對(duì)原始腦電信號(hào)的濾波；信號(hào)特征提取與識(shí)別:采用功率譜估計(jì)實(shí)現(xiàn)對(duì)視覺(jué)誘發(fā)腦電信號(hào)進(jìn)行誘發(fā)電位特征提取，用BP神經(jīng)網(wǎng)絡(luò)識(shí)別視覺(jué)誘發(fā)電位特征；控制指令輸出模塊，通過(guò)信號(hào)處理模塊識(shí)別出的刺激頻率匹配國(guó)畫(huà)機(jī)械手指令庫(kù)進(jìn)而轉(zhuǎn)換為相對(duì)應(yīng)的控制指令來(lái)實(shí)現(xiàn)機(jī)械手繪圖動(dòng)作，同時(shí)在FPGA中顯示將要繪制的指令；國(guó)畫(huà)機(jī)械手模塊，采用由六個(gè)伺服電機(jī)驅(qū)動(dòng)的AVR編程機(jī)械手，Atmegal68單片機(jī)控制器控制機(jī)械手的運(yùn)動(dòng)，并通過(guò)串口的方式與FPGA進(jìn)行實(shí)時(shí)通訊。
[0007]作為上述技術(shù)方案的改進(jìn)，所述視覺(jué)刺激器包括:視覺(jué)刺激器主控模板，采用FPGA針對(duì)同一個(gè)50MHZ有源晶振進(jìn)行整數(shù)倍分頻，然后通過(guò)并行控制使每組LED燈獨(dú)立閃爍，在Quartus II軟件上使用VHDL語(yǔ)言編寫(xiě)一個(gè)分頻模塊文件，設(shè)置分頻基數(shù)參數(shù)來(lái)獲得所需頻率；視覺(jué)刺激器面板模塊，國(guó)畫(huà)機(jī)器手的視覺(jué)刺激器面板由12個(gè)以不同頻率閃爍的方塊組成，包含上、下、左、右4個(gè)方位命令和豎線、斜線、鋸齒線、波浪線、實(shí)心點(diǎn)、返回、繪制、結(jié)束8個(gè)繪圖命令，LED刺激器采用ULN2003驅(qū)動(dòng)芯片，每個(gè)方塊采用白色樹(shù)脂封裝保證所有的刺激方塊穩(wěn)定正常閃爍，將12個(gè)LED以6串6并的方式組合來(lái)增加每個(gè)刺激方塊的發(fā)光面積。
[0008]作為上述方案的改進(jìn)，所述便攜式信號(hào)采集放大器為NeuroX.BC便攜式信號(hào)采集放大器，支持藍(lán)牙傳輸腦電信號(hào)數(shù)據(jù)。
[0009]進(jìn)一步地，本發(fā)明的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手還包括實(shí)時(shí)反饋模塊，通過(guò)視頻監(jiān)控實(shí)現(xiàn)繪圖的實(shí)時(shí)反饋，實(shí)時(shí)反饋模塊包括:圖像采集模塊，采用0V9650型號(hào)的傳感器，對(duì)彩色圖像進(jìn)行處理；數(shù)據(jù)傳輸模塊，根據(jù)Altera Cyclone和SOC Bulider相關(guān)理論在FPGA中建立數(shù)據(jù)傳輸模塊。
[0010]為實(shí)現(xiàn)上述目的，本發(fā)明的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手繪圖的具體方法如下:
[0011]—、整個(gè)實(shí)驗(yàn)在安靜、遠(yuǎn)離電磁干擾的環(huán)境中進(jìn)行，受試者頭戴電極帽，坐在距離視覺(jué)刺激器50cm處，雙眼平視視覺(jué)刺激器；當(dāng)刺激器開(kāi)始閃爍時(shí)，受試者雙眼注視所要代表繪制筆畫(huà)的LED燈；
[0012]二、開(kāi)啟信號(hào)采集放大器進(jìn)行信號(hào)采集，并將原始腦電信號(hào)送入FPGA的緩沖區(qū)中進(jìn)行實(shí)時(shí)存儲(chǔ)，在FPGA中設(shè)置環(huán)形緩沖區(qū)用于不斷的從信號(hào)采集放大器接收腦電數(shù)據(jù)塊，同時(shí)設(shè)置邏輯控制子模塊接收環(huán)形緩沖區(qū)提供的觸發(fā)，并通過(guò)邏輯控制，決定是否可以觸發(fā)信號(hào)處理；
[0013]三、經(jīng)過(guò)FPGA信號(hào)處理后的數(shù)據(jù)將經(jīng)過(guò)串口方式傳輸給國(guó)畫(huà)機(jī)械手；首先FPGA顯示信號(hào)處理模塊識(shí)別出代表繪制筆畫(huà)的刺激頻率，受試者根據(jù)實(shí)時(shí)反饋?zhàn)龀鲞M(jìn)一步的判斷；繪圖機(jī)械手將結(jié)合控制指令以及受試者的設(shè)置完成以下三個(gè)動(dòng)作:
[0014]1、刺激頻率不匹配控制指令庫(kù)內(nèi)的數(shù)據(jù)，繪圖機(jī)械手處于靜止?fàn)顟B(tài)，受試者將觸發(fā)邏輯控制接受新的腦電信號(hào)進(jìn)行處理；
[0015]2、刺激頻率匹配控制指令庫(kù)的數(shù)據(jù)時(shí)，繪圖機(jī)械手將發(fā)出工作提示，受試者根據(jù)實(shí)時(shí)反饋的繪圖動(dòng)作決定是否繪制國(guó)畫(huà)；
[0016]3、刺激頻率匹配控制指令庫(kù)的數(shù)據(jù)且機(jī)械手已經(jīng)繪制國(guó)畫(huà)部分時(shí)，受試者根據(jù)實(shí)時(shí)的繪圖視頻顯示來(lái)調(diào)整繪圖機(jī)械手的位置與動(dòng)作。
[0017]實(shí)施本發(fā)明實(shí)施例，具有如下有益效果:本發(fā)明的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手中的腦電信號(hào)采集端采用便攜式藍(lán)牙信號(hào)傳輸，大大提升了數(shù)據(jù)傳輸?shù)撵`活性和網(wǎng)絡(luò)傳輸速度，在很大程度上提高腦機(jī)接口系統(tǒng)的實(shí)用性；腦電信號(hào)處理端采用現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(Field Programmable Gate Array，F(xiàn)PGA)，擺脫了傳統(tǒng)腦機(jī)接口對(duì)PC機(jī)依賴，實(shí)現(xiàn)腦機(jī)接口系統(tǒng)的小型化、便攜性。本發(fā)明實(shí)現(xiàn)機(jī)械手繪制山水畫(huà)國(guó)畫(huà)，提高控制精度的同時(shí)提升了文化內(nèi)涵，最終的小型化道路必將落實(shí)到腦-機(jī)接口系統(tǒng)的嵌入式實(shí)現(xiàn)，便攜式腦-機(jī)接口系統(tǒng)具有廣泛的應(yīng)用前景。
【附圖說(shuō)明】
[0018]為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例的附圖作簡(jiǎn)單地介紹。
[0019]圖1是本發(fā)明的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手的工作原理圖。
[0020]圖2是本發(fā)明的基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手的繪圖步驟流程圖。
【具體實(shí)施方式】
[0021]下面結(jié)合附圖進(jìn)一步詳細(xì)說(shuō)明本發(fā)明的【具體實(shí)施方式】。
[0022]如圖1-2所示，本發(fā)明一種基于視覺(jué)誘發(fā)腦機(jī)接口的國(guó)畫(huà)機(jī)器手的實(shí)施例，包括:
[0023](I)視覺(jué)刺激器:本發(fā)明采用穩(wěn)態(tài)視覺(jué)誘發(fā)腦電信號(hào)，根據(jù)穩(wěn)態(tài)視覺(jué)誘發(fā)電位的原理，使用基于白色發(fā)光二極管(Light Emitting D1de，LED)實(shí)現(xiàn)視覺(jué)刺激器。
[0024]視覺(jué)刺激器主控模塊:為了實(shí)現(xiàn)LED閃爍頻率控制，采用FPGA針對(duì)同一個(gè)50MHZ有源晶振進(jìn)行整數(shù)倍分頻，然后通過(guò)并行控制使每組LED燈獨(dú)立閃爍。在Quartus II軟件上使用VHDL語(yǔ)言編寫(xiě)一個(gè)分頻模塊文件，設(shè)置分頻基數(shù)參數(shù)來(lái)獲得所需頻率。
[0025]視覺(jué)刺激器面板模塊:國(guó)畫(huà)機(jī)器手的視覺(jué)刺激器面板由12個(gè)以不同頻率閃爍的方塊組成。包含上、下、左、右4個(gè)方位命令和豎線、斜線、鋸齒線、波浪線、實(shí)心點(diǎn)、返回、繪制、結(jié)束8個(gè)繪圖命令。LED刺激器采用ULN2003驅(qū)動(dòng)芯片，每個(gè)方塊采用白色樹(shù)脂封裝保證所有的刺激方塊穩(wěn)定正常閃爍，將12個(gè)LED以6串6并的方式組合來(lái)增加每個(gè)刺激方塊的發(fā)光面積。
[0026](2)腦電信號(hào)采集模塊:腦電波是yV量級(jí)微弱生物醫(yī)學(xué)信號(hào)，本發(fā)明采用NeuroX.BC便攜式信號(hào)采集放大器，該放大器具有小型化、抗干擾性強(qiáng)、無(wú)線傳輸?shù)裙δ?。腦電放大器的采樣率是1000Hz，使用過(guò)程中性能穩(wěn)定，可有效傳導(dǎo)人體皮膚表面的如腦電信號(hào)(EEG)、心電信號(hào)(ECG)、眼電信號(hào)(EOG)等微弱生物電信號(hào)。
[0027](3)實(shí)時(shí)控制模塊:實(shí)時(shí)控制是本系統(tǒng)的核心部分，包括腦電數(shù)據(jù)傳輸模塊、信號(hào)處理模塊、控制指令輸出模塊。
[0028]腦電數(shù)據(jù)傳輸模塊:本發(fā)明采用的信號(hào)采集放大器NeuroX.BC支持藍(lán)牙傳輸腦電信號(hào)數(shù)據(jù)，在FPGA的設(shè)計(jì)中使用VHDL將通用異步收發(fā)器(Universal AsynchronousReceiver/Transmitter, UART)功能集成到FPGA內(nèi)部，實(shí)現(xiàn)FPGA開(kāi)發(fā)板與信號(hào)采集放大器之間的數(shù)據(jù)傳輸。在FPGA中設(shè)置環(huán)形緩沖區(qū)用于不斷的從信號(hào)采集放大器接收腦電數(shù)據(jù)塊，并存儲(chǔ)起來(lái)。同時(shí)設(shè)置邏輯控制子模塊接收環(huán)形緩沖區(qū)提供的觸發(fā)，并通過(guò)邏輯控制，決定是否可以觸發(fā)信號(hào)處理。
[0029]信號(hào)處理模塊:信號(hào)處理包含信號(hào)預(yù)處理和特征提取與識(shí)別兩部分。該模塊包含以下步驟:
[0030]1.采用Matlab中