本發(fā)明涉及的是一種信息處理領(lǐng)域的技術(shù)，具體是一種基于眼動數(shù)據(jù)的腦電實驗評估系統(tǒng)及方法。

背景技術(shù)：

機器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學(xué)習(xí)中改善具體算法的性能。機器學(xué)習(xí)從學(xué)習(xí)方式上，可以分成：1.監(jiān)督學(xué)習(xí)；2.非監(jiān)督學(xué)習(xí)；3.半監(jiān)督學(xué)習(xí)；4.增強學(xué)習(xí)。當(dāng)今監(jiān)督學(xué)習(xí)在各領(lǐng)域均有相對較成熟的運用，但是，監(jiān)督學(xué)習(xí)對樣本標(biāo)簽的依賴限制了其進(jìn)一步發(fā)展：標(biāo)簽不精確、樣本基數(shù)過大導(dǎo)致給定標(biāo)簽代價過大等等均可能影響監(jiān)督學(xué)習(xí)準(zhǔn)確度。相反，半監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及增強學(xué)習(xí)更加接近于人類的學(xué)習(xí)方式，通過觀察來學(xué)習(xí)做成如何的動作，每個動作都會對環(huán)境有所影響，學(xué)習(xí)對象根據(jù)觀察到的周圍環(huán)境的反饋來做出判斷。因此，半監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及增強學(xué)習(xí)在機器學(xué)習(xí)領(lǐng)域占據(jù)了很重要的一部分。反饋是實現(xiàn)半監(jiān)督、非監(jiān)督學(xué)習(xí)、增強學(xué)習(xí)十分重要的一環(huán)。因此，此方法的提出也是實現(xiàn)更好的非監(jiān)督學(xué)習(xí)的重要的一步。

現(xiàn)今多數(shù)實驗均需要通過對象參與實驗采集數(shù)據(jù)，因此，對象參與程度直接影響了數(shù)據(jù)的優(yōu)劣程度。例如在情緒識別實驗中，對象通過觀看刺激素材，被誘發(fā)相應(yīng)的情緒并采集腦電數(shù)據(jù)，根據(jù)腦電數(shù)據(jù)預(yù)測對象在觀看各個刺激素材時的情緒。如果對象在觀看刺激素材是，出現(xiàn)發(fā)呆、走神、或故意不認(rèn)真觀看素材的行為，將導(dǎo)致數(shù)據(jù)質(zhì)量低下、模型預(yù)測精確度降低。在此方法提出之前，普遍采用填表反饋的方式，對象在結(jié)束一個片段的觀看后，在反饋表格上填寫對自己情緒的評價。這種反饋主觀因素過大，也存在對象故意隱瞞、欺騙的可能性，因此，一個客觀的基于真實數(shù)據(jù)來評估對象參與程度的方式十分的重要。

動態(tài)時間規(guī)整算法(dtw)曾經(jīng)是語音識別的一種主流方法。其將時間規(guī)整與距離規(guī)整測度結(jié)合起來，采用動態(tài)規(guī)劃技術(shù)，比較兩個大小不同的模式，解決語音識別中語速多變的難題。其基于動態(tài)規(guī)劃，能有效減小搜索時間，但對于大量樣本數(shù)據(jù)，o(n²)時間復(fù)雜度仍然會消耗大量運算時間。因此，本方法中采用了dtw的快速技術(shù)，由文獻(xiàn)stansalvador&philipchan,fastdtw:towardaccuratedynamictimewarpinginlineartimeandspace.kddworkshoponminingtemporalandsequentialdata提出的fastdtw算法。由于眼動數(shù)據(jù)的長度不一，本方法將原用于語音識別的技術(shù)用在眼動數(shù)據(jù)匹配上，成為本方法重要的一個組成部分。

眼動儀是近年新型的科技產(chǎn)品，佩戴之后，可以精確采集佩戴者關(guān)于眼睛運動的信息，包括：眨眼、注視點、注視時長、瞳孔大小。并可統(tǒng)計出：眨眼次數(shù)，注視次數(shù)，掃視、平均瞳孔大小、平均眨眼時長、眨眼頻率、注視頻率等。在文獻(xiàn)yifeilu,wei-longzheng,binbinli,andbao-lianglu,combiningeyemovementsandeegtoenhanceemotionrecognition,inproc.oftheinternationaljointconferenceonartificialintelligence(ijcai'15)中，通過從眼動儀統(tǒng)計數(shù)據(jù)中提取特征，可以單獨用作情緒識別或構(gòu)造多模態(tài)。

技術(shù)實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于眼動數(shù)據(jù)的腦電實驗評估系統(tǒng)及方法，客觀量化評價對象參與實驗認(rèn)真程度，為實驗以及模型形成反饋，以保證數(shù)據(jù)質(zhì)量以及提高模型預(yù)測精確度。對對象參與實驗的程度進(jìn)行了量化的評估，構(gòu)造了情緒識別實驗的量化反饋。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明涉及一種基于眼動數(shù)據(jù)的腦電實驗評估系統(tǒng)，包括：眼動儀、距離矩陣生成模塊、參與度檢測模塊以及情緒識別模塊，其中：眼動儀與距離矩陣生成模塊相連并傳輸眼動數(shù)據(jù)信息，距離矩陣生成模塊與參與度檢測模塊相連并傳輸距離信息，參與度檢測模塊與情緒識別模塊相連并傳輸參與度檢測結(jié)果信息以及情緒識別結(jié)果信息。

所述的眼動數(shù)據(jù)包括：注視坐標(biāo)、注視時長、注視起始結(jié)束時間、掃視起始坐標(biāo)、掃視路徑、掃視時長、掃視起始結(jié)束時間、掃視角度。

本發(fā)明涉及一種基于上述系統(tǒng)的基于眼動數(shù)據(jù)的腦電實驗評估方法，通過眼動儀采集對象眼動數(shù)據(jù)，根據(jù)眼動數(shù)據(jù)中的注視點建立時間-空間模型；然后使用動態(tài)時間規(guī)整算法快速技術(shù)計算序列之間相似程度并構(gòu)建距離矩陣，再通過基于密度的聚類算法進(jìn)行離群點檢測和量化排序，得到對象的參與度。

所述的距離矩陣，通過以下方式得到：

i)順序提取對象觀看刺激素材片段期間的所有注視點，即：{(x1,y1,t1),(x2,y2,t2),…,(xn,yn,tn)}，其中：xi,yi是第i個注視點坐標(biāo)，ti是第i個注視點時長，n為片段注視點個數(shù)；

ii)將持續(xù)時長小于某預(yù)定閾值δ的注視點視為無效注視點，從序列中刪除無效注視點。將有效注視點依次展開，即重復(fù)坐標(biāo)t/δ次，其中：t是該注視點的持續(xù)時間；

iii)將步驟ii)中的注視點根據(jù)區(qū)域?qū)π蛄芯幋a；

iv)使用動態(tài)時間規(guī)整算法兩兩比較序列相似度，得到一個具體數(shù)值表示兩序列相似程度，越小表示相似度越高；

所述的動態(tài)時間規(guī)整算法是指：fastdtw[stansalvador&philipchan,fastdtw:towardaccuratedynamictimewarpinginlineartimeandspace.kddworkshoponminingtemporalandsequentialdata,pp.70-80,2004]。

v)將每兩個序列相似度數(shù)值作為距離，構(gòu)造距離矩陣其中：dij＝dji，dij是第i個序列和第j個序列之間的距離，m為單個刺激素材樣本總數(shù)，即對象人數(shù)；

所述的離群點檢測和量化排序，具體包括以下步驟：

i)基于前一模塊的距離數(shù)據(jù)，使用基于密度的聚類算法，檢測出離群點和非離群點。

ii)提取每個序列到聚類結(jié)果中非離群點的距離作為特征向量<v1,v2,…,vp>，其中vi為第i個特征值，p為特征總數(shù)，即非離群點個數(shù)；

iii)針對每一個刺激素材片段，對需要反饋的實驗的樣本根據(jù)情緒識別結(jié)果精度排序，作為訓(xùn)練標(biāo)簽；

iv)依次選取一個刺激素材片段作為測試集，使用剩余所有刺激素材片段作為訓(xùn)練集，使用svmrank訓(xùn)練模型，預(yù)測測試樣本排序。

所述的離群點檢測，將對象分成了兩類：眼動數(shù)據(jù)被檢測成離群點的對象的參與實驗程度不高，腦電、眼動數(shù)據(jù)質(zhì)量低下，因此可以科學(xué)的避免使用這一部分?jǐn)?shù)據(jù)；眼動數(shù)據(jù)被檢測成非離群點的對象，說明其認(rèn)真地參與了實驗，情緒理應(yīng)得到很好的誘發(fā)，數(shù)據(jù)質(zhì)量優(yōu)秀，因此僅使用這一部分?jǐn)?shù)據(jù)可以有效提高模型預(yù)測精確度。

所述的量化排序，預(yù)測測試樣本排序，量化每個對象的參與程度。量化的結(jié)果，用于改進(jìn)實驗，在對象多次實驗過程中，給予對象反饋信息，提高對象參與程度。并可將結(jié)果融入進(jìn)原實驗，例如給予腦電的情緒識別，預(yù)測模型中，提高模型精度。

技術(shù)效果

與現(xiàn)有技術(shù)相比，本發(fā)明通過參與度檢測，挑選并使用優(yōu)質(zhì)數(shù)據(jù)，有效的提高情緒識別預(yù)測準(zhǔn)確度，其次本發(fā)明通過參與度檢測，在被試實驗過程中，給予被試反饋信息，提高被試參與程度；使用本發(fā)明方法進(jìn)行實驗評估，比使用隱馬爾科夫模型(hmm)在實現(xiàn)難度上更加簡單，有效。

附圖說明

圖1為基于眼動數(shù)據(jù)的腦電實驗評估系統(tǒng)示意圖；

圖2為實施例眼動序列示意圖；

圖3為實施例架構(gòu)示意圖。

具體實施方式

實施例1

如圖1所示，本實施例通過smiiviewetg眼動儀采集對象眼動數(shù)據(jù)，使用begaze軟件提取眼動數(shù)據(jù)，根據(jù)眼動數(shù)據(jù)中的注視點通過距離矩陣模塊生成距離矩陣；然后通過參與度檢測模塊與情緒識別模塊得出結(jié)果。

如圖3所示，本實施例在受嚴(yán)格控制的實驗環(huán)境中進(jìn)行。實驗實在一個獨立并且隔音的房間中進(jìn)行，室內(nèi)照明由照明系統(tǒng)控制，保證光照強度適中且恒定不變，室溫由空調(diào)系統(tǒng)維持在令人舒適的溫度。

本實施例中通過對10名對象進(jìn)行檢測，測試其參與情緒識別實驗并佩戴眼動儀采集眼動數(shù)據(jù)，其中5名被要求認(rèn)真觀看刺激素材，5名被要求不認(rèn)真觀看刺激素材。使用本發(fā)明方法，分類結(jié)果準(zhǔn)確度高達(dá)90％。

表1。帶有標(biāo)簽的眼動數(shù)據(jù)聚類結(jié)果

注：“1”表示認(rèn)真觀看刺激素材，“-1”表示不認(rèn)真觀看刺激素材。

實施例2

本實施例采用與實施例1相同的環(huán)境及相同的眼動數(shù)據(jù)采集裝備。另外，本實施例使用了esineuroscan系統(tǒng)進(jìn)行腦電的采集。腦電帽擁有64個電極，電極分布符合國際統(tǒng)一的10-20系統(tǒng)標(biāo)準(zhǔn)，其中兩導(dǎo)不利用，因此一共采集62導(dǎo)腦電數(shù)據(jù)。腦電帽采樣頻率為1000hz。

本實施例以26名對象進(jìn)行測試，檢測其參與情緒識別實驗并佩戴眼動儀采集眼動數(shù)據(jù)，實驗過程中，對象認(rèn)真程度未知。使用本發(fā)明方法，將對象數(shù)據(jù)分為認(rèn)真、不認(rèn)真兩類。使用基于腦電的情緒識別方法，計算出每個人情緒識別準(zhǔn)確度。其中，所有對象平均情緒識別準(zhǔn)確度為68.52％，被分為認(rèn)真的對象平均情緒識別準(zhǔn)確度為81.70％，倍分為不認(rèn)真的對象平均準(zhǔn)確度為57.26％。基于聚類結(jié)果，進(jìn)行量化后，預(yù)測排序與真實排序相關(guān)性高達(dá)0.77。

表2。不帶標(biāo)簽的眼動數(shù)據(jù)聚類結(jié)果

表3。量化評估排序結(jié)果

本發(fā)明上述實施例的方法說明了本發(fā)明的有效性及顯著效果。通過注意力預(yù)測的情緒識別準(zhǔn)確度與真實情緒識別準(zhǔn)確度具有較大的相關(guān)系數(shù)。

上述具體實施可由本領(lǐng)域技術(shù)人員在不背離本發(fā)明原理和宗旨的前提下以不同的方式對其進(jìn)行局部調(diào)整，本發(fā)明的保護(hù)范圍以權(quán)利要求書為準(zhǔn)且不由上述具體實施所限，在其范圍內(nèi)的各個實現(xiàn)方案均受本發(fā)明之約束。