進(jìn)行組合判別和校正，從而準(zhǔn)確地觸發(fā)云記錄。
[0034]本發(fā)明所述的表情識別方法，通常包括以下步驟:
[0035](a)圖像預(yù)處理，包括灰度圖像直方圖均衡等方法；
[0036](b)進(jìn)行人臉識別，可采用基于Adaboost的人臉識別分類器的方法。Adaboost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器:即識別能力較弱、容易出錯的分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器:即識別能力迅速而準(zhǔn)確的分類器)；
[0037](c)進(jìn)行特征提取，可采用對表情特征區(qū)域進(jìn)行LBP特征提取的方法。LBP即局部二值模式，是一種用來描述圖像局部紋理特征的算子；
[0038](d)進(jìn)行表情分類，可采用支持向量機(jī)(SVM)的方法；
[0039](e)表情識別，判斷表情分類為喜、怒、哀和正常四種。
[0040]本發(fā)明所述的姿勢識別方法，具體包括以下步驟:
[0041](a)根據(jù)學(xué)習(xí)者身體各部位到傳感器的距離信息，獲取學(xué)習(xí)者當(dāng)前的深度圖像；
[0042](b)在深度圖像中根據(jù)深度差異，利用二值化法可以實(shí)現(xiàn)人像和背景分離，從而提取人像輪廓；
[0043](C)采用Hu不變矩、支持向量機(jī)(SVM)進(jìn)行姿勢分類，包括端坐、左傾、右傾、前靠、后仰這五種姿勢；
[0044](d)姿勢識別。
[0045]本發(fā)明所所述的人眼狀態(tài)檢測方法，具體包括以下步驟:
[0046](a)進(jìn)行人臉識別，可采用基于Adaboost的人臉識別分類器等方法；
[0047](b)在人臉中截取眼睛區(qū)域，其方法為:首先使用已有的算法進(jìn)行膚色提取，經(jīng)過膚色區(qū)域的分析，對人臉區(qū)域進(jìn)行預(yù)檢測，然后結(jié)合人眼幾何特征進(jìn)行初步定位，再利用人眼的灰度信息進(jìn)行精確定位；
[0048](c)為了獲取清晰準(zhǔn)確的眼部圖像信息，首先將人臉圖像灰度化、進(jìn)行Gabor濾波、增強(qiáng)臉部各區(qū)域特征，然后將圖像二值化；
[0049](d)對二值化圖像進(jìn)行水平積分投影，二值化后人臉的特征點(diǎn)如頭發(fā)、眉毛、眼睛、鼻子、嘴巴等被明顯的分割出來，對該二值圖像進(jìn)行水平積分投影便可準(zhǔn)確的定位人眼；
[0050](e)判別眼睛狀態(tài)，獲取疲勞程度的表征。眼睛狀態(tài)分為睜眼、閉眼、瞇眼，定義睜眼為不疲勞，連續(xù)閉眼時(shí)間超過五秒為疲勞，瞇眼時(shí)眼睛面積越小越疲勞。
[0051]本發(fā)明所述的眼動跟蹤方法，具體包括以下步驟:
[0052](a)圖片樣本采集，包括校準(zhǔn)眼圖捕獲和標(biāo)定眼圖捕獲。此過程我們事先采集一組標(biāo)準(zhǔn)眼圖數(shù)據(jù)，讓測試人員在正常的在線學(xué)習(xí)狀態(tài)下拍攝記錄其視線正對屏幕時(shí)的眼圖作為校準(zhǔn)眼圖，記錄其正視屏幕邊緣、四角時(shí)的眼圖作為標(biāo)定眼圖；
[0053 ] (b)眼睛定位，包括橢圓擬合法瞳孔中心定位和Susan算子內(nèi)眼角點(diǎn)定位；
[0054](c)視線估計(jì)，包括校準(zhǔn)和標(biāo)定兩個(gè)過程。校準(zhǔn)過程根據(jù)圖片樣本采集中校準(zhǔn)點(diǎn)眼圖對應(yīng)的校準(zhǔn)點(diǎn)坐標(biāo)和眼睛定位中獲得的眼動數(shù)據(jù)，計(jì)算出學(xué)習(xí)者視線與標(biāo)準(zhǔn)眼圖之間的坐標(biāo)映射系數(shù)。標(biāo)定過程根據(jù)映射系數(shù)和眼睛定位中獲得的標(biāo)定點(diǎn)眼動數(shù)據(jù)計(jì)算出標(biāo)定點(diǎn)的注視坐標(biāo)(即學(xué)習(xí)者視線落在屏幕上的坐標(biāo))；
[0055](d)通過判斷學(xué)習(xí)者的視線坐標(biāo)是否落在屏幕范圍內(nèi)，即可判斷出學(xué)習(xí)者的視線狀態(tài)，視線狀態(tài)分為落在屏幕和偏離屏幕兩種；
[0056]本發(fā)明所述的聲音識別方法，具體包括以下步驟:
[0057](a)事先專門由測試人員錄制一些分別對應(yīng)喜、怒、哀等不同狀態(tài)的聲音，并對這些聲音信號進(jìn)行特征提取和分析，建立聲音語料庫，借由聲音語料庫的語音信號所包括的語音及其音高等屬性，建立語音模型。
[0058](b)錄取學(xué)習(xí)者的語音，根據(jù)教學(xué)者的需求選取在線學(xué)習(xí)過程中其想要了解的時(shí)間段進(jìn)行采樣檢測。
[0059](C)提取待檢測語音的音高屬性，輸入語音模型進(jìn)行判別。聲音判別類型包括喜、怒、哀、正常四種分類。
[0060]單模態(tài)信息的時(shí)序判別還是存在一定的單一性和片面性，必須同時(shí)采用多模態(tài)信息進(jìn)行組合校正，來提高判斷學(xué)習(xí)者學(xué)習(xí)過程中學(xué)習(xí)狀態(tài)的準(zhǔn)確度。例如，本系統(tǒng)中多模態(tài)信息的組合校正包括:
[0061](I)姿勢識別與表情識別組合校正。首先利用姿勢識別確定學(xué)習(xí)者的情境，判斷學(xué)習(xí)者是否在面對屏幕進(jìn)行在線學(xué)習(xí)，然后結(jié)合表情識別的分析結(jié)果評估其是否關(guān)注屏幕，判斷出“坐姿端正，卻表情不自然、面部動作異?！钡冗@類不正常的學(xué)習(xí)狀態(tài)。
[0062](2)表情識別與人眼狀態(tài)檢測組合校正。首先利用表情識別確定學(xué)習(xí)者是否表情正常，然后結(jié)合人眼狀態(tài)檢測判斷其眼睛睜閉狀態(tài)，判斷出“表情認(rèn)真，卻長時(shí)間閉目養(yǎng)神”等這類不正常的學(xué)習(xí)狀態(tài)。
[0063](3)人眼狀態(tài)檢測與眼動跟蹤組合校正。首先利用人眼狀態(tài)檢測方法確定學(xué)習(xí)者的眼睛狀態(tài)，判斷學(xué)習(xí)者是否睜眼學(xué)習(xí)，然后結(jié)合眼動跟蹤的分析結(jié)果判別學(xué)習(xí)者的關(guān)注點(diǎn)變化以及視覺是否疲勞，判斷出“眼睛睜閉狀態(tài)正常，卻目光呆滯、視線長時(shí)間滯留在屏幕某個(gè)區(qū)域”等這類不正常的學(xué)習(xí)狀態(tài)。
[0064](4)聲音識別與表情識別組合校正。結(jié)合獲得的語音特征，對基于表情識別獲取的學(xué)習(xí)者面部特征進(jìn)行判別，在時(shí)間維度上，以語音和笑聲為基準(zhǔn)的前后5s內(nèi)，根據(jù)學(xué)習(xí)者各種面部圖像特征信號判別的學(xué)習(xí)者學(xué)習(xí)狀態(tài)不正常的結(jié)果，我們認(rèn)定為是誤判，改為判別學(xué)習(xí)者學(xué)習(xí)狀態(tài)正常。
[0065](5)聲音識別與人眼狀態(tài)檢測組合校正。結(jié)合獲得的語音特征，對基于人眼狀態(tài)檢測獲取的學(xué)習(xí)者眼部特征進(jìn)行判別，消除“語音上大笑而視覺上疲勞”等誤判的情況。
[0066]以上五種組合校正的觸發(fā)方法為:任何一種組合校正中的兩種識別或檢測結(jié)果中，如果兩個(gè)判別均為正常，則認(rèn)為學(xué)習(xí)者學(xué)習(xí)狀態(tài)正常;如果其中有一個(gè)或兩個(gè)判別結(jié)果為不正常，則觸發(fā)組合校正方法，重新判別學(xué)習(xí)者的狀態(tài)。
[0067]本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法，其特征在于，包括如下步驟: (1)數(shù)據(jù)采集:采集學(xué)習(xí)者的表情數(shù)據(jù)、姿態(tài)數(shù)據(jù)、人眼狀態(tài)數(shù)據(jù)、視線數(shù)據(jù)、語音數(shù)據(jù)，存儲到本地服務(wù)器； (2)啟動單模態(tài)信息記錄，分析表情數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析姿態(tài)數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析人眼狀態(tài)數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析視線數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析語音數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);本發(fā)明中，學(xué)習(xí)者處于認(rèn)真聽課狀態(tài)時(shí)的表情、姿態(tài)、人眼狀態(tài)、視線、語音作為正常模態(tài)； (3)啟動多模態(tài)信息記錄，將姿勢識別與表情識別組合、表情識別與人眼狀態(tài)識別組合、人眼狀態(tài)檢測與眼動跟蹤組合、聲音識別與表情識別組合、聲音識別與人眼狀態(tài)檢測組合;判別前述五種組合，是否存在任一組的兩種模態(tài)均為異常，是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(I); (4)將步驟(3)中組合判別異常時(shí)的全部五種模態(tài)數(shù)據(jù)上傳至云存儲服務(wù)器，轉(zhuǎn)步驟(I)。2.根據(jù)權(quán)利要求1所述的信息記錄方法，其特征在于，分析表情數(shù)據(jù)采用的是表情識別方法;分析姿態(tài)數(shù)據(jù)，采用的是姿勢識別方法;分析人眼狀態(tài)數(shù)據(jù)，采用的是人眼狀態(tài)識別方法，分析視線數(shù)據(jù)，采用的是眼動跟蹤方法;分析語音數(shù)據(jù)，采用的是語音分析方法。3.根據(jù)權(quán)利要求1或2所述的信息記錄方法，其特征在于，步驟(3)中包括如下子步驟: (3.1)姿勢識別與表情識別組合，判斷姿勢識別與表情識別獲取的模態(tài)是否同時(shí)異常；是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.2); (3.2)表情識別與人眼狀態(tài)識別組合，判斷表情識別與人眼狀態(tài)檢測獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.3); (3.3)人眼狀態(tài)檢測與眼動跟蹤組合，判斷人眼狀態(tài)檢測與眼動跟蹤檢測方法獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.4); (3.4)聲音識別與表情識別組合，判斷聲音識別與表情識別獲取的模態(tài)是否同時(shí)異常；是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.5); (3.5)聲音識別與人眼狀態(tài)檢測組合，判斷語音特征識別和人眼狀態(tài)檢測獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(I)。4.根據(jù)權(quán)利要求1或3所述的信息記錄方法，其特征在于，所述的五種多模態(tài)組合識別的順序是可以交換的。
【專利摘要】本發(fā)明涉及對在線教學(xué)中學(xué)習(xí)者學(xué)習(xí)過程的狀態(tài)信息進(jìn)行采集和壓縮記錄的方法，旨在提供一種多模態(tài)學(xué)習(xí)過程狀態(tài)信息采集與基于事件觸發(fā)方式的云記錄方法。本發(fā)明包括信息(表情、姿態(tài)、眼部狀態(tài)、視線、聲音等)采集裝置、信息處理裝置和異常信息云記錄裝置，通過對多種信息的處理，獲得學(xué)習(xí)者的表情、姿態(tài)、眼部狀態(tài)、視線、語音等特征數(shù)據(jù)，通過對單模態(tài)信息的時(shí)序判別學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，并利用多模態(tài)信息的組合相互校正，從而觸發(fā)數(shù)據(jù)云記錄；本發(fā)明提出的在線學(xué)習(xí)者自適應(yīng)云學(xué)習(xí)過程記錄方法，以及在學(xué)習(xí)情境下基于學(xué)習(xí)狀態(tài)判別的觸發(fā)記錄方法在提升網(wǎng)絡(luò)教學(xué)系統(tǒng)的學(xué)習(xí)過程檢測和智能化方面具有廣闊的應(yīng)用前景。
【IPC分類】H04L29/08
【公開號】CN105516280
【申請?zhí)枴緾N201510864542
【發(fā)明人】劉威, 許煒, 徐晶, 王輝, 張謙益, 張鴻宇, 張猛
【申請人】華中科技大學(xué)
【公開日】2016年4月20日
【申請日】2015年11月30日