學(xué)生課堂注意力檢測(cè)方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種學(xué)生課堂注意力檢測(cè)方法，具體為：采集教室內(nèi)場(chǎng)景圖像；定位人臉并計(jì)算人臉朝向姿態(tài)；將人臉在圖像中的二維位置換算為其在教室內(nèi)坐高基準(zhǔn)平面的二維位置，并加入學(xué)生坐高先驗(yàn)值得到人臉在教室內(nèi)的三維空間位置；結(jié)合人臉三維空間位置和人臉朝向姿態(tài)計(jì)算學(xué)生在教學(xué)展示板上的注意力點(diǎn)。本發(fā)明還提供了一種實(shí)現(xiàn)上述方法的裝置，包括：第一攝像頭，用于在教室入口處捕獲入進(jìn)學(xué)生人臉圖像；身份識(shí)別模塊，用于通過人臉識(shí)別獲取學(xué)生身份；第二攝像頭，用于采集教室內(nèi)場(chǎng)景圖像；監(jiān)控與分析模塊，用于計(jì)算學(xué)生在教學(xué)展示板上的注意力點(diǎn)。應(yīng)用本發(fā)明可實(shí)時(shí)準(zhǔn)確地對(duì)課堂上學(xué)生注意力進(jìn)行監(jiān)控，幫助教師及時(shí)調(diào)整教學(xué)方式以提高教學(xué)效果。
【專利說明】學(xué)生課堂注意力檢測(cè)方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于教育信息化【技術(shù)領(lǐng)域】，具體涉及一種學(xué)生課堂注意力檢測(cè)方法及系 統(tǒng)。

【背景技術(shù)】
[0002] 傳統(tǒng)教學(xué)中，對(duì)于教學(xué)行為的觀察、分析手段大多停留在傳統(tǒng)的問卷調(diào)查或案例 等人工分析的基礎(chǔ)上，其評(píng)價(jià)結(jié)果較為主觀，且需要經(jīng)過較長(zhǎng)時(shí)間的統(tǒng)計(jì)分析，不能實(shí)時(shí)反 饋以改善教學(xué)行為。如果授課老師能夠在課堂上實(shí)時(shí)了解學(xué)生注意力狀況，便能及時(shí)調(diào)整 教學(xué)方式，勢(shì)必有效提高教學(xué)效果。而現(xiàn)有的教室監(jiān)控系統(tǒng)中多數(shù)圍繞對(duì)學(xué)生的出勤情況 進(jìn)行監(jiān)控，很少涉及到對(duì)學(xué)生注意力進(jìn)行分析。


【發(fā)明內(nèi)容】

[0003] 針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供一種學(xué)生課堂注意力學(xué)生課堂 注意力檢測(cè)系統(tǒng)，能夠客觀地、實(shí)時(shí)地、準(zhǔn)確地對(duì)課堂上學(xué)生的注意力進(jìn)行檢測(cè)與分析，為 授課教師提供及實(shí)時(shí)反饋，幫助其及時(shí)調(diào)整教學(xué)方式以提高教學(xué)效果。
[0004] 一種學(xué)生課堂注意力檢測(cè)方法，包括以下步驟：采集教室內(nèi)場(chǎng)景圖像；在場(chǎng)景圖 像中計(jì)算定位人臉并計(jì)算人臉朝向姿態(tài)；將人臉在圖像中的二維位置換算為其在教室內(nèi)坐 高基準(zhǔn)平面的二維位置，并加入學(xué)生坐高先驗(yàn)值得到人臉在教室內(nèi)的三維空間位置；結(jié)合 人臉在教室內(nèi)的三維空間位置和人臉朝向姿態(tài)計(jì)算學(xué)生在教學(xué)展示板上的注意力點(diǎn)。
[0005] 作為優(yōu)化，所述計(jì)算學(xué)生在教學(xué)展示板上的注意力點(diǎn)的具體實(shí)現(xiàn)方式為：
[0006] 確定學(xué)生坐高先驗(yàn)值，以該高度的平面作為教室空間坐高基準(zhǔn)平面，在坐高基準(zhǔn) 平面標(biāo)注采樣點(diǎn)，構(gòu)建采樣點(diǎn)與圖像點(diǎn)之間的映射變換矩陣；
[0007] 依據(jù)映射變換矩陣，將人臉在圖像中的二維位置轉(zhuǎn)換為在教室坐高基準(zhǔn)平面的二 維位置（B x，By)，加入學(xué)生坐高先驗(yàn)值得到人臉在教室內(nèi)的三維空間位置（BX，B Y，Bz);
[0008] 計(jì)算學(xué)生i在時(shí)刻t在教學(xué)展示板上的注意力點(diǎn)名： 4=(盡xtan(') + 5r，珥xtan(U/C〇S(') + ^)，式中，Θ，和Θ piteh分別為人臉朝向姿態(tài)在 水平與垂直兩個(gè)方向的朝向角度。
[0009] 作為優(yōu)化，所述計(jì)算人臉朝向姿態(tài)的具體實(shí)現(xiàn)方式為：
[0010] 提取人臉區(qū)域圖像子塊：
[0011] 對(duì)檢測(cè)到的人臉區(qū)域隨機(jī)提取M個(gè)圖像子塊，并提取圖像子塊的紋理特征Gi和幾 何特征di，形成特征組F i= (Gi, dj, i = 1，2…M，紋理特征GiS圖像子塊的灰度以及Gabor 特征描述符，幾何特征Cli為圖像子塊中心位置到人臉鼻尖點(diǎn)P t的位移差；
[0012] 估計(jì)水平方向的朝向角度：
[0013] 基于圖像子塊采用回歸森林法估計(jì)人臉的左、中、右三類水平朝向角度；在已估計(jì) 得到的三類水平朝向角度條件下，再次通過回歸森林法細(xì)分為左90度、左45度、正中、右 45度和右90度五類水平朝向角度Θ胃;根據(jù)鼻尖點(diǎn)坐標(biāo)P t與圖像子塊的幾何關(guān)系回歸學(xué) 習(xí)得到人臉在水平方向朝向角度的條件概率P(SifJPtlF1);估計(jì)的水平連續(xù)朝向角度為 P ( θy J Pt，F(xiàn)i)取最大值時(shí)的Θ yaw，即

【權(quán)利要求】
1. 一種學(xué)生課堂注意力檢測(cè)方法，其特征在于，包括以下步驟： 采集教室內(nèi)場(chǎng)景圖像； 在場(chǎng)景圖像中計(jì)算定位人臉并計(jì)算人臉朝向姿態(tài)； 將人臉在圖像中的二維位置換算為其在教室內(nèi)坐高基準(zhǔn)平面的二維位置，并加入學(xué)生 坐高先驗(yàn)值得到人臉在教室內(nèi)的三維空間位置； 結(jié)合人臉在教室內(nèi)的三維空間位置和人臉朝向姿態(tài)計(jì)算學(xué)生在教學(xué)展示板上的注意 力點(diǎn)。
2. 根據(jù)權(quán)利要求1所述的學(xué)生課堂注意力檢測(cè)方法，其特征在于，所述計(jì)算學(xué)生在教 學(xué)展示板上的注意力點(diǎn)的具體實(shí)現(xiàn)方式為： 確定學(xué)生坐高先驗(yàn)值，以該高度的平面作為教室空間坐高基準(zhǔn)平面，在坐高基準(zhǔn)平面 標(biāo)注采樣點(diǎn)，構(gòu)建采樣點(diǎn)與圖像點(diǎn)之間的映射變換矩陣； 依據(jù)映射變換矩陣，將人臉在圖像中的二維位置轉(zhuǎn)換為在教室坐高基準(zhǔn)平面的二維位 置（Bx，By)，加入學(xué)生坐高先驗(yàn)值得到人臉在教室內(nèi)的三維空間位置（BX，B Y，Bz); 計(jì)算學(xué)生i在時(shí)刻t在教學(xué)展示板上的注意力點(diǎn)_ : 4=(木>^峨胃)+屯盡父_(心,,)/?)8(') + 4)，式中，0胃和01^。11分別為人臉朝向姿態(tài)在 水平與垂直兩個(gè)方向的朝向角度。
3. 根據(jù)權(quán)利要求1或2所述的學(xué)生課堂注意力檢測(cè)方法，其特征在于，所述計(jì)算人臉朝 向姿態(tài)的具體實(shí)現(xiàn)方式為： 提取人臉區(qū)域圖像子塊： 對(duì)檢測(cè)到的人臉區(qū)域隨機(jī)提取M個(gè)圖像子塊，并提取圖像子塊的紋理特征匕和幾何特 征(Ii，形成特征組Fi= {G i, dj, i = 1，2…M，紋理特征GiS圖像子塊的灰度以及Gabor特 征描述符，幾何特征Cli為圖像子塊中心位置到人臉鼻尖點(diǎn)P t的位移差； 估計(jì)水平方向的朝向角度： 基于圖像子塊采用回歸森林法估計(jì)人臉的左、中、右三類水平朝向角度；在已估計(jì)得 到的三類水平朝向角度條件下，再次通過回歸森林法細(xì)分為左90度、左45度、正中、右45 度和右90度五類水平朝向角度Θ胃;根據(jù)鼻尖點(diǎn)坐標(biāo)P t與圖像子塊的幾何關(guān)系回歸學(xué) 習(xí)得到人臉在水平方向朝向角度的條件概率Ρ(θ胃|Pt，F(xiàn) i);估計(jì)的水平連續(xù)朝向角度為 P(HFi)取最大值時(shí)的 UP Hfmx ^"'' Ρ·^\ 9 估計(jì)豎直方向的朝向角度： 在已知水平朝向角度的條件下，通過回歸森林法估計(jì)上、中、下三類垂直朝向角度； 根據(jù)鼻尖點(diǎn)坐標(biāo)Pt與圖像子塊的幾何關(guān)系回歸學(xué)習(xí)得到人臉在豎直方向下的條件概率 P(0pitcJPt，θ胃，F(xiàn)i);估計(jì)的豎直連續(xù)朝向角度為條件概率P( 0pitcJPt，0_以取最大值 時(shí)的Θ pitc;h，從而獲得每個(gè)學(xué)生的人臉朝向
4. 根據(jù)權(quán)利要求1或2所述的學(xué)生課堂注意力檢測(cè)方法，其特征在于，還包括在場(chǎng)景圖 像中識(shí)別學(xué)生身份步驟。
5. 根據(jù)權(quán)利要求4所述的學(xué)生課堂注意力分析方法，其特征在于，所述識(shí)別學(xué)生身份 步驟的具體實(shí)現(xiàn)方式為： 預(yù)先在教室入口處捕獲入進(jìn)學(xué)生的人臉圖像，通過人臉識(shí)別獲取學(xué)生身份并生成人員 名單，同時(shí)提取學(xué)生服裝特征并與學(xué)生身份一一關(guān)聯(lián)； 在場(chǎng)景圖像中提取定位學(xué)生的服裝特征，在人員名單中通過服裝特征匹配初步確定候 選名單，在候選名單中通過人臉識(shí)別精確確定學(xué)生身份。
6. -種學(xué)生課堂注意力檢測(cè)系統(tǒng)，其特征在于，包括： 第一攝像頭，用于在教室入口處捕獲入進(jìn)學(xué)生的人臉圖像； 身份識(shí)別模塊，用于在所述人臉圖像中通過人臉識(shí)別獲取學(xué)生身份并生成學(xué)生名單； 第二攝像頭，用于采集教室內(nèi)場(chǎng)景圖像； 監(jiān)控與分析模塊，包括人臉跟蹤定位模塊、身份關(guān)聯(lián)模塊、人臉朝向估計(jì)模塊和注意力 分析模塊；人臉跟蹤定位模塊用于在所述場(chǎng)景圖像中定位人臉并維持對(duì)人臉位置的跟蹤； 身份關(guān)聯(lián)模塊用于對(duì)被定位人臉進(jìn)行識(shí)別以從所述人員名單中確定其身份信息；人臉朝向 估計(jì)模塊用于在所述室內(nèi)場(chǎng)景圖像中計(jì)算人臉朝向姿態(tài)；注意力分析模塊用于將人臉在場(chǎng) 景圖像中二維位置換算為在教室內(nèi)的二維位置，并加入學(xué)生坐高先驗(yàn)值得到人臉在教室內(nèi) 的三維空間位置，結(jié)合學(xué)生所在的教室空間位置和人臉朝向姿態(tài)計(jì)算學(xué)生在教學(xué)展示板上 的注意力點(diǎn)。
7. 根據(jù)權(quán)利要求6所述的學(xué)生課堂注意力檢測(cè)系統(tǒng)，其特征在于，所述注意力分析 模塊包括：空間位置映射子模塊，用于確定學(xué)生坐高先驗(yàn)值，以該高度的平面作為教室空 間坐高基準(zhǔn)平面，在坐高基準(zhǔn)平面標(biāo)注采樣點(diǎn)，構(gòu)建采樣點(diǎn)與圖像點(diǎn)之間的映射變換矩 陣；空間位置估算子模塊，用于依據(jù)映射變換矩陣，將人臉在圖像中的二維位置轉(zhuǎn)換為 在教室坐高基準(zhǔn)平面的二維位置（B x，By)，加入學(xué)生坐高先驗(yàn)值得到人臉在教室內(nèi)的三 維空間位置（BX，B Y，Bz);注意力計(jì)算子模塊，用于計(jì)算學(xué)生在教學(xué)展示板上的注意力點(diǎn) 4=(&><& 11(') + 4為>^_;",1,,)/〇>3(') +馬)式中，0胃和01^。11分別為人臉朝向姿態(tài)在水 平與垂直兩個(gè)方向的朝向角度。
8. 根據(jù)權(quán)利要求6或7所述的學(xué)生課堂注意力檢測(cè)系統(tǒng)，其特征在于，所述人臉朝向估 計(jì)模塊包括： 人臉區(qū)域圖像子塊提取子模塊，用于對(duì)檢測(cè)到的人臉區(qū)域隨機(jī)提取M個(gè)圖像子塊，并 提取圖像子塊的紋理特征Gi和幾何特征d i，形成特征組Fi= {G i, dj，i = 1，2…M，紋理特 征匕為圖像子塊的灰度以及Gabor特征描述符，幾何特征d 圖像子塊中心位置到人臉鼻 尖點(diǎn)Pt的位移差； 水平方向朝向角度估計(jì)子模塊，用于基于圖像子塊采用回歸森林法估計(jì)人臉的左、 中、右三類水平朝向角度；在已估計(jì)得到的三類水平朝向角度條件下，再次通過回歸森 林法細(xì)分為左90度、左45度、正中、右45度和右90度五類水平朝向角度Θ胃;根據(jù) 鼻尖點(diǎn)坐標(biāo)P t與圖像子塊的幾何關(guān)系回歸學(xué)習(xí)得到人臉在水平方向朝向角度的條件 概率p(0yaw|p t，F(xiàn)i);估計(jì)的水平連續(xù)朝向角度為P(QyJptlF i)取最大值時(shí)的0yaw，即 〇= argmax p{0P1, F1) 豎直方向朝向角度估計(jì)子模塊，用于在已知水平朝向角度的條件下，通過回歸森林 法估計(jì)上、中、下三類垂直朝向角度；根據(jù)鼻尖點(diǎn)坐標(biāo)Pt與圖像子塊的幾何關(guān)系回歸學(xué) 習(xí)得到人臉在豎直方向下的條件概率P(9 pitc;h|Pt，Θ胃，F(xiàn)i);估計(jì)的豎直連續(xù)朝向角度 為條件概率p(0pitc；h|Pt，Θ胃，F(xiàn)i)取最大值時(shí)的0 pitc；h，從而獲得每個(gè)學(xué)生的人臉朝向 二 PWpitd. \ PtWyim 'Fi) 〇 ^pilch
9.根據(jù)權(quán)利要求6或7所述的學(xué)生課堂注意力檢測(cè)系統(tǒng)，其特征在于，所述身份識(shí)別模 塊還用于提取學(xué)生服裝特征，并與學(xué)生身份一一關(guān)聯(lián)；所述身份關(guān)聯(lián)模塊包括初步身份識(shí) 別模塊和精確身份識(shí)別模塊，初步身份識(shí)別模塊用于在場(chǎng)景圖像中提取定位學(xué)生的服裝特 征，在人員名單中通過服裝特征匹配初步確定候選名單；精確身份識(shí)別模塊用于在候選名 單中通過人臉識(shí)別精確確定學(xué)生身份。
【文檔編號(hào)】G06K9/62GK104517102SQ201410836650
【公開日】2015年4月15日 申請(qǐng)日期:2014年12月26日 優(yōu)先權(quán)日:2014年12月26日
【發(fā)明者】陳靚影, 劉樂元, 張坤, 楊宗凱, 劉三女牙 申請(qǐng)人:華中師范大學(xué)