一種基于多個(gè)定位攝像頭的教學(xué)用圖像跟蹤方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于教育培訓(xùn)課程錄播領(lǐng)域，尤其涉及教學(xué)用圖像跟蹤方法及系統(tǒng)。
【背景技術(shù)】
[0002] 目前在普教和高教視頻公開(kāi)課、精品課堂或常態(tài)化教學(xué)的錄制和資源共享過(guò)程 中，需要實(shí)時(shí)對(duì)上課實(shí)況進(jìn)行攝像機(jī)跟蹤拍攝。攝像機(jī)跟蹤存在手動(dòng)跟蹤和自動(dòng)跟蹤兩種 方式。手動(dòng)跟蹤就是人工驅(qū)動(dòng)攝像機(jī)進(jìn)行跟蹤拍攝。自動(dòng)跟蹤需要額外配置跟蹤處理器，采 用紅外或圖像處理技術(shù)，判斷教師或?qū)W生是否站立或移動(dòng)，解算出活動(dòng)目標(biāo)的具體位置，驅(qū) 動(dòng)教師或?qū)W生高清云臺(tái)跟蹤攝像機(jī)進(jìn)行跟蹤拍攝。跟蹤方法主要有紅外跟蹤和圖像跟蹤兩 種方式；采用紅外跟蹤方式，受環(huán)境影響大，教室開(kāi)窗或教室照明不均時(shí)，攝像機(jī)跟蹤不準(zhǔn)， 跟蹤效果差，因此市場(chǎng)上主要采用圖像跟蹤的方式。常見(jiàn)的圖像跟蹤方式有以下幾種：跟蹤 攝像機(jī)既作為高清視頻采集又作為圖像分析定位使用，不需要圖像輔助定位攝像頭；采用 人體特征的圖像跟蹤方式，如基于人體圖像塊特征或人臉識(shí)別的圖像跟蹤方式，來(lái)判斷跟 蹤區(qū)域內(nèi)是否有目標(biāo)，目標(biāo)是否站立或移動(dòng)；學(xué)生跟蹤采用一個(gè)圖像輔助定位攝像頭的方 式，安裝在教室黑板的上方，俯視學(xué)生全景。
[0003] 以上方案存在以下主要問(wèn)題：
[0004] 1、教師或?qū)W生跟蹤攝像機(jī)既作為高清視頻采集又作為圖像定位分析使用時(shí)，因攝 像機(jī)拍攝范圍是有限的，當(dāng)教師或?qū)W生跟蹤攝像機(jī)視頻范圍外出現(xiàn)目標(biāo)活動(dòng)時(shí)，將出現(xiàn)跟 蹤攝像機(jī)不能跟蹤拍攝的問(wèn)題，這種方案存在跟蹤盲區(qū)；
[0005] 2、采用人體特征的圖像跟蹤方式，需要提前采集活動(dòng)目標(biāo)的人體特征，如教師或 學(xué)生的高度、人臉等特征信息，人體特征信息采集工作量大，與錄播系統(tǒng)需滿(mǎn)足常態(tài)化教學(xué) 的理念不符；
[0006] 3、學(xué)生跟蹤采用一個(gè)圖像輔助定位攝像頭定位時(shí)，當(dāng)活動(dòng)目標(biāo)距離黑板比較遠(yuǎn) 時(shí)，難以精確提取活動(dòng)目標(biāo)圖像區(qū)域，經(jīng)常出現(xiàn)跟蹤拍攝不準(zhǔn)確的問(wèn)題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明提供一種基于多個(gè)定位攝像頭的教學(xué)用圖像跟蹤方法及系統(tǒng)，以解決上述 問(wèn)題。
[0008] 為實(shí)現(xiàn)本設(shè)計(jì)方案的目的，本發(fā)明提供一種基于多個(gè)定位攝像頭的教學(xué)用圖像跟 蹤方法。上述方法包括以下步驟：
[0009] 1、教師圖像輔助定位攝像頭和學(xué)生圖像輔助定位攝像頭分別收集教師區(qū)域和學(xué) 生區(qū)域的數(shù)據(jù)視頻信息，并發(fā)送到圖像跟蹤處理器；
[0010] 2、圖像跟蹤處理器采用圖像處理技術(shù)，判斷教師或?qū)W生區(qū)域內(nèi)是否有活動(dòng)目標(biāo)， 確定目標(biāo)的具體位置，解算出教師或?qū)W生區(qū)域目標(biāo)圖像行為分析結(jié)果；
[0011] 3、圖像跟蹤處理器根據(jù)教師或?qū)W生區(qū)域目標(biāo)圖像行為分析結(jié)果驅(qū)動(dòng)教師或?qū)W生 跟蹤攝像機(jī)旋轉(zhuǎn)或變焦；
[0012] 4、圖像跟蹤處理器將教師或?qū)W生區(qū)域目標(biāo)圖像行為分析結(jié)果通知視頻切換模塊， 由視頻切換模塊根據(jù)導(dǎo)播切換策略向錄播服務(wù)器發(fā)送視頻切換指令。
[0013] 本發(fā)明還提供一種基于多個(gè)定位攝像頭的教學(xué)用圖像跟蹤系統(tǒng)，包括：1臺(tái)教師 跟蹤攝像機(jī)、1個(gè)教師圖像輔助定位攝像頭、1臺(tái)學(xué)生跟蹤攝像機(jī)、2個(gè)學(xué)生圖像輔助定位攝 像頭、1臺(tái)圖像跟蹤處理器、1臺(tái)講臺(tái)電腦。
[0014] 教師跟蹤攝像機(jī)：實(shí)時(shí)采集教師區(qū)域內(nèi)的視頻數(shù)據(jù)信息并發(fā)送至錄播服務(wù)器，視 頻數(shù)據(jù)信息用于教學(xué)資料保存使用。
[0015] 教師圖像輔助定位攝像頭：實(shí)時(shí)采集教師區(qū)域的視頻數(shù)據(jù)信息并發(fā)送至圖像跟蹤 處理器，視頻數(shù)據(jù)信息用于教師區(qū)域內(nèi)活動(dòng)目標(biāo)的圖像行為分析。
[0016] 學(xué)生跟蹤攝像機(jī)：實(shí)時(shí)采集學(xué)生區(qū)域的視頻數(shù)據(jù)信息并發(fā)送至錄播服務(wù)器，視頻 數(shù)據(jù)信息用于教學(xué)資料保存使用；
[0017] 學(xué)生圖像輔助定位攝像頭：實(shí)時(shí)采集學(xué)生區(qū)域的視頻數(shù)據(jù)信息并發(fā)送至圖像跟蹤 處理器，視頻數(shù)據(jù)信息用于學(xué)生區(qū)域內(nèi)活動(dòng)目標(biāo)的圖像行為分析。
[0018] 圖像跟蹤處理器：根據(jù)教師和學(xué)生圖像輔助定位攝像頭的視頻數(shù)據(jù)信息，實(shí)時(shí)分 析教師區(qū)域和學(xué)生區(qū)域內(nèi)是否有目標(biāo)活動(dòng)，解算出教師或?qū)W生區(qū)域目標(biāo)圖像行為分析結(jié) 果，驅(qū)動(dòng)教師或?qū)W生跟蹤攝像機(jī)旋轉(zhuǎn)或變焦；
[0019] 講臺(tái)電腦：教師講課使用，內(nèi)嵌鍵鼠使用檢測(cè)模塊。
[0020] 圖像跟蹤處理器內(nèi)嵌教師視頻采集與跟蹤模塊、學(xué)生視頻采集與跟蹤模塊和視頻 切換模塊；講臺(tái)電腦內(nèi)嵌講臺(tái)電腦鍵鼠使用檢測(cè)模塊。
[0021] 教師視頻采集與跟蹤模塊：根據(jù)教師圖像輔助定位攝像頭采集的視頻數(shù)據(jù)信息， 圖像分析區(qū)域A是否有活動(dòng)目標(biāo)，是單個(gè)目標(biāo)還是多個(gè)目標(biāo)，判斷活動(dòng)目標(biāo)是否移動(dòng)，解算 出教師區(qū)域目標(biāo)圖像行為分析結(jié)果；根據(jù)教師區(qū)域目標(biāo)圖像行為分析結(jié)果驅(qū)動(dòng)教師跟蹤攝 像機(jī)旋轉(zhuǎn)或變焦；將教師區(qū)域目標(biāo)圖像行為分析結(jié)果通知視頻切換模塊。
[0022] 學(xué)生視頻采集和跟蹤模塊：根據(jù)學(xué)生圖像輔助定位攝像頭A和學(xué)生圖像輔助定位 攝像頭B采集的視頻數(shù)據(jù)信息，圖像分析判斷區(qū)域B是否有活動(dòng)目標(biāo)，是單個(gè)目標(biāo)還是多個(gè) 目標(biāo)，解算出學(xué)生區(qū)域目標(biāo)圖像行為分析結(jié)果；根據(jù)學(xué)生區(qū)域目標(biāo)圖像行為分析結(jié)果驅(qū)動(dòng) 學(xué)生跟蹤攝像機(jī)旋轉(zhuǎn)或變焦；將學(xué)生區(qū)域目標(biāo)圖像行為分析結(jié)果通知視頻切換模塊。
[0023] 講臺(tái)電腦鍵鼠使用檢測(cè)模塊：判斷講臺(tái)電腦的鍵盤(pán)或鼠標(biāo)是否正在被使用。如果 有鍵盤(pán)輸入或鼠標(biāo)正在移動(dòng)，認(rèn)為有人正在使用講臺(tái)電腦，解算出鍵鼠使用行為結(jié)果；將鍵 鼠使用行為結(jié)果通知視頻切換模塊。鍵鼠使用行為結(jié)果包括：鍵盤(pán)是否使用，鼠標(biāo)是否使 用。
[0024] 視頻切換模塊：根據(jù)教師區(qū)域目標(biāo)圖像行為分析結(jié)果、學(xué)生區(qū)域目標(biāo)圖像行為分 析結(jié)果和鍵鼠使用行為結(jié)果，依據(jù)圖像跟蹤系統(tǒng)導(dǎo)播切換策略，向錄播服務(wù)器發(fā)送視頻切 換指令。
[0025] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：
[0026] 1、本發(fā)明采用了 1臺(tái)教師跟蹤攝像機(jī)、1個(gè)教師圖像輔助定位攝像頭、1臺(tái)學(xué)生跟 蹤攝像機(jī)、2個(gè)學(xué)生圖像輔助定位攝像頭；教師跟蹤攝像機(jī)和學(xué)生跟蹤攝像機(jī)采集的視頻 數(shù)據(jù)信息用于精品課程的錄制，可直接保存為教學(xué)資料使用；教師圖像輔助定位攝像頭采 集的視頻數(shù)據(jù)信息用于教師圖像定位分析使用，視頻范圍可覆蓋教室區(qū)域；學(xué)生圖像輔助 定位攝像頭采集的視頻數(shù)據(jù)信息用于學(xué)生定位分析使用，視頻范圍可覆蓋學(xué)生區(qū)域。跟蹤 攝像機(jī)和圖像輔助定位攝像頭各司其職，跟蹤沒(méi)有盲區(qū)，解決了跟蹤盲區(qū)問(wèn)題。
[0027] 2、本發(fā)明采用微網(wǎng)格分析技術(shù)，判斷每個(gè)微網(wǎng)格內(nèi)是否有活動(dòng)目標(biāo)的方式來(lái)確定 目標(biāo)的位置。不采用圖像塊特征來(lái)圖像識(shí)別，不需要提取每個(gè)跟蹤目標(biāo)的特征信息，沒(méi)有人 體特征信息采集工作量，有利于系統(tǒng)的批量安裝，滿(mǎn)足常態(tài)化教學(xué)的需求。
[0028] 3、本發(fā)明學(xué)生跟蹤采用兩個(gè)圖像輔助定位攝像頭，通過(guò)兩個(gè)定位攝像頭準(zhǔn)確取得 了學(xué)生活動(dòng)區(qū)域內(nèi)活動(dòng)目標(biāo)的三維物理位置，解決了學(xué)生區(qū)域內(nèi)遠(yuǎn)離黑板位置的區(qū)域無(wú)法 準(zhǔn)確跟蹤拍攝的問(wèn)題。
【附圖說(shuō)明】
[0029] 圖1教室區(qū)域劃分示意圖；
[0030] 圖2教學(xué)用圖像跟蹤系統(tǒng)邏輯結(jié)構(gòu)圖；
[0031] 圖3教師圖像跟蹤處理流程圖；
[0032] 圖4學(xué)生圖像跟蹤處理流程圖；
[0033] 圖5關(guān)鍵區(qū)域A不意圖和坐標(biāo)圖；
[0034] 圖6關(guān)鍵區(qū)域B俯視圖和每個(gè)三維微網(wǎng)格坐標(biāo)圖。
【具體實(shí)施方式】
[0035] 如圖1描述了教室區(qū)域劃分示意圖，設(shè)定教師活動(dòng)區(qū)域?yàn)閰^(qū)域A，講臺(tái)外學(xué)生活動(dòng) 區(qū)域?yàn)閰^(qū)域B，講臺(tái)電腦使用活動(dòng)為關(guān)鍵域C。
[0036] 1個(gè)或多個(gè)教師或?qū)W生可進(jìn)入?yún)^(qū)域A ;1個(gè)或多個(gè)教師或?qū)W生可進(jìn)入?yún)^(qū)域B;教師 或?qū)W生均可開(kāi)展關(guān)鍵域C的活動(dòng)；
[0037] 教師圖像輔助定位攝像頭安裝在天花板，教師圖像輔助定位攝像頭視頻范圍覆蓋 了區(qū)域A;學(xué)生圖像輔助定位攝像頭A和學(xué)生圖像輔助定位攝像頭B分別安裝在教室的兩 偵牝安裝高度相同，安裝高度為80-120cm;兩個(gè)攝像頭的視頻范圍均覆蓋了區(qū)域B。
[0038] 如圖2所示為教學(xué)用圖像跟蹤系統(tǒng)邏輯結(jié)構(gòu)圖，包括1臺(tái)教師跟蹤攝像機(jī)、1個(gè)教 師圖像輔助定位攝像頭、1臺(tái)學(xué)生跟蹤攝像機(jī)、2個(gè)學(xué)生圖像輔助定位攝像頭、1臺(tái)圖像跟蹤 處理器、1臺(tái)講臺(tái)電腦。
[0039]系統(tǒng)采用圖像處理的方式，分析教師區(qū)域和學(xué)生區(qū)域內(nèi)是否有活動(dòng)目標(biāo)，解算出 教師區(qū)域目標(biāo)圖像行為分析結(jié)果和學(xué)生區(qū)域目標(biāo)圖像行為分析結(jié)果，驅(qū)動(dòng)教師跟蹤攝像機(jī) 或?qū)W生跟蹤攝像機(jī)旋轉(zhuǎn)到準(zhǔn)確位置，活動(dòng)目標(biāo)始終在教師跟蹤攝像機(jī)或?qū)W生跟蹤攝像機(jī)的 視頻范圍內(nèi)；系統(tǒng)接收講臺(tái)電腦鍵鼠使用檢測(cè)模塊發(fā)送的鍵鼠使用行為結(jié)果；視頻切換模 塊根據(jù)教師區(qū)域目標(biāo)圖像行為分析結(jié)果、學(xué)生區(qū)域目標(biāo)圖像行為分析結(jié)果和鍵鼠使用行為 結(jié)果，根據(jù)圖像跟蹤系統(tǒng)導(dǎo)播切換策略，向錄播服務(wù)器發(fā)送視頻切換指令，完成系統(tǒng)跟蹤拍 攝的全過(guò)程。圖像跟蹤系統(tǒng)導(dǎo)播切換策略如下表。
[0040]
[0041] 如圖3描述了教師圖像跟蹤處理流程：
[0042] 1)教師視頻采集與跟蹤模塊實(shí)時(shí)接收教師圖像輔助定位攝像頭采集的區(qū)域A的 視