專利名稱：一種雙攝像機交互式智能跟蹤教學系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及了一種結合圖像采集、運動目標檢測與跟蹤以及攝像機控制等技術的交互式智能跟蹤教學系統(tǒng)，屬于計算機視覺教學技術領域。
背景技術：
受教育部大力推廣的農遠工程啟發(fā)，依托現(xiàn)代互聯(lián)網(wǎng)技術的高速發(fā)展，包括學習方式的改變、E-1earning技術空前的發(fā)展與應用，網(wǎng)絡教學的日益普及等，近年來智能跟蹤教學系統(tǒng)逐漸在我國各大中小學課堂教學中獲得推廣，成為教學技能培訓的主要形式之一。隨著近年來圖像處理及計算機視覺理論中目標跟蹤技術研究的快速發(fā)展，以及計算機和相關硬件設備日新月異的技術更新速度和生產(chǎn)成本的降低，智能跟蹤教學系統(tǒng)不僅能讓每個普通教師在不受任何約束授課的同時拍攝實時跟蹤圖像，而且擁有提供了各類界面接口，便于操作的優(yōu)勢，在各教學培訓領域獲得了更為廣泛的需求和應用。例如，在廣大中小學校的日常教學中，教師可以按照平時的教學習慣進行授課，系統(tǒng)將會自動對其運動特征進行分析計算，通過高效穩(wěn)定的跟蹤策略保證教師時刻處于拍攝畫面的適當區(qū)域，然后將教師授課以及與學生互動交流的過程制作成多媒體文件(課件、教學資源等)，借助于網(wǎng)絡教學和遠程點播等教學平臺，可以為邊遠地區(qū)學生提供優(yōu)質的教學資源，并且該系統(tǒng)還能為政府會議、企業(yè)培訓、學術交流、基礎教育等行業(yè)提供多媒體信息化的解決方案。目前常見的教學系統(tǒng)方案，如廣州奧威亞電子科技有限公司的室內定位系統(tǒng)，通過使用多個紅外接收器組成的紅外接收條，利用傳感器之間互相發(fā)送與接收信號的原理來獲取目標位置坐標信息，但其不涉及對教師與學生動作的識別，功能比較單一；杭州開銳技術有限公司的多目全景紅外鎖定跟蹤攝像系統(tǒng)，其主攝像頭裝有紅外攝像頭與其一起轉動，能夠鎖定跟蹤任何角度的紅外目標，但對教師板書動作給予特寫鏡頭時，須通過專用傳感器檢測，而且整套系統(tǒng)包含兩個跟蹤攝像頭，兩個紅外攝像頭，構造復雜，教師在授課期間還須佩戴紅外發(fā)射器；北京同步科技有限公司包含一臺教室特寫攝像機、一臺主動型紅外掃描攝像機以及一臺學生全景攝像機，通過紅外探測技術實現(xiàn)對教師的跟蹤，但對于學生攝像機僅僅實現(xiàn)拍攝全景畫面的功能，系統(tǒng)缺乏交互性；北京翰博爾信息技術有限公司的圖像定位系統(tǒng)包含一個教師定位攝像機，一個教師跟蹤攝像機，兩個學生定位攝像機，一個學生跟蹤攝像機，有很好的跟蹤與檢測效果，但是其整套系統(tǒng)體構造復雜，成本昂貴，不利于安裝及維護；

發(fā)明內容
本發(fā)明要解決的問題在于，針對目前常見的系統(tǒng)解決方案中，容易出現(xiàn)的對授課教師的跟蹤易受周圍環(huán)境影響、教師授課運動區(qū)域受限、教師與學生之間的交流較少、需要專人配合操作，且系統(tǒng)配置復雜(大于兩個攝像機或需其它專用傳感器件)等缺陷，設計了一種用于教學的雙攝像機交互智能跟蹤教學系統(tǒng)。
為實現(xiàn)本設計方案的目的，本發(fā)明提供了一種雙攝像機交互式智能跟蹤教學系統(tǒng)?？傇O計圖如圖1所示，包括:圖像采集模塊:使用雙路圖像采集卡可實時而獨立的分別對教師攝像機與學生攝像機采集圖像，然后將采集到的圖像按幀存儲在系統(tǒng)內存中，其中將教師攝像機采集到的圖像作為教師跟蹤模塊或學生跟蹤模塊的輸入圖像，將學生攝像機所采集到的圖像作為學生檢測模塊的輸入圖像；當攝像機控制模塊接收到對教師或學生攝像機產(chǎn)生運動控制的指令時，圖像采集模塊會通過更新采集到的圖像，在用戶界面交互模塊的顯示窗口中進行實時顯示；攝像機控制模塊:在手動跟蹤模式下，操作者針對需要觀察的區(qū)域，只需在界面交互模塊的畫面顯示窗口中，使用鼠標左鍵單擊該區(qū)域，便可向教師攝像機發(fā)送控制指令，使其快速穩(wěn)定的轉至該區(qū)域，控制鼠標滑輪向前滑動時，對該區(qū)域進行放大查看，向后滑動時，可擴大所觀察的區(qū)域范圍；在自動跟蹤模式下，線程交互模式中所包含的教師跟蹤模塊、學生跟蹤模塊和學生檢測模塊可依據(jù)相應判斷策略在教師跟蹤、學生檢測以及學生跟蹤流程間協(xié)調切換并進行計算，依據(jù)其得到的結果來實現(xiàn)對教師攝像機與學生攝像機的獨立控制功能，包括教師跟蹤期間對教師攝像機的擺動和縮放控制、學生起立回答問題時對學生給予特寫鏡頭等動作；用戶界面交互模塊:為用戶對系統(tǒng)的運行與操作提供界面支持，包括初始化參數(shù)設置單元、跟蹤方式的選擇以及對圖形采集模塊中教師攝像機與學生攝像機所拍攝圖像的實時顯示；其中，初始參數(shù)設置界面包括對教師身高信息，教室長、高尺寸參數(shù)的錄入，并依據(jù)系統(tǒng)安裝的幾何關系計算并返回具體的安裝參數(shù)。另一方面，根據(jù)教師身高能夠對教師自動跟蹤時的初始位置進行自動設置；然后將每一幀由圖像采集模塊采集到的圖像在指定的畫面顯示窗口中進行實時顯示，以便用戶能對教師跟蹤、學生跟蹤以及學生檢測的結果進行最直觀的觀察；跟蹤方式提供兩種選擇:手動跟蹤方式與自動跟蹤方式，當選擇手動跟蹤方式時，針對實際應用要求，可在教師攝像機的拍攝顯示窗口中，根據(jù)相應的規(guī)則，簡單操作鼠標便可完成用戶與系統(tǒng)之間的交互功能，達到對教室任意區(qū)域縮放查看的目的；當選用自動跟蹤方式時，在初始參數(shù)設置完畢后，點擊“開始運行”按鈕后，系統(tǒng)的運行以及對于線程交互模塊、攝像機控制模塊以及圖像采集模塊的操作都是自動進行，無需額外的人為操作，方便簡潔；線程交互模塊:當系統(tǒng)選擇自動跟蹤模式，并且點擊“開始運行”按鈕后，對于從教師攝像機中采集到的彩色圖像將傳遞給教師跟蹤模塊，經(jīng)過特征區(qū)域識別、模板提取、建立混合高斯模型、建立目標顏色直方圖、極大似然估計(EM)、卡爾曼濾波預測搜索目標等步驟后，即可獲得教師具體的運動信息與位置參數(shù)，并根據(jù)所設計的教師跟蹤策略來實現(xiàn)對教師攝像機擺動、縮放與調節(jié)焦距等動作的控制；對于從學生攝像機中采集到的彩色圖像，將其傳遞給學生檢測模塊，經(jīng)過顏色空間轉換、平滑處理、閾值化處理、高斯動態(tài)背景處理后，得到學生運動的檢測結果，并據(jù)此實現(xiàn)對學生攝像機的相關動作控制的功能；當學生檢測模塊檢測到學生上講臺板書回答問題時，通過向線程交互模塊發(fā)送消息，切換教師跟蹤模塊至學生跟蹤模塊，并使得教師跟蹤模塊暫時掛起，學生跟蹤模塊開始運行，從教師攝像機采集到的圖像通過圖像灰度變換、閾值化處理、背景剪除處理后，計算得到的學生位置參數(shù)，若滿足一定閾值條件，則控制教師攝像機對學生板書給予特寫鏡頭顯示，當檢測到學生下講臺回座位時，再次進行模塊線程的切換工作，恢復教師跟蹤模塊的功能，并使學生跟蹤模塊掛起；教師跟蹤模塊:對于從圖像采集模塊中實時獲取的教師攝像機所采集的圖像，首先在第一幀圖像中對是否存在教師特征區(qū)域進行判斷，若存在則對其特征區(qū)域進行模板建模，若不存在則提示錯誤，重新開始檢測；然后對教師的特征模板所在區(qū)域建立混合高斯模型，并根據(jù)其顏色直方圖的分布情況，通過極大似然估計算法(EM)對特征區(qū)域的位置坐標出現(xiàn)的概率進行似然估計計算，得到教師特征區(qū)域在當前幀圖像的估計位置；最后，將上一幀與當前幀圖像中教師特征區(qū)域位置坐標通過卡爾曼濾波器進行數(shù)據(jù)遞歸運算，得到教師特征區(qū)域在當前幀中的準確估計位置參數(shù)，由此可獲取教師運動期間的位置信息與特征區(qū)域參數(shù)，當教師的位置坐標發(fā)生移動時，可控制教師攝像機根據(jù)其坐標移動差值的大小與方向進行相應的擺動或俯仰，若在計算過程中，檢測到教師位置在規(guī)定時間內未發(fā)生移動，且教師特征區(qū)域的檢測值小于一定閾值，則認為教師此時正在背身板書，通過控制教師攝像機對其板書給予特寫放大鏡頭，以便能在界面交互模塊的顯示窗口中清晰的顯示教師的板書；學生檢測模塊:對于從圖像采集模塊中實時獲取的學生攝像機所采集的圖像，首先進行初始化圖像預處理，將圖像從彩色空間轉換至灰度空間，然后對學生所處的教室區(qū)域圖像建立背景模型，對所獲取的背景模型經(jīng)過濾波器平滑處理后，通過實時更新該背景模型來實現(xiàn)對學生運動的檢測；當有學生起立或產(chǎn)生其他的干擾動作時，將會造成背景模型的變化，通過計算可得到產(chǎn)生運動區(qū)域的位置參數(shù)與特征值大小，再對所獲取到的參數(shù)信息經(jīng)過閾值化處理，只有在滿足一定閾值條件的情況下所產(chǎn)生的動作才認為是學生起立的正確動作，并控制學生攝像機對起立學生給予特寫鏡頭，否則認為是對檢測的干擾動作，不予理會；然后對產(chǎn)生背景變化的運動區(qū)域的特征值進行計算，通過條件判斷確定是否為學生上講臺回答問題的正確動作，若確為學生上講臺回答問題，則通過向線程交互模塊發(fā)送消息來實現(xiàn)教師跟蹤模塊到學生跟蹤模塊的切換，并通過一定時間緩沖后，重新更新教室區(qū)域的背景模型并持續(xù)對學生運動進行檢測；學生跟蹤模塊:當線程交互模塊獲取由學生檢測模塊檢測到的學生上講臺板書答題的檢測結果時，通過消息處理機制實現(xiàn)教師跟蹤模塊與學生跟蹤模塊之間的切換，掛起教師跟蹤模塊，并開始運行學生跟蹤模塊；此時將教師攝像機采集的彩色圖像，首先經(jīng)過圖像二值化處理，通過對像素點進行開閉運算，去除對檢測結果產(chǎn)生干擾的噪聲，然后通過幀間背景剪除法獲取學生上講臺期間的運動信息，當檢測到學生在講臺區(qū)域未移動開始板書時，對教師攝像機進行控制來實現(xiàn)對學生板書給予特寫鏡頭，并且在界面交互模塊的顯示窗口中清晰顯示學生板書；當檢測到學生的移動特征值超過一定閾值時，則認為此時學生走下講臺回到座位，發(fā)送消息給線程交互模塊，實現(xiàn)與教師跟蹤模塊的再次切換，使教師跟蹤模塊開始運行，并使學生跟蹤模塊掛起。本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于:(I)本發(fā)明的教師跟蹤算法不但能實時對教師在黑板和講臺區(qū)域的運動進行檢測跟蹤，而且還能判斷教師在黑板區(qū)域是否進行板書的情況，若正在板書，則控制教師攝像機對其板書給出特寫鏡頭。本發(fā)明所采用的教師跟蹤模塊是在教師授課期間，對教師進行的全方位范圍跟蹤，包括其在講臺走動以及走下講臺進入學生中間時的情形。
(2)基于機器視覺和模式識別的跟蹤與檢測算法所實現(xiàn)的本套系統(tǒng)，在實際使用中很大程度上解放了對教師授課區(qū)域和動作的限制與束縛，與主動式超聲探測技術和紅外跟蹤系統(tǒng)相比，教師無需佩戴發(fā)射器定位裝置，只需在系統(tǒng)開始時進行特征區(qū)域模板的提取即可，且系統(tǒng)長時間的運行也不會對教師產(chǎn)生任何健康影響；與佩戴發(fā)射器定位技術相t匕，本發(fā)明不對教師授課期間的動作與移動范圍提出要求，教師的跟蹤運動區(qū)域更為廣泛；與基于多通道融合技術相比，本發(fā)明對陰影與光照的影響有一定的抗干擾能力，對教室內的光線適應性更好，算法的跟蹤穩(wěn)定性更強。(3)本發(fā)明所述的學生檢測模塊不僅在檢測到學生起立時，給與起立學生特寫鏡頭，而且可以在檢測到學生上講臺寫板書回答問題時，向主機發(fā)送消息，與教師跟蹤線程發(fā)送交互式通信，從而實現(xiàn)對上講臺學生的跟蹤和對板書給予特寫鏡頭的功能。(4)常用的教學跟蹤系統(tǒng)對于鏡頭的控制等操作，往往會需要多人的配合，并且在錄制后還需要進行人為的加工處理。而在本發(fā)明中，可根據(jù)實際需求選擇跟蹤方式，當處于自動跟蹤方式下時，包括線程交互模塊、攝像機控制模塊和跟蹤畫面顯示等都是自動完成，無需專人進行額外操作。( 5 )本發(fā)明僅使用兩個攝像機，通過一臺計算機主機對他們進行相應控制，不但降低了系統(tǒng)成本，而且用戶界面交互模塊所包含的初始參數(shù)設置單元能為系統(tǒng)安裝與初始參數(shù)設置提供直觀簡便的幫助。系統(tǒng)還為網(wǎng)絡直播和教學錄播提供專用擴展口，能夠在保證系統(tǒng)良好兼容性的前提下，擴大其應用范圍與適用場景。


圖1為本發(fā)明一種雙攝像機交互式智能跟蹤教學系統(tǒng)的總體設計圖；圖2為本發(fā)明中用戶界面交互模塊的設計圖；圖3為本發(fā)明中初始參數(shù)設置單元的設計圖；圖4為本發(fā)明中教師跟蹤模塊的流程圖；圖5為本發(fā)明中學生檢測模塊的流程圖；圖6為本發(fā)明中學生跟蹤模塊的流程圖；圖7、8為本發(fā)明中的安裝示意圖。
具體實施例方式如圖1所示，本發(fā)明一種雙攝像機交互式智能跟蹤教學系統(tǒng)由8個模塊構成:圖像采集模塊、攝像機控制模塊、用戶界面交互模塊、線程交互模塊、教師跟蹤模塊、學生檢測模塊、學生跟蹤模塊。整體實現(xiàn)過程如下:(I)系統(tǒng)初始化參數(shù)設置單元。在實際安裝使用的過程中，針對不同教室的大小，教師攝像機與學生攝像機的安裝位置都會有所不同，通過系統(tǒng)初始化參數(shù)設置，可以獲取攝像機安裝時的吊頂高度與傾斜角度，為了在后期獲得更好的跟蹤與檢測效果，往往還需要根據(jù)實際情況設置教師攝像機的初始預置位；對于輸入的授課教師身高信息，也為計算學生攝像機安裝時的傾斜角度提供依據(jù)，計算完畢后，初始化參數(shù)設置單元會自動修改系統(tǒng)參數(shù)，以適應環(huán)境的變化。
(2)攝像機控制與圖像采集功能的實現(xiàn)。按照系統(tǒng)初始化參數(shù)的指導，安裝好攝像機后，圖像采集模塊分別通過彩色圖像采集卡從教師攝像機和學生攝像機采集圖像，按幀存儲在計算機的內存中，在需要的時候依次讀取，然后在用戶交互界面中的教師攝像機顯示窗口與學生攝像機顯示窗口中進行實時顯示，為用戶通過直觀清晰的拍攝畫面。根據(jù)系統(tǒng)運行需要滿足的跟蹤條件，通過485總線向攝像機控制模塊發(fā)送指令，經(jīng)過調節(jié)顯示區(qū)域大小、攝像機焦距等步驟，達到理想的顯示效果。對于攝像機運動期間圖像的采集，需要通過設置攝像機的運動速度和圖像采集模塊的采集顯示速度，才能保證畫面顯示的穩(wěn)定性與實時性。(3)教師跟蹤與學生檢測、跟蹤功能的實現(xiàn)。手動跟蹤模式下，用戶只需通過鼠標就可以直接與用戶界面上教師攝像機顯示窗口中的拍攝畫面進行交互，在想要觀察的區(qū)域點擊鼠標左鍵，就可以向攝像機控制模塊發(fā)送相應的控制指令，若點擊邊緣區(qū)域，則攝像機會以較快的速度運動到指定地點，若點擊離中間位置較近的區(qū)域，則攝像機會以較慢的速度運動到該處。如果需要得到黑板上板書的清晰圖像，只需向前滑動鼠標的中間滾輪，當向后滑動鼠標滾輪時，則可以擴大觀察的范圍，以便從全局上觀察授課過程。自動跟蹤模式下，用戶首先需要在初始化參數(shù)設置模塊中提供教師的身高信息，用戶界面交互模塊會根據(jù)教師身高，自動調節(jié)教師跟蹤的初始位置，以保證教師處于教師攝像機清晰可見的中間位置。點擊“開始運行”的按鈕后，教師跟蹤模塊和學生檢測模塊同時運行，其中教師跟蹤模塊嚴格按照教師跟蹤策略對教師的運動進行檢測和跟蹤，若教師橫向移動，則向教師攝像機發(fā)送指令，使其按照一定速度左右擺動以保證教師時刻處于畫面顯示的適當位置，若教師板書，則對其板書給予特寫鏡頭。學生檢測模塊若檢測到學生起立回答問題則向學生攝像機發(fā)送指令，對起立學生給予特寫鏡頭，若檢測到學生走上講臺板書答題，則向線程交互模塊發(fā)送消息，通過其對教師跟蹤模塊與學生跟蹤模塊進行切換，開始運行學生跟蹤模塊。學生跟蹤模塊若檢測到學生板書，則對其板書給予特寫鏡頭，若檢測到學生回座位，則再次向線程交互模塊發(fā)送消息，使學生跟蹤模塊向教師跟蹤模塊進行切換，恢復教師跟蹤模塊的功能。(4)用戶界面輸出。用戶界面交互模塊的主界面上設置有教師攝像機顯示窗口和學生攝像機顯示窗口，教師攝像機的預置位設置按鈕，以及教師攝像機轉動速度的設置按鈕，可以允許用戶按照自己的需求和意愿對攝像機控制模塊、圖像采集模塊和線程交互模塊進行直接的操作，然后從跟蹤檢測結果顯示窗口中獲取相應的拍攝畫面，從而直接從教師攝像機和學生攝像機的顯示窗口中對教師跟蹤和學生檢測、跟蹤的過程進行觀察。上述各模塊的具體實現(xiàn)過程如下:1.用戶界面交互模塊該模塊的實現(xiàn)過程如圖2、3所示:(I)運行程序后，出現(xiàn)如圖2所示的主界面，左側窗口為教師攝像機顯示窗口，右側窗口為學生攝像機顯示窗口，在主界面下方的功能區(qū)域中，左側包含跟蹤方式選擇框、初始化參數(shù)設置按鈕、攝像機運動速度設置按鈕以及教師攝像機預置位設置按鈕，中間為圖像采集模塊開啟按鈕、系統(tǒng)運行按鈕以及退出按鈕，右側為攝像機控制模塊的操作按鈕以及學生檢測結果顯示框；在跟蹤方式選擇框中，通過點擊不同選項來完成對系統(tǒng)跟蹤方式的選擇；(2)點擊初始化參數(shù)設置窗口，會彈出系統(tǒng)參數(shù)設置界面如圖3所示，在教師身高編輯框中填入教師身高數(shù)據(jù)，為保證跟蹤效果，默認允許教師身高在150cnT200Cm之間，點擊教師身高設置確認。在教室尺寸編輯框中，依次填入教室長、高以及講臺到黑板的距離，點擊安裝參數(shù)計算后，系統(tǒng)會自動計算安裝結果，并將參數(shù)顯示在吊頂高度與安裝傾斜角的編輯框中，設置完畢后，點擊確定完成；(3)設置好系統(tǒng)運行參數(shù)后，點擊“打開相機”按鈕，開始對教師攝像機和學生攝像機的圖像采集模塊，然后點擊“開始運行”按鈕，執(zhí)行線程交互模塊中的相應功能，對于教師跟蹤與學生檢測、跟蹤的結果將會實時的顯示在相對應的窗口界面中；(4)若完成系統(tǒng)的使用，退出時只需點擊退出程序按鈕即可。2.教師跟蹤模塊該模塊對應的實現(xiàn)過程如圖4所示:(I)對于從教師攝像機采集到的圖像，先使用分類器(Adaboost)在講臺區(qū)域對教師特征區(qū)域進行搜索，若找到教師特征模板，則對其進行建立混合高斯模型進行處理，并根據(jù)其顏色直方圖的分布情況，通過極大似然估計算法(EM)對特征區(qū)域的位置坐標出現(xiàn)的概率進行似然估計計算，得到教師在圖像中的估計位置；若未找到，則重新采集圖像繼續(xù)搜索查找；(2)將得到的估計位置參數(shù)通過卡爾曼濾波器與當前幀圖像參數(shù)進行融合，得到教師特征區(qū)域在下一幀圖像中的準確位置坐標及特征值大小，通過對教師特征區(qū)域的坐標變化進行計算來判斷教師是否移動，若坐標值不為零，則認為教師授課期間產(chǎn)生了左右移動，此時向教師攝像機發(fā)送消息，控制教師攝像機的左右移動，若坐標值為零，則進行下一步的檢測；(3)在教師未進行橫向移動的前提下，對其特征區(qū)域的特征值進行計算，若小于閾值則認為此時教師正在背身板書，向教師攝像機發(fā)送消息給予板書特寫鏡頭；若大于該閾值則返回檢測繼續(xù)計算特征區(qū)域坐標；(4)對教師的縱向移動坐標進行檢測，若大于講臺位置閾值，則認為此時教師走下講臺，控制教師攝像機擺動至教室區(qū)域預置位，若沒有過此閾值，則繼續(xù)檢測；(5)當教師在教室區(qū)域內移動時，同樣重復以上的檢測步驟，若檢測到教師經(jīng)過講臺閾值時，則認為此時教師回到講臺，重新對其特征區(qū)域進行檢測及跟蹤，若沒有經(jīng)過，則繼續(xù)跟蹤；(6)整個過程在教師跟蹤的期間對教師攝像機的控制動作都將實時的在用戶界面交互模塊的教師跟蹤顯示窗口中進行顯示。3.學生檢測模塊 該模塊的實現(xiàn)過程如圖5所示:(I)從學生攝像機采集到的圖像，進行初始化圖像預處理，將圖像從彩色空間轉換至灰度空間，并對學生所處的教室特征區(qū)域圖像建立背景模型，對所獲取的背景模型經(jīng)過濾波平滑處理后，通過實時更新該背景模型來實現(xiàn)對學生運動的檢測；(2)當有學生起立或產(chǎn)生其他的干擾運動時，通過計算得到產(chǎn)生運動區(qū)域的位置參數(shù)與特征值大小，并且對計算得到的參數(shù)信息經(jīng)過閾值化處理，只有在滿足一定閾值條件的情況下所產(chǎn)生的動作才認為是學生起立的正確動作，并控制學生攝像機對起立學生給予特寫鏡頭，否則認為是對檢測的干擾動作，不予理會；(3)對產(chǎn)生背景變化的運動區(qū)域的特征值進行計算，通過條件判斷確定是否為學生上講臺回答問題的正確動作，若確為學生上講臺回答問題，則通過向線程交互模塊發(fā)送消息來實現(xiàn)教師跟蹤模塊與學生跟蹤模塊之間的切換；(4)經(jīng)過一定緩沖時間后，學生檢測模塊重新開始更新背景，繼續(xù)對學生的運動動作進行檢測；(5)整個過程對學生區(qū)域的檢測與給予特寫鏡頭等動作都將實時的在用戶界面交互模塊的學生檢測窗口中實時顯示。4.學生跟蹤模塊該模塊的實現(xiàn)過程如圖6所示:(I)當在線程交互模塊的切換下開始運行學生跟蹤模塊時，將由教師攝像機采集的彩色圖像，首先經(jīng)過圖像二值化處理，通過對像素點進行開閉運算，以便去除會對檢測結果產(chǎn)生干擾的噪聲；(2)通過幀間背景剪除法獲取學生上講臺期間的運動信息以及位置坐標，判斷學生是否進行板書動作，當檢測到學生在講臺區(qū)域未移動開始板書時，對教師攝像機發(fā)送消息以實現(xiàn)對學生板書給予特寫鏡頭，否則繼續(xù)檢測；(3)當檢測到學生的移動特征值超過一定閾值時，則認為此時學生走下講臺回到座位，發(fā)送消息給線程交互模塊，實現(xiàn)與教師跟蹤模塊的再次切換，使教師跟蹤模塊恢復運行，并使學生跟蹤模塊掛起；(4)整個過程對學生跟蹤與對板書給予特寫鏡頭等動作都將實時的在用戶界面交互模塊的教師攝像機拍攝畫面的顯示窗口中進行顯示。5.系統(tǒng)安裝計算如圖7、8所示，是雙攝像機交互式智能跟蹤教學系統(tǒng)的安裝示意圖，具體計算過程如下:相機到天花板的安裝高度=HciCm;相機到地面的高度=H1Cm;講臺外側到黑板的距離:StlCm;教室的高度:H cm;教室的長度:S cm;教師身高為:L cm ;相機的俯仰角為:Θ ° ;通過簡單幾何計算可得:相機俯仰角的最小值為
權利要求
1.種雙攝像機交互式智能跟蹤教學系統(tǒng)，其特征在于包括:圖像采集模塊、攝像機控制模塊、用戶界面交互模塊、線程交互模塊、教師跟蹤模塊、學生檢測模塊、學生跟蹤模塊； 圖像采集模塊:使用雙路圖像采集卡可實時而獨立的分別對教師攝像機與學生攝像機采集圖像，然后將采集到的圖像按幀存儲在系統(tǒng)內存中，其中將教師攝像機采集到的圖像作為教師跟蹤模塊或學生跟蹤模塊的輸入圖像，將學生攝像機所采集到的圖像作為學生檢測模塊的輸入圖像；當攝像機控制模塊接收到對教師或學生攝像機產(chǎn)生運動控制的指令時，圖像采集模塊會通過更新采集到的圖像，在用戶界面交互模塊的顯示窗口中進行實時顯示; 攝像機控制模塊:在手動跟蹤模式下，操作者針對需要觀察的區(qū)域，只需在界面交互模塊的畫面顯示窗口中，使用鼠標左鍵單擊該區(qū)域，便可向教師攝像機發(fā)送控制指令，使其快速穩(wěn)定的轉至該區(qū)域，控制鼠標滑輪向前滑動時，對該區(qū)域進行放大查看，向后滑動時，可擴大所觀察的區(qū)域范圍；在自動跟蹤模式下，線程交互模式中所包含的教師跟蹤模塊、學生跟蹤模塊和學生檢測模塊可依據(jù)相應判斷策略在教師跟蹤、學生檢測以及學生跟蹤流程間協(xié)調切換并進行計算，依據(jù)其得到的結果來實現(xiàn)對教師攝像機與學生攝像機的獨立控制功能，包括教師跟蹤期間對教師攝像機的擺動和縮放控制、學生起立回答問題時對學生給予特寫鏡頭等動作； 用戶界面交互模塊:為用戶對系統(tǒng)的運行與操作提供界面支持，包括初始化參數(shù)設置單元、跟蹤方式的選擇以及對圖形采集模塊中教師攝像機與學生攝像機所拍攝圖像的實時顯示；其中，初始參數(shù)設置界面包括對教師身高信息，教室長、高尺寸參數(shù)的錄入，并依據(jù)系統(tǒng)安裝的幾何關系計算并返回具體的安裝參數(shù)。另一方面，根據(jù)教師身高能夠對教師自動跟蹤時的初始位置進行自動設置；然后將每一幀由圖像采集模塊采集到的圖像在指定的畫面顯示窗口中進行實時顯示，以便用戶能對教師跟蹤、學生跟蹤以及學生檢測的結果進行最直觀的觀察；跟蹤方式提供兩種選擇:手動跟蹤方式與自動跟蹤方式，當選擇手動跟蹤方式時，針對實際應用要求，可在教師攝像機的拍攝顯示窗口中，根據(jù)相應的規(guī)則，簡單操作鼠標便可完成用戶與系統(tǒng) 之間的交互功能，達到對教室任意區(qū)域縮放查看的目的；當選用自動跟蹤方式時，在初始參數(shù)設置完畢后，點擊“開始運行”按鈕后，系統(tǒng)的運行以及對于線程交互模塊、攝像機控制模塊以及圖像采集模塊的操作都是自動進行，無需額外的人為操作，方便簡潔； 線程交互模塊:當系統(tǒng)選擇自動跟蹤模式，并且點擊“開始運行”按鈕后，對于從教師攝像機中采集到的彩色圖像將傳遞給教師跟蹤模塊，經(jīng)過特征區(qū)域識別、模板提取、建立混合高斯模型、建立目標顏色直方圖、極大似然估計(EM)、卡爾曼濾波預測搜索目標等步驟后，即可獲得教師具體的運動信息與位置參數(shù)，并根據(jù)所設計的教師跟蹤策略來實現(xiàn)對教師攝像機擺動、縮放與調節(jié)焦距等動作的控制；對于從學生攝像機中采集到的彩色圖像，將其傳遞給學生檢測模塊，經(jīng)過顏色空間轉換、平滑處理、閾值化處理、高斯動態(tài)背景處理后，得到學生運動的檢測結果，并據(jù)此實現(xiàn)對學生攝像機的相關動作控制的功能；當學生檢測模塊檢測到學生上講臺板書回答問題時，通過向線程交互模塊發(fā)送消息，切換教師跟蹤模塊至學生跟蹤模塊，并使得教師跟蹤模塊暫時掛起，學生跟蹤模塊開始運行，從教師攝像機采集到的圖像通過圖像灰度變換、閾值化處理、背景剪除處理后，計算得到的學生位置參數(shù)，若滿足一定閾值條件，則控制教師攝像機對學生板書給予特寫鏡頭顯示，當檢測到學生下講臺回座位時，再次進行模塊線程的切換工作，恢復教師跟蹤模塊的功能，并使學生跟蹤模塊掛起; 教師跟蹤模塊:對于從圖像采集模塊中實時獲取的教師攝像機所采集的圖像，首先在第一幀圖像中對是否存在教師特征區(qū)域進行判斷，若存在則對其特征區(qū)域進行模板建模，若不存在則提示錯誤，重新開始檢測；然后對教師的特征模板所在區(qū)域建立混合高斯模型，并根據(jù)其顏色直方圖的分布情況，通過極大似然估計算法(EM)對特征區(qū)域的位置坐標出現(xiàn)的概率進行似然估計計算，得到教師特征區(qū)域在當前幀圖像的估計位置；最后，將上一幀與當前幀圖像中教師特征區(qū)域位置坐標通過卡爾曼濾波器進行數(shù)據(jù)遞歸運算，得到教師特征區(qū)域在當前幀中的準確估計位置參數(shù)，由此可獲取教師運動期間的位置信息與特征區(qū)域參數(shù)，當教師的位置坐標發(fā)生移動時，可控制教師攝像機根據(jù)其坐標移動差值的大小與方向進行相應的擺動或俯仰，若在計算過程中，檢測到教師位置在規(guī)定時間內未發(fā)生移動，且教師特征區(qū)域的檢測值小于一定閾值，則認為教師此時正在背身板書，通過控制教師攝像機對其板書給予特寫放大鏡頭，以便能在界面交互模塊的顯示窗口中清晰的顯示教師的板書; 學生檢測模塊:對于從圖像采集模塊中實時獲取的學生攝像機所采集的圖像，首先進行初始化圖像預處理，將圖像從彩色空間轉換至灰度空間，然后對學生所處的教室區(qū)域圖像建立背景模型，對所獲取的背景模型經(jīng)過濾波器平滑處理后，通過實時更新該背景模型來實現(xiàn)對學生運動的檢測；當有學生起立或產(chǎn)生其他的干擾動作時，將會造成背景模型的變化，通過計算可得到產(chǎn)生運動區(qū)域的位置參數(shù)與特征值大小，再對所獲取到的參數(shù)信息經(jīng)過閾值化處理，只有在滿足一定閾值條件的情況下所產(chǎn)生的動作才認為是學生起立的正確動作，并控制學生攝像機對起立學生給予特寫鏡頭，否則認為是對檢測的干擾動作，不予理會；然后對產(chǎn)生背景變化的運動區(qū)域的特征值進行計算，通過條件判斷確定是否為學生上講臺回答問題的正確動作，若確為學生上講臺回答問題，則通過向線程交互模塊發(fā)送消息來實現(xiàn)教師跟蹤模塊到學生跟蹤模塊的切換，并通過一定時間緩沖后，重新更新教室區(qū)域的背景模型并持續(xù)對學生運動進行檢測； 學生跟蹤模塊:當 線程交互模塊獲取由學生檢測模塊檢測到的學生上講臺板書答題的檢測結果時，通過消息處理機制實現(xiàn)教師跟蹤模塊與學生跟蹤模塊之間的切換，掛起教師跟蹤模塊，并開始運行學生跟蹤模塊；此時將教師攝像機采集的彩色圖像，首先經(jīng)過圖像二值化處理，通過對像素點進行開閉運算，去除對檢測結果產(chǎn)生干擾的噪聲，然后通過幀間背景剪除法獲取學生上講臺期間的運動信息，當檢測到學生在講臺區(qū)域未移動開始板書時，對教師攝像機進行控制來實現(xiàn)對學生板書給予特寫鏡頭，并且在界面交互模塊的顯示窗口中清晰顯示學生板書；當檢測到學生的移動特征值超過一定閾值時，則認為此時學生走下講臺回到座位，發(fā)送消息給線程交互模塊，實現(xiàn)與教師跟蹤模塊的再次切換，使教師跟蹤模塊開始運行，并使學生跟蹤模塊掛起。
全文摘要
本發(fā)明公開了一種雙攝像機交互式智能跟蹤教學系統(tǒng)，包括圖像采集模塊、攝像機控制模塊、用戶界面交互模塊、線程交互模塊、教師跟蹤模塊、學生檢測模塊、學生跟蹤模塊。在教學過程中，控制主機通過雙路圖像采集卡實時獲取教師與學生攝像機的拍攝圖像，通過利用基于圖像處理技術的跟蹤算法和檢測算法的計算結果，選擇適當?shù)目刂撇呗裕侠戆才判盘栔g的相互切換，并快速靈活準確的實現(xiàn)現(xiàn)場攝像機的搖擺和俯仰、縮放和聚焦等功能，保證教師時刻處于拍攝畫面的適當位置，實現(xiàn)了對教師自動跟蹤定位、學生全景顯示及提問檢測和板書時給予特寫鏡頭等功能，從而實現(xiàn)了跟蹤抗外界干擾、動作無特定限制、拍攝無專人值守的自動智能跟蹤教學系統(tǒng)。
文檔編號G09B5/02GK103093654SQ20131003311
公開日2013年5月8日 申請日期2013年1月28日 優(yōu)先權日2013年1月28日
發(fā)明者王睿, 梅磊, 徐瑞, 劉玉明 申請人:北京航空航天大學