專利名稱：基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉檢測(cè)與跟蹤技術(shù)，特別是一種基于嵌入式系統(tǒng)的快速人臉檢測(cè)與 實(shí)時(shí)跟蹤方法。
背景技術(shù)：
人臉檢測(cè)、識(shí)別問(wèn)題的探索開始于八十年代末、九十年代初，許多國(guó)家展開了人臉 檢測(cè)的研究。2001年Viola等人提出的基于Haar特征，使用Adaboost方法得到的瀑布型 分類器，采用了層級(jí)處理方法，大大提高了檢測(cè)速度，被公認(rèn)為近年來(lái)最好的正面人臉檢測(cè) 方法。正面人臉檢測(cè)問(wèn)題在理論上已經(jīng)基本得到解決。雖然人臉檢測(cè)識(shí)別技術(shù)的研究已經(jīng)取得長(zhǎng)足進(jìn)步，在基于PC的WINDOWS的成熟 通用平臺(tái)下不需要過(guò)多考慮運(yùn)算速度和數(shù)據(jù)存貯等技術(shù)瓶頸，也已經(jīng)有了比較好的商業(yè)產(chǎn) 品。但在將該技術(shù)應(yīng)用到數(shù)碼相機(jī)、手機(jī)等消費(fèi)類電子產(chǎn)品中仍有相當(dāng)大的技術(shù)難點(diǎn)需要 克服。人臉檢測(cè)、識(shí)別在PC或服務(wù)器中，理想的運(yùn)行速度應(yīng)該可以達(dá)到0. 1秒/循環(huán)，但是 脫離PC或服務(wù)器，把檢測(cè)識(shí)別算法移植到嵌入式環(huán)境中，速度就會(huì)變成很大的問(wèn)題。特別 是特征值比對(duì)，其速度跟人臉庫(kù)的大小有關(guān)，隨著庫(kù)的指數(shù)級(jí)上升，其處理速度也是指數(shù)級(jí) 下降的。因此，有必要提供一種技術(shù)方案，可以實(shí)現(xiàn)在數(shù)碼相機(jī)、手機(jī)等嵌入式系統(tǒng)中的人 臉檢測(cè)與實(shí)時(shí)跟蹤。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法，使得人臉檢測(cè) 與跟蹤能應(yīng)用于數(shù)碼相機(jī)、數(shù)碼攝相機(jī)、手機(jī)等采用嵌入式系統(tǒng)的電子產(chǎn)品中，解決嵌入式 系統(tǒng)因本身DSP處理速度慢、內(nèi)存資源有限、平臺(tái)開放性差等因素導(dǎo)致無(wú)法實(shí)現(xiàn)人臉檢測(cè) 與跟蹤的技術(shù)問(wèn)題。本發(fā)明基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法，包括以下步驟S1、圖像預(yù)處理S11、對(duì)輸入圖像降采樣；S12、計(jì)算降采樣后圖像的灰度積分圖；S2、人臉檢測(cè)S21、在預(yù)處理后的圖像上進(jìn)行膚色檢測(cè)，標(biāo)識(shí)出膚色區(qū)和非膚色區(qū)；S22、分別用不同尺度的搜索窗口按照一定間隔移動(dòng)，遍歷上述膚色分割后的圖 像，利用膚色比例判決方法和眼睛灰度特征判決方法，從搜索到的窗口排除掉大量非人臉 窗口，然后用基于Adaboost算法的人臉?lè)诸惼鲗?duì)剩下的窗口分類；S23、根據(jù)人臉?lè)诸惼鬏敵龅娜四槾翱?，在圖像上標(biāo)識(shí)出人臉區(qū)域；S3、人臉跟蹤S31、在步驟S2檢測(cè)到的人臉區(qū)域內(nèi)，分別計(jì)算顏色直方圖和人臉橢圓輪廓，建立 跟蹤模型；
S32、在后續(xù)輸入圖像上確定搜索區(qū)域；S33、在步驟S32確定的搜索區(qū)域內(nèi)進(jìn)行窗口搜索，計(jì)算每個(gè)窗口的顏色直方圖和 橢圓梯度，并與所述跟蹤模型匹配，找出具有最佳顏色直方圖和最佳橢圓梯度值的窗口，作 為目標(biāo)人臉在該幀圖像中的位置；S34、判斷是否退出跟蹤，如果不退出，轉(zhuǎn)去執(zhí)行步驟S32。由于在人臉檢測(cè)步驟前對(duì)輸入的每一幀圖像進(jìn)行了降采樣和計(jì)算灰度積分圖的 預(yù)處理，在人臉檢測(cè)步驟中首先采用膚色比例判決方法和眼睛灰度特征判決方法排除掉了 大量的非人臉窗口，只有剩余的少量窗口用基于Adaboost算法的人臉?lè)诸惼鬟M(jìn)行檢測(cè)和 定位，因此大大地減少了人臉檢測(cè)的運(yùn)算量，使得本發(fā)明人臉檢測(cè)與跟蹤方法能應(yīng)用于數(shù) 碼相機(jī)、數(shù)碼攝相機(jī)、手機(jī)等采用嵌入式系統(tǒng)的電子產(chǎn)品中。而且，本發(fā)明在跟蹤步驟中，采用了簡(jiǎn)化的橢圓輪廓信息和顏色直方圖信息聯(lián)合 的方法，來(lái)綜合考慮可能的人臉目標(biāo)區(qū)域是否存在，在不降低跟蹤速度的基礎(chǔ)上提高了跟 蹤精度。


圖1是本發(fā)明基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法的原理框圖；圖2是其圖像預(yù)處理流程圖；圖3是其人臉檢測(cè)流程圖；圖4是其人臉跟蹤流程圖；圖5是使用Adaboost算法的人臉檢測(cè)流程圖。
具體實(shí)施例方式本發(fā)明針對(duì)嵌入式系統(tǒng)本身的特點(diǎn)及應(yīng)用的局限性，如內(nèi)存資源有限、DSP處理速 度慢、平臺(tái)開放性差等，提出了一種基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法，實(shí)現(xiàn)了數(shù)碼相 機(jī)、手機(jī)等采用嵌入式系統(tǒng)的電子產(chǎn)品在各種復(fù)雜環(huán)境下進(jìn)行多人臉的實(shí)時(shí)檢測(cè)和快速跟
S示ο為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用 于限定本發(fā)明。參照?qǐng)D1，本基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法包括以下步驟S0、通過(guò)圖像 傳感器從外界實(shí)時(shí)獲取每幀圖像。Si、對(duì)每幀圖像進(jìn)行預(yù)處理。S2、對(duì)預(yù)處理后的圖像進(jìn)行 快速多人臉檢測(cè)。S3、在穩(wěn)定檢測(cè)到人臉信息后，啟動(dòng)人臉跟蹤模塊，對(duì)人臉實(shí)時(shí)跟蹤。參照?qǐng)D2，其中，圖像預(yù)處理包括以下步驟S11、對(duì)圖像降采樣；S12、計(jì)算降采樣 后圖像的灰度積分圖。通過(guò)圖像降采樣對(duì)輸入圖像進(jìn)行降采樣處理，輸出分辨率為320x240 像素的圖像和分辨率為160x120像素的圖像。160x120像素的圖像應(yīng)用于0. 5米處的近距 離人臉檢測(cè)，320x240像素的圖像應(yīng)用于中遠(yuǎn)距離(2. 5米)人臉檢測(cè)。降采樣處理主要是 為了減少運(yùn)算量和運(yùn)算時(shí)間，加快檢測(cè)速度。由于人臉檢測(cè)采用基于灰度圖的檢測(cè)，因此對(duì) 指定區(qū)域塊中的灰度統(tǒng)計(jì)計(jì)算非常頻繁，為減少計(jì)算時(shí)間，本發(fā)明采用了 2001年Viola等 人提出的灰度積分圖概念，在人臉檢測(cè)前，對(duì)降采樣輸出的圖像計(jì)算灰度積分圖。
人臉檢測(cè)時(shí)，由于對(duì)人臉的尺度大小無(wú)法預(yù)先判斷，因此需要通過(guò)變化尺度來(lái)搜 索各種不同尺度下的人臉。具體方法如下參照?qǐng)D3，人臉檢測(cè)包括以下步驟S21、在預(yù)處理后的圖像上進(jìn)行膚色檢測(cè)，標(biāo)識(shí) 出膚色區(qū)和非膚色區(qū)，實(shí)現(xiàn)膚色區(qū)域分割。S22、分別用不同尺度的搜索窗口按照一定間隔 (例如1像素)移動(dòng)，遍歷上述膚色分割后的圖像，利用膚色比例判決方法和眼睛灰度特征 判決方法，從搜索到的窗口排除掉大量非人臉窗口，然后用基于Adaboost算法的人臉?lè)诸?器對(duì)剩下的窗口分類。S23、根據(jù)人臉?lè)诸惼鬏敵龅娜四槾翱?，在圖像上標(biāo)識(shí)出人臉區(qū)域。人臉的膚色信息是人臉的重要特征，它不受人的表情、角度、姿態(tài)等因素的影響， 有很高的穩(wěn)定性。而且膚色和大部分的背景顏色是有區(qū)別的，采用膚色模型檢測(cè)人臉有很 高的魯棒性。目前比較適用的膚色模型有RGB、YCBCR、HSV等。HSV模型中H表示色調(diào)信息， S為色彩的飽和度信息，V為色彩的亮度信息。由于HSV模型能較好地將亮度信息和色彩信 息分離開來(lái)，能一定程度抑制復(fù)雜環(huán)境光照的影響，因此，在步驟S21中，采用了 HSV膚色模 型來(lái)進(jìn)行膚色分割，通過(guò)HSV膚色模型檢測(cè)圖像中可能的膚色區(qū)域，并標(biāo)識(shí)“1”為膚色，“O” 為非膚色。步驟S22中，所述膚色比例判決方法包括以下步驟計(jì)算窗口中膚色像素所占比 例，將該比例與設(shè)定的人臉窗口閾值比較，小于人臉窗口閾值則判決該窗口為非人臉窗口。步驟S22中，所述眼睛灰度特征判決是利用人臉五官特征基本成比例的特點(diǎn)，結(jié) 合灰度積分圖，在搜索窗口內(nèi)先對(duì)人眼區(qū)域的灰度比例特征進(jìn)行預(yù)判斷，排除大量非人臉 窗口。具體的眼睛灰度特征判決方法包括以下步驟根據(jù)人臉五官具有相對(duì)固定的對(duì)稱比 例關(guān)系和眼睛具有相對(duì)較低的灰度值的特征，利用先驗(yàn)知識(shí)建立一個(gè)人臉比例模板，將窗 口與所述人臉比例模板進(jìn)行比例判斷，是否存在成對(duì)的人眼區(qū)域有明顯的灰度值下降，滿 足設(shè)定的閾值條件則認(rèn)為當(dāng)前窗口是可能的人臉窗口。通過(guò)前面的粗檢測(cè)(膚色比例判決和眼睛灰度特征判決)，已經(jīng)排除了大量非人 臉區(qū)域，接下來(lái)要對(duì)剩余的相對(duì)少的區(qū)域進(jìn)行人臉?lè)诸悪z測(cè)。采用基于特征的人臉檢測(cè)算 法有很多，本發(fā)明結(jié)合嵌入式系統(tǒng)的特點(diǎn)，采用速度相對(duì)比較快的基于Adaboost算法的人 臉?lè)诸惼鳈z測(cè)人臉。Adaboost算法根據(jù)人臉面部的灰度分布特征，選擇使用了 haar特征。 haar特征是一種基于積分圖像的特征，主要在灰度圖像中使用，該特征計(jì)算簡(jiǎn)單，提取速度 較快。Adaboost算法首先提取圖像中的haar特征，然后通過(guò)訓(xùn)練過(guò)程從中選出最優(yōu)的haar 特征，再將訓(xùn)練得到的haar特征轉(zhuǎn)換成弱分類器，最后將得到的弱分類器進(jìn)行優(yōu)化組合用 于人臉檢測(cè)。2001年，Voila提出了基于Adaboost算法的層級(jí)結(jié)構(gòu)的人臉檢測(cè)算法，其中 主要提出了積分圖，haar特征和層級(jí)結(jié)構(gòu)的檢測(cè)機(jī)制，采用由粗到細(xì)的檢測(cè)策略，真正實(shí)現(xiàn) 了實(shí)時(shí)檢測(cè)正面人臉。具體原理及實(shí)現(xiàn)步驟可以參考其相關(guān)論文。圖5為使用Adaboost 算法進(jìn)行人臉檢測(cè)的流程圖。對(duì)當(dāng)前窗口采用Adaboost算法的人臉檢測(cè)器進(jìn)行判斷，如果全部通過(guò)人臉檢測(cè) 器，則認(rèn)為存在人臉，并標(biāo)識(shí)該窗口為人臉窗口。在完成當(dāng)前窗口的人臉檢測(cè)之后，判斷是 否已經(jīng)完成當(dāng)前尺度下的所有窗口的搜索，如果沒(méi)有，則移動(dòng)到下一檢測(cè)窗口繼續(xù)檢測(cè)，如 果已完成當(dāng)前尺度下的所有窗口的搜索，進(jìn)一步判斷是否已完成了所有尺度的窗口搜索， 如果否，則繼續(xù)縮放改變當(dāng)前尺度，重新開始窗口搜索，如果已完成了所有尺度的窗口搜 索，則退出窗口搜索流程，進(jìn)入檢測(cè)的后期處理。在檢測(cè)的后期處理中，將多個(gè)滿足設(shè)定值的距離相近的人臉標(biāo)識(shí)窗口合并，對(duì)于不滿足設(shè)定值的孤立人臉標(biāo)識(shí)窗口，則丟棄該窗口。本發(fā)明能搜索的最小人臉為30x30像素，進(jìn)行人臉?biāo)阉鲿r(shí)，在此基礎(chǔ)上依次以1. 2 的比例放大搜索窗口尺度直到最大尺度比例為4. 0為止。實(shí)驗(yàn)表明這種變尺度的窗口搜索 方法基本能保證1米 2. 5米范圍內(nèi)的人臉，對(duì)0. 5米 1米近距離的大人臉，我們采用降 低圖像分辨率的方法，可以實(shí)現(xiàn)近距離的人臉檢測(cè)。采用這種變分辨率的搜索策略能有效 地減少DSP的計(jì)算量，加快檢測(cè)速度。由于人臉檢測(cè)流程耗時(shí)較多，如果每一幀都采用檢測(cè)算法，則無(wú)法實(shí)現(xiàn)人臉的實(shí) 時(shí)跟蹤。本發(fā)明采用間隔若干幀檢測(cè)，其余幀跟蹤的方法來(lái)快速實(shí)現(xiàn)人臉的響應(yīng)。關(guān)于人 臉跟蹤，本發(fā)明主要是基于顏色直方圖信息和橢圓輪廓信息，來(lái)實(shí)現(xiàn)人臉的快速跟蹤。參照?qǐng)D4，人臉跟蹤包括S31、在步驟S2檢測(cè)到的人臉區(qū)域內(nèi)，分別計(jì)算顏色直方 圖和人臉橢圓輪廓，建立跟蹤模型。S32、在后續(xù)輸入圖像上確定搜索區(qū)域。S33、在步驟S32 確定的搜索區(qū)域內(nèi)進(jìn)行窗口搜索，計(jì)算每個(gè)窗口的顏色直方圖和橢圓梯度，并與所述跟蹤 模型匹配，找出具有最佳顏色直方圖和最佳橢圓梯度值的窗口，作為目標(biāo)人臉在該幀圖像 中的位置。S34、判斷是否退出跟蹤，如果否，轉(zhuǎn)去執(zhí)行步驟S32，如果是，則結(jié)束跟蹤。上述步驟S31中，通過(guò)在步驟S2檢測(cè)到的人臉區(qū)域內(nèi)，分別統(tǒng)計(jì)R、G、B三個(gè)通道 的直方圖信息，獲得顏色直方圖信息。通過(guò)計(jì)算人臉區(qū)域灰度圖的梯度圖，獲取人臉橢圓輪 廓。通過(guò)采用Sobel算子提取人臉區(qū)域灰度圖的橫向和縱向的邊緣信息，得到梯度圖。本 發(fā)明采用的Sobel算子分為水平和垂直方向兩種，分別如下所示

權(quán)利要求
一種基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法，其特征在于包括以下步驟S1、圖像預(yù)處理S11、對(duì)輸入圖像降采樣；S12、計(jì)算降采樣后圖像的灰度積分圖；S2、人臉檢測(cè)S21、在預(yù)處理后的圖像上進(jìn)行膚色檢測(cè)，標(biāo)識(shí)出膚色區(qū)和非膚色區(qū)；S22、分別用不同尺度的搜索窗口按照一定間隔移動(dòng)，遍歷上述膚色分割后的圖像，利用膚色比例判決方法和眼睛灰度特征判決方法，從搜索到的窗口排除掉大量非人臉窗口，然后用基于Adaboost算法的人臉?lè)诸惼鲗?duì)剩下的窗口分類；S23、根據(jù)人臉?lè)诸惼鬏敵龅娜四槾翱?，在圖像上標(biāo)識(shí)出人臉區(qū)域；S3、人臉跟蹤S31、在步驟S2檢測(cè)到的人臉區(qū)域內(nèi)，分別計(jì)算顏色直方圖和人臉橢圓輪廓，建立跟蹤模型；S32、在后續(xù)輸入圖像上確定搜索區(qū)域；S33、在步驟S32確定的搜索區(qū)域內(nèi)進(jìn)行窗口搜索，計(jì)算每個(gè)窗口的顏色直方圖和橢圓梯度，并與所述跟蹤模型匹配，找出具有最佳顏色直方圖和最佳橢圓梯度值的窗口，作為目標(biāo)人臉在該幀圖像中的位置；S34、判斷是否退出跟蹤，如果不退出，轉(zhuǎn)去執(zhí)行步驟S32。
2.如權(quán)利要求1所述的人臉檢測(cè)與跟蹤方法，其特征在于，步驟S22中，所述膚色比例 判決方法包括以下步驟計(jì)算窗口中膚色像素所占比例，將該比例與設(shè)定的人臉窗口閾值 比較，小于人臉窗口閾值則判決該窗口為非人臉窗口。
3.如權(quán)利要求1所述的人臉檢測(cè)與跟蹤方法，其特征在于，步驟S22中，所述眼睛灰度 特征判決方法包括以下步驟根據(jù)人臉五官具有相對(duì)固定的對(duì)稱比例關(guān)系和眼睛具有相對(duì) 較低的灰度值的特征，利用先驗(yàn)知識(shí)建立一個(gè)人臉比例模板，將窗口與所述人臉比例模板 進(jìn)行比例判斷，是否存在成對(duì)的人眼區(qū)域有明顯的灰度值下降，滿足設(shè)定的閾值條件則認(rèn) 為當(dāng)前窗口是可能的人臉窗口。
4.如權(quán)利要求1所述的人臉檢測(cè)與跟蹤方法，其特征在于步驟S31中，通過(guò)計(jì)算人臉 區(qū)域灰度圖的梯度圖，獲取人臉橢圓輪廓。
5.如權(quán)利要求1所述的人臉檢測(cè)與跟蹤方法，其特征在于步驟S32中根據(jù)目標(biāo)人臉 在前一幀輸入圖像中的位置和大小，確定當(dāng)前輸入圖像上的搜索區(qū)域。
6.如權(quán)利要求1所述的人臉檢測(cè)與跟蹤方法，其特征在于步驟Sll采用了降低采樣 比率的降采樣方法，降采樣輸出圖像的分辨率為160x120和320x240兩種。
7.如權(quán)利要求1所述的人臉檢測(cè)與跟蹤方法，其特征在于步驟S21中，通過(guò)HSV膚色 模型檢測(cè)圖像中可能的膚色區(qū)域。
全文摘要
一種基于嵌入式系統(tǒng)的人臉檢測(cè)與跟蹤方法，包括以下步驟圖像預(yù)處理；人臉檢測(cè)；和人臉跟蹤。其中，圖像預(yù)處理包括降采樣和計(jì)算灰度積分圖。在人臉檢測(cè)步驟中首先采用膚色比例判決方法和眼睛灰度特征判決方法排除掉大量的非人臉窗口，然后對(duì)剩余的少量窗口用基于Adaboost算法的人臉?lè)诸惼鬟M(jìn)行檢測(cè)和定位。在跟蹤步驟中，采用了簡(jiǎn)化的橢圓輪廓信息和顏色直方圖信息聯(lián)合的方法。本發(fā)明人臉檢測(cè)與跟蹤方法大大地減少人臉檢測(cè)的運(yùn)算量，能應(yīng)用于數(shù)碼相機(jī)、數(shù)碼攝相機(jī)、手機(jī)等采用嵌入式系統(tǒng)的電子產(chǎn)品中。
文檔編號(hào)G06K9/00GK101996310SQ20091010889
公開日2011年3月30日 申請(qǐng)日期2009年8月12日 優(yōu)先權(quán)日2009年8月12日
發(fā)明者張曉波 申請(qǐng)人:Tcl數(shù)碼科技(深圳)有限責(zé)任公司