專利名稱：利用快速人臉檢測對新聞被采訪者進(jìn)行臉部遮擋的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，特別涉及利用快速人臉檢測對新聞被采訪者進(jìn)行臉部自動遮擋的方法。
背景技術(shù)：
在新聞采訪時，為了保護(hù)被采訪者的隱私權(quán)等，有時需要把被采訪者的臉部圖像進(jìn)行遮擋處理(或圖像模糊處理)。一般的做法是在人臉位置的設(shè)定一個區(qū)域，該區(qū)域內(nèi)的圖像按照一定的塊大小求取均值，達(dá)到模糊的效果。然而，由于人臉是活動的，所以要不停地手工拖動模糊窗口區(qū)域，工作量大，而且有時由于窗口覆蓋不準(zhǔn)確而暴露了隱私，達(dá)不到理想的模糊效果，或者模糊的區(qū)域過大影響畫面的質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種利用人臉圖像檢測和跟蹤技術(shù)準(zhǔn)確地檢測出人臉圖像的輪廓，然后在輪廓的區(qū)域內(nèi)進(jìn)行模糊處理的方法。
為實現(xiàn)上述目的，利用快速人臉檢測對新聞被采訪者進(jìn)行臉部遮擋的方法包括步驟a)檢測人臉的位置和大小；b)利用膚色信息進(jìn)行驗證和補(bǔ)償；c)利用人臉膚色直方圖進(jìn)行人臉跟蹤；d)利用人臉的位置、區(qū)域和膚色信息進(jìn)行輪廓提取和模糊處理。
本發(fā)明的自動的人臉檢測和遮擋技術(shù)，不用膚色信息可以達(dá)到88％的正確檢測率。如果結(jié)合膚色信息，人臉幾乎可以全部被覆蓋。因此，本發(fā)明可以相當(dāng)大地減輕工作強(qiáng)度，提高工作效率。


圖1是人臉圖像檢測方法框圖；圖2是人臉圖像預(yù)處理框圖；圖3是人臉原圖像；圖4是人臉的Mosaic圖像；圖5是提取Mosaic圖像水平邊緣圖；圖6是求取Mosiac圖像的邊緣的重心圖；圖7是四類人臉重心模板；圖8是人臉重心模板匹配圖；圖9是灰度特征檢查圖；圖10是邊特征檢查圖；圖11是YUV色彩空間中的灰度信號適量圖；圖12是基于膚色模型的彩色圖像分割，其中，圖(a)，(c)是含人臉的彩色視頻圖像，(b)，(d)是膚色區(qū)域域輪廓的檢測。
圖13是用于跟蹤平移和旋轉(zhuǎn)人臉的膚色直方圖統(tǒng)計的環(huán)狀和帶狀區(qū)域；圖14是用于跟蹤的人臉鄰域；圖15是本發(fā)明的流程圖。
具體實施例方式
如圖1所示，人臉檢測的整個框架包括4部分預(yù)處理、重心模板匹配、灰度檢查和邊緣檢查。輸入一幀圖像，當(dāng)在一個規(guī)定的最大尺度下完成上述4步后，該尺度對應(yīng)的人臉應(yīng)該可以被檢測出來，輸出是人臉的位置和區(qū)域大小。然后進(jìn)入循環(huán)，每一循環(huán)檢測的尺度都依次縮小，直到到達(dá)最小檢測尺度為止。
預(yù)處理如圖2所示，包括生成Mosaic圖像，提取Mosaic邊和計算Mosaic重心三部分。
參見圖3的示例圖像，預(yù)處理首先將當(dāng)前幀圖像轉(zhuǎn)變成一定尺度下的Mosiac圖像(圖4)，然后在Mosaic圖像上提取水平邊緣(圖5)，最后計算這些水平邊緣的重心(圖6)。
提取Mosaic橫邊的操作用于提取人臉上的器官的位置。這些器官包括雙眉、雙眼、鼻和嘴，它們都有一個共性，當(dāng)所觀察的人臉保持正直(在圖像平面內(nèi)的旋轉(zhuǎn)角度在-5°～+5°之間)時，上述六個器官成水平平行分布，在水平方向上長度不等，但在豎直方向上寬度近似。這一特性為我們提取這六個器官的位置特征提供了便利。而且，即便正視人臉在水平面內(nèi)有一定旋轉(zhuǎn)角度(-45°～+45°)，在垂直平面內(nèi)有一定仰/俯視旋轉(zhuǎn)角度(-30°～+30°)，這一特性仍保持不變。
參看圖4所示的Mosaic圖，上述六個器官落入的Mosaic單元的灰度值比較明顯地低于四周單元的灰度值。如果用一種適合于提取這種特征的邊緣檢測器，就能用邊緣表示的方法方便的定位這六個器官。這樣的一個檢測器就是拉普拉斯邊緣檢測算子。一個用于檢測水平邊緣的拉普拉斯算子當(dāng)前Mosaic單元mosaic_image[i，j]及其上下相鄰單元mosaic_image[i-1，j]、mosaic_image[i+1，j]的運算定義為L(i，j)＝1×mosaic_image[i-1，j]-2×mosaic_image[i，j]+1×mosaic_image[i+1，j]，則邊緣檢測的結(jié)果是 這里T為一個邊閾值，例如，可取T＝10×Mosaic單元邊長×Mosaic單元邊長。所提取出的Mosaic邊緣如圖5中的由方格排成的線段所示，其中一個方格表示一個邊緣單位?？梢钥吹?，有這樣一些Mosaic線段，他們對應(yīng)的是人臉上的器官。
由于一副圖像上有多少個人臉，各個人臉大小尺寸進(jìn)而人臉上的器官的尺寸都是未知的，所以對于原圖像往往要生成多個不同單元尺度的Mosaic圖以利于分別提取出大小不同的人臉的器官。而且，顯而易見的是，在一般情況下，Mosaic單元的尺度越接近于人臉器官的豎直方向上的平均尺度(即寬度)，提取的效果越好。
為了進(jìn)一步簡化特征，求取每個Mosaic邊緣線段的重心作為這些線段的代表。如果這樣的Mosaic線段對應(yīng)的是人臉上的器官的話，則這些重心點也就代表了這些器官的位置(如圖6)。
根據(jù)所提重心特點，如圖7所示，可設(shè)計四類人臉重心模板第一類人臉模板上的六個重心點對應(yīng)于人臉的雙眉、雙眼、鼻和嘴；第二類人臉模板上有五個重心點，缺少一個對應(yīng)于人臉鼻的重心點；第三類人臉模板上也只有五個重心點，缺少一個對應(yīng)于人臉眉或眼的重心點；第四類人臉模板只有四個重心點對應(yīng)于人臉的雙眼、鼻和嘴。
所設(shè)計的人臉模板是一種動態(tài)可伸縮的人臉模板，其寬W和高H有一定的伸縮范圍，在本實驗中，W設(shè)定為6～14個Mosaic單元，H設(shè)定為7～23個單元；高寬比范圍為3/4～5/3。模板內(nèi)重心點之間的相對位置由d×1～d×4、dy1～dy4共8個參數(shù)約束。
由此可在Mosaic重心圖上用人臉重心模板搜索和匹配人臉。如圖8所示，具體方法是掃描圖上的每一個重心點，對右下方一塊矩形區(qū)域進(jìn)行試探性的其他重心點的搜索并將它們與人臉重心模板上的重心點匹配以確定是否存在人臉。人臉重心模板上的重心反映了人臉各器官的在二維平面內(nèi)的相對位置，是一種非固定的動態(tài)的長寬可伸縮的矩形模板。根據(jù)圖像上所提取的重心用動態(tài)重心模板試探性的匹配，這一方法解決了在復(fù)雜圖像上定位大小未知的人臉的問題。
如圖9所示，在這一步系統(tǒng)面向Mosaic圖像，利用人臉的灰度特征識別人臉的真假。將候選人臉區(qū)域按提取的重心點所對應(yīng)器官分布劃分為1~9這九個子區(qū)域，分別對應(yīng)于1左眼/眉區(qū)、2右眼/眉區(qū)、3鼻區(qū)、4嘴區(qū)、5鼻上區(qū)、6、8左頰區(qū)、7、9右頰區(qū)。各區(qū)的平均灰度的分布有這樣一些規(guī)律1、2、3、4區(qū)的平均灰度高于其他區(qū)的平均灰度；1、2、4區(qū)的平均灰度值相近。
此外人臉的灰度在水平和垂直方向上的投影亦有規(guī)律。令整個臉區(qū)域向水平方向上投影，令1-5-2上臉區(qū)域、6-3-7中臉區(qū)域、8-4-9下臉區(qū)域分別向垂直水平方向上投影?？梢钥闯?，向水平方向上投影有3-4處極小值，分別對應(yīng)于眉、眼、鼻及嘴部的投影；上、中、下臉向垂直方向上的投影有極大值和極小值，分別對應(yīng)于鼻上眉間區(qū)、鼻及嘴部的投影。
如圖10所示，對經(jīng)過灰度特征檢查的候選人臉區(qū)域仍作類似上一步的9區(qū)域劃分。對人臉區(qū)域做像素級別的邊緣提取并統(tǒng)計每個子區(qū)域內(nèi)的橫向和縱向像素點的數(shù)目，記第i個子區(qū)域內(nèi)橫向像素點的數(shù)目為Ei，系統(tǒng)將要測試如下不等式是否滿足E1E2,E2E1>b0]]>E5E1+E5,E5E5+E2<b1]]>E6E6+E3,E7E3+E7<b2]]>E8E8+E4,E9E4+E9<b3]]>上式反映了人臉邊緣特征的這樣一些統(tǒng)計規(guī)律左右眼/眉區(qū)的橫向像素點數(shù)目近似相等；鼻上左右眼/眉間隔區(qū)相對于左右眼/眉區(qū)、左右面頰上半?yún)^(qū)相對于鼻區(qū)、左右面頰下半?yún)^(qū)相對于嘴區(qū)，它們的比值各小于一個臨界值。
參見圖15，本發(fā)明涉及的膚色信息處理技術(shù)包括人臉的膚色驗證、檢測、人臉輪廓提取、直方圖統(tǒng)計和跟蹤匹配。
彩色電視的信號傳遞中，通常采用YUV空間來描述彩色信息。Y表示彩色的亮度。RGB空間到Y(jié)UV空間的轉(zhuǎn)換用矩陣表示如下YUV=0.2990.5870.114-0.147-0.2890.4360.615-0.515-0.100RGB]]>圖11是YUV色彩空間中的色度信號矢量圖。U和V是平面上的兩個相互正交的矢量，色度信號(即U與V之和)是一個二維矢量，稱之為色度信號矢量。每一種顏色對應(yīng)一個色度信號矢量，它的飽和度由模值Ch表示，色調(diào)由相位角θ表示。
Ch=|U|2+|V|2]]>θ＝tan-1(|V|/|U|)白色和黑色都由原點(0，0)表示，模值等于0，為任意相位角。
一般的，在YUV空間的UV平面上，人臉膚色的色調(diào)介于紅與黃之間。根據(jù)對大量人臉圖像的彩色分析，可以確定人臉膚色的色調(diào)θ的變化范圍[θmin，θmax]。這樣，采用YUV空間的相位角θ確定人臉膚色在色度信息上的分布范圍。即彩色圖像的象素p由RGB空間變換到Y(jié)UV空間，如果滿足條件θp∈[θmin，θmax]，則p是膚色點。
首先，將原圖像中每點的象素值由(R，G，B)轉(zhuǎn)換為對應(yīng)的色調(diào)值，得到色調(diào)圖像；然后，按照色調(diào)范圍閾值化色調(diào)圖像，得到粗略的包含人臉侯選區(qū)和背景的二值分割圖，其中，白色代表人臉候選區(qū)，黑色代表背景，對二值分割圖進(jìn)行平滑處理；最后，通過一個區(qū)域合并與標(biāo)號的算法，可以計算求出二值分割圖中有多少個白色連通區(qū)域，以及每個白色連通區(qū)域的位置、面積，從而得到了膚色區(qū)域，作為人臉侯選區(qū)域。圖12是對彩色圖像采用基于膚色分割處理的兩個實例。(b)和(d)分別是(a)和(c)的分割結(jié)果，圖中的白色矩形表示的是人臉候選區(qū)，“+”是人臉候選區(qū)的中心。如果在圖像上已找到人臉，并且人臉的區(qū)域?qū)儆谀w色所覆蓋的區(qū)域，則在對該位置的膚色區(qū)域進(jìn)行模糊處理；如果沒有檢測出人臉，則對所有的膚色區(qū)域進(jìn)行模糊處理。通過這兩種策略，來實現(xiàn)被采訪者的面部遮擋。
對檢測到的人臉膚色區(qū)域劃分成如圖13的環(huán)狀和帶狀子區(qū)域，分別對這些子區(qū)域上的圖像彩色信息做色調(diào)信息的直方圖。這兩種直方圖可以用來跟蹤平移、旋轉(zhuǎn)的人臉。跟蹤匹配的原理如圖14所示利用上一幀已檢測到的人臉位置，在下一幀圖像中該位置的一個鄰域里進(jìn)行如圖13的直方圖統(tǒng)計，如果在某一位置處的直方圖與已統(tǒng)計到的人臉色調(diào)信息的直方圖類似，那么就判定該位置為人臉變化以后新位置。以此來實現(xiàn)人臉的跟蹤。
權(quán)利要求
1.一種利用快速人臉檢測對新聞被采訪者進(jìn)行臉部遮擋的方法，包括步驟a)檢測人臉的位置和大小；b)利用膚色信息進(jìn)行驗證和補(bǔ)償；c)利用人臉膚色直方圖進(jìn)行人臉跟蹤；d)利用人臉的位置、區(qū)域和膚色信息進(jìn)行輪廓提取和模糊處理。
2.如權(quán)利要求1所述的方法，其特征在于所述檢測人臉的位置和大小包括步驟a)對圖像做不同分辨率的變換，形成多個尺度下Mosaic圖像；b)根據(jù)人臉面部器官的水平走向提取相應(yīng)的水平邊緣特征；c)計算水平邊緣的重心，并依據(jù)人臉對應(yīng)的重心分布模式進(jìn)行人臉粗檢；d)依據(jù)人臉對應(yīng)的重心分布模式進(jìn)行人臉粗檢；e)利用灰度分布和投影信息以及邊緣分布信息進(jìn)行人臉細(xì)檢。
3.如權(quán)利要求1所述的方法，其特征在于所述利用膚色信息進(jìn)行驗證和補(bǔ)償包括步驟a)如果有人臉被檢測到，在檢測到的人臉區(qū)域內(nèi)進(jìn)行色調(diào)信息的提取，檢查是否是膚色；b)如果沒有檢測到人臉，則在整個圖像區(qū)域進(jìn)行膚色區(qū)域檢測，視所有被檢測出的區(qū)域為人臉區(qū)域；
4.如權(quán)利要求1所述的方法，其特征在于所述利用人臉膚色直方圖進(jìn)行人臉跟蹤包括步驟a)如果有人臉被檢測到，在檢測到的人臉區(qū)域內(nèi)進(jìn)行環(huán)狀和帶狀的直方圖統(tǒng)計；b)在下一幀圖像對應(yīng)已檢測到的人臉區(qū)域的鄰域內(nèi)，進(jìn)行環(huán)狀和帶狀的直方圖統(tǒng)計，并與已記錄到的人臉直方圖進(jìn)行比對，如果類似，則確定出人臉被跟蹤到的位置和區(qū)域；
5.如權(quán)利要求1所述的方法，其特征在于所述利用人臉的位置、區(qū)域和膚色信息進(jìn)行輪廓提取和模糊處理包括步驟a)如果有人臉被檢測到，在檢測到的人臉區(qū)域內(nèi)進(jìn)行膚色區(qū)域的二值化域合并處理，區(qū)域邊界形成人臉的自然輪廓，對輪廓內(nèi)的人臉區(qū)域進(jìn)行模糊處理以實現(xiàn)自動遮擋；b)如果沒有人臉被檢測到，則對所有被檢測出的膚色區(qū)域進(jìn)行模糊處理以實現(xiàn)對可能漏檢的人臉的遮擋；
全文摘要
一種利用快速人臉檢測對新聞被采訪者進(jìn)行臉部遮擋的方法，包括步驟a)檢測人臉的位置和大??；b)利用膚色信息進(jìn)行驗證和補(bǔ)償；c)利用人臉膚色直方圖進(jìn)行人臉跟蹤；d)利用人臉的位置、區(qū)域和膚色信息進(jìn)行輪廓提取和模糊處理。本發(fā)明的自動的人臉檢測和遮擋技術(shù)，不用膚色信息可以達(dá)到88％的正確檢測率。如果結(jié)合膚色信息，人臉幾乎可以全部被覆蓋。因此，本發(fā)明可以相當(dāng)大地減輕工作強(qiáng)度，提高工作效率。
文檔編號G06K9/46GK1492379SQ0214700
公開日2004年4月28日 申請日期2002年10月22日 優(yōu)先權(quán)日2002年10月22日
發(fā)明者高文, 苗軍, 高 文 申請人:中國科學(xué)院計算技術(shù)研究所