專利名稱：圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算機程序的制作方法
圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算機程序 技術(shù)區(qū)域
本發(fā)明涉及一種從將像素分別排列在不同的第1方向以及第2方向 上而成的二維圖像中檢測特定的檢測對象的圖像處理方法、適用了該圖 像處理方法的圖像處理裝置、具有該圖像處理裝置的圖像處理系統(tǒng)以及 用于實現(xiàn)所述圖像處理裝置的計算機程序，特別涉及可以提高檢測對象 的檢測精度的圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算機 程序。
背景技術(shù)：
作為協(xié)助汽車等車輛的駕駛的裝置，提出了這樣的圖像處理裝置 通過在可以拍攝駕駛員的臉部的位置上配置的車載攝像頭對駕駛員的臉 部進行拍攝，根據(jù)所得到的圖像，進行檢測駕駛員的臉部的輪廓以及眼 睛的位置的圖像處理(例如，參考專利文獻1)。通過使用這種裝置可以 構(gòu)成這樣的系統(tǒng)可以檢測出駕駛員的狀況，根據(jù)駕駛員在駕駛時心不 在焉或是打盹等狀況，可以對其進行警告等駕駛協(xié)助。另外，由于夕陽 等外部光線照射車輛內(nèi)的駕駛員的臉部的情況頻繁出現(xiàn)，所以駕駛中的 駕駛員的臉部的照度不是恒定的，但是為了使拍攝駕駛員臉部而得到的 圖像的亮度恒定，可以通過車載攝像頭的自動增益功能，對其進行一定 程度的調(diào)整。
專利文獻1:日本特開2004-234367號公報

發(fā)明內(nèi)容
然而，如果太陽光、反射光等外部光線一樣地照射駕駛員臉部，則 雖然可以通過自動增益功能來應(yīng)對，但是如果所照射的外部光線不同， 則通過調(diào)整圖像整體的亮度的自動增益功能是無法應(yīng)對局部的照度的變
化。例如會有產(chǎn)生如下誤檢的問題僅對臉部的左半邊照射太陽光而引 起的偏變化時，不能把沒有照射到太陽光的暗部分識別為臉部，而是僅 把明亮的部分檢測為臉部輪廓。這樣照射到行駛中的車輛內(nèi)駕駛員臉部 的光線是不斷變化的，所以如果不用多種方法對臉部或是臉部所包含的 各個部位進行綜合判斷，則不能得到充分的精度。
本發(fā)明正是為了解決上述問題而完成的，其主要目的是提供一種圖 像處理方法、適用了該圖像處理方法的圖像處理裝置、具有該圖像處理 裝置的圖像處理系統(tǒng)以及用于實現(xiàn)所述圖像處理裝置的計算機程序，在 該圖像處理方法中，當從通過拍攝等的處理所得到的圖像中檢測人物的 鼻子等的檢測對象時，把拍攝圖像時的垂直方向的位置作為候選檢測出 多個位置，針對在與檢測出的各位置相對應(yīng)的水平方向上排列的各個像 素列，基于像素的亮度檢測出成為檢測對象的候選的范圍，并基于檢測 出的范圍的長度，通過從檢測對象的候選中確定檢測對象，從而使檢測 方法多樣化，提高檢測精度。
此外，本發(fā)明的其他目的在于提供一種如下的圖像處理方法、圖像 處理裝置、圖像處理系統(tǒng)以及計算機程序根據(jù)針對一個像素亮度，進 行基于相鄰的其他各個像素的亮度的加法運算以及基于在拍攝時的水平 方向和垂直方向上與所述一個像素相隔規(guī)定距離的位置處的像素的亮度 的減法運算而得到的結(jié)果，檢測出檢測對象，從而使檢測方法多樣化， 提高檢測精度。
此外，本發(fā)明的其他目的在于提供一種如下的圖像處理方法、圖像 處理裝置、圖像處理系統(tǒng)以及計算機程序檢測出檢測對象作為水平方 向的范圍和垂直方向的范圍，從而使檢測方法多樣化，提高檢測精度， 其中，所述水平方向的范圍是基于如下的結(jié)果得到的將在拍攝時的水 平方向上排列的像素的亮度的變化累加到垂直方向，所述垂直方向的范 圍是基于如下的結(jié)果得到的將在垂直方向上排列的像素的亮度的變化 累加到水平方向。
而且，本發(fā)明的其他目的在于提供一種如下的圖像處理方法、圖像 處理裝置、圖像處理系統(tǒng)以及計算機程序基于亮度的平均值以及分散
值，決定檢測方法的優(yōu)先順序，從而可以對應(yīng)于情況選擇有效的檢測方 法，因此提高了檢測精度。
第1發(fā)明的圖像處理方法，從將像素分別排列在不同的第1方向及 第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征在于， 對在第1方向上排列的像素的亮度進行累加，導(dǎo)出第2方向上的累加值
的變化，根據(jù)所導(dǎo)出的累加值的變化，檢測出多個第2方向上的位置，
作為與檢測對象的候選對應(yīng)的位置，分別針對在與檢測出的各個位置相 對應(yīng)的第1方向上排列的像素列，檢測基于像素的亮度的第1方向上的 范圍作為檢測對象的候選，根據(jù)檢測出的范圍的長度，從檢測對象的候 選中確定出檢測對象。
第2發(fā)明的圖像處理方法，從將像素分別排列在不同的第1方向及 第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征在于， 根據(jù)加法運算和減法運算的結(jié)果對一個像素的亮度進行轉(zhuǎn)換，基于轉(zhuǎn)換 的結(jié)果，檢測出檢測對象，其中，所述加法運算是基于與所述一個像素 相鄰的其他各個像素的亮度進行的，所述減法運算是基于在第1方向上 與所述一個像素相隔了規(guī)定距離的位置處的像素的亮度以及在第2方向 上與所述一個像素相隔了規(guī)定距離的位置處的像素的亮度進行的。
第3發(fā)明的圖像處理方法，從將像素分別排列在不同的第1方向及 第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征在于， 在第2方向上對基于在第1方向上排列的像素的亮度變化的數(shù)值進行累 加，從而導(dǎo)出第1方向上的累加值的變化，在第1方向上對基于在第2 方向上排列的像素的亮度變化的數(shù)值進行累加，從而導(dǎo)出第2方向上的 累加值的變化，根據(jù)第1方向上的范圍和第2方向的范圍，檢測出檢測 對象，其中，所述第1方向上的范圍是基于所導(dǎo)出的第1方向上的累加 值的變化而得到的，所述第2方向的范圍是基于所導(dǎo)出的第2方向上的 累加值的變化而得到的。
第4發(fā)明的圖像處理方法，通過多種檢測方法從包括多個像素的二 維圖像中檢測出特定的檢測對象，其特征在于，計算像素的亮度的平均 值，計算像素的亮度的分散值，根據(jù)計算出的平均值和分散值，決定檢 測方法的優(yōu)先順序。
第5發(fā)明的圖像處理裝置，從將像素分別排列在不同的第1方向及 第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征在于， 其包括導(dǎo)出單元，其對在第1方向上排列的像素的亮度進行累加，導(dǎo) 出第2方向上的累加值的變化；候選檢測單元單元，其根據(jù)所導(dǎo)出的累 加值的變化，檢測多個第2方向上的位置，作為與檢測對象的候選對應(yīng) 的位置；范圍檢測單元，其分別針對在與檢測出的各個位置相對應(yīng)的第l 方向上排列的像素列，檢測出基于像素的亮度的第1方向上的范圍，作 為檢測對象的候選；以及確定單元，其根據(jù)檢測出的范圍的長度，從檢 測對象的候選中確定出檢測對象。
第6發(fā)明的圖像處理裝置，其特征在于，在第5發(fā)明中，所述候選 檢測單元從在第1方向上進行累加而得到的像素的亮度的累加值的變化 中，檢測出表示極小值的多個位置。
第7發(fā)明的圖像處理裝置，其特征在于，在第6發(fā)明中，對所述導(dǎo) 出單元所導(dǎo)出的累加值的變化進行二次微分的單元，所述候選檢測單元 根據(jù)二次微分的結(jié)果，從表示極小值的多個位置中檢測出規(guī)定數(shù)量的位
第8發(fā)明的圖像處理裝置，其特征在于，在第5發(fā)明至第7發(fā)明中 的任意一項中，所述范圍檢測單元根據(jù)在第1方向上排列的像素的亮度 的變化，檢測范圍。
第9發(fā)明的圖像處理裝置，其特征在于，在第5發(fā)明至第8發(fā)明中 的任意一項中，該圖像處理裝置還包括對檢測區(qū)域的第1方向上的范圍 進行檢測的單元，其中，該檢測區(qū)域包括檢測對象、且第1方向上的范 圍大于檢測對象，所述確定單元根據(jù)對檢測對象的候選的第1方向上的 范圍的長度與檢測區(qū)域的第1方向上的范圍的長度進行比較的結(jié)果，確 定出檢測對象，其中，所述檢測對象的候選的第1方向上的范圍是由所 述范圍檢測單元檢測出的，所述檢測區(qū)域包括檢測對象。
第10發(fā)明的圖像處理裝置，其特征在于，在第5發(fā)明至第9發(fā)明中 的任意一項中，該圖像處理裝置還包括執(zhí)行如下處理的單元對在與
確定出的檢測對象有關(guān)的第2方向上排列的像素的亮度進行累加，導(dǎo)出
在第1方向上的累加值的變化；極小值檢測單元，其根據(jù)第1方向上的 累加值的變化，檢測出極小值；對檢測出的極小值的數(shù)量進行計數(shù)的單 元；以及執(zhí)行如下處理的單元在計數(shù)出的數(shù)量小于規(guī)定數(shù)量時，判斷 確定出的檢測對象為假值(false)。
第11發(fā)明的圖像處理裝置，其特征在于，在第10發(fā)明中，該圖像 處理裝置還包括執(zhí)行如下處理的單元在包括與由所述極小值檢測單元 檢測出的極小值相對應(yīng)的像素在內(nèi)的、亮度與該像素的亮度相同并在第2 方向上連續(xù)的像素數(shù)量超過了規(guī)定的數(shù)量時，判斷確定出的檢測對象為 假值。
第12發(fā)明的圖像處理裝置，從將像素分別排列在不同的第1方向及 第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征在于， 其包括執(zhí)行如下處理的單元根據(jù)加法運算和減法運算的結(jié)果對一個 像素的亮度進行轉(zhuǎn)換，其中，所述加法運算是基于與所述一個像素相鄰 的其他各個像素的亮度進行的，所述減法運算是基于在第1方向上與所 述一個像素相隔了規(guī)定距離的位置處的像素的亮度以及在第2方向上與 所述一個像素相隔了規(guī)定距離的位置處的像素的亮度進行的；以及檢測 單元，其根據(jù)轉(zhuǎn)換的結(jié)果，檢測出檢測對象。
第13發(fā)明的圖像處理裝置，其特征在于，在第12發(fā)明中，所述檢 測單元檢測出轉(zhuǎn)換后的值為最小的像素，作為檢測對象。
第14發(fā)明的圖像處理裝置，從將像素分別排列在不同的第1方向及 第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征在于， 其包括第1導(dǎo)出單元，其在第2方向上對基于在第1方向上排列的像 素的亮度變化的數(shù)值進行累加，從而導(dǎo)出第1方向上的累加值的變化； 第2導(dǎo)出單元，其在第1方向上對基于在第2方向上排列的像素的亮度 變化的數(shù)值進行累加，從而導(dǎo)出第2方向上的累加值的變化；以及檢測 單元，其根據(jù)第1方向上的范圍和第2方向的范圍，檢測出檢測對象， 其中，所述第1方向上的范圍是基于所述第1導(dǎo)出單元所導(dǎo)出的第1方 向上的累加值的變化而得到的，所述第2方向的范圍是基于所述第2導(dǎo)
出單元所導(dǎo)出的第2方向上的累加值的變化而得到的。
第15發(fā)明的圖像處理裝置，其特征在于，在第14發(fā)明中，所述第 1導(dǎo)出單元在第2方向上對如下的指標進行累加，導(dǎo)出第1方向上的累加 值的變化，所述指標是根據(jù)基于在第1方向上相鄰的像素之間的亮度差 的數(shù)值、以及表示在第1方向上相鄰的像素的亮度高低的數(shù)值而得到的, 所述第2導(dǎo)出單元在第1方向上對如下的指標進行累加，導(dǎo)出第2方向 上的累加值的變化，所述指標是根據(jù)基于在第2方向上相鄰的像素之間 的亮度差的數(shù)值、以及表示在第2方向上相鄰的像素的亮度高低的數(shù)值 而得到的，所述檢測單元根據(jù)第1方向上的范圍和第2方向的范圍，檢 測出檢測對象，其中，所述第1方向上的范圍是從所述第1導(dǎo)出單元所 導(dǎo)出的累加值最大的位置到第1導(dǎo)出單元所導(dǎo)出的累加值最小的位置之 間的范圍，所述第2方向的范圍是從所述第2導(dǎo)出單元所導(dǎo)出的累加值 最大的位置到所述第2導(dǎo)出單元所導(dǎo)出的累加值最小的位置之間的范圍。
第16發(fā)明的圖像處理裝置，通過多種檢測方法從包括多個像素的二 維圖像中檢測出特定的檢測對象，其特征在于，其包括計算像素的亮 度的平均值的單元；計算像素的亮度的分散值的單元；根據(jù)計算出的平 均值和分散值決定檢測方法的優(yōu)先順序的單元。
第17發(fā)明的圖像處理系統(tǒng)，其特征在于，其包括第5個發(fā)明至第 16發(fā)明中的任一項所述的圖像處理裝置；以及生成由該圖像處理裝置進 行處理的圖像的攝像裝置，所述撿測對象是通過所述攝像裝置拍攝到的 圖像內(nèi)的包括人物的鼻孔在內(nèi)的區(qū)域，所述第1方向為水平方向，所述 第2方向為垂直方向。
第18發(fā)明的計算機程序，使計算機從將像素分別排列在不同的第1 方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征 在于，使計算機執(zhí)行如下的步驟對在第1方向上排列的像素的亮度進 行累加，導(dǎo)出第2方向上的累加值的變化；根據(jù)所導(dǎo)出的累加值的變化， 檢測多個在第2方向上的位置，作為與檢測對象的候選對應(yīng)的位置；分
別針對在與檢測出的各個位置相對應(yīng)的第1方向上排列的像素列，檢測
基于像素的亮度的第1方向上的范圍，作為檢測對象的候選；以及根據(jù)
檢測出的范圍的長度，從檢測對象的候選中確定出檢測對象。
第19發(fā)明的計算機程序，使計算機從將像素分別排列在不同的第1
方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征
在于，使計算機執(zhí)行如下的步驟根據(jù)加法運算和減法運算的結(jié)果對一 個像素的亮度進行轉(zhuǎn)換，其中，所述加法運算是基于與所述一個像素相 鄰的其他各個像素的亮度進行的，所述減法運算是基于在第1方向上與 所述一個像素相隔了規(guī)定距離的位置處的像素的亮度以及在第2方向上
與所述一個像素相隔了規(guī)定距離的位置處的像素的亮度進行的；以及根
據(jù)轉(zhuǎn)換的結(jié)果，檢測出檢測對象。
第20發(fā)明的計算機程序，使計算機從將像素分別排列在不同的第1 方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，其特征 在于，使計算機執(zhí)行如下的步驟在第2方向上對基于在第1方向上排
列的像素的亮度變化的數(shù)值進行累加，從而導(dǎo)出第1方向上的累加值的
變化；在第1方向上對基于在第2方向上排列的像素的亮度變化的數(shù)值 進行累加，從而導(dǎo)出第2方向上的累加值的變化；以及根據(jù)第1方向上 的范圍和第2方向的范圍，檢測出檢測對象，其中，所述第l方向上的 范圍是基于所導(dǎo)出的第1方向上的累加值的變化而得到的，所述第2方 向的范圍是基于所導(dǎo)出的第2方向上的累加值的變化而得到的。
第21發(fā)明的計算機程序，使計算機通過多種檢測方法從包括多個像 素的二維圖像中檢測出特定的檢測對象，其特征在于，使計算機執(zhí)行如 下的步驟計算像素的亮度的平均值；計算像素的亮度的分散值；以及 根據(jù)計算出的平均值和分散值，決定檢測方法的優(yōu)先順序。
在第1發(fā)明、第5發(fā)明、第6發(fā)明、第7發(fā)明以及第18發(fā)明中， 例如在拍攝到的圖像中，以包含人物臉部的鼻孔在內(nèi)的左右鼻翼之間的 區(qū)域為檢測對象時，如果將水平方向以及垂直方向設(shè)為第1方向以及第2 方向時，著眼于垂直方向上的亮度分布，檢測出包含眉毛、眼睛以及嘴 在內(nèi)的多個候選，根據(jù)水平方向的寬度從候選中確定出檢測對象，可以 高精度地檢測出檢測對象。特別是與根據(jù)水平方向的亮度分布檢測出檢 測對象的其他方法并用時，可以使檢測方法多樣化而綜合地判斷檢測對
象的位置，因此可以進一步提高檢測精度。
在第8發(fā)明中，根據(jù)在水平方向上排列的像素的亮度，從包含眉毛、 眼睛以及嘴等部位在內(nèi)的多個候選中檢測出范圍，從而可以明確檢測出 包含鼻孔的區(qū)域與其他部位之間在水平方向的范圍內(nèi)的差異，可以提高
檢領(lǐng)!j精度。
在第9發(fā)明中，檢測出包括作為檢測對象的鼻孔在內(nèi)的檢測區(qū)域即 臉部的寬度，將其與臉部寬度進行比較，例如針對臉部寬度，根據(jù)水平 方向的范圍為22% 43%的候選作為檢測對象進行確定，從而可以把眉 毛、眼睛、嘴等部位明確地進行劃分，可以提高檢測精度。
在第IO發(fā)明中，如果在水平方向上的極小值的數(shù)量、即作為鼻孔部 位的可能性高的部位的數(shù)量少于假設(shè)左右的鼻孔而設(shè)定的2個等的規(guī)定 數(shù)量，則可以判斷其很可能不是鼻孔，而判斷為其不是檢測對象，由此 可以降低把鼻孔以外的部位誤檢為鼻孔的可能性。
在第11發(fā)明中，如果垂直方向的連續(xù)性超過了由規(guī)定數(shù)量示出的閾 值，則可以判斷為其很有可能為眼鏡框，得出其不是檢測對象的結(jié)論， 從而降低誤檢的可能性。
在第2發(fā)明、第12發(fā)明、第13發(fā)明、第19發(fā)明中，在例如在拍攝
到的圖像中，以人物臉部中的鼻孔為檢測對象的情況下，把水平方向以 及垂直方向分別設(shè)為第1方向以及第2方向時，對相鄰像素的亮度較低、 且其周圍亮度較高的部位，即亮度低且小的區(qū)域進行強調(diào)的轉(zhuǎn)換處理， 從而可以高精度地檢測出檢測對象。特別是與檢測出檢測對象的其他方 法并用時，可以使檢測方法多樣化而綜合地判斷檢測對象的位置，因此 可以進一步提高檢測精度。
在第3發(fā)明、第14發(fā)明、第15發(fā)明、第20發(fā)明中，例如在拍攝到
的圖像中，以人物臉部中鼻孔的周圍區(qū)域為檢測對象的情況下，把水平 方向以及垂直方向分別設(shè)為第1方向以及第2方向時，分別針對垂直方 向以及水平方向，導(dǎo)出亮度下降較大之處較大、亮度上升較大之處較小 的數(shù)值，根據(jù)所導(dǎo)出的數(shù)值對作為亮度低于周圍的四角形的區(qū)域的檢測 對象進行檢測，由此可以高精度地檢測出檢測對象。特別是不是檢測鼻
孔，而是檢測鼻孔周圍下方的區(qū)域，所以即使在將臉部傾斜到難以檢測 鼻孔的角度時，也可以檢測出檢測對象。特別是與其他方法進行并用時， 可以使檢測方法多樣化而綜合地判斷檢測對象的位置，因此可以進一步 提高檢測精度。而且，用其他方法檢測出雙眼的位置、鼻子的位置等的 部位時，可以基于檢測出的部位之間的位置關(guān)系而縮小區(qū)域，在此基礎(chǔ) 上，通過進行相應(yīng)發(fā)明的檢測，可以更高精度地檢測出檢測對象。
在第4發(fā)明、第16發(fā)明以及第21發(fā)明中，例如在拍攝到的圖像中，
對人物臉部中鼻孔等的檢測對象進行檢測時，基于亮度的平均值以及分 散值，判斷是否在人物臉部中產(chǎn)生了局部照度的變化，根據(jù)判斷的狀況 決定檢測方法的優(yōu)先順序，對應(yīng)于狀況，從各種各樣的檢測方法中選擇 可靠性高的檢測方法以及檢測順序，因此可以進一步提高檢測精度。
在第17發(fā)明中，由于可以高精度地檢測出包含人物鼻孔在內(nèi)的區(qū)
域，所以適用于這樣的系統(tǒng)通過例如在車輛上安裝的車載攝像頭等攝 像裝置對駕駛員的臉部進行拍攝而獲取的圖像中，以駕駛員的臉部為檢 測對象進行檢測，從而可以在檢測出駕駛員的狀況，而在駕駛員心不在 焉時對其進行警告等駕駛協(xié)助的系統(tǒng)中得以實現(xiàn)。
本發(fā)明中的圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算 機程序可以適用為這樣的方式通過例如在車輛上安裝的車載攝像頭等 攝像裝置對駕駛員的臉部進行拍攝而獲取的圖像中，以人物臉部中的包 含鼻孔的左右鼻翼之間的區(qū)域為檢測對象。而且，本發(fā)明中的圖像處理 裝置等執(zhí)行如下的處理對在作為第1方向的水平方向上排列的像素亮 度進行累加，導(dǎo)出作為第2方向的垂直方向的累加值的變化，根據(jù)所導(dǎo) 出的累加值的變化檢測作為極小值的多個位置，作為包括檢測對象在內(nèi) 的候選，進一步對其中的累加值的變化進行二次微分，將范圍縮小到規(guī) 定數(shù)量之內(nèi)，分別對于在與縮小的各個位置對應(yīng)的第1方向上排列的像 素列，基于像素亮度，檢測出成為檢測對象的候選的第l方向上的范圍， 基于檢測出的范圍長度，從檢測對象的候選中確定檢測對象。
本發(fā)明根據(jù)這種結(jié)構(gòu)，著眼于垂直方向的亮度分布，檢測包括亮度 較低的眉毛、眼睛以及嘴在內(nèi)的多個候選，以水平方向的寬度為基礎(chǔ)，
從候選中確定檢測對象，從而可以得到高精度地檢測出檢測對象等優(yōu)良 的效果。特別是本發(fā)明與基于水平方向的亮度分布檢測出檢測對象的其 他方法進行并用時，可以使檢測方法多樣化而綜合地判斷檢測對象的位 置，因此得到可以進一步提高檢測精度等優(yōu)良的效果。
并且，本發(fā)明通過提高檢測對象的檢測精度，正確地檢測駕駛員的 狀況，適用于通過對駕駛員心不在焉的駕駛提出警告等的駕駛協(xié)助的系 統(tǒng)時，即使在外部光線的狀況不斷發(fā)生變化的環(huán)境中駕駛時，也可以得 到構(gòu)筑誤檢少的具有可靠性的駕駛協(xié)助系統(tǒng)等卓越的效果。
另外，在本發(fā)明的圖像處理裝置等中，從在作為第1方向的水平方 向上排列的像素列中檢測出成為檢測對象的候選的范圍時，基于在第1 方向上排列的像素的亮度的變化檢測范圍，由此具體地說，通過對水平 方向的亮度急劇變化之處進行強調(diào)的濾波處理，對基于在第1方向上排 列的、亮度較低的像素列的兩端的結(jié)果的范圍進行檢測，從而可以明確 包含鼻孔在內(nèi)的區(qū)域、與眉毛、眼睛、嘴等其他部位之間的水平方向的 范圍差異，因此可以得到提高檢測精度等卓越的效果。
另外，在本發(fā)明的圖像處理裝置等中，檢測出臉部的寬度，與臉部
寬度相比較，例如將相對于臉部寬度、水平方向的范圍為22% 43%的 候選確定為檢測對象，從而可以與眉毛、眼睛、嘴等的其他部位明確進 行劃分，因此得到可以提高檢測精度等卓越的效果。
并且，在本發(fā)明的圖像處理裝置等中，即使確定了檢測對象時，在 特定的檢測對象中包含的水平方向上排列的像素列中，與檢測對象有關(guān) 的垂直方向的亮度的累加值為極小值的、亮度低于周圍亮度的部位的數(shù) 量，即很可能是鼻孔的部位的數(shù)量小于表示左右的鼻孔的數(shù)量的規(guī)定數(shù) 量即2個的情況下，可以判斷其為鼻孔的可能性低，判斷為不是檢測對 象，由此得到可以降低把鼻孔以外的部位判斷為鼻孔的誤檢的可能性等 卓越的效果。
而且，在本發(fā)明的圖像處理裝置等中，如果排列在垂直方向的像素 的數(shù)量超過了規(guī)定數(shù)量，則判斷為檢測出了眼鏡框的可能性高，得到通 過判斷為不是檢測對象，而降低誤檢的可能性等卓越的效果。
本發(fā)明的圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算機 程序，可以適用為這樣的方式例如通過在車輛上安裝的車載攝像頭等 攝像裝置對駕駛員的臉部進行拍攝而獲取的圖像中，以人物臉部中的鼻 孔為檢測對象。并且，在本發(fā)明的圖像處理裝置等執(zhí)行如下的處理根 據(jù)加法運算以及減法運算的結(jié)果對一個像素的亮度進行轉(zhuǎn)換，將變換后 的值最小的像素作為檢測對象進行檢測，其中，所述加法運算是基于與 所述一個像素相鄰的其他各個像素的亮度進行的，所述減法運算是基于 在第1方向的水平方向上與所述一個像素的位置相隔了規(guī)定距離的位置 處的像素的亮度以及在第2方向的垂直方向上與所述一個像素的位置相 隔了規(guī)定距離的位置處的像素的亮度進行的。
根據(jù)本發(fā)明的結(jié)構(gòu)，對相鄰像素的亮度較低、且其周圍亮度較高的 部位，即對亮度低而小的區(qū)域進行強調(diào)的轉(zhuǎn)換處理，從而得到可以高精 度地檢測作為亮度較低而小的區(qū)域的鼻孔等卓越的效果。特別是在本發(fā) 明中，在臉部上揚時可以髙精度地檢測出鼻孔，所以與對檢測對象進行 檢測的其他方法進行并用時，可以使檢測方法多樣化而綜合地判斷檢測 對象的位置，可以得到進一步提高檢測精度等卓越的效果。
另外，在本發(fā)明應(yīng)用于通過提高檢測對象的檢測精度，正確得知駕 駛員狀況，而在駕駛員心不在焉時對其進行警告等駕駛協(xié)助的系統(tǒng)時， 得到即使在外部光線經(jīng)常變化的環(huán)境中行駛，也可以構(gòu)筑誤檢少的、可 靠性高的駕駛協(xié)助系統(tǒng)等卓越的效果。
本發(fā)明的圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算機 程序可以適用為這樣的方式例如通過在車輛上安裝的車載攝像頭等攝 像裝置對駕駛員的臉部進行拍攝而獲取的圖像中，以人物臉部中鼻孔周 圍下方的區(qū)域作為檢測對象。而且，本發(fā)明的圖像處理裝置等執(zhí)行如下 的處理在作為第2方向的垂直方向，對基于在作為第1方向的水平方 向上相鄰的像素之間的亮度差的數(shù)值、以及表示在第1方向上相鄰的像 素的亮度高低的數(shù)值相乘而得到的指標進行累加，導(dǎo)出第1方向上的累 加值的變化，在第1方向上對基于在第2方向上相鄰的像素之間的亮度 差的數(shù)值、以及表示在第2方向上相鄰的像素的亮度高低的數(shù)值相乘而
得到的指標進行累加，導(dǎo)出第2方向上的累加值的變化，根據(jù)從所導(dǎo)出
的各個累加值最大的位置到最小的位置之間的第1方向上的范圍以及第2
方向的范圍，檢測出檢測對象。
本發(fā)明根據(jù)這種結(jié)構(gòu)，分別針對垂直方向以及水平方向，導(dǎo)出亮度 下降較大之處較大、亮度上升較大之處較小的數(shù)值，基于所導(dǎo)出的數(shù)值， 對作為亮度低于周圍的、四邊形的區(qū)域的檢測對象進行檢測，因此得到 可以高精度地檢測出檢測對象等卓越的效果。特別是在本發(fā)明中，不是 檢測鼻孔、而是檢測作為亮度低于周圍的四邊形的區(qū)域的鼻孔周圍下方 的區(qū)域，因此即使將臉部傾斜到很難檢測出鼻孔的角度，也可以得到檢 測出檢測對象等卓越的效果。而且在本發(fā)明中，如果用其他方法檢測出 雙眼的位置、鼻子的位置等部位，則可以基于檢測出的部位之間的位置 關(guān)系縮小區(qū)域，在此基礎(chǔ)上，進行相應(yīng)發(fā)明的檢測，從而得到可以更高 精度地檢測出檢測對象等卓越的效果。因此，本發(fā)明與對檢測對象進行 檢測的其他方法進行并用時，可以使檢測方法多樣化而綜合地判斷檢測 對象的位置，因此得到可以進一步提高檢測精度等卓越的效果。
而且，本發(fā)明通過提高檢測對象的檢測精度，在適用于正確地檢測 駕駛員的狀況，而在駕駛員心不在焉時對其進行警告等的駕駛協(xié)助的系 統(tǒng)時，得到即使在外部光線的狀況不斷變化的環(huán)境中進行駕駛，也可以 構(gòu)筑誤檢較少的具有可靠性的駕駛協(xié)助系統(tǒng)等卓越的效果。
本發(fā)明的圖像處理方法、圖像處理裝置、圖像處理系統(tǒng)以及計算機
程序可以適用為這樣的方式例如通過在車輛上安裝的車載攝像頭等攝 像裝置對駕駛員的臉部進行拍攝而獲取的圖像中，以人物臉部中包括鼻 孔在內(nèi)的區(qū)域作為檢測對象。并且，本發(fā)明的圖像處理裝置等執(zhí)行如下 處理可以計算像素亮度的平均值，計算像素亮度的分散值，以計算出 的平均值與分散值為基礎(chǔ)，從多個檢測方法中決定檢測方法的優(yōu)先順序。 本發(fā)明的這種結(jié)構(gòu)中，以亮度的平均值以及分散值為基礎(chǔ)，判斷是 否在人物臉部中產(chǎn)生了局部的照度變化，根據(jù)判斷狀況決定檢測方法的 優(yōu)先順序，由此對應(yīng)于具體情況，從各種各樣的檢測方法中選擇可靠性 高的檢測方法以及檢測順序，因此得到可以進一步提高檢測精度等卓越
的效果。


圖1是表示本發(fā)明的實施方式1中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方 框圖。
圖2是表示本發(fā)明的實施方式1中的用于圖像處理系統(tǒng)的圖像處理 裝置的處理例子的流程圖。
圖3是表示本發(fā)明的實施方式1中的用于圖像處理系統(tǒng)的圖像處理
裝置的處理例子的流程圖。
圖4是概念性地表示在本發(fā)明的實施方式1中的圖像處理系統(tǒng)從決 定圖像處理的范圍開始到檢測檢測對象的候選為止的處理例子的說明 圖。
圖5是示意性地表示在本發(fā)明的實施方式1中的圖像處理系統(tǒng)進行 端部檢測處理的范圍的例子的說明圖。
圖6是表示本說明的實施方式1中的圖像處理系統(tǒng)的端部檢測處理 中所使用的系數(shù)的例子的說明圖。
圖7是示意性地表示在本發(fā)明的實施方式1中的圖像處理系統(tǒng)進行 端部檢測處理的范圍的例子的說明圖。
圖8是示意性地表示在本發(fā)明的實施方式1中的圖像處理系統(tǒng)進行 端部檢測處理的范圍的例子的說明圖。
圖9是表示本發(fā)明的實施方式1中的圖像處理系統(tǒng)的檢測對象的候 選的說明圖。
圖10是概念性地表示本發(fā)明的實施方式1中的圖像處理系統(tǒng)的鼻孔 區(qū)域標記的說明圖。
圖11是表示本發(fā)明的實施方式2中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方 框圖。
圖12是表示本發(fā)明的實施方式2中用于圖像處理系統(tǒng)的圖像處理裝 置的處理例子的流程圖。
圖13是概念性地表示本發(fā)明的實施方式2中的圖像處理系統(tǒng)的檢測
范圍的設(shè)定例子的說明圖。
圖14是概念性地表示本發(fā)明的實施方式2中的圖像處理系統(tǒng)的搜索
范圍的設(shè)定例子的說明圖。
圖15是表示在本發(fā)明的實施方式2中的用于圖像處理系統(tǒng)的黑色區(qū) 域計算濾波處理的系數(shù)例子的說明圖。
圖16是概念性地表示在本發(fā)明的實施方式2中的使用了圖像處理系 統(tǒng)的黑色區(qū)域計算濾波處理的檢測例子的說明圖。
圖17是表示本發(fā)明的實施方式3中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方 框圖。
圖18是表示本發(fā)明的實施方式3中的用于圖像處理系統(tǒng)的圖像處理 裝置的處理的例子的流程圖。
圖19是概念性地表示本發(fā)明的實施方式3中的圖像處理系統(tǒng)的搜索 范圍的設(shè)定例子的說明圖。
圖20是表示本發(fā)明的實施方式3中的用于圖像處理系統(tǒng)的水平方向 邊緣濾波處理的系數(shù)的例子的說明圖。
圖21是表示本發(fā)明的實施方式3中的用于圖像處理系統(tǒng)的垂直方向 邊緣濾波處理的系數(shù)的例子的說明圖。
圖22是表示本發(fā)明的實施方式3中的圖像處理系統(tǒng)的檢測結(jié)果的說 明圖。
圖23是表示本發(fā)明的實施方式4中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方 框圖。
圖24是表示本發(fā)明的實施方式4中的用于圖像處理系統(tǒng)的圖像處理 裝置2的處理例子的流程圖。 標號說明 1攝像裝置 2圖像處理裝置 31， 32， 33， 34計算機程序 41， 42， 43， 44記錄介質(zhì)
具體實施例方式
以下根據(jù)表示本實施方式的附圖，詳細說明本發(fā)明。 實施方式1.
圖1是本發(fā)明的實施方式1中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方框圖。 在圖1中的1為安裝在車輛中的車載攝像頭等攝像裝置，攝像裝置1通
過專用電纜等的通信線路或有線、或無線所構(gòu)成的車內(nèi)LAN (Local Area Netwok)等通信網(wǎng)絡(luò)與進行圖像處理的圖像處理裝置2連接。攝像裝置 l配置在車輛內(nèi)的手柄、儀器板等的駕駛員的前方，可以調(diào)整拍攝狀態(tài)， 使得駕駛員臉部的橫向以及縱向成為水平方向或是垂直方向。
攝像裝置1中包括控制裝置整體的MPU (Micro Processer Unit) 11、對以MPUll的控制為基礎(chǔ)而執(zhí)行的各種計算機程序以及數(shù)據(jù)進行記 錄的ROM (Read Only Memory)12、在執(zhí)行ROM12所記錄的計算機程序 時，暫時對所產(chǎn)生的各種數(shù)據(jù)進行記錄的RAM(Random Access Memory) 13、使用CCD (Charge Coupled Device)等攝像元件構(gòu)成的攝像部14、將 從攝像部14的拍攝中所得到的模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字數(shù)據(jù)的A/D轉(zhuǎn)換 器15、將通過A/D轉(zhuǎn)換器15轉(zhuǎn)換為數(shù)字的圖像數(shù)據(jù)進行暫時記錄的幀 存儲器16、用于與圖像處理裝置2之間進行通信的通信接口 17。
攝像裝置1中，通過攝像部14連續(xù)或是斷續(xù)地進行拍攝處理，以拍 攝處理為基礎(chǔ)例如在每1秒生成30張圖像數(shù)據(jù)(圖像幀)，并向A/D轉(zhuǎn) 換器15輸出，在A/D轉(zhuǎn)換器15中，把構(gòu)成圖像的各像素轉(zhuǎn)換為256灰 度(1Byte，字節(jié))等的灰度所示的數(shù)字圖像數(shù)據(jù)，并記錄于幀存儲器16。 在幀存儲器16中所記錄的圖像數(shù)據(jù)，在規(guī)定的定時從通信接口 17輸出 到圖像處理裝置2。構(gòu)成圖像的各個像素以二維方式進行排列，圖像數(shù)據(jù) 包括平面直角坐標系、所謂xy坐標系上示出的各像素的位置、和表示為 灰度值的表示各像素亮度的數(shù)據(jù)。另外，也可以不針對各像素分別用xy 坐標系表示坐標，而通過排列在數(shù)據(jù)內(nèi)的順序而表示坐標。并且，圖像 的水平方向可以對應(yīng)于圖像數(shù)據(jù)的x軸方向，圖像的垂直方向?qū)?yīng)于圖 像數(shù)據(jù)的y軸方向。
圖像處理裝置2中包括控制裝置整體的CPU (Central Processing
Unit) 21、從記錄了本發(fā)明實施方式1的計算機程序31以及數(shù)據(jù)等各種 信息的CD-ROM等的記錄介質(zhì)41中讀取信息的CD-ROM驅(qū)動器等的輔 助記錄部22、對輔助記錄部22所讀取的各種信息進行記錄的硬盤(以下 簡稱為HD) 23、在執(zhí)行HD23所記錄的計算機程序31時，對產(chǎn)生的各 種數(shù)據(jù)進行暫時記錄的RAM24、由易失性存儲器所構(gòu)成的幀存儲器25、 用于與攝像裝置1之間進行通信的通信接口 26。
并且，從HD23讀取本發(fā)明的計算機程序31以及數(shù)據(jù)等的各種信息， 通過CPU21執(zhí)行被記錄在RAM24中而包含在計算機程序31內(nèi)的各種程 序，車載用計算機作為本發(fā)明的圖像處理裝置2而進行動作。作為HD23 所記錄的數(shù)據(jù)有如下的數(shù)據(jù)與執(zhí)行計算機程序31有關(guān)的數(shù)據(jù)，例如后 述的公式、濾波器、各種常數(shù)等數(shù)據(jù)，以及表示檢測出檢測對象或是檢 測對象的候選的數(shù)據(jù)等。
在圖像處理裝置2中，用通信接口 26接收從攝像裝置1輸出的圖像 數(shù)據(jù)，把接收到的圖像數(shù)據(jù)記錄于幀存儲器25，讀取幀存儲器25所記錄 的圖像數(shù)據(jù)，進行各種各樣的圖像處理。針對接收到的圖像數(shù)據(jù)執(zhí)行的 各種各樣的圖像處理是指從圖像數(shù)據(jù)中檢測出駕駛員臉部的輪廓、眼睛、 鼻子時所需的各種處理。作為具體的處理例，可舉出這樣的輪廓寬度檢 測處理對在圖像的垂直方向上排列的亮度進行累加，把所累加的值與 規(guī)定的閾值進行比較，由此檢測亮度高于背景的像素所構(gòu)成的臉部輪廓 的水平方向的范圍。另外，該處理還可以舉出這樣的輪廓寬度檢測處理-對累加值的水平方向的變化進行微分，確定變化大的位置，檢測出亮度 變化大的背景與臉部的輪廓之間的邊界。詳細的處理內(nèi)容在例如本申請 人所申請的日本特開2004-234494號公報、日本特開2004-234367號公報 等文獻中有所記載。另外，這些圖像處理，并不局限于日本特開 2004-234494號公報以及日本特開2004-234367號公報中所記載的處理， 可以根據(jù)硬件結(jié)構(gòu)、與其他應(yīng)用程序之間的連帶關(guān)系等的條件進行適當 選擇。
然后對本發(fā)明的實施方式1中的圖像處理系統(tǒng)所用的各種裝置的處 理進行說明。本發(fā)明的實施方式1中，如使用圖1所說明的那樣，例如
在由通過安裝在車輛的車載攝像頭等的攝像裝置1對駕駛員的臉部進行 拍攝而得到的圖像中，以駕駛員臉部中包括鼻孔在內(nèi)的左右鼻翼之間的
區(qū)域作為檢測對象。圖2以及圖3為本發(fā)明的實施方式1中的用于圖像 處理系統(tǒng)的、表示了圖像處理裝置2的處理例子的流程圖。在圖像處理 裝置2中，通過執(zhí)行記錄于RAM24中的計算機程序31的CPU21的控制， 從幀存儲器25中提取由攝像裝置1的拍攝而得到、通過通信接口 26而 接收到的圖像數(shù)據(jù)(S101)，通過例如所述的輪廓寬度檢測處理，從所提 取的圖像數(shù)據(jù)中檢測出駕駛員臉部寬度、即表示臉部的區(qū)域的邊界的輪 廓的水平方向(第l方向)的范圍(S102)，以檢測出的結(jié)果為基礎(chǔ)，設(shè) 定以后要進行的圖像處理的范圍(S103)。步驟S102所檢測出的區(qū)域范 圍(輪廓的寬度)、以及圖像處理的范圍被記錄于HD23或是RAM24中。
然后圖像處理裝置2通過CPU21的控制，針對用步驟S101所提取 的步驟S103所設(shè)定的范圍的圖像，對在水平方向(第l方向)上排列的 像素亮度進行累加(S104)，通過累加的結(jié)果導(dǎo)出垂直方向(第2方向) 的累加值的變化(S105),從所導(dǎo)出的垂直方向上的累加值的變化中，作 為對應(yīng)于檢測對象的候選的垂直方向上的位置、檢測出表示極小值的多 個位置(S106)。在步驟S106中，不僅僅可以檢測出作為原來檢測對象 的、包含鼻孔的左右鼻翼之間的區(qū)域，也可以檢測出亮度低的眉毛、眼 睛以及嘴在內(nèi)的多個候選。
圖像處理裝置2通過CPU21的控制，對步驟S105所導(dǎo)出的累加值 的變化進行二次微分(S107)，在步驟S106所檢測出的、表示極小值的 多個位置當中，按照二次微分值從高向低的順序，把10個等的規(guī)定數(shù)量 的位置檢測為包括垂直方向上的檢測對象在內(nèi)的候選的位置(S108)。在 對累加值變化進行二次微分的步驟S107的處理中，例如使用下述式1。 步驟S107對步驟S106所檢測出的候選進行縮小處理，通過步驟S104 S108的處理，最多可以檢測出IO個候選。其中，如果步驟S106所檢測 出的候選數(shù)量不足10個時，步驟S108所檢測出的候選不一定小于10個。 另外，規(guī)定數(shù)量是HD23或是RAM24所預(yù)先記錄的、根據(jù)所需可以進行 變更的數(shù)值。另外步驟S108所檢測出的、表示候選的數(shù)據(jù)被記錄在HD23
或是RAM24中。
二次微分值-P(y) 2-P(y-8) -P(y+8)…式1 其中，y:垂直方向的坐標(y坐標) P (y):位置y的累加值
然后，圖像處理裝置2通過CPU21的控制，從HD23或是RAM24 讀取用步驟S108所檢測出的、作為檢測對象的候選的垂直方向上的各個 位置，分別針對與所讀取的各個位置對應(yīng)的、水平方向上所排列的像素 列，以像素的亮度變化為基礎(chǔ)，檢測出檢測對象的候選的水平方向上的 端部，也就是其左右端(S109)，以所檢測出的左右端為基礎(chǔ)，檢測出成 為檢測對象的候選的水平方向的范圍(SllO)。另外，對于用步驟S109 未檢測到左右端的候選，也就是僅僅檢測出一端側(cè)的候選、以及未檢測 出端部的候選而言，其被從檢測對象的候選中除去，HD23或是RAM24 所記錄的內(nèi)容被更新。步驟S109的處理如同后文所述的那樣，可以把亮 度低于周圍的像素連續(xù)狀態(tài)中斷的點作為端部進行檢測。另外，步驟 S109 SU0的處理針對所有檢測對象的候選進行，進行檢測對象的候選 的進一步縮小以及范圍的檢測。
然后，圖像處理裝置2通過CPU21的控制，對由步驟S110所檢測 并記錄的、檢測對象的候選的水平方向的范圍的長度與由步驟S102所檢 測并記錄的、駕駛者臉部區(qū)域的水平方向的范圍(輪廓的寬度)的長度 進行比較，在檢測對象的候選中，將水平方向的范圍的長度相對于駕駛 者臉部區(qū)域的水平方向的范圍的長度進入了 22 43%范圍內(nèi)的檢測對象 的候選，確定為撿測對象(Slll)，對在HD23或是RAM24中作為檢測 對象的候選而記錄的內(nèi)容進行更新。在步驟S111中，對于所有的檢測對 象的候選進行如下的判斷相對于檢測對象即包括鼻孔在內(nèi)的左右鼻翼 之間的區(qū)域的候選的水平方向的范圍長度，包括了檢測對象的檢測區(qū)域 即臉部區(qū)域的水平方向的長度是否在規(guī)定的范圍內(nèi)，這里為22 43%的 范圍之內(nèi)，將進入規(guī)定范圍內(nèi)的檢測對象的候選作為檢測對象進行檢測。 另外在步驟S111中，如果進入規(guī)定范圍的檢測對象的候選有多個，則根 據(jù)步驟S109 S110所示的范圍的檢測處理中所使用的指標(后述的橫向
邊緣標記)，確定檢測對象的候選。另外，作為規(guī)定范圍所示的22 43% 的數(shù)值并不是固定值，而可以根據(jù)駕駛者人種等因素進行適當?shù)脑O(shè)定。
然后，圖像處理裝置2通過CPU21的控制，設(shè)定包括用步驟Slll 所確定的檢測對象，且水平方向的寬度與檢測對象一致，垂直方向的寬 度為3、 5個等的規(guī)定像素數(shù)量的檢測區(qū)域(S112)，對所設(shè)定的檢測區(qū) 域內(nèi)在垂直方向上排列的像素亮度進行累加，導(dǎo)出水平方向的累加值變 化(S113)，通過所導(dǎo)出的水平方向的累加值的變化，檢測出極小值 (S114)，對所檢測出的極小值數(shù)量進行計數(shù)(S115)，判斷計數(shù)出的極 小值數(shù)量是否小于規(guī)定數(shù)量，在這里為2個(S116)。在步驟S115中， 如果所計數(shù)的極小值數(shù)量小于規(guī)定數(shù)量(S116:是)，則圖像處理裝置2 通過CPU21的控制，判斷出用步驟Slll所確定的檢測對象為假值，不 能對檢測對象進行檢測(S117)，以判斷的結(jié)果為基礎(chǔ)，更新HD23或是 RAM24的記錄內(nèi)容，結(jié)束處理。如果被確定的檢測對象為包括鼻孔在內(nèi) 的左右鼻翼之間的區(qū)域，則在步驟S113所導(dǎo)出的累加值的變化中，與鼻 孔相當?shù)奈恢脼闃O小值，所以可以對2個以上的極小值進行計數(shù)。為此 在極小值為0或是為1的情況下，可以判斷被確定的檢測對象為假值。 另外，因鼻翼輪廓附近等的位置成為陰影，可能會表示出極小值，所以 即使極小值為3個以上，也不能僅僅據(jù)此判斷其為假值。
在步驟S116中，所計數(shù)的極小值的數(shù)量為作為規(guī)定數(shù)量的2個以上 的情況下(S116:否)，圖像處理裝置2通過CPU21的控制，對包括與 極小值對應(yīng)的像素在內(nèi)、亮度與該像素相同且在垂直方向連續(xù)的像素數(shù) 量進行計數(shù)(S118)，判斷所計數(shù)的連續(xù)的像素的數(shù)量是否為預(yù)先設(shè)定的 規(guī)定數(shù)量以上(S119)。在步驟S118中，判斷亮度低的像素在垂直方向 的連續(xù)性。另外在計數(shù)像素的數(shù)量時，由于其目的是判斷亮度低的像素 的連續(xù)性，所以不一定要僅對與極小值對應(yīng)的像素有著同等亮度的像素 進行計數(shù)。具體而言，如果把亮度分級為256個階段，作為灰度進行表 示，則表示極小值的像素的灰度為20時，希望可以用具有20±5等幅度 的灰度對連續(xù)性進行計數(shù)。
在步驟S119中，所計數(shù)的連續(xù)的像素的數(shù)量超過了預(yù)先設(shè)定的規(guī)定
數(shù)量時(S119:是)，圖像處理裝置2通過CPU21的控制，判斷出步驟
Slll所確定的檢測對象為假值，而不能對檢測對象進行檢測(S117)，以 判斷的結(jié)果為基礎(chǔ)對HD23或是RAM24的記錄內(nèi)容進行更新，結(jié)束處理。 在亮度低的像素的連續(xù)性為規(guī)定數(shù)量以上時，判斷出是誤檢了眼鏡鏡框。
在步驟S119中，所計數(shù)的連續(xù)的像素的數(shù)量為預(yù)先設(shè)定的規(guī)定數(shù)量 以下時(S119:否)，圖像處理裝置2通過CPU21的控制，判斷出步驟 Slll所確定的檢測對象為真值，而可以對檢測對象進行檢測(S120)，以 判斷的結(jié)果為基礎(chǔ)對HD23或是RAM24的記錄內(nèi)容進行更新，結(jié)束處理。
另外，通過對步驟S109 S111等檢測對象的候選進行縮小處理，所 有檢測對象的候選都被除去的情況下，也仍判斷為不能檢測出檢測對象。
進一步詳細說明使用圖2以及圖3的流程圖說明的處理。首先，對 步驟S101 S108的處理進行說明。圖4為概念性地表示本發(fā)明的實施方 式1中的圖像處理系統(tǒng)中的決定圖像處理范圍開始到檢測出檢測對象的 候選為止的處理例子的說明圖。圖4 (a)中表示了決定圖像處理范圍的 狀況，圖4(a)中，實線所示的外側(cè)的框是步驟S101所提取的圖像數(shù)據(jù) 表示的圖像整體，表示了被拍攝的駕駛員臉部圖像、以及作為檢測對象 的駕駛員的臉部的包括鼻孔在內(nèi)的左右鼻翼之間的區(qū)域。用點劃線所示 的圖像的垂直方向(y軸方向)的線為步驟S102所檢測出的區(qū)域范圍， 也就是駕駛員臉部輪廓的寬度。點劃線所示的臉部輪廓寬度、以及實線 所示的圖像整體中的上下框所圍起來的區(qū)域為步驟S103所設(shè)定的圖像處
理的范圍。
圖4 (b)是表示在步驟S104中對在水平方向上排列的像素亮度進 行累加，而在步驟S105中導(dǎo)出的垂直方向的亮度的累加值的分布的曲線 圖。圖4 (b)中表示了圖4 (a)所示的圖像的垂直方向的亮度的累加值 的分布，縱軸為對應(yīng)于圖4 (a)的垂直方向的坐標，橫軸表示了亮度的 累加值。圖4 (b)所示的垂直方向的亮度的累加值按照在眉毛、眼睛、 鼻孔、嘴等部位達到以箭頭標識標出極小值的方式發(fā)生變化，由步驟 S106，根據(jù)極小值讀取可以檢測出檢測對象的候選的情況。
以下對步驟S109 S111的處理進行說明。圖5為示意性地表示本發(fā)
明的實施方式1的圖像處理系統(tǒng)進行端部檢測處理的范圍的例子的說明 圖。圖6為表示用于本發(fā)明的實施方式1中的圖像處理系統(tǒng)的端部檢測
處理的系數(shù)例子的說明圖。圖5表示了檢測對象的候選的周邊像素，圖5 上方所示的數(shù)字表示像素的水平方向上的位置，也就是x坐標，左方所 示的記號為像素的垂直方向上的位置，也就是y坐標。圖5的橫方向上 所排列的、用從右上到左下的斜線所表示的y坐標的值為y的、像素列y 表示了檢測對象的候選，像素列y與像素列y的上下相鄰的左上到右下 的斜線所表示的y坐標的值分別用于檢測作為y+l以及y-l的像素列y+l 以及y-l的端部。而且，針對像素列y、 y+l以及y-l中所包含的各個像 素，通過乘以圖6所示的系數(shù)，起到橫向邊緣濾波器的功能，即使在水 平方向上排列的像素中、連續(xù)存在亮度低的像素的區(qū)域的端部明確化。 圖6所示的系數(shù)為3x3的矩陣，表示了要針對九個像素亮度相乘的系數(shù)， 針對中心的一個像素亮度以及相鄰的八個像素亮度，乘以各自對應(yīng)的一 個系數(shù)，把其結(jié)果的合計值的絕對值作為中心位置的像素的橫向邊緣系 數(shù)進行計算。橫向邊緣系數(shù)如圖6所示的那樣，通過將對在左方相鄰的 像素亮度乘以的數(shù)值、以及對在右方相鄰的像素亮度乘以"1"的 數(shù)值相加而求出。另外圖5中的粗線所示的3x3的區(qū)域，表示了將對坐 標(2， y+l)所示的像素對應(yīng)橫向邊緣濾波器的狀態(tài)，坐標(2， y+l) 所示的像素的橫向邊緣系數(shù)通過下述式2進行計算。
1 P(3，y+2)+P(3,y+l)+P(3，y)-P(l,y+2)-P(l,y+l)-P(l,y) 1 式2 其中，x:水平方向的坐標(x坐標) y:垂直方向的坐標(y坐標) p(x,y):坐標(x，y)的像素的亮度 如上所示，針對成為檢測對象的候選的水平方向上所排列的像素列 y及與其上下相鄰的像素列y-l和y+l所包含的像素，計算出橫向邊緣系 數(shù)。
圖7為示意性地說明本發(fā)明的實施系統(tǒng)1中的圖像處理系統(tǒng)的進行 端部檢測處理的范圍的例子的說明圖。圖7的上方所示的數(shù)字為像素的 水平方向的位置，也就是x坐標，左方所示的記號為像素的垂直方向的
位置，也就是y坐標。圖7的在橫向方向上排列的y坐標的值為y的像 素列y表示檢測對象的候選，對于像素列y、以及與像素列y上下相鄰的 y坐標的值分別為y+l以及y-l的像素列y+l以及列y-l，計算橫向邊緣 系數(shù)。然后，對于像素列y的除了兩端的像素之外的從右上到左下的斜 線所示的各個像素，針對一個像素、以及與該像素相鄰的八個像素的合 計值的九個像素，對橫向邊緣系數(shù)與預(yù)先設(shè)定的規(guī)定閾值進行比較。然 后，將表示橫向邊緣系數(shù)超過了規(guī)定的閾值的像素數(shù)量的指數(shù)作為一個 像素的橫向邊緣標記而進行計算。圖7中的粗線所圍住的3x3的區(qū)域表 示了坐標(3， Y)所示的計算像素的橫向邊緣標記所需的像素。在圖7 中的粗線所圍住的區(qū)域內(nèi)的九個像素中，具有超過閾值的橫向邊緣系數(shù) 的像素數(shù)量成為坐標(3, y)所示的像素的橫向邊緣標記。
然后，針對表示0 9的值的橫向邊緣標記為5個以上的像素，判斷 為在檢測對象的候選的水平方向的范圍之內(nèi)。即圖像處理裝置2在步驟 S109中，把橫向邊緣標記為5個以上的最左端的像素作為檢測對象的候 選的水平方向左側(cè)的端部進行檢測，把橫向邊緣標記為5個以上的最右 端的像素作為檢測對象的候選的水平方向右側(cè)的端部進行檢測。然后， 在步驟S110中，以被檢測出的左右端為基礎(chǔ)，檢測出檢測對象的候選的 水平方向的范圍。
圖8為示意性地表示了本發(fā)明實施方式1中的圖像處理系統(tǒng)的進行 端部檢測處理的范圍的例子的說明圖。圖8表示了檢測對象的候選的像 素以及橫向邊緣標記，圖8的上方所示的數(shù)字表示了像素的水平方向的 位置、也就是x坐標。圖8所示的例子中，從x坐標為5的像素到x坐 標為636的像素為止，被作為檢測對象的水平方向的范圍進行檢測。
圖9為表示了本發(fā)明的實施方式1中的圖像處理系統(tǒng)的檢測對象的 候選的說明圖。圖9表示了駕駛員臉部的圖像、以及在步驟S109 S110 的處理中檢測出了水平方向的范圍的檢測對象的候選。圖9中，X標記 表示了用步驟109所檢測的左右端，連接用X標記所示的左右端的線段 表示了檢測對象的候選。在這個階段沒有檢測出左右端的候選，被從檢 測對象中除去。在圖9所示的例子中，眉毛、眼睛、鼻孔、嘴以及下顎
位置成為檢測對象的候選。
然后，通過將圖4所示的駕駛員臉部區(qū)域的水平方向的范圍與圖9
所示的檢測對象的候選的水平方向的范圍相比較，在步驟sm中，從檢
測對象的候選中確定檢測對象。另外，在步驟S111中，如果確定出的檢
測對象的候選為多個，則針對確定出的每個檢測對象，對在形成確定出 的各個檢測對象的水平方向上所排列的各個像素中、橫向邊緣標記為規(guī) 定值以上的像素的數(shù)量進行計數(shù)，將得到的數(shù)值所示出的指標作為鼻孔 區(qū)域標記。然后，把鼻孔區(qū)域標記為最大的檢測對象作為真值檢測對象， 把其他檢測對象作為假值而排除掉。
圖IO為概念性地表示了本發(fā)明實施方式1中的圖像處理系統(tǒng)的鼻孔 區(qū)域標記的說明圖。圖10表示了圖8所檢測出的檢測對象的水平方向的
范圍內(nèi)所包括的像素、以及表示該像素的橫向邊緣標記的數(shù)值，用o包
圍了數(shù)值的像素表示橫向邊緣標記為規(guī)定值，在此為5以上的值。然后， 對橫向邊緣標記為規(guī)定值以上的像素的數(shù)量進行計數(shù)，作為鼻孔區(qū)域。
并且，在本發(fā)明的圖像處理系統(tǒng)中，通過步驟S112以后的處理，可 以進一步判斷被確定的檢測對象的真?zhèn)巍?br> 包括所述實施方式1中所示的數(shù)值的各種條件等僅僅為一個例子， 可以通過系統(tǒng)結(jié)構(gòu)、目的等狀況進行適當?shù)脑O(shè)定。
實施方式2.
圖11為本發(fā)明的實施方式2中的圖像處理系統(tǒng)的結(jié)構(gòu)例的方框圖。 圖11中，1為攝像裝置，攝像裝置1例如通過專用電纜與圖像處理裝置 2進行了連接。攝像裝置1中具有MPUll、 R0M12、 RAM13、攝像部 14、 A/D轉(zhuǎn)換器15、幀存儲器16以及通信接口 17。
圖像處理裝置2中具有CPU21、輔助記錄部22、 HD23、 RAM24、 幀存儲器25以及通信接口 26，通過輔助記錄部22從本發(fā)明的實施方式 2的記錄了計算機程序32以及數(shù)據(jù)等各種信息的記錄介質(zhì)42中讀取各種 信息并記錄于HD23、 RAM24,通過CPU21來執(zhí)行，由此圖像處理裝置 2可以執(zhí)行本發(fā)明實施方式2的各種步驟。
另外，有關(guān)各裝置的詳細說明，由于與實施方式1相同，所以以實
施方式l為參考，在此省略說明。
然后，對本發(fā)明的實施方式2中的圖像處理系統(tǒng)所用的各種裝置的 處理進行說明。在本發(fā)明的實施方式2中，從由例如安裝在車輛上的車 載攝像頭等的攝像裝置1拍攝駕駛員的臉部而得到的圖像中，以駕駛員 臉部中的鼻孔為檢測對象。圖12為表示了本發(fā)明的實施方式2中的圖像 處理系統(tǒng)所用的圖像處理裝置2的處理例子的流程圖。圖像處理裝置2 中，通過CPU21對RAM24所記錄的計算機程序32執(zhí)行的控制，從幀存 儲器25中提取由攝像裝置1的拍攝得到并經(jīng)由通信接口 26接收到的圖 像數(shù)據(jù)(S201)，通過例如實施方式1所示的輪廓寬度檢測處理，從所提 取的圖像數(shù)據(jù)中檢測出作為駕駛員的臉部的寬度、即表示臉部的區(qū)域的 邊界的輪廓的水平方向的范圍(S202)，進一步檢測包括鼻孔在內(nèi)的左右 鼻翼之間的區(qū)域作為鼻孔周邊區(qū)域(S203)。步驟S202所檢測出的輪廓 的水平方向的范圍以及步驟S203所檢測出的鼻孔周邊區(qū)域被記錄到 HD23或是RAM24中。在步驟S203中，檢測鼻孔周邊區(qū)域的方法中， 例如使用實施方式1所示的方法。
另外，圖像處理裝置2通過CPU21的控制，從步驟S203所檢測出 的鼻孔周邊區(qū)域的水平方向的像素亮度的變化中，導(dǎo)出取得極小值的2 點作為極小點(S204),以所導(dǎo)出的2點極小點為基礎(chǔ)，設(shè)定檢測出檢測 對象的搜索范圍(S205)。步驟S205所設(shè)定的搜索范圍記錄于HD23或 是RAM24中。如果步驟S205的極小點為3點以上，則把亮度小的2點 作為極小點導(dǎo)出。通過步驟S205所設(shè)定的范圍，針對分別導(dǎo)出的極小值 的2點，在水平方向為左右分別15個像素，在垂直方向為上下分別5個 像素的范圍。另外，在步驟S204所導(dǎo)出的2點極小點，可以視為與左右 鼻孔相關(guān)的點，在步驟S205中，可視為分別對左右鼻孔設(shè)定了搜索范圍。
然后，圖像處理裝置2通過CPU21的控制，針對步驟S205所設(shè)定 的搜索范圍內(nèi)的所有像素，通過進行加法運算以及減法運算的黑色區(qū)域 計算濾波處理，變更亮度(S206)，把變更后的值為最小的像素作為檢測 對象進行檢測(S207)，并將檢測出的結(jié)果記錄于HD23或是RAM24中， 其中，所述加法運算是以相鄰的其他像素的亮度為基礎(chǔ)進行的，所述減
法運算是以在水平方向相隔了規(guī)定距離的位置處的像素的亮度以及在垂 直方向相隔了規(guī)定距離的位置處的像素的亮度為基礎(chǔ)進行的。步驟
S206 S207的處理中，針對左右鼻孔各自的搜索范圍內(nèi)所含的像素進行。 更詳細說明利用圖12的流程圖說明過的處理。圖13是概念性地表 示本發(fā)明實施方式2中的圖像處理系統(tǒng)的檢測范圍的設(shè)定例子的說明圖。 圖13中，實線所表示的外側(cè)框架為步驟S201所提取的圖像數(shù)據(jù)所示的 圖像整體，點劃線所示的圖像的垂直方向(y軸方向)的線為步驟S202 所檢測出的區(qū)域范圍，也就是駕駛員臉部的輪廓的寬度。另外，粗線所 示的水平方向的線段是步驟S203中作為鼻孔的周邊區(qū)域檢測的包括鼻孔 在內(nèi)的左右鼻翼之間的區(qū)域。
圖14概念性地表示本發(fā)明的實施方式2中的圖像處理系統(tǒng)的搜索范 圍的設(shè)定例子的說明圖。圖14中，表示了包括鼻孔在內(nèi)的周圍的圖像， 圖14中實線所示的長方形的范圍為在步驟S205中，針對左右鼻孔所分
別設(shè)定的搜索范圍。
圖15為表示本發(fā)明實施方式2中的圖像處理系統(tǒng)的黑色區(qū)域計算濾
波處理用的系數(shù)例子的說明圖。通過對搜索范圍內(nèi)所包括的像素乘以圖 15所示的系數(shù)，使中央為低亮度且周圍為高亮度的區(qū)域明確化。圖15所 示的黑色區(qū)域計算濾波器，對與作為轉(zhuǎn)換對象的一個像素的亮度以及相 鄰的八個像素的亮度相乘的系數(shù)，設(shè)定了 "1"，另外對與在與一個像素 左右相隔了規(guī)定距離的位置處排列的二個像素的亮度相乘的系數(shù)，設(shè)定 了 "-l"，對與在與一個像素上下相隔了規(guī)定距離的位置處分別排列的二 個像素的亮度相乘的系數(shù)，設(shè)定了 "-l"。另外，規(guī)定距離被設(shè)定為步驟 S202所檢測的區(qū)域的1/18。
圖16為概念性地表示了本發(fā)明的實施方式2中的圖像處理系統(tǒng)的黑 色區(qū)域計算濾波處理用的檢測例子的說明圖。圖16中表示了在圖14所 示那樣被設(shè)定的搜索范圍中，作為圖16中的左側(cè)的鼻孔檢測出的檢測對 象進行黑色區(qū)域計算濾波處理時的黑色區(qū)域計算濾波位置。圖15所示的 條件中所設(shè)定的黑色區(qū)域計算濾波器中，在針對圖16所示的鼻孔中央附 近的像素進行黑色區(qū)域計算濾波處理時，為了使用于加法運算的系數(shù)位
于鼻孔，使用于減法運算的系數(shù)位于鼻孔外側(cè)，而可以使鼻孔的中心明 確化。
所述實施方式2所示的包括數(shù)值在內(nèi)的各種條件等僅僅為一個例 子，可以根據(jù)系統(tǒng)結(jié)構(gòu)、目的等狀況進行適當設(shè)定。 實施方式3.
圖17為表示本發(fā)明實施方式3中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方框 圖。圖17中，l為攝像裝置，攝像裝置l例如通過專用電纜與圖像處理 裝置2進行了連接。攝像裝置1中具有MPUll、 ROM12、 RAM13、攝 像部14、 A/D轉(zhuǎn)換器15、幀存儲器16以及通信接口 17。
圖像處理裝置2中具有CPU21、輔助記錄部22、 HD23、 RAM24、 幀存儲器25以及通信接口 26，通過輔助記錄部22從記錄了本發(fā)明實施 方式3的計算機程序33以及數(shù)據(jù)等各種信息的記錄介質(zhì)43中讀取各種 信息而記錄在HD23、記錄在RAM24，通過CPU21來執(zhí)行，由此圖像處 理裝置2可以執(zhí)行本發(fā)明實施方式3的各種步驟。
另外有關(guān)各裝置的詳細說明，由于與實施方式1相同，所以以實施 方式1為參考，在此省略說明。
然后對本發(fā)明的實施方式3中的圖像處理系統(tǒng)所用的各種裝置的處 理進行說明。在本發(fā)明的實施方式3中，由例如安裝在車輛上的車載攝 像頭等的攝像裝置1對駕駛員的臉部進行拍攝所得到的圖像中，以駕駛 員臉部的鼻孔周圍下方的區(qū)域為檢測對象。圖18為表示本發(fā)明實施方式 3中的圖像處理系統(tǒng)所用的圖像處理裝置2的處理例子的流程圖。圖像處 理裝置2中，通過CPU21對執(zhí)行RAM24所記錄的計算機程序33的控制， 從幀存儲器25中提取通過攝像裝置1的拍攝所得到的、經(jīng)由通信接口 26 所接收的圖像數(shù)據(jù)(S301)，通過例如實施方式1所示的輪廓寬度檢測處 理，從所提取的圖像數(shù)據(jù)中檢測出駕駛員的臉部寬度、即作為表示臉部 的區(qū)域邊界的輪廓的水平方向的范圍(S302)，進一步檢測出使用圖案匹 配等處理的雙眼以及鼻尖檢測處理來檢測雙眼以及鼻尖的位置(S303)， 根據(jù)所檢測出的輪廓的水平方向的范圍、以及雙眼以及鼻尖位置，設(shè)定 搜索范圍(S304)。在步驟S302所檢測的輪廓的水平方向的范圍、在步
驟S303所檢測的雙眼和鼻尖位置以及在步驟S304設(shè)定的搜索范圍被記 錄到HD23或是RAM24中。另外，在步驟S302中的雙眼以及鼻尖檢測 處理的詳細內(nèi)容被記載在本申請人所申請的日本特開2004-234367號公 報、日本特開2004-234494號公報等文獻中。步驟S304所設(shè)定的搜索范 圍為被設(shè)定為例如基于如下位置的區(qū)域垂直方向的上端從表示雙眼的 垂直方向的位置的y坐標的平均值起為輪廓的水平方向?qū)挾鹊?/16距離 之下的位置，下端從雙眼的y坐標的平均值起為輪廓寬度的3/8的距離之 下的位置，水平方向的左端為表示鼻尖的水平方向位置的x坐標起為輪 廓寬度的1/8距離之左的位置，以及右端從鼻尖x坐標起為輪廓寬度的 1/8的距離之右的位置。
另外，圖像處理裝置2通過CPU21的控制，對步驟S304所設(shè)定的 搜索范圍內(nèi)的所有像素，導(dǎo)出作為指標的水平方向像素標記，該指標是 將基于在水平方向上相鄰的像素之間的亮度差的數(shù)值以及表示在水平方 向上相鄰的像素的亮度高低的數(shù)值相乘得到的(S305)，在垂直方向?qū)λ?導(dǎo)出的水平方向像素標記進行累加，從而導(dǎo)出作為表示在水平方向上的 累加值變化的指標的水平方向標記(S306)。進而，在圖像處理裝置2中， 通過CPU21的控制，對搜索范圍內(nèi)所有的像素，導(dǎo)出作為指標的垂直方 向像素標記，該指標是將基于在垂直方向上相鄰的像素之間的亮度差的 數(shù)值以及表示在垂直方向上相鄰的像素的亮度高低的數(shù)值相乘而得到的 (S307)，在水平方向?qū)λ鶎?dǎo)出的垂直方向上的像素標記進行累加，從而 導(dǎo)出作為表示垂直方向上的累加值變化的指標的垂直方向標記(S308)。 另外，圖像處理裝置2通過CPU21的控制，將步驟S306所導(dǎo)出的水平 方向標記的最大值到最小值之間的水平方向的范圍、以及將步驟S307所 導(dǎo)出的垂直方向標記的最大值到最小值之間的垂直方向的范圍，作為檢 測對象進行檢測(S309)，并把檢測的結(jié)果記錄在HD23或是RM24中。
進一步詳細說明利用圖18的流程圖說明過的處理。圖19是概念性 地說明本發(fā)明實施方式3中的圖像處理系統(tǒng)的搜索范圍的設(shè)定例子的說 明圖。圖19中，實線所表示的外側(cè)框架為步驟S301所提取的圖像數(shù)據(jù) 所示的圖像整體，點劃線所示的圖像的垂直方向(y軸方向)的線為步驟
S302所檢測出的區(qū)域范圍，也就是駕駛員臉部的輪廓寬度，X標記所表 示的位置為步驟S303所檢測出的雙眼以及鼻尖的位置。另外，點線所示 的區(qū)域為步驟S304所設(shè)定的搜索范圍。
步驟S305所導(dǎo)出的水平方向像素標記如下述式3所示。
，(x,y)"255-P(x + l,y);(H(x,y)20) 寸 Sh(x,y) = <{ 瓦3 、"iH(x，y)"255 —P(x-l,y);(H(x，y)<0)
其中 x:水平方向的坐標(x坐標)
y:垂直方向的坐標(y坐標) Sh(x,y):坐標(x,y)的像素的水平方向像素標記 H(x,y):坐標(x,y)的像素的水平垂直方向邊緣濾波處理結(jié)果 P(x,y):坐標(x,y)的像素的亮度 圖20為表示本發(fā)明實施方式3中的圖像處理系統(tǒng)的水平方向邊緣濾 波處理用的系數(shù)例子的說明圖。在式3中，H(x，y)表示了用圖20所示的 系數(shù)進行的水平方向邊緣濾波處理的結(jié)果。圖20作為3x3的矩陣表示了 要與九個像素的亮度相乘的系數(shù)，針對中心的一個像素的亮度以及相鄰 的八個像素亮度，乘以各自對應(yīng)的系數(shù)，把其結(jié)果的合計值作為中心位 置的像素的水平方向邊緣濾波處理結(jié)果進行計算。在使用圖20所示的系 數(shù)進行水平方向的邊緣濾波處理時，通過將對左方相鄰的像素亮度乘以 "1"的數(shù)值、以及對右方相鄰的像素亮度乘以的數(shù)值相加，由此 求出作為結(jié)果的指標。也就是通過水平方向邊緣濾波處理，以在水平方 向上相鄰的像素之間的亮度差為基礎(chǔ)求出數(shù)值。
對水平方向邊緣濾波處理結(jié)果相乘的式是從表示把像素的亮度分為 256個階段而得到的灰度值的最高數(shù)值的"255"減去在水平方向相鄰的 像素的亮度的值，即表示亮度高低的數(shù)值。這樣，水平方向像素標記是 基于如下的數(shù)值得到的指標基于在水平方向相鄰的像素之間亮度差的 數(shù)值、以及表示在水平方向相鄰的像素的亮度高低的數(shù)值。另外，在與 水平方向邊緣濾波處理結(jié)果相乘的式中使用亮度的像素根據(jù)水平方向邊 緣濾波處理結(jié)果的正負而不同。
并且，步驟S306所導(dǎo)出的水平方向標記是表示通過在垂直方向?qū)λ?br> 平方向像素標記進行累加而導(dǎo)出的水平方向位置即X坐標和累加值之間 關(guān)系的指標。也就是通過水平方向標記表示了水平方向像素標記在水平 方向上的變化。具體而言，在水平方向標記中，在水平方向上像素亮度 大幅度降低的位置的值變大，在像素亮度大幅度上升的位置的值變小。
步驟S307所導(dǎo)出的垂直方向像素標記，用下述式4進行表示。 Sv(x y) = <fV(X,y).(255-P(X,y + l));(V(x,y)^)) 式4 lv(x，y),(255-P(x，y — l));(V(x,y)<0)
其中Vh(X,y):坐標(x，y)的像素的垂直方向像素標記
V(x,y》坐標(x，y)的像素的垂直方向邊緣濾波處理結(jié)果 P(x，y):坐標(x,y)的像素的亮度
圖21為表示本發(fā)明實施方式3中的圖像處理系統(tǒng)的垂直方向邊緣濾 波處理用的系數(shù)例子的說明圖。在式4所示的式子中，V(x，y)表示了用圖 21所示的系數(shù)進行的垂直方向邊緣濾波處理的結(jié)果。圖21作為3x3的矩 陣表示了要對九個像素的亮度相乘的系數(shù)，針對中心的一個像素亮度以 及相鄰的八個像素亮度，乘以各自對應(yīng)的系數(shù)，把其結(jié)果的合計值作為 中心位置的像素的垂直方向邊緣濾波處理結(jié)果進行計算。在使用如圖21 所示的系數(shù)進行垂直方向邊緣濾波處理時，通過將對上方相鄰的像素亮 度乘以"1"的數(shù)值、以及對下方相鄰的像素亮度乘以的數(shù)值相加， 求出成為結(jié)果的指標。也就是通過垂直方向邊緣濾波處理，以在垂直方 向上相鄰的像素之間的亮度差為基礎(chǔ)求出數(shù)值。
對垂直方向邊緣濾波處理結(jié)果相乘的式是從表示把像素的亮度分為 256個階段而得到的灰度值的最高數(shù)值的"255"減去在垂直方向上相鄰 的像素的亮度的值，即是表示亮度高低的數(shù)值。這樣，垂直方向像素標 記是基于如下的數(shù)值得到的指標基于在垂直方向相鄰的像素之間亮度 差的數(shù)值、以及表示在垂直方向相鄰的像素的亮度高低的數(shù)值。另外， 在與垂直方向邊緣濾波處理結(jié)果相乘的式中使用了亮度的像素根據(jù)垂直 方向邊緣濾波處理結(jié)果的正負而不同。
并且，步驟S308所導(dǎo)出的垂直方向標記是表示通過在水平方向?qū)Υ?直方向像素標記進行累加而導(dǎo)出的垂直方向位置即y坐標和累加值之間 關(guān)系的指標。也就是通過垂直方向標記表示了垂直方向像素標記在垂直
方向上的變化。具體而言，在垂直方向標記中，在垂直方向上像素亮度 大幅度降低的位置的值變大，在像素亮度大幅度上升的位置的值變小。
另外在步驟S309中，檢測出如下設(shè)定的區(qū)域?qū)⑺椒较驑擞浀淖?大值為水平方向的左端，最小值為水平方向的右端，垂直方向標記的最 大值為垂直方向的上端，最小值為垂直方向的下端。
圖22為表示本發(fā)明的實施方式3中的圖像處理系統(tǒng)的檢測結(jié)果的說 明圖。圖22表示了通過步驟S304所設(shè)定的搜索范圍，由左端L、右端R、 上端U以及下端D包圍的用斜線所示的長方形的區(qū)域為被檢測出鼻孔周 圍的下方的區(qū)域。
包括所述實施方式3所示的數(shù)值在內(nèi)的各種條件等，只是一個例子， 可以根據(jù)系統(tǒng)結(jié)構(gòu)、目的等狀況適當?shù)剡M行設(shè)定。例如在所述實施方式3 中，示出了在導(dǎo)出水平方向標記之后，導(dǎo)出垂直方向標記的實施方式， 但也可以為導(dǎo)出垂直方向標記之后，導(dǎo)出水平方向標記的方式，還可以 為不導(dǎo)出水平方向標記，而把水平方向的左端以及右端作為臉部輪廓的 寬度，僅僅導(dǎo)出垂直方向標記等的方式等，可以進行各種各樣的展開。
實施方式4.
圖23為表示本發(fā)明實施方式4中的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方框 圖。圖23中，l為攝像裝置，攝像裝置l例如用專用電纜等與圖像處理 裝置2進行了連接。攝像裝置1中具有MPUll、 ROM12、 RAM13、攝 像部14、 A/D轉(zhuǎn)換器15、幀存儲器16以及通信接口 17。
圖像處理裝置2中具有CPU21、輔助記錄部22、 HD23、 RAM24、 幀存儲器25以及通信接口 26，通過輔助記錄部22，從記錄了本發(fā)明實 施方式4的計算機程序34以及數(shù)據(jù)等各種信息的記錄介質(zhì)44中讀取各 種信息并記錄于HD23、 RAM24，通過CPU21執(zhí)行，由此圖像處理裝置 2執(zhí)行本發(fā)明實施方式4的各種步驟。在本發(fā)明實施方式4的圖像處理裝 置2中，記錄了包括本發(fā)明實施方式1至3中所說明的檢測方法的多種 檢測方法。
另外，有關(guān)各裝置的詳細說明，由于與實施方式l相同，所以以實 施方式l為參考，在此省略說明。
接著，對本發(fā)明的實施方式4中的圖像處理系統(tǒng)中所用的各種裝置
的處理進行說明。本發(fā)明的實施方式4中，在通過例如安裝在車輛的車
載攝像頭等攝像裝置1對駕駛者的臉部進行拍攝而得到的圖像中，以駕
駛者臉部中包括鼻孔在內(nèi)的區(qū)域作為檢測對象。圖24是表示用于本發(fā)明 的實施方式4中的圖像處理系統(tǒng)的圖像處理裝置2的處理例子的流程圖。 在圖像處理裝置2中，通過執(zhí)行記錄于RAM24中的計算機程序34的 CPU21的控制，從幀存儲器25中提取通過攝像裝置1的拍攝所得到的、 經(jīng)由通信接口 26所接收的圖像數(shù)據(jù)(S401)，計算出所提取的圖像數(shù)據(jù) 中所包含的像素亮度的平均值(S402)，并把作為計算出的結(jié)果的平均值 與針對亮度平均值事先設(shè)定的閾值進行比較(S403)。而且在圖像處理裝 置2中，通過CPU21的控制，計算像素亮度的分散值(S404)，把作為 計算出的結(jié)果的分散值、與針對亮度的分散值事先設(shè)定的闞值進行比較 (S405)。然后在圖像處理裝置2中，通過CPU21的控制，基于亮度平 均值與閾值之間的比較結(jié)果以及亮度分散值與閾值之間的比較結(jié)果，決 定在HD23所記錄的多種檢測方法的優(yōu)先順序(S406)。
在本發(fā)明的實施方式4中進行如下處理根據(jù)亮度的平均值和分散 值，決定檢測方法的優(yōu)先順序。所決定的優(yōu)先順序是是否需要執(zhí)行多種 檢測方法和執(zhí)行的順序，根據(jù)所決定的內(nèi)容，執(zhí)行上述的本發(fā)明實施方 式1乃至3所說明的檢測方法，以及其他的檢測方法。
圖像數(shù)據(jù)的亮度的平均值與分散值根據(jù)對駕駛員臉部照射的光線狀 況不同而變化較大，所以根據(jù)平均值和分散值判斷照射狀況，選擇最為 合適的檢測方法。具體而言，如果產(chǎn)生太陽光僅僅照射到臉部的左半邊 而導(dǎo)致的各種偏變化，亮度的平均值為閾值以下，并且亮度的分散值為 閾值以上，因此可以判斷發(fā)生了偏變化，使難以對偏變化造成影響的檢 測方法優(yōu)先。
例如沒有產(chǎn)生偏變化的狀態(tài)下，通過實施方式1所示的檢測方法檢 測出鼻孔周邊區(qū)域，使用檢測出的結(jié)果，用實施方式2所示的檢測方法 檢測出鼻孔。通過檢測出鼻孔周邊區(qū)域，限定成為圖像處理對象的范圍， 因此提高處理速度，并提高檢測精度。但是如果產(chǎn)生了偏變化，則由于
產(chǎn)生亮度飽和的可能性大，所以使用實施方式1的橫向邊緣濾波器進行 的處理的可靠性降低。因此，根據(jù)實施方式2所示的檢測方法優(yōu)先檢測 出鼻孔。
在所述實施方式4中，對亮度的平均值以及分散值的閾值設(shè)定了一 個，但本發(fā)明并不局限于此，也可以設(shè)定多個閾值，并針對各種各樣的 狀況決定檢測方法的優(yōu)先順序，此外也可以基于平均值和分散值來決定 用于進行檢測的圖像處理所需的各種設(shè)定值等的處理條件。
在所述實施方式1至4中，對由平面直角坐標系所表示的圖像數(shù)據(jù)
進行了處理，但本發(fā)明并不局限于此，可以針對各種各樣的坐標系的圖 像數(shù)據(jù)應(yīng)用，例如應(yīng)用于對包括被配置為蜂巢狀的像素的圖像進行處理
時，通過第1方向和第2方向之間具有60度的角度而交叉的坐標系所示 的圖像數(shù)據(jù)等。
另外，在所述實施方式1至4中示出了以車輛的駕駛員為檢測對象 的方式，但本發(fā)明并不局限于此，而也可以以各種各樣的人物、以及人 物以外的有生命物或是無生命物為檢測對象。
此外，在所述實施方式1至4中示出了從使用車載攝像頭的攝像裝 置的拍攝而生成的圖像中檢測出檢測對象的方式，但本發(fā)明并不局限于 此，可以應(yīng)用于將通過各種裝置用各種方法所生成的圖像記錄于HD中， 從所記錄的圖像中檢測出特定的檢測對象的各種圖像處理。
權(quán)利要求
1.一種圖像處理方法，該圖像處理方法從將像素分別排列在不同的第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，該圖像處理方法的特征在于，對在第1方向上排列的像素的亮度進行累加，導(dǎo)出第2方向上的累加值的變化，根據(jù)所導(dǎo)出的累加值的變化，檢測出多個第2方向上的位置，作為與檢測對象的候選對應(yīng)的位置，分別針對在與檢測出的各個位置相對應(yīng)的第1方向上排列的像素列，檢測基于像素的亮度的第1方向上的范圍，作為檢測對象的候選，根據(jù)檢測出的范圍的長度，從檢測對象的候選中確定出檢測對象。
2. —種圖像處理方法，該圖像處理方法從將像素分別排列在不同的 第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，該 圖像處理方法的特征在于，根據(jù)加法運算和減法運算的結(jié)果，對一個像素的亮度進行轉(zhuǎn)換，基 于轉(zhuǎn)換的結(jié)果，檢測出檢測對象，其中，所述加法運算是基于與所述一個像素相鄰的其他各個像素的亮度進 行的，所述減法運算是基于在第1方向上與所述一個像素相隔了規(guī)定距 離的位置處的像素的亮度以及在第2方向上與所述一個像素相隔了規(guī)定 距離的位置處的像素的亮度進行的。
3. —種圖像處理方法，該圖像處理方法從將像素分別排列在不同的 第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，該 圖像處理方法的特征在于，在第2方向上對基于在第1方向上排列的像素的亮度變化的數(shù)值進 行累加，從而導(dǎo)出第l方向上的累加值的變化，在第1方向上對基于在第2方向上排列的像素的亮度變化的數(shù)值進 行累加，從而導(dǎo)出第2方向上的累加值的變化，根據(jù)第1方向上的范圍和第2方向的范圍，檢測出檢測對象，其中， 所述第1方向上的范圍是基于所導(dǎo)出的第1方向上的累加值的變化而得到的，所述第2方向的范圍是基于所導(dǎo)出的第2方向上的累加值的變化 而得到的。
4. 一種圖像處理方法，通過多種檢測方法從包括多個像素的二維圖 像中檢測出特定的檢測對象，該圖像處理方法的特征在于，計算像素的亮度的平均值， 計算像素的亮度的分散值，根據(jù)計算出的平均值和分散值，決定檢測方法的優(yōu)先順序。
5. —種圖像處理裝置，該圖像處理裝置從將像素分別排列在不同的 第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象，該 圖像處理裝置的特征在于，該圖像處理裝置包括導(dǎo)出單元，其對在第1方向上排列的像素的亮度進行累加，導(dǎo)出第 2方向上的累加值的變化；候選檢測單元單元，其根據(jù)所導(dǎo)出的累加值的變化，檢測多個第2 方向上的位置，作為與檢測對象的候選對應(yīng)的位置；范圍檢測單元，其分別針對在與檢測出的各個位置相對應(yīng)的第1方 向上排列的像素列，檢測出基于像素的亮度的第1方向上的范圍，作為 檢測對象的候選；以及確定單元，其根據(jù)檢測出的范圍的長度，從檢測對象的候選中確定 出檢測對象。
6. 如權(quán)利要求5所述的圖像處理裝置，其特征在于， 所述候選檢測單元從在第1方向上進行累加而得到的像素的亮度的累加值的變化中，檢測出表示極小值的多個位置。
7. 如權(quán)利要求6所述的圖像處理裝置，其特征在于， 對所述導(dǎo)出單元所導(dǎo)出的累加值的變化進行二次微分的單元， 所述候選檢測單元根據(jù)二次微分的結(jié)果，從表示極小值的多個位置中檢測出規(guī)定數(shù)量的位置。
8. 如權(quán)利要求5至7中的任一項所述的圖像處理裝置，其特征在于， 所述范圍檢測單元根據(jù)在第1方向上排列的像素的亮度的變化，檢
9. 如權(quán)利要求5至8中的任一項所述的圖像處理裝置，其特征在于， 該圖像處理裝置還包括對檢測區(qū)域的第1方向上的范圍進行檢測的單元，其中，該檢測區(qū)域包括檢測對象、且在第1方向上的范圍大于檢 測對象，所述確定單元根據(jù)對檢測對象的候選的第1方向上的范圍的長度與 檢測區(qū)域的第1方向上的范圍的長度進行比較的結(jié)果，確定出檢測對象， 其中，所述檢測對象的候選的第1方向上的范圍是由所述范圍檢測單元 檢測出的，所述檢測區(qū)域包括檢測對象。
10. 如權(quán)利要求5至9中的任一項所述的圖像處理裝置，其特征在于，該圖像處理裝置還包括執(zhí)行如下處理的單元對在與確定出的檢測對象有關(guān)的第2方向上排列的像素的亮度進行累加，導(dǎo)出第1方向上的累加值的變化；極小值檢測單元，其根據(jù)第1方向上的累加值的變化，檢測出極小值；對檢測出的極小值的數(shù)量進行計數(shù)的單元；以及 執(zhí)行如下處理的單元在計數(shù)出的數(shù)量小于規(guī)定數(shù)量時，判斷確定 出的檢測對象為假值。
11. 如權(quán)利要求10所述的圖像處理裝置，其特征在于， 該圖像處理裝置還包括執(zhí)行如下處理的單元在包括與由所述極小值檢測單元檢測出的極小值相對應(yīng)的像素在內(nèi)的、亮度與該像素的亮度 相同并在第2方向上連續(xù)的像素數(shù)量超過了規(guī)定的數(shù)量時，判斷確定出 的檢測對象為假值。
12. —種圖像處理裝置，該圖像處理裝置從將像素分別排列在不同 的第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象， 該圖像處理裝置的特征在于，該圖像處理裝置包括 執(zhí)行如下處理的單元根據(jù)加法運算和減法運算的結(jié)果，對一個像 素的亮度進行轉(zhuǎn)換，其中，所述加法運算是基于與所述一個像素相鄰的 其他各個像素的亮度進行的，所述減法運算是基于在第1方向上與所述 一個像素相隔了規(guī)定距離的位置處的像素的亮度以及在第2方向上與所 述一個像素相隔了規(guī)定距離的位置處的像素的亮度進行的；以及檢測單元，其根據(jù)轉(zhuǎn)換的結(jié)果，檢測出檢測對象。
13. 如權(quán)利要求12所述的圖像處理裝置，其特征在于， 所述檢測單元檢測出具有最小的轉(zhuǎn)換后的值的像素，作為檢測對象。
14. 一種圖像處理裝置，該圖像處理裝置從將像素分別排列在不同 的第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對象， 該圖像處理裝置的特征在于，該圖像處理裝置包括第1導(dǎo)出單元，其在第2方向上對基于在第1方向上排列的像素的 亮度變化的數(shù)值進行累加，從而導(dǎo)出第1方向上的累加值的變化；第2導(dǎo)出單元，其在第1方向上對基于在第2方向上排列的像素的 亮度變化的數(shù)值進行累加，從而導(dǎo)出第2方向上的累加值的變化；以及檢測單元，其根據(jù)第1方向上的范圍和第2方向的范圍，檢測出檢 測對象，其中，所述第1方向上的范圍是基于所述第1導(dǎo)出單元所導(dǎo)出 的第1方向上的累加值的變化而得到的，所述第2方向的范圍是基于所 述第2導(dǎo)出單元所導(dǎo)出的第2方向上的累加值的變化而得到的。
15. 如權(quán)利要求14所述的圖像處理裝置，其特征在于，所述第1導(dǎo)出單元在第2方向上對如下的指標進行累加，導(dǎo)出第1 方向上的累加值的變化，所述指標是根據(jù)基于在第1方向上相鄰的像素 之間的亮度差的數(shù)值、以及表示在第1方向上相鄰的像素的亮度高低的 數(shù)值而得到的，所述第2導(dǎo)出單元在第1方向上對如下的指標進行累加，導(dǎo)出第2 方向上的累加值的變化，所述指標是根據(jù)基于在第2方向上相鄰的像素 之間的亮度差的數(shù)值、以及表示在第2方向上相鄰的像素的亮度高低的 數(shù)值而得到的， 所述檢測單元根據(jù)第1方向上的范圍和第2方向的范圍，檢測出檢測對象，其中，所述第1方向上的范圍是從所述第1導(dǎo)出單元所導(dǎo)出的 累加值最大的位置到第1導(dǎo)出單元所導(dǎo)出的累加值最小的位置之間的范圍，所述第2方向的范圍是從所述第2導(dǎo)出單元所導(dǎo)出的累加值最大的 位置到所述第2導(dǎo)出單元所導(dǎo)出的累加值最小的位置之間的范圍。
16. —種圖像處理裝置，該圖像處理裝置通過多種檢測方法從包括 多個像素的二維圖像中檢測出特定的檢測對象，該圖像處理裝置的特征 在于，該圖像處理裝置包括計算像素的亮度的平均值的單元；計算像素的亮度的分散值的單元；根據(jù)計算出的平均值和分散值決定檢測方法的優(yōu)先順序的單元。
17. —種圖像處理系統(tǒng)，其特征在于， 該圖像處理系統(tǒng)包括權(quán)利要求5至16中的任一項所述的圖像處理裝置；以及 生成由該圖像處理裝置進行處理的圖像的攝像裝置， 所述檢測對象是通過所述攝像裝置拍攝到的圖像內(nèi)的包括人物的鼻 孔在內(nèi)的區(qū)域，所述第l方向為水平方向， 所述第2方向為垂直方向。
18. —種計算機程序，該計算機程序使計算機從將像素分別排列在 不同的第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對 象，該計算機程序的特征在于，該計算機程序使計算機執(zhí)行如下的步驟對在第1方向上排列的像素的亮度進行累加，導(dǎo)出第2方向上的累 加值的變化；根據(jù)所導(dǎo)出的累加值的變化，檢測多個在第2方向上的位置，作為 與檢測對象的候選對應(yīng)的位置；分別針對在與檢測出的各個位置相對應(yīng)的第1方向上排列的像素 列，檢測基于像素的亮度的第1方向上的范圍，作為檢測對象的候選； 以及根據(jù)檢測出的范圍的長度，從檢測對象的候選中確定出檢測對象。
19. 一種計算機程序，該計算機程序使計算機從將像素分別排列在 不同的第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對 象，該計算機程序的特征在于，該計算機程序使計算機執(zhí)行如下的步驟-根據(jù)加法運算和減法運算的結(jié)果，對一個像素的亮度進行轉(zhuǎn)換，其 中，所述加法運算是基于與所述一個像素相鄰的其他各個像素的亮度進 行的，所述減法運算是基于在第1方向上與所述一個像素相隔了規(guī)定距 離的位置處的像素的亮度以及在第2方向上與所述一個像素相隔了規(guī)定 距離的位置處的像素的亮度進行的；以及根據(jù)轉(zhuǎn)換的結(jié)果，檢測出檢測對象。
20. —種計算機程序，該計算機程序使計算機從將像素分別排列在 不同的第1方向及第2方向上而得到的二維圖像中檢測出特定的檢測對 象，該計算機程序的特征在于，該計算機程序使計算機執(zhí)行如下的步驟在第2方向上對基于在第1方向上排列的像素的亮度變化的數(shù)值進 行累加，從而導(dǎo)出第1方向上的累加值的變化；在第1方向上對基于在第2方向上排列的像素的亮度變化的數(shù)值進 行累加，從而導(dǎo)出第2方向上的累加值的變化；以及根據(jù)第1方向上的范圍和第2方向的范圍，檢測出檢測對象，其中， 所述第1方向上的范圍是基于所導(dǎo)出的第1方向上的累加值的變化而得 到的，所述第2方向的范圍是基于所導(dǎo)出的第2方向上的累加值的變化 而得到的。
21. —種計算機程序，該計算機程序使計算機通過多種檢測方法從 包括多個像素的二維圖像中檢測出特定的檢測對象，該計算機程序的特 征在于，該計算機程序使計算機執(zhí)行如下的步驟 計算像素的亮度的平均值；計算像素的亮度的分散值；以及根據(jù)計算出的平均值和分散值，決定檢測方法的優(yōu)先順序。
全文摘要
本發(fā)明提供一種圖像處理方法、圖像處理系統(tǒng)、圖像處理裝置以及計算機程序，該圖像處理方法在使用了例如安裝在車輛上而對駕駛員的臉部進行拍攝的車載攝像頭的系統(tǒng)中，可以高精度地檢測駕駛員的鼻孔等檢測對象。通過如下的方法等各種檢測方法對檢測對象進行多樣化將在圖像拍攝時的垂直方向上的位置作為候選，檢測出多個位置，分別針對在與檢測出的各個位置相對應(yīng)的水平方向上排列的像素列，基于像素的亮度，檢測作為檢測對象的候選的范圍，并根據(jù)檢測出的范圍的長度，從檢測對象的候選中確定出檢測對象。
文檔編號G06T7/00GK101116106SQ200580047809
公開日2008年1月30日 申請日期2005年2月23日 優(yōu)先權(quán)日2005年2月23日
發(fā)明者東野全壽, 伊藤壽雄, 齋藤拓, 片桐卓, 田福明義, 馬場幸三 申請人:富士通株式會社