本發(fā)明涉及服務機器人技術領域,尤其涉及一種基于人臉檢測的服務機器人視覺引領方法。
背景技術:
當前,市面上的機器人品種眾多,主要分為服務領域和工業(yè)領域。相對來說,工業(yè)領域的機器人技術較為成熟,使用廣泛,具有很高的實際生產(chǎn)價值;服務機器人領域相應的產(chǎn)品相對較少,且成熟性較差,大部分當前的服務機器人還停留在智能化較低的展示階段。
對于服務機器人智能引領方面,目前主要的方案有兩類,一類是不考慮后方人群是否跟上,即不存在服務機器人與人的智能交互能力,而是由機器人自行行走,人需要很好的跟上機器人,否則容易跟丟;另一類時使用激光傳感器進行機器人跟隨功能,此方法通常采用距離地面不高的二維激光,對人腿進行檢測與跟蹤,該方法比較適用于較為廣闊的場景,如果用在餐館等比較復雜的環(huán)境,則會由于桌子或凳子腿與人腿很相似而很容易跟蹤丟失,造成引領失敗。
因此,如何有效解決通過視覺處理,以引導服務機器人成為筮待解決的問題。
技術實現(xiàn)要素:
基于此,本發(fā)明的目的在于提供一種基于人臉檢測的服務機器人視覺引領方法,解決現(xiàn)有技術存在的問題。
為了實現(xiàn)本發(fā)明的目的,提供一種基于人臉檢測的服務機器人視覺引領方法,包括人臉檢測步驟和數(shù)據(jù)融合步驟;所述人臉檢測步驟,通過Haar特征與Adaboost分類器進行人臉圖像檢測;所述數(shù)據(jù)融合步驟,用于處理逆光圖像;其中,所述Haar特征用于表征人臉特征,所述Adaboost分類器用于識別的人臉圖像。
在一些實施例中,所述Haar特征包括邊緣特征、線性特征、中心特征和對角線特征,所述邊緣特征、所述線性特征、所述中心特征和所述對角線特征組 合成特征模板。
在一些實施例中,所述特征模版包括白色矩形和黑色矩形,設定所述特征模版的特征值為白色矩形像素和減去黑色矩形像素和的值。
在一些實施例中,所述Adaboost分類器為Cascade Adaboost分類器;所述Cascade Adaboost分類器,由多個強Adaboost分類器級聯(lián)而成。
在一些實施例中,所述強Adaboost分類器的訓練過程為:S11、給定訓練樣本(x1,y1),...,(xi,yi),...,(xn,yn),其中xi表示第i個樣本,yi=0表示為負樣本,yi=1表示為正樣本,n為訓練樣本總數(shù);S12、初始化訓練樣本的權重;S13、第一次迭代,訓練弱分類器,并計算弱分類器的錯誤率;選取閾值,使得誤差最小;更新樣本權重;S14、T次循環(huán),得到T個弱分類器,評價每一個弱分類器的重要性的權重進行加權疊加,最終得到強分類器。
在一些實施例中,所述數(shù)據(jù)融合步驟之前,還包括逆光判斷步驟,首先建立圖像的灰度直方圖,然后對所述灰度直方圖分析從而判斷是否為逆光圖像;如果圖像為非逆光的正常圖像,則通過人臉檢測步驟識別;如果圖像為逆光圖,則通過數(shù)據(jù)融合步驟識別。
在一些實施例中,所述數(shù)據(jù)融合步驟采用HOG特征提取。
在一些實施例中,所述HOG特征提取為,S21、對圖像進行灰度化;S22、對圖像進行顏色空間的標準化;S23、計算圖像每個像素的梯度;S24、將圖像劃分成小單元;S25、統(tǒng)計每個單元的梯度直方圖,形成每個單元的描述器;S26、將不定數(shù)個單元組成一個塊,所述塊內(nèi)所有單元的特征描述器串聯(lián),得到所述塊的HOG特征描述器;S27、將圖像內(nèi)的所有塊的HOG特征描述器串聯(lián),得到所述圖像的HOG特征描述器。
區(qū)別于現(xiàn)有技術,上述人臉檢測的服務機器人視覺引領方法,通過人臉檢測步驟和數(shù)據(jù)融合步驟,結(jié)合視覺傳感器得到的圖像數(shù)據(jù),對周圍環(huán)境進行分析與處理,從而提高機器人的智能性。
【附圖說明】
圖1為本發(fā)明一個實施例中基于人臉檢測的服務機器人視覺引領方法的分類器訓練過程圖。
圖2為本發(fā)明一個實施例中基于人臉檢測的服務機器人視覺引領方法的灰度直方圖。
圖3為本發(fā)明一個實施例中基于人臉檢測的服務機器人視覺引領方法的HOG特征提取圖。
【具體實施方式】
為詳細說明本發(fā)明的技術內(nèi)容、構造特征、所實現(xiàn)目的及效果,以下結(jié)合實施方式并配合附圖詳予說明。應當理解,此處所描述的具體實施例僅用以解釋本發(fā)明,并不用來限定本發(fā)明。
一種人臉檢測的服務機器人視覺引領方法,包括人臉檢測步驟和數(shù)據(jù)融合步驟;該人臉檢測步驟,通過Haar特征與Adaboost分類器進行人臉圖像檢測;數(shù)據(jù)融合步驟,用于逆光圖像處理。
其中,Haar特征用于表征人臉特征,Adaboost分類器用于識別的人臉圖像。
本發(fā)明的人臉檢測的服務機器人視覺引領方法,通過人臉檢測步驟和數(shù)據(jù)融合步驟,結(jié)合視覺傳感器得到的圖像數(shù)據(jù),對周圍環(huán)境進行分析與處理,從而提高機器人的智能性。
在本發(fā)明的具體實施例中,一種人臉檢測的服務機器人視覺引領方法,包括人臉檢測步驟和數(shù)據(jù)融合步驟;該人臉檢測步驟,通過Haar特征與Adaboost分類器進行人臉圖像檢測;數(shù)據(jù)融合步驟,用于逆光圖像處理。
其中,Haar特征用于表征人臉特征,Adaboost分類器用于識別的人臉圖像。Haar特征包括邊緣特征、線性特征、中心特征和對角線特征,并組合成特征模板。
可優(yōu)選的,特征模版包括白色和黑色兩種,并設定特征模版的特征值為白色矩形像素和減去黑色矩形像素和的值。該Haar特征值反映了圖像的灰度變化情況。
例如:臉部的一些特征由矩形特征簡單的描述,如:眼睛要比臉頰顏色要深,鼻梁兩側(cè)比鼻梁顏色要深,嘴巴比周圍顏色要深等。矩形特征僅對一些簡單的圖形結(jié)構,如邊緣、線段較敏感,因此只能描述特定走向,水平、垂直、 對角的結(jié)構。
為加快算法的運行速度,在一些實施例中,Adaboost分類器為Cascade Adaboost分類器;該Cascade Adaboost分類器,由多個強Adaboost分類器級聯(lián)而成。該強Adaboost分類器分類判別能力逐級加強,每級分類器保證低漏識別率,將難以識別的人臉圖像送入下一級分類器。
每一級分類器都是一個強Adaboost分類器,其訓練過程是一個迭代的過程,用于自適應地改變訓練樣本的分布,使得分類器聚焦在那些很難分的樣本上;如圖1所示,該強Adaboost分類器的訓練過程為:
S11、給定訓練樣本(x1、y1),...,(xi、yi),...,(xn、yn),其中xi表示第i個樣本,yi=0表示為負樣本,yi=1表示為正樣本,n為訓練樣本總數(shù);
S12、初始化訓練樣本的權重;
S13、第一次迭代,訓練弱分類器,并計算弱分類器的錯誤率;選取閾值,使得誤差最??;更新樣本權重;
S14、經(jīng)過T次循環(huán)后,得到T個弱分類器,評價每一個弱分類器的重要性的權重進行加權疊加,最終得到強分類器。
服務機器人在實際的生活場景中,會存在很多圖像質(zhì)量不好的情況,最為常見的情況是相機的逆光問題。對于該情況是無法避免,且經(jīng)常出現(xiàn),因此該引領系統(tǒng)必須要解決這樣的問題,才能真正的實際生活中使用。在相機逆光時,由于相機的自動曝光效果,使得背景很亮,而其他的物體,比如人臉,會相對較暗淡,從而影響人臉檢測的效果。
需對當前相機采集得到的圖像進行判斷,即判斷當前是否是逆光情況,通過實際實驗并對逆光和正常光線下的圖像進行分析,得到在逆光時,其灰度直方圖是兩端尖峰,中間低矮的分布,而正常的圖像是灰度分布相對較為均勻。如圖2所示,左邊的為逆光情況的灰度直方圖,右邊的為正常圖像的灰度直方圖。
據(jù)此,在數(shù)據(jù)融合步驟之前,還包括逆光判斷步驟,首先建立圖像的灰度直方圖,然后對所述灰度直方圖分析從而判斷是否為逆光圖像;如果圖像為非逆光的正常圖像,則通過人臉檢測步驟識別;如果圖像為逆光圖,則通過數(shù)據(jù) 融合步驟識別,結(jié)合激光數(shù)據(jù)進行判斷。
本發(fā)明實施例中,服務機器人將二維激光安裝在較低的位置,相機安裝在機器人的正上方,使用機械的尺寸圖,獲得相機與激光坐標系之間的R和T,從而將二維激光投影到圖像上。根據(jù)激光數(shù)據(jù),粗略獲得類似人腿的位置再將其對應的位置投影到圖像上,在圖像上形成可疑區(qū)域,再對該區(qū)域進行進一步分析。
通過對逆光條件分析,可以獲得人體的粗略輪廓,本發(fā)明數(shù)據(jù)融合步驟采用HOG特征提取作為人體上半身的檢測器。其中,方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征是在計算機視覺和圖像處理中用于進行物體檢測的特征描述子,通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構成特征。
可優(yōu)選的,如圖3所示,該HOG特征提取為:
S21、對圖像進行灰度化;即將圖像看做一個x、y、z灰度的三維圖像;
S22、對圖像進行顏色空間的標準化;
具體地,采用Gamma校正法對輸入圖像進行顏色空間的標準化(歸一化);以調(diào)節(jié)圖像的對比度,降低圖像局部的陰影和光照變化所造成的影響,同時可以抑制噪音的干擾。
S23、計算圖像每個像素的梯度;該梯度信息包括大小和方向,用于捕獲輪廓信息,同時進一步弱化光照的干擾;
S24、將圖像劃分成小單元cells,本發(fā)明實施例中,例如為6*6像素/cell;
S25、統(tǒng)計每個單元cell的梯度直方圖,不同梯度的個數(shù),形成每個單元的描述器descriptor;
S26、將不定數(shù)個單元cell組成一個塊block,所述塊block內(nèi)所有單元cell的特征描述器串聯(lián),得到所述塊的HOG特征描述器descriptor;
S27、將圖像內(nèi)的所有塊block的HOG特征描述器串聯(lián),得到所述圖像的HOG特征描述器descriptor。
本發(fā)明實施例,具體應用中,人臉檢測對人臉模型進行訓練,才可以在檢測階段進行使用。其訓練過程使用bootstrapping算法完成并實現(xiàn);其訓練樣 本為24*24像素大小的正面人臉10000張,只截取其中的五官區(qū)域,不包括人臉的輪廓和頭發(fā)。
負樣本通過對5000多張大小不一的非人臉圖像進行裁取獲得,可以使算法最后檢測時速度較快,手動設置初始第一級分類器為只有一個強Adaboost。在訓練過程中,使用2000張正負樣本作為驗證集,以確保每個級聯(lián)的分類器具有較好的效果。
在對多傳感器數(shù)據(jù)融合部分,對逆光圖像和正常圖像進行統(tǒng)計,即計算灰度直方圖的低區(qū)域、高區(qū)域和中間區(qū)域的灰度閾值,使用多幅圖像進行邏輯回歸來獲得相應的參數(shù)。
同時,對人體上半身的HOG分類器進行訓練,訓練正樣本為2000張,負樣本2000張,通過手動裁剪獲得樣本。為加快檢測時的計算能力,需對滑動窗口的灰度值的均值和方差進行初步判斷,以過濾很多非人體區(qū)域,加速計算。
本發(fā)明的人臉檢測的服務機器人視覺引領方法,通過人臉檢測步驟和數(shù)據(jù)融合步驟,結(jié)合視覺傳感器得到的圖像數(shù)據(jù),對周圍環(huán)境進行分析與處理,從而提高機器人的智能性,以及融合二維的激光數(shù)據(jù),進行輔助判斷,尤其對于光線條件不好的場景,可以更好的提高系統(tǒng)的適用性;解決當前市面上的服務機器人引領時可能會出現(xiàn)的錯誤情況,同時解決相機在光線條件不好時的人臉檢測問題;可以實現(xiàn)機器人的智能引領功能,從而有效的提升服務機器人產(chǎn)品的智能性;通過添加服務機器人引領功能,可以使服務機器人應用在展覽館、餐廳和其他需要展示和帶領功能的場所。
需要說明的是,在本發(fā)明中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下,由語句“包括……”或“包含……”限定的要素,并不排除在包括上述要素的過程、方法、物品或者終端設備中還存在另 外的要素。此外,在本文中,“大于”、“小于”、“超過”等理解為不包括本數(shù);“以上”、“以下”、“以內(nèi)”等理解為包括本數(shù)。
盡管已經(jīng)對上述各實施例進行了描述,但本領域內(nèi)的技術人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例做出另外的變更和修改,所以以上上述僅為本發(fā)明型的實施例,并非因此限制本發(fā)明的專利保護范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構或等效流程變換,或直接或間接運用在其他相關的技術領域,均同理包括在本發(fā)明的專利保護范圍之內(nèi)。