專利名稱：一種蘋果表面缺陷檢測(cè)系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及蔬菜水果檢測(cè)技術(shù)領(lǐng)域，特別涉及一種蘋果表面缺陷檢測(cè)系統(tǒng)和方法。
背景技術(shù)：
目前，我國(guó)蘋果的產(chǎn)后處理水平十分低下，蘋果的產(chǎn)后分級(jí)處理技術(shù)落后嚴(yán)重，制約著我國(guó)蘋果產(chǎn)業(yè)的發(fā)展?；跈C(jī)器視 覺的蘋果外部品質(zhì)分選機(jī)可以綜合檢測(cè)蘋果的大小，顏色，果形和表面缺陷等主要指標(biāo)，具有自動(dòng)，高效，準(zhǔn)確，全面，客觀和非破壞性檢測(cè)等優(yōu)點(diǎn)，在蘋果產(chǎn)后分級(jí)處理中得到了廣泛應(yīng)用。蘋果大小、形狀、顏色指標(biāo)的自動(dòng)檢測(cè)方法已比較成熟，而缺陷的快速識(shí)別一直是蘋果實(shí)時(shí)分級(jí)的障礙，其主要難點(diǎn)是由于蘋果表面的缺陷區(qū)域和果梗/花萼區(qū)域在圖像的灰度值上有非常大的相似性，二者在圖像上都呈現(xiàn)為暗黑色的斑點(diǎn)，從而導(dǎo)致缺陷與果梗/花萼難以區(qū)分。現(xiàn)有的檢測(cè)蘋果表面缺陷的方法主要有特征檢測(cè)法提取缺陷區(qū)域與果梗/花萼區(qū)域的特征，利用人工神經(jīng)網(wǎng)絡(luò)，支撐向量機(jī)等分類器進(jìn)行識(shí)別，這類方法的缺點(diǎn)是識(shí)別正確率較低。結(jié)構(gòu)光檢測(cè)法利用條形結(jié)構(gòu)光在蘋果表面上的變形來獲取蘋果的三維信息，從而將凹陷區(qū)域判定為果梗/花萼區(qū)域，這類方法的主要缺點(diǎn)是當(dāng)果梗/花萼區(qū)域與結(jié)構(gòu)光投射器的方向一致的時(shí)候，條形結(jié)構(gòu)光僅有極微小的變形，導(dǎo)致無法檢測(cè)蘋果表面的凹陷區(qū)域。高光譜檢測(cè)法利用高光譜相機(jī)檢測(cè)蘋果表面缺陷，盡管識(shí)別正確率較高，但是高光譜相機(jī)價(jià)格極其昂貴，很難用于實(shí)際的生產(chǎn)當(dāng)中。陰影重建檢測(cè)法利用蘋果表面的陰影對(duì)蘋果進(jìn)行三維重建，根據(jù)重建結(jié)果識(shí)別蘋果表面的凹陷區(qū)域，這類方法很難保證蘋果處于任意姿態(tài)時(shí)都提供足夠的陰影信息用于三維重建，而且當(dāng)缺陷區(qū)域的顏色特征與陰影相似時(shí)，缺陷區(qū)域會(huì)被錯(cuò)誤地判別為果梗/花萼區(qū)域。結(jié)構(gòu)光方法作為一種主動(dòng)立體視覺方法被廣泛用于獲取物體的三維信息，但是可見結(jié)構(gòu)光極易被蘋果表面的顏色信息干擾，影響獲取三維信息的精度。96年就有學(xué)者采用近紅外條形結(jié)構(gòu)光輔助獲取蘋果表面的三維信息，但是由于果梗/花萼與結(jié)構(gòu)光投射器方向一致的時(shí)候，近紅外條形結(jié)構(gòu)光變形極小，導(dǎo)致這種方法的檢測(cè)正確率很低，不能滿足實(shí)際生產(chǎn)的要求。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題本發(fā)明要解決的技術(shù)問題是解決目前在檢測(cè)蘋果表面缺陷方面的不足。(二)技術(shù)方案一種蘋果表面缺陷檢測(cè)系統(tǒng)，
所述系統(tǒng)包括傳送裝置(1)，位于傳送裝置正上方的光照箱(2)所述光照箱(2)；所述光照箱(2 )內(nèi)部下方安裝有可見/近紅外復(fù)合LED光源裝置(3 )，內(nèi)部上方正中央安裝有點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)，所述點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)—側(cè)安裝有黑白工業(yè)相機(jī)(4)和彩色工業(yè)相機(jī)(6)；所述黑白工業(yè)相機(jī)(4 )通過電纜連接到計(jì)算機(jī)(10 )的近紅外圖像采集卡(8 )上，所述彩色工業(yè)相機(jī)(6)通過電纜連接到計(jì)算機(jī)(10)的彩色圖像采集卡上。其中，所述黑白工業(yè)相機(jī)(4 )安裝有濾光片(5 )。其中，所述可見/近紅 外復(fù)合LED光源裝置(3 )在傳送裝置(I)兩側(cè)各安裝有一個(gè)。其中，，所述可見/近紅外復(fù)合LED光源裝置(3)包括可見光LED (3. 2)、近紅外LED (3. 3)、散熱器(3. I)和開關(guān)電源(3. 4)，所述可見光LED (3. 2)和近紅外LED (3. 3)固定在散熱器(3. I)上并且通過導(dǎo)線與開關(guān)電源(3. 4)連接。其中，，所述點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)投射出的近紅外點(diǎn)陣結(jié)構(gòu)光光斑在參考平面上均勻分布。其中，，所述點(diǎn)陣結(jié)構(gòu)光中設(shè)置了四對(duì)光斑作為定位標(biāo)記。其中，，所述參考平面為傳送裝置(I)的上表面。一種蘋果表面缺陷監(jiān)測(cè)方法，其特征在于，所述方法包括，SI，利用黑白工業(yè)相機(jī)獲取每個(gè)近紅外點(diǎn)陣結(jié)構(gòu)光光斑在參考平面的位置；S2，利用彩色工業(yè)相機(jī)獲取傳送裝置上的蘋果的彩色圖像，并通過閾值分割的方法去除蘋果的背景區(qū)域以及分割出蘋果區(qū)域中灰度值較低的感興趣區(qū)域；S3，利用帶有濾光片的黑白工業(yè)相機(jī)獲取投射在蘋果表面上的近紅外結(jié)構(gòu)光光斑圖像，對(duì)圖像逐列進(jìn)行掃描，在非感興趣區(qū)域搜索兩個(gè)距離最近光斑，通過將蘋果表面的光斑位置信息與參考平面的光斑位置信息進(jìn)行對(duì)比，獲取蘋果表面深度變化的信息以得到凹陷區(qū)域；S4，將S2中的感興趣區(qū)域與S3中的凹陷區(qū)域相比較，將感興趣區(qū)域中與凹陷區(qū)域不重合的區(qū)域視為蘋果表面的缺陷區(qū)域。其中，所述感興趣區(qū)域包括缺陷區(qū)域和果梗/花萼區(qū)域。(三)有益效果本發(fā)明采用彩色工業(yè)相機(jī)獲取蘋果表面缺陷區(qū)域及果梗/花萼區(qū)域，近紅外點(diǎn)陣結(jié)構(gòu)光輔助識(shí)別蘋果表面的果梗/花萼區(qū)域，將蘋果表面的非凹陷區(qū)域判定為缺陷區(qū)域，提高蘋果缺陷檢測(cè)的精度。


圖I是本發(fā)明系統(tǒng)的結(jié)構(gòu)圖；圖2是可見/近紅外復(fù)合LED光源結(jié)構(gòu)示意圖；圖3是深度信息感知原理圖；圖4是近紅外點(diǎn)陣結(jié)構(gòu)光投射在蘋果表面效果圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。如圖I所示，本發(fā)明的檢測(cè)系統(tǒng)包括輸送裝置(I )，光照箱(2)，可見/近紅外復(fù)合LED光源裝置(3)，黑白工業(yè)相機(jī)(4)，濾光片(5)，彩色工業(yè)相機(jī)(6)，彩色圖像采集卡(9)，近紅外圖像采集卡(8)，點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)，計(jì)算機(jī)(10)。輸送裝置(I)安裝在檢測(cè)系統(tǒng)的最下方，光照箱(2)安裝在輸送裝置(I)的上方，可見/近紅外復(fù)合LED光源裝置(3)安裝在光照箱(2)內(nèi)部下方，輸送裝置(I)的兩側(cè)，點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)、帶有濾光片(5)的黑白工業(yè)相機(jī)(4)和彩色工業(yè)相機(jī)(6)安裝在光照箱(2)內(nèi)部上方，帶有濾光片(5)的黑白工業(yè)相機(jī)(4)輸出的近紅外圖像信號(hào)通過電纜接到近紅外圖像采集卡(8)上，彩色工業(yè)相機(jī)(6)輸出的彩色圖像信號(hào)輸出到彩色圖像采集卡(9)上，近紅外圖像采集卡(8 )和彩色圖像采集卡(9 )安裝在計(jì)算機(jī)(10 )的插槽上，計(jì)算機(jī)(10 )上安裝蘋果表面缺陷檢測(cè)軟件。如圖2所示，所述的可見/近紅外復(fù)合LED光源裝置(3)由可見光LED(3. 2)，近紅
外LED (3. 3)，散熱器(3. 1)，開關(guān)電源(3. 4)組成；可見光LED (3. 2)和近紅外LED (3.3)固定在散熱器(3. I)上，可見光LED (3. 2)，近紅外LED (3. 3)與開關(guān)電源相連接。如圖3所示，所述的蘋果表面深度信息感知是基于如下原理在參考平面(Rl)上沒有蘋果(Al)的時(shí)候，近紅外投射器投射在參考平面上的光斑為Rl，R2，O ;但將蘋果置于參考平面上后，近紅外投射器(7)投射出的結(jié)構(gòu)光在蘋果表面的SI，S2，So位置形成光斑，而帶有濾光片(5)的黑白工業(yè)相機(jī)(4)獲取的Sl，S2，So位置的光斑對(duì)應(yīng)于參考平面上Pl，P2，Po位置上的光斑；也就是說，在參考平面(Rl)上放置蘋果(Al)后，獲取的光斑位置，相對(duì)于其在參考平面上的光斑位置發(fā)生的位移，位移的大小由蘋果表面上的光斑距離參考平面的距離決定，在圖3中，Ll>Lo, L2>Lo，即凹陷區(qū)域(Cl)處獲取的光斑相對(duì)于其在參考平面上的位置的平移相對(duì)較小，因此可以通過結(jié)構(gòu)光光斑在水平方向上變化的規(guī)律來判定蘋果表面是否存在凹陷的果梗/花萼區(qū)域。如圖4為近紅外結(jié)構(gòu)光投射器(7)投射在蘋果表面的上的近紅外點(diǎn)陣的效果圖，LI，L2，L3和L4為四組定位標(biāo)記，四組定標(biāo)記的行列位置已知，通過四組定位標(biāo)記，可以獲得其它光斑在結(jié)構(gòu)光點(diǎn)列中的行列位置，該圖像通過帶有濾光片(5)的黑白工業(yè)相機(jī)(4)獲得，獲得的圖像信息通過近紅外圖像采集卡(8)上傳到計(jì)算機(jī)(10)進(jìn)行處理。本發(fā)明所述的檢測(cè)方法包括以下步驟I)獲取近紅外點(diǎn)陣結(jié)構(gòu)光在參考平面上每個(gè)光斑點(diǎn)的位置在近紅外結(jié)構(gòu)光投射器垂直的傳輸裝置上放置白色紙板，用帶有濾光片的黑白工業(yè)相機(jī)獲取投射在紙板上的近紅外結(jié)構(gòu)光光斑圖像，這一光斑圖像作為參考圖像。2)獲取蘋果圖像中的感興趣區(qū)域利用彩色工業(yè)相機(jī)獲取傳送裝置上的蘋果的彩色圖像，通過閾值分割的方法去除蘋果的背景區(qū)域，并分割出蘋果區(qū)域中灰度值較低的感興趣區(qū)域，感興趣區(qū)域可能是缺陷區(qū)域，或者為果梗/花萼區(qū)域。3)獲取蘋果表面的凹陷區(qū)域利用帶有濾光片的黑白工業(yè)相機(jī)獲取投射在蘋果表面上的近紅外結(jié)構(gòu)光光斑圖像，對(duì)圖像逐列進(jìn)行掃描，在非感興趣區(qū)域搜索兩個(gè)距離最近光斑，通過兩個(gè)距離最近光斑在圖像中的位置，可以知道這兩個(gè)光斑在光斑陣列中行列信息，從而可以獲取其它所有光斑在光斑陣列中的位置，通過將蘋果表面的光斑位置信息與參考平面的光斑位置信息進(jìn)行對(duì)比，從而可以獲取蘋果表面深度變化的信息。這里需要說明的是，結(jié)構(gòu)光技術(shù)是通過結(jié)構(gòu)光在物體表面上的位移，變形來感知物體表面的深度信息，而點(diǎn)陣結(jié)構(gòu)光中每個(gè)光斑都具有相同的形狀，所以很難獲取物體表面上的光斑相對(duì)于其在參考平面上對(duì)應(yīng)光斑的位移信息，本發(fā)明通過設(shè)置上下左右四對(duì)標(biāo)記光斑來解決這一難題，實(shí)現(xiàn)了蘋果表面凹陷的果梗/花萼區(qū)域的檢測(cè)。4)判定蘋果表面的缺陷區(qū)域?qū)⒉襟E2)中的感興趣區(qū)域與步驟3)中檢測(cè)到的凹陷區(qū)域進(jìn)行比較，將除凹陷區(qū)域以外的感興趣區(qū)域視為蘋果表面的缺陷區(qū)域。為了進(jìn)一步測(cè)試本方法的有效性，我們對(duì)210個(gè)蘋果在檢測(cè)系統(tǒng)上進(jìn)行了測(cè)試，本發(fā)明提出方法的檢測(cè)正確率高達(dá)95. 2%，達(dá)到了世界領(lǐng)先水平。以上實(shí)施方式僅用于說明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
權(quán)利要求
1.一種蘋果表面缺陷檢測(cè)系統(tǒng)，其特征在干， 所述系統(tǒng)包括傳送裝置(1)，位于傳送裝置正上方的光照箱(2)所述光照箱(2)； 所述光照箱(2)內(nèi)部下方安裝有可見/近紅外復(fù)合LED光源裝置(3)，內(nèi)部上方正中央安裝有點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)，所述點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7) —側(cè)安裝有黒白エ業(yè)相機(jī)(4)和彩色エ業(yè)相機(jī)(6)； 所述黑白エ業(yè)相機(jī)(4)通過電纜連接到計(jì)算機(jī)(10)的近紅外圖像采集卡(8)上，所述彩色エ業(yè)相機(jī)(6 )通過電纜連接到計(jì)算機(jī)(10 )的彩色圖像采集卡上。
2.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述黑白エ業(yè)相機(jī)(4)安裝有濾光片(5)。
3.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述可見/近紅外復(fù)合LED光源裝置(3)在傳送裝置(I)兩側(cè)各安裝有ー個(gè)。
4.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述可見/近紅外復(fù)合LED光源裝置(3)包括可見光LED (3. 2)、近紅外LED (3. 3)、散熱器(3. I)和開關(guān)電源(3. 4)，所述可見光LED(3. 2)和近紅外LED (3.3)固定在散熱器(3. I)上并且通過導(dǎo)線與開關(guān)電源(3. 4)連接。
5.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)投射出的近紅外點(diǎn)陣結(jié)構(gòu)光光斑在參考平面上均勻分布。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述點(diǎn)陣結(jié)構(gòu)光中設(shè)置了四對(duì)光斑作為定位標(biāo)記。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述參考平面為傳送裝置(I)的上表面。
8.ー種基于權(quán)利要求I所述系統(tǒng)的蘋果表面缺陷監(jiān)測(cè)方法，其特征在于，所述方法包括， SI，利用黒白エ業(yè)相機(jī)獲取每個(gè)近紅外點(diǎn)陣結(jié)構(gòu)光光斑在參考平面的位置； S2，利用彩色エ業(yè)相機(jī)獲取傳送裝置上的蘋果的彩色圖像，并通過閾值分割的方法去除蘋果的背景區(qū)域以及分割出蘋果區(qū)域中灰度值較低的感興趣區(qū)域； S3，利用帶有濾光片的黑白エ業(yè)相機(jī)獲取投射在蘋果表面上的近紅外結(jié)構(gòu)光光斑圖像，對(duì)圖像逐列進(jìn)行掃描，在非感興趣區(qū)域搜索兩個(gè)距離最近光斑，通過將蘋果表面的光斑位置信息與參考平面的光斑位置信息進(jìn)行對(duì)比，獲取蘋果表面深度變化的信息以得到凹陷區(qū)域； S4，將S2中的感興趣區(qū)域與S3中的凹陷區(qū)域相比較，將感興趣區(qū)域中與凹陷區(qū)域不重合的區(qū)域視為蘋果表面的缺陷區(qū)域。
9.如權(quán)利要求I所述的方法，其特征在于，所述感興趣區(qū)域包括缺陷區(qū)域和果梗/花萼區(qū)域。
全文摘要
本發(fā)明公開了一種蘋果表面缺陷檢測(cè)系統(tǒng)，所述系統(tǒng)包括傳送裝置(1)，位于傳送裝置正上方的光照箱(2)所述光照箱(2)；所述光照箱(2)內(nèi)部下方安裝有可見/近紅外復(fù)合LED光源裝置(3)，內(nèi)部上方正中央安裝有點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)，所述點(diǎn)陣近紅外結(jié)構(gòu)光投射器(7)一側(cè)安裝有黑白工業(yè)相機(jī)(4)和彩色工業(yè)相機(jī)(6)；所述黑白工業(yè)相機(jī)(4)通過電纜連接到計(jì)算機(jī)(10)的近紅外圖像采集卡(8)上，所述彩色工業(yè)相機(jī)(6)通過電纜連接到計(jì)算機(jī)(10)的彩色圖像采集卡上。
文檔編號(hào)G01N21/88GK102854192SQ20121030078
公開日2013年1月2日 申請(qǐng)日期2012年8月22日 優(yōu)先權(quán)日2012年8月22日
發(fā)明者趙春江, 張馳, 黃文倩, 郭志明, 王慶艷, 李江波, 李斌 申請(qǐng)人:北京農(nóng)業(yè)智能裝備技術(shù)研究中心