本發(fā)明屬機(jī)器視覺領(lǐng)域，涉及一種指針式儀表數(shù)值智能識(shí)別方法及裝置，尤其涉及一種采用對抗樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型并能進(jìn)行自矯正的識(shí)別方法及裝置。

背景技術(shù)：

指針式儀表由于其穩(wěn)定可靠，維護(hù)方便，能反應(yīng)被測量的變化趨勢，在化工、電力、汽車等行業(yè)有著廣泛的應(yīng)用。然而目前指針式儀表的識(shí)別大都是依靠人眼完成，不僅費(fèi)時(shí)費(fèi)力而且效率不高，其讀數(shù)受主觀因素影響較大，因此開發(fā)一套指針式儀表數(shù)值自動(dòng)識(shí)別裝置是很有必要的。

目前針對指針式儀表的識(shí)別大都采用的是經(jīng)過二值化、形態(tài)學(xué)變換、骨架提取等圖像處理的手段對圖像進(jìn)行預(yù)處理，而后利用hough變換提取儀表指針，進(jìn)而通過指針偏角計(jì)算儀表示數(shù)。該種方法存在諸多問題，例如表盤上其他特征(抗震油線等)對指針直線提取的干擾、指針轉(zhuǎn)向的確定、傾斜圖像的矯正、圖像污染等等這些問題；同時(shí)針對指針式儀表數(shù)值的自動(dòng)識(shí)別，人們都是將攝像機(jī)固定以保證攝像機(jī)的拍攝角度，但是在實(shí)際應(yīng)用中，有些設(shè)備系統(tǒng)是間歇工作的，且儀表與攝像機(jī)的相對位置會(huì)發(fā)生變化，例如核電應(yīng)急柴油機(jī)組只有在應(yīng)急狀態(tài)和定期試驗(yàn)時(shí)才會(huì)開啟使用，這類設(shè)備的指針式儀表參數(shù)測量不適合采用固定的攝像機(jī)，一方面占用空間，識(shí)別裝置大部分時(shí)間處于閑置狀態(tài)，其二在使用過程中會(huì)由于設(shè)備檢修等原因，導(dǎo)致攝像機(jī)與儀表的相對位置發(fā)生變化；同時(shí)我們注意到很多針對指針式儀表數(shù)值的自動(dòng)識(shí)別方法都是針對單個(gè)儀表的識(shí)別，但是在實(shí)際應(yīng)用中，設(shè)備上往往有許多指針式儀表參數(shù)是需要讀取的，這些指針式儀表有同種類的也有不同種類的。

授權(quán)號(hào)為cn102521560b，專利名為《高魯棒儀表指針圖像識(shí)別方法》的中國專利提出了采用hough變換和中心投影法對指針式儀表數(shù)值的識(shí)別方法，該種方法需要人工調(diào)整攝像機(jī)的位置使其正對準(zhǔn)儀表盤，而在實(shí)際使用過程中會(huì)由于對設(shè)備的檢修使攝像機(jī)與儀表的相對位置發(fā)生變動(dòng)，將無法提取到儀表位置進(jìn)而識(shí)別，這使得該種方法可操作性不強(qiáng)，同時(shí)該種方法需要用鼠標(biāo)選出指針中心區(qū)域和表盤外輪廓，在需要實(shí)時(shí)連續(xù)識(shí)別的場景中不適用。

申請?zhí)枮?01410855634.5的中國專利《一種指針式儀表的讀數(shù)識(shí)別方法及裝置》介紹了一種采用卷積神經(jīng)網(wǎng)絡(luò)對指針式儀表數(shù)值自動(dòng)識(shí)別的方法，該方法將待識(shí)別的表盤分割為數(shù)個(gè)部分，采用卷積神經(jīng)網(wǎng)絡(luò)輸出指針位于不同部分的概率，再根據(jù)最大概率部分在表盤中的位置得到指針的示數(shù)。該種方法在訓(xùn)練模型的過程中數(shù)據(jù)全部采用原始數(shù)據(jù)，一方面采集工作量大，其次模型泛化能力不強(qiáng)；同時(shí)該方法要求待識(shí)別表盤圖像與樣本表盤圖像在進(jìn)行圖像分割時(shí)的分割起始位置及分割方向需要一致，這限制了其在實(shí)際中的使用。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有方法存在的不足，本發(fā)明提供了一種采用卷積神經(jīng)網(wǎng)絡(luò)模型，基于對抗樣本的模型訓(xùn)練方法，訓(xùn)練模型對指針式儀表數(shù)值進(jìn)行智能識(shí)別，且具備攝像機(jī)拍攝角度自適應(yīng)調(diào)節(jié)技術(shù)的識(shí)別方法及裝置。本發(fā)明包括指針式儀表數(shù)值的識(shí)別裝置和識(shí)別方法，下面分別展開敘述。

該套識(shí)別裝置如附圖1所示，由支架(1)、程控云臺(tái)(2)、攝像機(jī)(3)、十字定位標(biāo)(5)和計(jì)算機(jī)組成。首先將支架(1)放置在待識(shí)別表盤(4)前面，之后將與攝像機(jī)(3)固定連接的程控云臺(tái)(2)固定在支架(1)上，儀表盤面上有左右兩個(gè)十字定位標(biāo)做標(biāo)記，而后系統(tǒng)將通過程控云臺(tái)(2)和攝像機(jī)分別調(diào)整攝像機(jī)(3)的拍攝角度和變倍倍數(shù)，使其達(dá)到拍攝的預(yù)設(shè)要求(具體預(yù)設(shè)要求在具體實(shí)施方式中說明，下同)。

該套識(shí)別裝置特點(diǎn)如下：識(shí)別裝置具備拍攝角度自適應(yīng)功能，能夠?qū)ε臄z角度進(jìn)行自矯正，通過對儀表盤面上左右兩個(gè)十字定位標(biāo)的檢測，來判斷攝像機(jī)的拍攝角度和變倍倍數(shù)是否合適，當(dāng)不能達(dá)到預(yù)設(shè)要求時(shí)，通過程控云臺(tái)和攝像機(jī)分別調(diào)節(jié)拍攝角度和攝像機(jī)變倍倍數(shù)，使之達(dá)到拍攝要求；裝置易于安裝，該套裝置相比于其它方法，不需要攝像機(jī)與儀表的位置完全固定，只需大致將攝像機(jī)對著儀表盤即可，隨用隨裝，當(dāng)不需要使用時(shí)可以收起來，同一套裝置，可以應(yīng)用于不同的場所。

本發(fā)明所提供的指針式儀表數(shù)值智能識(shí)別的方法采用生成的對抗樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，利用訓(xùn)練得到的模型對指針式儀表進(jìn)行數(shù)值識(shí)別，該方法的實(shí)現(xiàn)流程如附圖2所示。其具體包括模型訓(xùn)練和模型識(shí)別兩大部分。

所述模型采用對抗樣本和原始數(shù)據(jù)進(jìn)行訓(xùn)練，其實(shí)現(xiàn)流程如附圖2左半部分所示，具體包括模型的構(gòu)建、樣本的采集、對抗樣本的生成、模型的訓(xùn)練四部分。模型的構(gòu)建是構(gòu)建整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，包括有輸入層、輸出層、卷積層、池化層和全連接層；樣本的采集是采集待識(shí)別表盤的原始圖像，為下一步對抗樣本的生成和模型的訓(xùn)練準(zhǔn)備數(shù)據(jù)；對抗樣本的生成是對采集到的原始圖像進(jìn)行仿射和透視變換、明暗變化、部分區(qū)域裁剪、添加噪聲之一或幾種處理手段得到大量的可用于模型訓(xùn)練的對抗樣本；模型的訓(xùn)練是將采集的原始圖像數(shù)據(jù)和生成的對抗樣本數(shù)據(jù)輸入預(yù)先構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型進(jìn)行訓(xùn)練，通過調(diào)整模型各節(jié)點(diǎn)的參數(shù)得到可應(yīng)用于指針式儀表數(shù)值識(shí)別的模型。

所述模型識(shí)別部分流程如附圖2右半部分所示，其包括攝像機(jī)的自矯正、圖像的預(yù)處理、圖像輸入訓(xùn)練好的模型、模型輸出識(shí)別結(jié)果四部分。攝像機(jī)的自矯正是攝像機(jī)通過自矯正程序自動(dòng)調(diào)整拍攝角度和變倍倍數(shù)以達(dá)到拍攝要求；圖像的預(yù)處理是將攝像機(jī)采集的待識(shí)別的rgb圖像轉(zhuǎn)換為灰度圖像，并提取出圖像中的一個(gè)或多個(gè)儀表盤并進(jìn)行標(biāo)記；圖像輸入訓(xùn)練好的模型是將提取的一個(gè)或多個(gè)儀表盤圖像輸入之前訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型；模型輸出結(jié)果是訓(xùn)練好的識(shí)別模型在輸入待識(shí)別圖像之后將輸出對待識(shí)別圖像的識(shí)別結(jié)果。

本發(fā)明與現(xiàn)有技術(shù)相比具備以下幾個(gè)特點(diǎn)：

(1)該套裝置具備拍攝角度自適應(yīng)功能，能夠?qū)ε臄z角度進(jìn)行自矯正，使用前無需對其進(jìn)行精確的調(diào)整。整套裝置易于安裝，這提高了系統(tǒng)的穩(wěn)定性與裝置的可移動(dòng)性，使得一套裝置可以應(yīng)用于多種場景，大大增加了該種方法的可操作性與裝置的重復(fù)使用；

(2)該種方法采用對抗樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型，大大減少了原始數(shù)據(jù)采集的工作量，該方法對光線、表盤污染、圖像的偏轉(zhuǎn)等都具有很好的抗干擾能力，實(shí)驗(yàn)證明該種方法具有很高的魯棒性；

(3)該種方法對多儀表盤的提取與標(biāo)記，可以同時(shí)對多種類儀表盤數(shù)值的識(shí)別，使得不需要采用多個(gè)攝像機(jī)單獨(dú)進(jìn)行拍攝，節(jié)約了成本；

(4)該種方法改變傳統(tǒng)單獨(dú)用cpu(centralprocessingunit)的計(jì)算的模式，結(jié)合了gpu(graphicprocessingunit)高速的并行運(yùn)算能力進(jìn)行處理，極大的提高了識(shí)別的效率，使得可以應(yīng)用于實(shí)時(shí)識(shí)別上。

與現(xiàn)有技術(shù)相比，該種方法及裝置具有高魯棒性、高準(zhǔn)確率、識(shí)別速度快、可操作性強(qiáng)、移植方便等特點(diǎn)。

附圖說明

圖1為一種指針式儀表數(shù)值智能識(shí)別裝置圖；1.支架2.程控云臺(tái)3.攝像機(jī)4.待識(shí)別表盤5.十字定位標(biāo)

圖2為一種指針式儀表數(shù)值智能識(shí)別的方法流程圖；

圖3為一種卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型結(jié)構(gòu)圖；

圖4為指針式儀表對抗樣本生成流程圖；

圖5為生成的指針式儀表對抗樣本圖片；

(1)原始圖片(2)從原始圖片分離出的不含指針的儀表盤

(3)從原始圖片分離出的指針；(4)、(5)、(6)生成的對抗樣本圖片

圖6為指針式儀表數(shù)值模型識(shí)別流程圖；

圖7指針式儀表數(shù)值識(shí)別結(jié)果圖；

圖8指針式儀表數(shù)值在線識(shí)別結(jié)果圖。

具體實(shí)施方式

本發(fā)明的目的在于提供一種可操作性強(qiáng)、識(shí)別準(zhǔn)確度高、速度快、具有高魯棒性的指針式儀表數(shù)值智能識(shí)別的方法及裝置。

該識(shí)別裝置的一大特點(diǎn)為具備拍攝角度自適應(yīng)功能，可通過預(yù)制的十字定位標(biāo)進(jìn)行自矯正，不需要人工進(jìn)行調(diào)整。該套裝置如附圖1所示，由支架(1)、程控云臺(tái)(2)、攝像機(jī)(3)、十字定位標(biāo)(5)和計(jì)算機(jī)組成。首先將支架(1)放置在待識(shí)別表盤(4)前面，之后將與攝像機(jī)(3)固定連接的程控云臺(tái)(2)固定在支架(1)上，儀表盤面上有左右兩個(gè)十字定位標(biāo)做標(biāo)記，而后攝像機(jī)拍攝圖像檢測兩個(gè)十字定位標(biāo)的位置，判斷十字定位標(biāo)在圖像中上下、左右的位置與系統(tǒng)初設(shè)位置的偏離程度(用像素值來進(jìn)行表示)，此后系統(tǒng)將通過程控云臺(tái)(2)和攝像機(jī)分別調(diào)整攝像機(jī)(3)的拍攝角度和變倍倍數(shù)，使其偏離程度達(dá)到要求(初設(shè)的像素值)，此即為拍攝的預(yù)設(shè)要求。

本發(fā)明所提供的指針式儀表數(shù)值智能識(shí)別方法的特點(diǎn)在于采用生成的對抗樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，用訓(xùn)練得到的模型進(jìn)行識(shí)別，其具體包括模型訓(xùn)練和模型識(shí)別兩大部分。

所述識(shí)別模型的一種結(jié)構(gòu)如附圖3所示，由輸入層、輸出層、5個(gè)卷積池化層(1-5層)，2個(gè)全連接層(6-7層)組成。輸入層大小為128*128，對應(yīng)著為待識(shí)別儀表盤的灰度圖片的尺寸；第一層為卷積池化層，卷積核大小為5*5，設(shè)有48個(gè)卷積核，采用2*2最大池化，該層輸出的張量大小為62*62*48，其中62*62為卷積后圖片的尺寸，48為卷積核的個(gè)數(shù)；第2層至第4層也為卷積池化層，卷積核大小為3*3，卷積核個(gè)數(shù)分別為128、192、256，采用2*2最大池化；第5層為卷積層，卷積核大小為3*3，設(shè)有338個(gè)卷積核，沒有進(jìn)行池化操作，經(jīng)過卷積池化層輸出的張量大小為6*6*338，6*6為對應(yīng)的圖片尺寸，338為卷積核的個(gè)數(shù)；6、7層為兩個(gè)全連接層，神經(jīng)元個(gè)數(shù)分別為1024、512個(gè)，最后為輸出層，大小為200，對應(yīng)著為圖片的分類種數(shù)，其數(shù)值代表輸入的待識(shí)別圖片屬于每一類的概率值，我們選擇概率最大值的那一類作為識(shí)別結(jié)果，而后根據(jù)其量程將其轉(zhuǎn)換為實(shí)際數(shù)值。所述的識(shí)別模型結(jié)構(gòu)為其中的一種，在實(shí)際應(yīng)用中的識(shí)別模型結(jié)構(gòu)可根據(jù)待識(shí)別儀表盤的種類、量程、識(shí)別精度等調(diào)整卷積池化層和全連接層的層數(shù)和模型參數(shù)，得到合適的識(shí)別模型結(jié)構(gòu)。

所述對抗樣本的生成過程如附圖4所示，其包括以下幾個(gè)步驟：

步驟400，采集一張或數(shù)張與待識(shí)別儀表盤同種類的儀表盤原始圖像，將這些儀表盤的指針分離出來，生成不含有指針的儀表盤圖片(如附圖5的(2))和單獨(dú)的指針圖片(如附圖5的(3))；

步驟401，在不含有指針的儀表盤圖片上找到指針的旋轉(zhuǎn)中心，根據(jù)儀表的量程和要求的識(shí)別精度確定生成的樣本圖片種類，即識(shí)別模型的輸出層種類。例如在本實(shí)施例中，量程為0-10mpa，識(shí)別精度為0.05mpa，則分為200類；

步驟402，利用步驟401中分離出的指針和不含指針的儀表盤，將兩張圖片根據(jù)旋轉(zhuǎn)中心疊加，在生成每張圖片的過程中，對其同時(shí)進(jìn)行隨機(jī)的仿射變換和透視變換、隨機(jī)剪裁部分區(qū)域、圖像整體的隨機(jī)明暗變化、隨機(jī)添加噪聲點(diǎn)等處理手段，得到200種類的儀表盤圖像，包含標(biāo)簽文件，通過該種方法使每個(gè)種類的圖片數(shù)在60張及以上。如圖5的(4)、(5)、(6)圖片所示，為生成的部分對抗樣本圖片；

步驟403，將原始圖片和生成的對抗樣本圖片與其各自的標(biāo)簽生成訓(xùn)練識(shí)別模型用的數(shù)據(jù)集。

所述識(shí)別模型的訓(xùn)練過程為將步驟400-403中生成的圖片數(shù)據(jù)集放入所述的預(yù)先構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)(80％的數(shù)據(jù)用于訓(xùn)練模型，20％的數(shù)據(jù)用來檢測模型的準(zhǔn)確度)，通過不斷調(diào)整模型中各節(jié)點(diǎn)的參數(shù)，使之達(dá)到預(yù)定要求(準(zhǔn)確度在70％及以上)，實(shí)驗(yàn)發(fā)現(xiàn)此準(zhǔn)確度閾值下模型識(shí)別的平均誤差在1％以內(nèi)，識(shí)別模型訓(xùn)練成功。

所述模型識(shí)別流程如附圖6所示，其包含以下幾個(gè)步驟：

步驟600，將裝置放在待識(shí)別儀表盤前面，使攝像機(jī)大致對著儀表位置，在儀表盤面上的預(yù)定位置(此預(yù)定位置需與自矯正程序中十字定位標(biāo)的初設(shè)位置保持一致)固定左右兩個(gè)十字定位標(biāo)；

步驟601，啟動(dòng)系統(tǒng)，攝像機(jī)將檢測圖像中十字定位標(biāo)的位置，通過程控云臺(tái)的水平旋轉(zhuǎn)、垂直旋轉(zhuǎn)、攝像機(jī)的光學(xué)變倍使左右兩個(gè)十字定位標(biāo)在圖像中的位置與初設(shè)位置偏離程度(用像素值表示)達(dá)到要求，若經(jīng)過50次自矯正調(diào)整仍然失敗，不能達(dá)到攝像機(jī)拍攝的預(yù)設(shè)要求(預(yù)設(shè)要求在前面已經(jīng)進(jìn)行講述)，則系統(tǒng)自檢報(bào)警；

步驟602，攝像機(jī)采集儀表盤圖像，對采集到的圖像進(jìn)行灰度化處理，之后進(jìn)行降維處理，通過概率hough圓變換提取圖像中各個(gè)圓形儀表盤，并根據(jù)各圓的坐標(biāo)對其進(jìn)行標(biāo)記，而后將圓形表盤的坐標(biāo)換算到降維處理前的圖像中，在降維處理前的圖像上切分出帶有標(biāo)記的各個(gè)儀表盤的圖像；

步驟603，將步驟602中從一張或多張圖像中提取的一張或多張儀表盤圖像輸入所述預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型中進(jìn)行計(jì)算。特別的，當(dāng)圖像采集的頻率較高(大于10fps)，該步驟中識(shí)別模型在gpu上運(yùn)行，采用并行運(yùn)算處理可以大大提高識(shí)別速度；

步驟604，將步驟603中識(shí)別模型的輸出結(jié)果根據(jù)待識(shí)別表盤的量程換算成實(shí)際的讀數(shù)，然后根據(jù)步驟602中對應(yīng)的標(biāo)記進(jìn)行保存，之后進(jìn)行下一輪的識(shí)別。

識(shí)別效果

采用該種方法和裝置進(jìn)行了測試，測試1過程中采用50張指針式儀表圖片進(jìn)行測試，結(jié)果對比如附圖7所示，實(shí)線為模型識(shí)別結(jié)果，虛線為人眼讀取值，平均誤差在1％之內(nèi)；測試2過程中測試在線識(shí)別效果，儀表采用指針式溫度計(jì)，將溫度計(jì)由室溫放至熱水中，而后一邊拍攝視頻，一邊進(jìn)行識(shí)別，幀率30fps，溫度計(jì)采用雙金屬溫度計(jì)，精度等級(jí)1.5，結(jié)果如附圖8所示，實(shí)線為模型識(shí)別結(jié)果，虛線為人眼讀取值。

由于該種溫度計(jì)精度不高，會(huì)存在卡頓的狀況，且傳熱過程比較慢，采集頻率高，因此在曲線圖上會(huì)有階梯狀，通過人工肉眼比對，識(shí)別結(jié)果基本一致，平均誤差在1％以內(nèi)。

以上所述為本發(fā)明的具體實(shí)施步驟與裝置結(jié)構(gòu)圖，配合各圖予以說明。但是本發(fā)明并不局限于以上所述的具體實(shí)施步驟與裝置結(jié)構(gòu)圖，任何基于上述所說的對于相關(guān)實(shí)施步驟的修改或替換，任何基于上述所說的對于相關(guān)實(shí)施步驟的局部調(diào)整，只要在本發(fā)明的精神領(lǐng)域范圍內(nèi)，均屬于本發(fā)明。