本發(fā)明工業(yè)屏幕生產(chǎn)檢測(cè)，特別涉及一種工業(yè)控制器屏幕顯示異常檢測(cè)方法。

背景技術(shù)：

1、智慧工廠最大特點(diǎn)是少人化，自動(dòng)化程度高。工廠的建設(shè)需要與人工智能技術(shù)深度結(jié)合才能突破自動(dòng)化瓶頸，提高效率。隨著工廠產(chǎn)能不斷增加，此時(shí)需要耗費(fèi)大量人力來進(jìn)行產(chǎn)品的質(zhì)量檢測(cè)，防止不良品流入市場(chǎng)。

2、目前大多數(shù)工業(yè)異常檢測(cè)集中于產(chǎn)品表面缺陷、破損等領(lǐng)域。如《一種基于機(jī)器視覺和深度學(xué)習(xí)的印刷手機(jī)殼表面瑕疵檢測(cè)裝置、系統(tǒng)及方法》。對(duì)于顯示屏，大部分工作都是對(duì)液晶晶圓等物理器件的異常進(jìn)行檢測(cè)，如《一種基于深度學(xué)習(xí)的液晶屏瑕疵檢測(cè)方法及系統(tǒng)》，《一種基于深度學(xué)習(xí)的顯示屏點(diǎn)亮缺陷檢測(cè)方法》。對(duì)于封裝完成的產(chǎn)品，顯示內(nèi)容的異常，如屏幕花屏、異常漏電導(dǎo)致的橫豎條紋、顯示的內(nèi)容錯(cuò)誤等。由于顯示異常情況多樣，且負(fù)樣本采集困難，正負(fù)樣本嚴(yán)重不平衡等因素影響，目前主要還是依賴于人工檢測(cè)，這制約了智慧工廠的自動(dòng)化程度。

3、現(xiàn)有技術(shù)都是針對(duì)的正樣本固定的場(chǎng)景，應(yīng)用于正負(fù)樣本多樣的場(chǎng)景效果較差。所謂的正樣本多樣是指，同一產(chǎn)線上不同具體產(chǎn)品屏幕顯示的內(nèi)容有差異。目前基于深度學(xué)習(xí)的方案依賴于有監(jiān)督的模型，需要采集大量的負(fù)樣本，無法應(yīng)用于負(fù)樣本難以采集的場(chǎng)景。同時(shí)，現(xiàn)有技術(shù)對(duì)環(huán)境要求較高，需要黑箱、專業(yè)工業(yè)相機(jī)及專業(yè)光源等硬件支撐，成本較高。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)屏幕顯示異常檢測(cè)的準(zhǔn)確率低、效率低、人工成本高等問題，本發(fā)明提供一種基于深度學(xué)習(xí)的工業(yè)控制器屏幕顯示異常的檢測(cè)方法。

2、本發(fā)明解決其技術(shù)問題所采用的方案是：一種工業(yè)控制器屏幕顯示異常檢測(cè)方法，包括以下步驟，

3、第一步：圖像采集

4、通過相機(jī)采集控制器圖像；

5、第二步：圖像處理

6、將采集的圖像中控制器顯示屏區(qū)域裁剪出來，將裁剪的圖像轉(zhuǎn)為rgb色域，并對(duì)轉(zhuǎn)換后的圖像進(jìn)行歸一化處理；

7、第三步：屏幕異常檢測(cè)

8、通過異常檢測(cè)算法對(duì)歸一化后的圖像進(jìn)行異常判斷，并由異常檢測(cè)算法輸出檢測(cè)結(jié)果，

9、所述異常檢測(cè)算法采用三個(gè)模型統(tǒng)籌判斷顯示屏內(nèi)容是否異常，所述三個(gè)模型包括padim、patchcore和fastflow，同時(shí)，異常檢測(cè)算法還包括bagging模塊；歸一化后的圖像首先經(jīng)過經(jīng)正樣本訓(xùn)練好的padim和patchcore兩個(gè)無監(jiān)督深度學(xué)習(xí)模型，模型檢測(cè)結(jié)果送入bagging模塊；當(dāng)兩個(gè)模型同時(shí)判斷圖像異常時(shí)則判定顯示異常，同時(shí)判斷為正常時(shí)，則判定為顯示正常；當(dāng)一個(gè)模型判斷正常另一個(gè)模型判斷異常時(shí)，歸一化圖像進(jìn)入訓(xùn)練好的fastflow無監(jiān)督深度學(xué)習(xí)模型進(jìn)行判斷，當(dāng)fastflow判斷為異常時(shí)，算法判定屏幕顯示異常，否則判定為顯示正常。

10、進(jìn)一步，通過bagging模塊設(shè)定模型判定閾值和綜合判定檢測(cè)結(jié)構(gòu)，其中，patchcore模型設(shè)置閾值低于0.5；padim模型設(shè)置閾值為0.5；

11、fastflow模型采樣動(dòng)態(tài)閾值，閾值跟隨環(huán)境變化而改變，具體策略為，

12、基于patchcore模型和padim模型得分加權(quán)動(dòng)態(tài)調(diào)整fastflow模型的閾值，patchcore模型和padim模型得分越高，fastflow模型的閾值越高，反之越低，具體如下公式：

13、

14、其中thresholdfastflow表示fastflow模型的閾值，resultpadim表示padim模型輸出的值，resultpatchcore表示patchcore模型的輸出值，α、β表示權(quán)重。

15、進(jìn)一步，異常檢測(cè)算法在模型訓(xùn)練階段圖像為rgb域，且為歸一化的圖像，圖像歸一化方式為

16、x′＝(x-min(x))/(max(x)-min(x))

17、其中x為原始數(shù)據(jù)。

18、進(jìn)一步，所述圖像采集采用工業(yè)相機(jī)采集控制器圖像，將工業(yè)相機(jī)垂直固定在待檢測(cè)控制器上方，工業(yè)相機(jī)連接有邊緣計(jì)算設(shè)備，邊緣計(jì)算設(shè)備連接有上位機(jī)，上位機(jī)控制檢測(cè)啟動(dòng)，邊緣計(jì)算設(shè)備根據(jù)上位機(jī)控制信號(hào)執(zhí)行檢測(cè)，并將檢測(cè)結(jié)果發(fā)送到上位機(jī)。所述異常檢測(cè)算法部署在邊緣計(jì)算設(shè)備上。

19、本發(fā)明的有益效果：本發(fā)明提供的工業(yè)控制器屏幕顯示異常檢測(cè)方法能夠解決現(xiàn)有檢測(cè)技術(shù)中對(duì)負(fù)樣本的依賴，僅需正樣本進(jìn)行無監(jiān)督的深度學(xué)習(xí)模型訓(xùn)練即可。提高對(duì)正負(fù)樣本多樣的場(chǎng)景檢測(cè)效果，達(dá)到商用水平。同時(shí)降低對(duì)環(huán)境的依賴，僅需要普通工業(yè)相機(jī)、正常室內(nèi)環(huán)境、室內(nèi)環(huán)境燈即可滿足要求，降低硬件成本。解決了屏幕顯示異常檢測(cè)的準(zhǔn)確率低、效率低、人工成本高等問題。

20、本發(fā)明所述工業(yè)控制器屏幕顯示異常檢測(cè)方法對(duì)部署環(huán)境的要求相對(duì)較低，能夠節(jié)省硬件成本。多個(gè)模型綜合判定和動(dòng)態(tài)閾值的技術(shù)方案技能夠保證召回率，又能夠提高準(zhǔn)確率，提高了整體的檢測(cè)效果。同時(shí)采用無監(jiān)督深度學(xué)習(xí)模型，減少了對(duì)負(fù)樣本的依賴。算法采用深度學(xué)習(xí)，使得能夠處理較復(fù)雜和多樣的圖像，增加了技術(shù)方案的應(yīng)用范圍。

技術(shù)特征：

1.一種工業(yè)控制器屏幕顯示異常檢測(cè)方法，其特征在于，

2.根據(jù)權(quán)利要求1所述工業(yè)控制器屏幕顯示異常檢測(cè)方法，其特征在于，通過bag?ging模塊設(shè)定模型判定閾值和綜合判定檢測(cè)結(jié)構(gòu)，其中，patchcore模型設(shè)置閾值低于0.5；padim模型設(shè)置閾值為0.5；fastflow模型采樣動(dòng)態(tài)閾值，閾值跟隨環(huán)境變化而改變，具體策略為，

3.根據(jù)權(quán)利要求1所述工業(yè)控制器屏幕顯示異常檢測(cè)方法，其特征在于，異常檢測(cè)算法在模型訓(xùn)練階段圖像為rg?b域，且為歸一化的圖像，圖像歸一化方式為x′＝(x-min(x))/(max(x)-min(x))

4.根據(jù)權(quán)利要求1所述工業(yè)控制器屏幕顯示異常檢測(cè)方法，其特征在于，所述圖像采集采用工業(yè)相機(jī)采集控制器圖像，將工業(yè)相機(jī)垂直固定在待檢測(cè)控制器上方，工業(yè)相機(jī)連接有邊緣計(jì)算設(shè)備，邊緣計(jì)算設(shè)備連接有上位機(jī)，上位機(jī)控制檢測(cè)啟動(dòng)，邊緣計(jì)算設(shè)備根據(jù)上位機(jī)控制信號(hào)執(zhí)行檢測(cè)，并將檢測(cè)結(jié)果發(fā)送到上位機(jī)。

5.根據(jù)權(quán)利要求4所述工業(yè)控制器屏幕顯示異常檢測(cè)方法，其特征在于，所述異常檢測(cè)算法部署在邊緣計(jì)算設(shè)備上。

技術(shù)總結(jié)
本發(fā)明提供一種工業(yè)控制器屏幕顯示異常檢測(cè)方法，該方法通過包括Padim、patchcore和Fastflow等三個(gè)模型的異常檢測(cè)算法，以及bagging模塊對(duì)采集的屏幕圖像進(jìn)行判斷，當(dāng)兩個(gè)模型同時(shí)判斷圖像異常時(shí)則判定顯示異常，同時(shí)判斷為正常時(shí)，則判定為顯示正常；當(dāng)一個(gè)模型判斷正常另一個(gè)模型判斷異常時(shí)，歸一化圖像進(jìn)入訓(xùn)練好的Fastflow無監(jiān)督深度學(xué)習(xí)模型進(jìn)行判斷，當(dāng)Fastflow判斷為異常時(shí)，算法判定屏幕顯示異常，否則判定為顯示正常。本發(fā)明所述工業(yè)控制器屏幕顯示異常檢測(cè)方法對(duì)部署環(huán)境的要求相對(duì)較低，能夠節(jié)省硬件成本。多個(gè)模型綜合判定和動(dòng)態(tài)閾值的技術(shù)方案技能夠保證召回率，又能夠提高準(zhǔn)確率，提高了整體的檢測(cè)效果，同時(shí)采用無監(jiān)督深度學(xué)習(xí)模型，減少了對(duì)負(fù)樣本的依賴。

技術(shù)研發(fā)人員：連東輝,黃振飛,陳偉華,王智,陳鵬
受保護(hù)的技術(shù)使用者：鄭州恒達(dá)智控科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9