本發(fā)明涉及數(shù)據(jù)處理，更具體地涉及一種缺陷類型的檢測(cè)方法、一種缺陷類型的檢測(cè)裝置、一種電子設(shè)備、一種存儲(chǔ)介質(zhì)和一種計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在工業(yè)領(lǐng)域，隨著生產(chǎn)技術(shù)的不斷發(fā)展，人們對(duì)于工業(yè)產(chǎn)品的生產(chǎn)質(zhì)量和生產(chǎn)效率提出了更高的要求。而隨著圖像處理技術(shù)的發(fā)展，越來越多的產(chǎn)品檢測(cè)是基于圖像進(jìn)行檢測(cè)的，如果檢測(cè)精度較低，那么基于圖像檢測(cè)的方式的實(shí)用性也會(huì)降低。

2、例如，對(duì)于晶圓的檢測(cè)過程，相關(guān)技術(shù)中通常使用自動(dòng)光學(xué)檢測(cè)（automatedoptical?inspection，aoi）設(shè)備對(duì)晶圓進(jìn)行外觀檢測(cè)，以確定晶圓上缺陷的種類。而晶圓上不同的缺陷隨機(jī)性較強(qiáng)，復(fù)雜多變。故如何準(zhǔn)確對(duì)缺陷類型進(jìn)行檢測(cè)，是本領(lǐng)域技術(shù)人員亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、考慮到上述問題而提出了本發(fā)明。本發(fā)明提供了一種缺陷類型的檢測(cè)方法、一種缺陷類型的檢測(cè)裝置、一種電子設(shè)備、一種存儲(chǔ)介質(zhì)和一種計(jì)算機(jī)程序產(chǎn)品。

2、根據(jù)本發(fā)明一個(gè)方面，提供了一種缺陷類型的檢測(cè)方法，該檢測(cè)方法包括：

3、在待測(cè)對(duì)象的待測(cè)圖像中確定缺陷區(qū)域；

4、提取待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征；

5、基于待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征，利用訓(xùn)練后的聚合投影模塊，生成第一聚合特征，其中，訓(xùn)練后的聚合投影模塊基于待測(cè)對(duì)象的訓(xùn)練圖像的第一全局特征和第一缺陷特征進(jìn)行訓(xùn)練得到，第一全局特征為訓(xùn)練圖像整體的圖像特征，第一缺陷特征為訓(xùn)練圖像中缺陷區(qū)域?qū)?yīng)的圖像特征；

6、基于第一聚合特征，確定待測(cè)對(duì)象的實(shí)際缺陷類型。

7、示例性地，提取待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征，包括：

8、將待測(cè)圖像劃分為多個(gè)第一圖像塊；

9、提取位于待測(cè)圖像中缺陷區(qū)域的第一圖像塊的第一圖像塊特征；

10、將所有第一圖像塊特征進(jìn)行特征融合，以得到融合特征作為缺陷區(qū)域?qū)?yīng)的圖像特征。

11、示例性地，基于第一聚合特征，確定待測(cè)對(duì)象的實(shí)際缺陷類型，包括：

12、將第一聚合特征與特征庫中的預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的多個(gè)預(yù)設(shè)特征各自對(duì)應(yīng)的缺陷類型，確定第一聚合特征對(duì)應(yīng)的缺陷類型，其中，特征庫保存有多個(gè)預(yù)設(shè)特征和每個(gè)預(yù)設(shè)特征各自對(duì)應(yīng)的缺陷類型；

13、基于第一聚合特征對(duì)應(yīng)的缺陷類型，確定待測(cè)對(duì)象的實(shí)際缺陷類型。

14、示例性地，上述檢測(cè)方法還包括：

15、針對(duì)每個(gè)初始圖像，

16、在該初始圖像中確定缺陷區(qū)域，其中，該初始圖像對(duì)應(yīng)有缺陷類型；

17、將該初始圖像劃分為多個(gè)第二圖像塊，并生成位于該初始圖像中缺陷區(qū)域的第二圖像塊的第二圖像塊特征；

18、將該初始圖像的所有第二圖像塊特征進(jìn)行特征融合，以得到該初始圖像的第二融合特征；

19、將該初始圖像的第二融合特征輸入至未訓(xùn)練的聚合投影模塊，以得到該初始圖像的第二聚合特征；

20、針對(duì)每個(gè)缺陷類型，將該缺陷類型對(duì)應(yīng)的所有初始圖像的第二聚合特征進(jìn)行聚類操作，并將聚類得到的聚類中心特征作為特征庫中的預(yù)設(shè)特征之一，將該缺陷類型作為聚類中心特征對(duì)應(yīng)的缺陷類型。

21、示例性地，上述檢測(cè)方法還包括：

22、在訓(xùn)練圖像中確定缺陷區(qū)域；

23、將訓(xùn)練圖像劃分為多個(gè)第三圖像塊，并生成位于訓(xùn)練圖像中缺陷區(qū)域的第三圖像塊的第三圖像塊特征，以作為第一缺陷特征；

24、將所有第三圖像塊進(jìn)行特征融合，以得到第三融合特征；

25、將第三融合特征輸入至未訓(xùn)練完成的聚合投影模塊，以得到第三聚合特征；

26、將第三聚合特征與特征庫中的預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的多個(gè)預(yù)設(shè)特征，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)；

27、針對(duì)與第三聚合特征匹配的每個(gè)預(yù)設(shè)特征，基于第三聚合特征，對(duì)特征庫中的該預(yù)設(shè)特征進(jìn)行更新。

28、示例性地，將第三聚合特征與特征庫中的預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的多個(gè)預(yù)設(shè)特征，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)，包括以下至少一項(xiàng)：

29、將第三聚合特征與特征庫中的所有預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的每個(gè)預(yù)設(shè)特征分別與第三聚合特征之間的差異，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)；

30、將第三聚合特征與特征庫中的所有第一特征進(jìn)行匹配，并基于匹配的每個(gè)第一特征分別與第三聚合特征之間的差異，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)，其中，第一特征為缺陷類型與訓(xùn)練圖像對(duì)應(yīng)的缺陷類型相同的預(yù)設(shè)特征；

31、將第三聚合特征與特征庫中的所有第二特征進(jìn)行匹配，并基于匹配的每個(gè)第二特征分別與第三聚合特征之間的差異，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)，其中，第二特征為缺陷類型與訓(xùn)練圖像對(duì)應(yīng)的缺陷類型不同的預(yù)設(shè)特征。

32、示例性地，上述檢測(cè)方法還包括：

33、生成待測(cè)圖像的第二全局特征，其中，第二全局特征為待測(cè)圖像整體的圖像特征；

34、將第二全局特征輸入至訓(xùn)練后的聚合投影模塊，以得到第四聚合特征；

35、基于第一聚合特征，確定待測(cè)對(duì)象的實(shí)際缺陷類型，包括：

36、基于第一聚合特征和第四聚合特征，確定待測(cè)對(duì)象的實(shí)際缺陷類型。

37、示例性地，基于第一聚合特征和第四聚合特征，確定待測(cè)對(duì)象的實(shí)際缺陷類型，包括：

38、將第四聚合特征與特征庫中的預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的多個(gè)預(yù)設(shè)特征各自對(duì)應(yīng)的缺陷類型，確定第四聚合特征對(duì)應(yīng)的缺陷類型；

39、基于第一聚合特征對(duì)應(yīng)的缺陷類型和第四聚合特征對(duì)應(yīng)的缺陷類型，確定待測(cè)對(duì)象的實(shí)際缺陷類型。

40、示例性地，上述檢測(cè)方法還包括：

41、針對(duì)每個(gè)初始圖像，

42、生成該初始圖像的第三全局特征，其中，該初始圖像對(duì)應(yīng)有缺陷類型，第三全局特征為該初始圖像整體的圖像特征；

43、將該初始圖像的第三全局特征輸入至未訓(xùn)練的聚合投影模塊，以得到該初始圖像的第五聚合特征；

44、針對(duì)每個(gè)缺陷類型，將該缺陷類型對(duì)應(yīng)的所有初始圖像的第五聚合特征進(jìn)行聚類操作，并將聚類得到的聚類中心特征作為特征庫中的預(yù)設(shè)特征之一，將該缺陷類型作為聚類中心特征對(duì)應(yīng)的缺陷類型。

45、示例性地，上述檢測(cè)方法還包括：

46、生成訓(xùn)練圖像的第四全局特征，其中，第四全局特征為訓(xùn)練圖像整體的圖像特征；

47、將第四全局特征輸入至未訓(xùn)練完成的聚合投影模塊，以得到第六聚合特征；

48、將第六聚合特征與特征庫中的預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的多個(gè)預(yù)設(shè)特征，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)；

49、針對(duì)與第六聚合特征匹配的每個(gè)預(yù)設(shè)特征，基于第六聚合特征，對(duì)特征庫中的該預(yù)設(shè)特征進(jìn)行更新。

50、示例性地，將第六聚合特征與特征庫中的預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的多個(gè)預(yù)設(shè)特征，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)，包括以下至少一項(xiàng)：

51、將第六聚合特征與特征庫中的所有預(yù)設(shè)特征進(jìn)行匹配，并基于匹配的每個(gè)預(yù)設(shè)特征分別與第六聚合特征之間的差異，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)；

52、將第六聚合特征與特征庫中的所有第三特征進(jìn)行匹配，并基于匹配的每個(gè)第三特征分別與第六聚合特征之間的差異，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)，其中，第三特征為缺陷類型與訓(xùn)練圖像對(duì)應(yīng)的缺陷類型相同的預(yù)設(shè)特征；

53、將第六聚合特征與特征庫中的所有第四特征進(jìn)行匹配，并基于匹配的每個(gè)第四特征分別與第六聚合特征之間的差異，調(diào)整未訓(xùn)練完成的聚合投影模塊的模塊參數(shù)，其中，第四特征為缺陷類型與訓(xùn)練圖像對(duì)應(yīng)的缺陷類型不同的預(yù)設(shè)特征。

54、根據(jù)本發(fā)明再一方面，還提供了一種缺陷類型的檢測(cè)裝置，該檢測(cè)裝置包括：缺陷區(qū)域確定模塊、圖像特征提取模塊、第一聚合特征生成模塊和實(shí)際缺陷類型確定模塊。

55、缺陷區(qū)域確定模塊用于在待測(cè)對(duì)象的待測(cè)圖像中確定缺陷區(qū)域；

56、圖像特征提取模塊用于提取所述待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征；

57、第一聚合特征生成模塊用于基于所述待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征，利用訓(xùn)練后的聚合投影模塊，生成第一聚合特征，其中，所述訓(xùn)練后的聚合投影模塊基于待測(cè)對(duì)象的訓(xùn)練圖像的第一全局特征和第一缺陷特征進(jìn)行訓(xùn)練得到，所述第一全局特征為所述訓(xùn)練圖像整體的圖像特征，所述第一缺陷特征為所述訓(xùn)練圖像中缺陷區(qū)域?qū)?yīng)的圖像特征；

58、實(shí)際缺陷類型確定模塊用于基于所述第一聚合特征，確定所述待測(cè)對(duì)象的實(shí)際缺陷類型。

59、根據(jù)本發(fā)明又一方面，還提供了一種電子設(shè)備。該電子設(shè)備包括：處理器和存儲(chǔ)器。其中，上述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序指令，上述計(jì)算機(jī)程序指令被所述處理器運(yùn)行時(shí)用于執(zhí)行上述的缺陷類型的檢測(cè)方法。

60、根據(jù)本發(fā)明再一方面，還提供了一種存儲(chǔ)介質(zhì)。在該存儲(chǔ)介質(zhì)上存儲(chǔ)了程序指令，該程序指令在運(yùn)行時(shí)用于執(zhí)行上述的缺陷類型的檢測(cè)方法。

61、根據(jù)本發(fā)明的另一方面，還提供一種計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序指令，該計(jì)算機(jī)程序指令在運(yùn)行時(shí)用于執(zhí)行上述的缺陷類型的檢測(cè)方法。

62、根據(jù)本發(fā)明實(shí)施例的上述方案，可在待測(cè)對(duì)象的待測(cè)圖像中確定缺陷區(qū)域。而后，提取待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征。再基于待測(cè)圖像中缺陷區(qū)域?qū)?yīng)的圖像特征，利用訓(xùn)練后的聚合投影模塊，生成第一聚合特征。最后，基于第一聚合特征，確定待測(cè)對(duì)象的實(shí)際缺陷類型。上述方案中訓(xùn)練后的聚合投影模塊是基于訓(xùn)練圖像的第一全局特征和第一缺陷特征進(jìn)行訓(xùn)練得到，故訓(xùn)練后的聚合投影模塊所輸出的第一聚合特征，在一定程度上也關(guān)注到了待測(cè)圖像的全局特征，有利于提高實(shí)際缺陷類型的生成精度。