本發(fā)明屬于異常聲音檢測(cè)，具體涉及一種基于特征融合和nice模型的無(wú)監(jiān)督工業(yè)異常聲音檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、在現(xiàn)代工業(yè)生產(chǎn)中，異常聲音檢測(cè)對(duì)于維護(hù)設(shè)備正常運(yùn)行和預(yù)防故障至關(guān)重要。在工業(yè)異常聲檢測(cè)中，傳統(tǒng)的有監(jiān)督深度學(xué)習(xí)方法因標(biāo)注數(shù)據(jù)稀缺和異常情況多樣而應(yīng)用受限?，F(xiàn)有的自監(jiān)督深度學(xué)習(xí)方法雖然取得了一定發(fā)展，但其需要元數(shù)據(jù)輔助訓(xùn)練，而這些數(shù)據(jù)并不一定在任何情況下都是可用的，因此其應(yīng)用場(chǎng)景亦存在局限性。相比之下，無(wú)監(jiān)督深度學(xué)習(xí)方法不存在使用元數(shù)據(jù)輔助訓(xùn)練的問(wèn)題。然而，現(xiàn)有的多數(shù)無(wú)監(jiān)督學(xué)習(xí)深度方法針對(duì)單一聲音特征進(jìn)行學(xué)習(xí)，往往難以充分利用信號(hào)的有效信息。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的以上問(wèn)題，本發(fā)明提出了一種了基于特征融合與非線性獨(dú)立分量估計(jì)(non-linear?independent?components?estimation，nice)模型的無(wú)監(jiān)督工業(yè)異常聲音檢測(cè)方法及系統(tǒng)。本發(fā)明首先提取聲音的log-mel譜圖、tgramnet譜圖和sincnet譜圖特征；通過(guò)tgramnet譜圖和log-mel譜圖融合、sincnet譜圖和log-mel譜圖融合構(gòu)建兩組融合特征；融合特征作為輸入，雙路徑nice模型進(jìn)行訓(xùn)練和檢測(cè)，以負(fù)對(duì)數(shù)似然作為訓(xùn)練階段的損失以及測(cè)試階段的異常分?jǐn)?shù)；通過(guò)異常分?jǐn)?shù)判斷輸入聲音的異常與否。

2、先對(duì)于本發(fā)明中的專業(yè)術(shù)語(yǔ)進(jìn)行說(shuō)明：

3、(一)log-mel譜圖特征

4、log-mel譜圖特征是一種常用的聲音特征。在log-mel譜圖中，低頻區(qū)域的特征更加突出和細(xì)致，這是因?yàn)槊窢柨潭雀臃先硕穆?tīng)覺(jué)特性，對(duì)低頻聲音更加敏感，該特點(diǎn)使得log-mel譜圖在處理聲音相關(guān)任務(wù)時(shí)更加有效。

5、(二)tgramnet譜圖特征

6、tgramnet譜圖由tgramnet網(wǎng)絡(luò)從聲音信號(hào)中提取得到，其結(jié)構(gòu)如圖2所示。tgramnet網(wǎng)絡(luò)主要由1個(gè)大內(nèi)核一維卷積層和3個(gè)cnn塊組成。3個(gè)cnn塊結(jié)構(gòu)相同，每個(gè)塊包含層歸一化、leakyrelu激活函數(shù)和具有小核的一維卷積?；谝陨辖Y(jié)構(gòu)設(shè)計(jì)，tgramnet可以通過(guò)不同內(nèi)核大小的一維卷積，在捕獲時(shí)間依賴性的同時(shí)也能細(xì)化時(shí)間特征以識(shí)別更細(xì)微的變化。

7、(三)sincnet譜圖特征

8、sincnet譜圖由sincnet網(wǎng)絡(luò)從聲音信號(hào)中提取得到，其結(jié)構(gòu)如圖3所示。sincnet通過(guò)參數(shù)化、可學(xué)習(xí)的sinc函數(shù)來(lái)實(shí)現(xiàn)帶通濾波，其架構(gòu)的第一層是輸入數(shù)據(jù)和有限脈沖響應(yīng)(finite?impulse?response，fir)濾波器之間的時(shí)域卷積，其本質(zhì)是fir濾波器與輸入信號(hào)的每一段進(jìn)行逐點(diǎn)乘積后求和，即：

9、

10、其中，x[n]是一段聲音信號(hào)，h[n]是長(zhǎng)度為l的濾波器，而y[n]是經(jīng)過(guò)濾波的輸出信號(hào)。sincnet通過(guò)以下特定形式的卷積實(shí)現(xiàn)濾波：

11、y[n]＝x[n]×g[n,θ]

12、其中，g是一個(gè)基于參數(shù)化sinc函數(shù)的預(yù)定義函數(shù)，旨在模擬矩形帶通濾波器的行為。相較于傳統(tǒng)cnn需要從數(shù)據(jù)中學(xué)習(xí)每個(gè)濾波器的所有元素，g函數(shù)只存在少量參數(shù)θ需要學(xué)習(xí)。具體而言，sincnet只需學(xué)習(xí)濾波器的低頻和高頻截止頻率。通用帶通濾波器在頻率域的表現(xiàn)可以通過(guò)兩個(gè)低通濾波器之差來(lái)描述，即：

13、

14、其中，f1和f2分別是濾波器的低頻和高頻截止頻率，而rect(·)是矩形低通濾波器的響應(yīng)，定義為：

15、

16、通過(guò)對(duì)函數(shù)g執(zhí)行逆傅立葉變換后，可以得到濾波器函數(shù)g的脈沖響應(yīng)：

17、g[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)

18、其中，sinc函數(shù)定義為sinc(x)＝sin(x)/x，為了確保f1≥0和f2≥f1，有如下約束：

19、

20、上述截止頻率可在[0,fs/2]的區(qū)間內(nèi)進(jìn)行隨機(jī)化配置，fs為輸入信號(hào)的采樣率。也可以采用梅爾刻度濾波器組的截止頻率初始化，這樣可以在頻譜較低的部分配置更多的濾波器。而這一區(qū)域往往包含更多音頻信號(hào)中的關(guān)鍵特征，有助于增強(qiáng)模型對(duì)這些關(guān)鍵性特征的捕捉能力。

21、此外，由于函數(shù)g在時(shí)域中的表達(dá)式具有無(wú)限延伸的特性，若直接進(jìn)行計(jì)算，將不可避免地引發(fā)頻譜能量的泄露現(xiàn)象。為了降低該影響，使用漢明窗對(duì)函數(shù)g進(jìn)行截?cái)嗵幚?，以此?lái)平滑函數(shù)g在其端點(diǎn)處的不連續(xù)性。相應(yīng)的計(jì)算過(guò)程可表述為：

22、gω(n,f1,f2)＝g(n,f1,f2)·ω(n)

23、(四)雙路徑nice(dpnice)模型

24、dpnice模型在nice模型的基礎(chǔ)上，通過(guò)構(gòu)建雙路徑機(jī)制，以實(shí)現(xiàn)對(duì)多種輸入特征的有效融合，進(jìn)而更全面地捕獲原始聲音信號(hào)中豐富和有價(jià)值的信息。dpnice模型構(gòu)建為：dpnice模型由若干交替耦合層和一個(gè)尺度變換層構(gòu)成。每個(gè)交替耦合層的輸出節(jié)點(diǎn)通過(guò)兩個(gè)通道實(shí)現(xiàn)兩路nice模型的信息交換，具體實(shí)現(xiàn)為某路nice模型中當(dāng)前耦合層輸出的不變分量傳遞到另一路nice模型對(duì)應(yīng)耦合層輸出的變動(dòng)分量。具體的，設(shè)和為其中一路nice模型的兩個(gè)輸入分量，和為第一個(gè)交替耦合層的輸出分量；和為另一路nice模型的兩個(gè)輸入分量，和為第一個(gè)交替耦合層的輸出分量，則公式表示為：

25、

26、其中，和為不變分量，和為變動(dòng)分量，g(·)為耦合函數(shù)，m(·)為可逆變換函數(shù)，如圖4所示。此外，尺度變換層的輸入為交替耦合層的四個(gè)輸出分量首尾相接拼接而成的向量，如圖5所示。

27、本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案如下：

28、一種基于特征融合和nice模型的無(wú)監(jiān)督工業(yè)異常聲音檢測(cè)方法，其使用log-mel譜圖、tgramnet譜圖和sincnet譜圖特征融合后的特征為輸入并結(jié)合雙路徑nice神經(jīng)網(wǎng)絡(luò)的模型，具體步驟如下：

29、步驟(一)，模型訓(xùn)練：對(duì)原始聲音信號(hào)進(jìn)行三種譜圖的特征提取，通過(guò)拼接形成兩組融合特征，輸入雙路徑nice即dpnice模型中進(jìn)行訓(xùn)練；

30、步驟(二)，異常檢測(cè)：對(duì)于采集的未知聲音信號(hào)，提取三種譜圖的特征，通過(guò)拼接形成兩組融合特征，輸入步驟(一)訓(xùn)練好的模型，判斷其是否異常。

31、優(yōu)選的，(一)模型訓(xùn)練具體如下：

32、步驟1-1、對(duì)原始聲信號(hào)進(jìn)行l(wèi)og-mel譜圖fm、tgramnet譜圖ft和sincnet譜圖fs特征提取。

33、步驟1-2、將log-mel譜圖同時(shí)分別與sincnet譜圖和tgramnet譜圖進(jìn)行拼接形成兩組融合特征fmt(log-mel譜圖與tgramnet譜圖的融合特征)和fms(log-mel譜圖與sincnet譜圖的融合特征)。

34、本步驟中，融合特征fmt的實(shí)現(xiàn)具體為fmt＝concat(fm,ft)，其中fm∈rm×n，ft∈rm×n，fmt∈r2m×n，其中，concat(·)表示拼接融合操作，m為log-mel譜圖對(duì)應(yīng)的濾波器數(shù)量，n為log-mel譜圖的幀數(shù)。

35、本步驟中，融合特征fms的實(shí)現(xiàn)具體為fms＝concat(fm,fs)，fs∈rm×n，fms∈r2m×n。

36、步驟1-3、將訓(xùn)練集和測(cè)試集的聲音按步驟1-1和步驟1-2處理，數(shù)據(jù)集中每個(gè)樣本得到步驟1-2所述的兩組融合特征fmt和fms。

37、步驟1-4、將訓(xùn)練集每個(gè)樣本的融合特征fmt和fms分別輸入dpnice模型的兩路nice模型中，并進(jìn)行訓(xùn)練以優(yōu)化模型參數(shù)。具體的，模型訓(xùn)練通過(guò)最小化dpnice模型隱空間數(shù)據(jù)與標(biāo)準(zhǔn)多元高斯先驗(yàn)分布的負(fù)對(duì)數(shù)似然實(shí)現(xiàn)，其實(shí)現(xiàn)細(xì)節(jié)與nice模型相同。

38、優(yōu)選的，(二)異常檢測(cè)：對(duì)于一個(gè)采集到的未知聲信號(hào)數(shù)據(jù)，進(jìn)行如下處理判斷其異常與否：

39、步驟2-1、按步驟(一)中步驟1-1和步驟1-2提取log-mel譜圖特征fm、tgramnet譜圖特征ft和sincnet譜圖特征fs；然后，fm分別與ft、fs進(jìn)行拼接得到兩組融合特征fmt和fms。

40、步驟2-2、將步驟2-1所得融和特征fmt和fms輸入dpnice模型，在隱空間中計(jì)算得到負(fù)對(duì)數(shù)似然值，作為異常分?jǐn)?shù)s。

41、步驟2-3、將步驟2-2所得異常分?jǐn)?shù)s與閾值aθ對(duì)比，大于閾值aθ表示輸入的聲音信號(hào)異常，反之表示正常，表示為：

42、

43、本發(fā)明還公開(kāi)了一種基于特征融合和nice模型的無(wú)監(jiān)督工業(yè)異常聲音檢測(cè)系統(tǒng)，基于上述方法，具體包括如下模塊：

44、模型訓(xùn)練模塊：對(duì)原始聲音信號(hào)進(jìn)行三種譜圖的特征提取，通過(guò)拼接形成兩組融合特征，輸入雙路徑nice即dpnice模型中進(jìn)行訓(xùn)練；

45、異常檢測(cè)模塊：對(duì)于采集的未知聲音信號(hào)，提取三種譜圖的特征，通過(guò)拼接形成兩組融合特征，輸入訓(xùn)練好的模型，判斷其是否異常。

46、本發(fā)明有益效果如下：

47、本發(fā)明技術(shù)方案中，dpnice模型的訓(xùn)練無(wú)需標(biāo)簽數(shù)據(jù)，節(jié)省大量人工成本，與監(jiān)督學(xué)習(xí)方式相比，本發(fā)明使用場(chǎng)景更廣泛。此外，相較于單一特征方法，本發(fā)明使用三種不同聲音特征，可以提高對(duì)聲音信號(hào)的表征力度，捕獲聲音信號(hào)更全面和更豐富的信息，擁有更好的檢測(cè)效果。