本發(fā)明屬于心電監(jiān)測(cè)，特別涉及一種基于transformer的心電信號(hào)壓縮感知方法。

背景技術(shù)：

1、心電信號(hào)作為一種人體醫(yī)學(xué)信息，是目前臨床用于檢測(cè)和診斷心血管疾病的重要技術(shù)。近年來(lái)，無(wú)線人體傳感網(wǎng)絡(luò)已廣泛應(yīng)用于獲取實(shí)時(shí)人體醫(yī)學(xué)信息，對(duì)心電信號(hào)的長(zhǎng)期實(shí)時(shí)監(jiān)測(cè)有助于發(fā)現(xiàn)和預(yù)防心血管疾病。然而，長(zhǎng)期實(shí)時(shí)的監(jiān)測(cè)使得采樣和傳輸?shù)男碾娦盘?hào)數(shù)據(jù)成倍增長(zhǎng)，傳統(tǒng)的采樣和傳輸技術(shù)受限于移動(dòng)設(shè)備的功耗和使用壽命，無(wú)法支持實(shí)現(xiàn)心電信號(hào)的長(zhǎng)期監(jiān)測(cè)。因此，如何在采樣和傳輸過(guò)程中有效減少心電信號(hào)的信息冗余，降低需要傳輸和存儲(chǔ)的數(shù)據(jù)量是實(shí)現(xiàn)相關(guān)技術(shù)的關(guān)鍵。

2、壓縮感知理論打破了傳統(tǒng)采樣理論的限制，利用信號(hào)的稀疏性從較少的樣本中獲得有效信息，降低采樣過(guò)程的頻率和復(fù)雜度，進(jìn)一步降低整個(gè)系統(tǒng)的功耗，為心電信號(hào)的長(zhǎng)期實(shí)時(shí)監(jiān)測(cè)和低功耗傳輸提供了解決方案。壓縮感知通過(guò)構(gòu)造合適的觀測(cè)矩陣來(lái)獲取低維測(cè)量信號(hào)，然后在信號(hào)接收端使用重建算法穩(wěn)定且精確地對(duì)低維測(cè)量信號(hào)進(jìn)行恢復(fù)重建，其中壓縮感知重建算法決定了能否得到高質(zhì)量高精度的重建信號(hào)。

3、傳統(tǒng)的壓縮感知重建算法主要利用信號(hào)在變換域的稀疏性和先驗(yàn)知識(shí)，通過(guò)求解優(yōu)化問(wèn)題，迭代重構(gòu)原始信號(hào)，具有較高的計(jì)算復(fù)雜度和時(shí)間復(fù)雜度，無(wú)法即時(shí)完成重建任務(wù)。而基于卷積神經(jīng)網(wǎng)絡(luò)的壓縮感知方法已展現(xiàn)出不錯(cuò)的效果，但卷積神經(jīng)網(wǎng)絡(luò)的局部連接和權(quán)值共享特性導(dǎo)致的應(yīng)用局限性也日益凸顯。卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元只關(guān)注輸入序列中的局部位置信息，這種局部關(guān)注的特性可能導(dǎo)致對(duì)全局信息的捕捉不足，從而影響了對(duì)長(zhǎng)序列信號(hào)的有效表示和重建。為了解決上述問(wèn)題，更好地完成心電信號(hào)壓縮感知的重建任務(wù)，本發(fā)明提出一種基于transformer的心電信號(hào)壓縮感知方法。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：為了克服以上不足，本發(fā)明的目的是提供一種基于transformer的心電信號(hào)壓縮感知方法，transformer網(wǎng)絡(luò)捕捉全局特性的能力和處理序列到序列任務(wù)的優(yōu)勢(shì)，可以快速精準(zhǔn)重構(gòu)壓縮采樣的低維心電信號(hào)，既降低了系統(tǒng)功耗，又可以得到高質(zhì)量的重建心電信號(hào)，并且在醫(yī)療層面能夠達(dá)到重構(gòu)信號(hào)質(zhì)量?jī)?yōu)秀的標(biāo)準(zhǔn)。

2、技術(shù)方案：為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于transformer的心電信號(hào)壓縮感知方法，包括如下步驟：

3、s1)：數(shù)據(jù)集制作，收集并整合待訓(xùn)練的心電圖數(shù)據(jù)，將心電圖數(shù)據(jù)組成實(shí)驗(yàn)數(shù)據(jù)集，對(duì)實(shí)驗(yàn)數(shù)據(jù)集內(nèi)的數(shù)據(jù)進(jìn)行濾波去噪和歸一化操作后，再將其按照8：2的比例隨機(jī)分成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

4、s2)：構(gòu)建基于transformer的壓縮感知網(wǎng)絡(luò)，所述基于transformer的壓縮感知網(wǎng)絡(luò)包括可學(xué)習(xí)采樣模塊、初步重建模塊、深度重建模塊；

5、首先采樣模塊使用數(shù)據(jù)驅(qū)動(dòng)的可訓(xùn)練感知矩陣，通過(guò)感知矩陣對(duì)初始心電信號(hào)進(jìn)行壓縮采樣，得到低維壓縮采樣信號(hào)；

6、模擬數(shù)據(jù)傳輸?shù)椒?wù)器終端的過(guò)程；隨后通過(guò)初步重建模塊和深度重建模塊兩階段對(duì)信號(hào)進(jìn)行恢復(fù)重建；

7、s3)：構(gòu)建最終損失函數(shù)，最終損失函數(shù)包括兩個(gè)部分，即初始重建損失和深度重建損失；

8、s4)：訓(xùn)練基于transformer的壓縮感知網(wǎng)絡(luò)，即將步驟s1)中的訓(xùn)練數(shù)據(jù)集切分成非重疊的數(shù)據(jù)段送入神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)用于心電信號(hào)的壓縮感知采樣與重建，訓(xùn)練塊大小為256×256，批大小為32；訓(xùn)練過(guò)程使用多項(xiàng)式學(xué)習(xí)策略調(diào)整學(xué)習(xí)率，訓(xùn)練次數(shù)為200輪，當(dāng)最終損失函數(shù)算出的損失值不再下降或者是出現(xiàn)震蕩時(shí)采用早期停止以避免過(guò)擬合；

9、s5)：壓縮感知重建效果評(píng)估，將測(cè)試數(shù)據(jù)集切成訓(xùn)練塊同樣尺寸的數(shù)據(jù)塊，然后送入步驟s4)中訓(xùn)練完成后的神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，再采用百分比均方誤差prd，信噪比snr等定量指標(biāo)在測(cè)試集上驗(yàn)證，并比較不同方法的診斷性能。

10、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述s2)中可學(xué)習(xí)采樣模塊的具體采樣方法如下：

11、首先將心電信號(hào)劃分成c×l個(gè)非重疊的數(shù)據(jù)段，其中c表示心電信號(hào)通道數(shù)量，l表示數(shù)據(jù)段的長(zhǎng)度；

12、設(shè)φ∈rm×n為可訓(xùn)練的感知矩陣，m＝σ×l，n＝l；

13、采樣率σ如下：

14、σ＝m/n(0≤σ≤1)；壓縮采樣過(guò)程可以表示為：

15、y＝s(x,φ))＝φ·x

16、其中，y為壓縮采樣的心電信號(hào)，x是原始心電信號(hào)，s(x,φ)表示壓縮采樣操作；

17、采樣模塊通過(guò)來(lái)自訓(xùn)練的反向傳播聯(lián)合訓(xùn)練感知矩陣φ的元素(用正態(tài)分布初始化)，并且感知矩陣φ的元素最終遵循類高斯分布，采樣模塊在與后續(xù)重建模塊聯(lián)合訓(xùn)練后，自適應(yīng)地參與到架構(gòu)中來(lái)改善信號(hào)重建質(zhì)量。在實(shí)際應(yīng)用中，使用訓(xùn)練得到的φ從原始心電信號(hào)中獲得測(cè)量值。

18、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述s2)中分兩階段對(duì)信號(hào)進(jìn)行恢復(fù)重建的具體過(guò)程如下：

19、第一階段初步重建模塊利用數(shù)據(jù)驅(qū)動(dòng)的初始重建矩陣來(lái)初步升維恢復(fù)信號(hào)，即初始重建模塊利用訓(xùn)練過(guò)程中學(xué)習(xí)到的心電信號(hào)的特征對(duì)信號(hào)進(jìn)行初步重建，使用可訓(xùn)練的初始重建矩陣初步還原信號(hào)；所述初始重建矩陣初始化為采樣矩陣φ的轉(zhuǎn)置，并通過(guò)反向傳播自動(dòng)訓(xùn)練，通過(guò)反向傳播與重建模塊聯(lián)合訓(xùn)練矩陣中的元素，充分學(xué)習(xí)心電信號(hào)的先驗(yàn)信息，利用訓(xùn)練過(guò)程中學(xué)習(xí)到的心電信號(hào)的特征對(duì)信號(hào)進(jìn)行初步重建，得到初始重建信號(hào)；

20、第二階段深度重建模塊使用基于transformer的混合重建網(wǎng)絡(luò)對(duì)信號(hào)進(jìn)行恢復(fù)重建，并使用預(yù)處理卷積網(wǎng)絡(luò)來(lái)學(xué)習(xí)心電信號(hào)之間的局部細(xì)節(jié)?；旌现亟ňW(wǎng)絡(luò)將預(yù)處理結(jié)果與初始重建信號(hào)進(jìn)行數(shù)據(jù)嵌入表示并添加位置信息作為transformer的輸入序列把原始心電信號(hào)作為目標(biāo)序列，使用transformer的編碼器和解碼器提取心電信號(hào)的數(shù)據(jù)特征并生成重建的心電信號(hào)。通過(guò)定制的transformer主干網(wǎng)絡(luò)與cnn重建模塊，基于transformer的心電信號(hào)壓縮感知網(wǎng)絡(luò)可有效捕獲信號(hào)間的全局位置依賴性和局部細(xì)節(jié)，同時(shí)使用優(yōu)化器，有效的建立原始信號(hào)和預(yù)測(cè)信號(hào)之間的映射關(guān)系，從而獲得高性能的重建心電信號(hào)。

21、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述s2)所述初始重建模塊利用訓(xùn)練過(guò)程中學(xué)習(xí)到的心電信號(hào)的特征對(duì)信號(hào)進(jìn)行初步重建，使用可訓(xùn)練的初始重建矩陣來(lái)初步還原信號(hào)，將初始化為采樣矩陣φ的轉(zhuǎn)置矩陣，并通過(guò)反向傳播自動(dòng)訓(xùn)練，對(duì)于采樣率σ＝m/n，經(jīng)過(guò)采樣模塊壓縮采樣得到的測(cè)量信號(hào)y的行數(shù)為σ×l；

22、

23、其中，xinit為初始重建的心電信號(hào)，表示初始重建過(guò)程，y＝s(·,φ)為壓縮采樣信號(hào)。

24、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述預(yù)處理卷積網(wǎng)絡(luò)包括依次連接的輸入層、二維卷積層、批量規(guī)范化層、elu激活層、輸出層；

25、信號(hào)經(jīng)過(guò)預(yù)處理卷積網(wǎng)絡(luò)學(xué)習(xí)局部細(xì)節(jié)的過(guò)程可表示為：

26、xpre＝xini-cpre(xini)

27、其中，cpre(·)表示的預(yù)處理卷積層，xpre表示經(jīng)過(guò)預(yù)處理卷積處理的信號(hào)。

28、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述transformer主干網(wǎng)絡(luò)由一對(duì)編碼器和解碼器構(gòu)成；初始重建信號(hào)和預(yù)處理的心電信號(hào)在嵌入表示后分別加上位置編碼，再輸入到編碼器解碼器中；

29、所述編碼器由多個(gè)相同的層疊加而成的，每個(gè)層都由重排列多頭自注意力層和前饋網(wǎng)絡(luò)層兩個(gè)子層組成，其中每個(gè)子層都采用了殘差連接和層規(guī)范化；

30、所述深度重建模塊的transformer主干網(wǎng)絡(luò)中編碼器的過(guò)程可表示為：

31、xen＝ten(em(xini)+pe(xini))

32、其中，ten(·)表示transformer的編碼器，em(·)表示嵌入層，對(duì)輸入xinit進(jìn)行向量化表示，pe(·)表示衡量輸入位置相關(guān)性的矩陣函數(shù)；

33、所述解碼器由多個(gè)相同的層疊加而成的，每個(gè)層都由重排列多頭自注意力層、重排列多頭交叉注意力層、前饋網(wǎng)絡(luò)層三個(gè)子層組成，層中采用了殘差連接和層規(guī)范化；

34、所述深度重建模塊的transformer主干網(wǎng)絡(luò)中解碼器的過(guò)程可表示為：

35、xde＝tde(xen,em(xpre))

36、其中，tde(·)表示transformer的解碼器過(guò)程，類似于編碼器ten(·)，但解碼器的輸入包含編碼器的輸出xen和嵌入層的輸出em(xpre)，最后，將輸出的心電信號(hào)數(shù)據(jù)組合即為重建完成的心電信號(hào)數(shù)據(jù)。

37、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，其特征在于：所述重排列多頭自注意力層中的每個(gè)頭都是一個(gè)結(jié)合深度可分離卷積的縮放點(diǎn)積注意力機(jī)制，這樣每個(gè)頭都可以關(guān)注輸入序列的不同部分，并計(jì)算出不同的加權(quán)和，縮放點(diǎn)積注意力機(jī)制通過(guò)對(duì)輸入進(jìn)行線性投影得到q，k，v，其中k和v經(jīng)過(guò)深度可分離卷積重排列減少空間維度，得到kp，vp；q、kp經(jīng)過(guò)點(diǎn)積運(yùn)算產(chǎn)生權(quán)重并最終作用在vp上，以恒定的代價(jià)訪問(wèn)信號(hào)的任意位置，并更多地關(guān)注注意力權(quán)重較高的位置，這樣每個(gè)頭都可以在關(guān)注輸入序列的不同部分的同時(shí)有效減少?gòu)?fù)雜度；

38、所述縮放點(diǎn)積注意力機(jī)制通過(guò)對(duì)于其輸入進(jìn)行線性投影得到q，k，v，維度大小分別為dq、dk和dv，投影過(guò)程如下：

39、q,k,v＝fqkv(xin)；

40、輸入信號(hào)xin經(jīng)過(guò)h次獨(dú)立的線性投影，分別得到h組維度為dq，dk和dv的q、k、v，分別對(duì)應(yīng)h個(gè)注意力頭的輸入：

41、

42、所述重排列多頭自注意力運(yùn)算過(guò)程如下：

43、

44、其中，dconv(·)表示深度可分離卷積操作，將k、v進(jìn)行通道維度縮減為dmodel/4，實(shí)現(xiàn)特征重排列；

45、的操作可具體表示為：

46、

47、其中，對(duì)于重排列多頭自注意力機(jī)制，此處的xin＝em(xini)+pe(xini)；

48、線性投影的矩陣為

49、所述重排列多頭交叉注意力層與重排列多頭自注意力層結(jié)構(gòu)完全一致，因此所述重排列多頭交叉注意力機(jī)制與重排列多頭自注意力運(yùn)算過(guò)程相同，區(qū)別在于其縮放點(diǎn)積注意力機(jī)制通過(guò)對(duì)編碼器的輸出xen進(jìn)行線性投影得到q，k，對(duì)em(xpre)進(jìn)行線性投影得到v；

50、具體如下：

51、重排列多頭交叉注意力機(jī)制中的表示為：

52、

53、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述縮放點(diǎn)積注意力機(jī)制在投影過(guò)程中通過(guò)計(jì)算q和所有k的點(diǎn)積，并將每個(gè)值除以比例因子來(lái)獲得權(quán)重；

54、隨后應(yīng)用softmax函數(shù)，其中比例因子有助于產(chǎn)生更平滑的softmax輸出；

55、最后，將注意力權(quán)重應(yīng)用于v；

56、為此，查詢、鍵和值被打包到矩陣

57、由于自注意力機(jī)制可以以恒定的代價(jià)訪問(wèn)任何位置的特征，因此，可以捕捉同一信號(hào)片段中不同心跳周期間的依賴關(guān)系，從而生成更具代表性的特征以完成更準(zhǔn)確的信號(hào)重建。

58、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述s3)構(gòu)建最終損失函數(shù)具體如下：

59、初始重建模塊的初始重建損失lini，

60、采用xini與x之間的余弦相似度作為損失函數(shù)來(lái)衡量；對(duì)于深度重建模塊的深度重建損失lcon，本研究通過(guò)歐式距離來(lái)計(jì)算，

61、因此，總損失l為：l＝lini+αlcon

62、其中，α是加權(quán)系數(shù)，用來(lái)平滑損失函數(shù)之間的貢獻(xiàn)差異。

63、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述前饋網(wǎng)絡(luò)層由兩個(gè)全連接層組成，多頭注意力子層的輸出和初始重建信號(hào)經(jīng)過(guò)殘差連接和層規(guī)范化后，作為前饋網(wǎng)絡(luò)的輸入。前饋網(wǎng)絡(luò)的操作可表示為：

64、xf＝ln(xmhsa+xin)

65、xffn＝ln(relu(xf)+xf)

66、其中，xf是前饋網(wǎng)絡(luò)的輸入，xffn是前饋網(wǎng)絡(luò)的輸出，relu()是一個(gè)整流線性函數(shù)，ln代表層規(guī)范化。

67、本發(fā)明所述的基于transformer的心電信號(hào)壓縮感知方法，所述步驟s5)采用百分比均方誤差prd、信噪比snr定量指標(biāo)在測(cè)試集上對(duì)不同方法的神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證與性能比較，具體內(nèi)容如下：

68、prd是原始信號(hào)和重構(gòu)信號(hào)差值的l2范數(shù)與原始信號(hào)的l2范數(shù)的比值，描述了重建的誤差，prd越小，重建質(zhì)量越好；

69、prd的公式表示為：

70、

71、信噪比與原始信號(hào)和噪聲的比值有關(guān)，同樣用來(lái)描述重建質(zhì)量，snr越大，重建效果越好；

72、snr公式表述如下：

73、

74、其中，x和分別是原始ecg信號(hào)和重建信號(hào)。

75、上述技術(shù)方案可以看出，本發(fā)明具有如下有益效果：

76、1、本發(fā)明所述的一種基于transformer的心電信號(hào)壓縮感知方法，結(jié)合壓縮感知和transformer，提出了新的心電信號(hào)壓縮感知采樣和重建算法，它利用了transformer網(wǎng)絡(luò)捕捉全局特性的能力和處理序列到序列任務(wù)的優(yōu)勢(shì)，可以快速精準(zhǔn)重構(gòu)壓縮采樣的低維心電信號(hào)，既降低了系統(tǒng)功耗，又可以得到高質(zhì)量的重建心電信號(hào)，并且在醫(yī)療層面能夠達(dá)到重構(gòu)信號(hào)質(zhì)量?jī)?yōu)秀的標(biāo)準(zhǔn)。

77、2、本發(fā)明數(shù)據(jù)驅(qū)動(dòng)的采樣模式，相比于傳統(tǒng)的壓縮感知算法通常使用固定傳感矩陣進(jìn)行隨機(jī)采樣，本發(fā)明設(shè)計(jì)的可學(xué)習(xí)采樣模塊可以在訓(xùn)練中學(xué)習(xí)ecg信號(hào)的先驗(yàn)知識(shí)，充分利用了ecg信號(hào)特征。

78、3、本發(fā)明提出的端到端的混合架構(gòu)的心電信號(hào)壓縮感知算法，集成了transformer主干架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)輔助，充分利用transformer和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，獲得高質(zhì)量的心電信號(hào)重建。