本發(fā)明屬于醫(yī)學(xué)圖像處理領(lǐng)域，涉及一種基于卷積物理信息神經(jīng)網(wǎng)絡(luò)的擴(kuò)散光學(xué)斷層成像重建方法。

背景技術(shù)：

1、目前乳腺癌的臨床檢測主要依賴于現(xiàn)代醫(yī)學(xué)成像技術(shù)，例如：乳腺x射線攝影、超聲波檢測、mri和pet等。在檢測出異常后往往會輔以病理檢查來給出最終診斷結(jié)果。但是上述檢測手段都存在不足之處，乳腺x射線攝影和pet存在輻射致癌風(fēng)險，mri檢測容易產(chǎn)生誤判；超聲波檢測深度不足。擴(kuò)散光學(xué)斷層成像是一種新興的腫瘤檢測方法，其具有無害、高性價比、實(shí)時測量等多種優(yōu)點(diǎn)，是一種有很大潛力的乳腺腫瘤檢測方法。

2、擴(kuò)散光學(xué)斷層成像(diffusion?optical?tomography,dot)使用非電離的近紅外光(光波長600nm-900nm)照射人體組織，通過探測生物體的出射光，結(jié)合圖像重建技術(shù)和擴(kuò)散光測量技術(shù)來獲得二維或三維的組織體光學(xué)參數(shù)分布圖像，能為癌癥診斷提供可靠依據(jù)。對比前文所述的幾種檢測手段，dot技術(shù)在設(shè)備復(fù)雜度、維護(hù)成本和維護(hù)難度上均有著巨大優(yōu)勢，更有作為乳腺癌早期篩查技術(shù)而普及的希望。其具有無創(chuàng)、高性價比、實(shí)時測量和非電離輻射成像等眾多的優(yōu)點(diǎn)。

3、目前，描述光在組織體內(nèi)傳播的物理模型主要有蒙特卡洛模型、輻射傳輸方程模型和擴(kuò)散方程模型，其中，蒙特卡羅方法計算速度非常慢；輻射傳輸方程在復(fù)雜幾何體的情況下無法得出解析解。擴(kuò)散方程是輻射傳輸方程的簡化形式，在低散射區(qū)域有更好的模擬效果。擴(kuò)散方程如下：

4、

5、其中κ(r)是組織體內(nèi)r處的光學(xué)參數(shù)分布，μa(r)是組織體內(nèi)r處的吸收系數(shù)分布，φ(r)是組織體內(nèi)r處的光強(qiáng)值q0(r)是組織體內(nèi)r處的光源項(xiàng)。

6、由于組織體的不規(guī)則性，擴(kuò)散方程無法直接求解，需要引入有限元分析方法，將擴(kuò)散方程轉(zhuǎn)化為有限元框架下的矩陣方程：

7、(k(κ)+cμa+(1/2a)f)φ＝q0#(2)

8、開源軟件包nirfast中提供了完成上述求解過程的求解器，可以計算出光從組織體中出射的情況。而重建組織體光學(xué)參數(shù)分布圖的過程與上述過程完全相反，是在得到了組織體的出射光后，逆向求解光學(xué)參數(shù)分布的過程。但是上述正向求解與逆向求解均存在問題。正向求解無法計算解析解；逆向求解需要進(jìn)行線性化近似，再放大光學(xué)參數(shù)引起的光通量變化，以進(jìn)行求解，這樣做的弊端是噪聲與誤差同時也得到了放大，影響了最終的成像質(zhì)量。且由于光在組織體中的傳播的隨機(jī)性非常強(qiáng)，會有不同的光學(xué)參數(shù)分布對應(yīng)相同的組織體表面光強(qiáng)探測值的情況出現(xiàn)，這就意味著逆向重建過程屬于不適定問題。

9、物理信息神經(jīng)網(wǎng)絡(luò)(physics?informedneural?network,pinn，以下簡稱pinn)是一種科學(xué)機(jī)器在傳統(tǒng)數(shù)值領(lǐng)域的應(yīng)用方法，也就是將現(xiàn)實(shí)的物理約束(例如物理方程)作為限制加入到網(wǎng)絡(luò)訓(xùn)練之中，使得擬合得到的結(jié)果更加符合物理規(guī)律。其原理是通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來最小化損失函數(shù)，以近似ped的求解。所謂的損失函數(shù)項(xiàng)包括初始和邊界條件的殘差項(xiàng)，以及區(qū)域中選中的點(diǎn)(即配點(diǎn))處的偏微分方程殘差。物理信息神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，直接進(jìn)行推理就可以得到所需時空點(diǎn)處的值了。相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，pinn直接使用物理方程作為損失函數(shù)，結(jié)合均方誤差等損失函數(shù)指導(dǎo)神經(jīng)網(wǎng)絡(luò)收斂，它連接了數(shù)據(jù)與物理知識，很好的彌補(bǔ)了科學(xué)機(jī)器學(xué)習(xí)領(lǐng)域中單純數(shù)據(jù)驅(qū)動的弱點(diǎn)(純數(shù)據(jù)驅(qū)動模式適合處理有大量的觀測值的應(yīng)用，但是當(dāng)數(shù)據(jù)量降低時，模型的泛化性會不可避免的變差，換言之，網(wǎng)絡(luò)的推斷結(jié)果可能并不符合物理實(shí)際情況，也就是不可信)。在各種深度學(xué)習(xí)框架中的自動微分功能的幫助下，對變量求導(dǎo)(求梯度)變得十分簡單，這也是用物理信息神經(jīng)網(wǎng)絡(luò)的一大優(yōu)勢所在。

10、針對上述提到的逆問題的不適定性和普通神經(jīng)網(wǎng)絡(luò)不可信、泛化性差的問題，本發(fā)明首次提出了基于二維卷積物理信息神經(jīng)網(wǎng)絡(luò)的擴(kuò)散光學(xué)斷層成像重建方法，開創(chuàng)性的將物理信息神經(jīng)網(wǎng)絡(luò)引入到擴(kuò)散光學(xué)斷層成像重建中，并實(shí)現(xiàn)了針對二維數(shù)據(jù)的自動梯度運(yùn)算。解決了上述傳統(tǒng)方法的痛點(diǎn)。相比一般的深度學(xué)習(xí)重建算法，本發(fā)明使用描述光在組織體內(nèi)部傳輸過程的擴(kuò)散方程這一物理約束指導(dǎo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)具有物理可解釋性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明設(shè)計了一種基于卷積物理信息神經(jīng)網(wǎng)絡(luò)的擴(kuò)散光學(xué)斷層成像重建方法，它包括三個模塊：數(shù)據(jù)預(yù)處理模塊、二維空間物理信息損失函數(shù)模塊和二維卷積神經(jīng)網(wǎng)絡(luò)重建模塊。其中，數(shù)據(jù)預(yù)處理模塊的作用是將探測器測得的數(shù)據(jù)通過特定規(guī)則映射到二維數(shù)據(jù)空間中，使之可以作為二維卷積神經(jīng)網(wǎng)絡(luò)重建模塊的輸入數(shù)據(jù)。其具體實(shí)現(xiàn)如下：

2、輸入數(shù)據(jù)為組織體出射光探測值φboundary，輸出為經(jīng)過數(shù)據(jù)預(yù)處理后的二維數(shù)據(jù)特征圖datafeature：

3、datafeature＝fmapping(fnorm(log(φboundary)))

4、其中，φboundary為在組織體表面采集的一維近紅外光信號，fnorm代表歸一化計算，fmapping代表對數(shù)據(jù)由一維到二維的數(shù)學(xué)映射，datafeature為得到的二維數(shù)據(jù)特征圖。

5、二維空間物理信息損失函數(shù)模塊的作用是通過計算擴(kuò)散方程對二維卷積神經(jīng)網(wǎng)絡(luò)重建模塊的訓(xùn)練進(jìn)行約束。其具體實(shí)現(xiàn)如下：

6、使用特殊的一階微分算子對已知的組織體各個位置光強(qiáng)值φ(r)和由神經(jīng)網(wǎng)絡(luò)重建出的組織體光學(xué)參數(shù)分布fθ(φboundary)求梯度，隨后將得到的結(jié)果和其他已知量帶入下式對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練進(jìn)行約束：

7、

8、其中fθ代表神經(jīng)網(wǎng)絡(luò)，θ代表需要訓(xùn)練的網(wǎng)絡(luò)參數(shù)，q0(r)為已知的光源項(xiàng)，φ(r)為已知的組織體光強(qiáng)值分布(q0(r)和φ(r)皆由matlab中的開源軟件包nirfast給出)。上式中：

9、

10、即為改寫后的擴(kuò)散方程，在理想情況下，上式的計算結(jié)果應(yīng)為0。而組織體內(nèi)r處的吸收系數(shù)μa(r)可以由已知的組織體約化散射系數(shù)μs(r)'和神經(jīng)網(wǎng)絡(luò)預(yù)測出的組織體光學(xué)參數(shù)分布fθ(φboundary)計算得出，其關(guān)系如下：

11、

12、二維卷積神經(jīng)網(wǎng)絡(luò)重建模塊的作用是提取二維數(shù)據(jù)特征圖的特征，并恢復(fù)出待測組織體的光學(xué)參數(shù)分布圖。神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)構(gòu)成和具體實(shí)現(xiàn)如下：

13、二維卷積神經(jīng)網(wǎng)絡(luò)重建模塊由維度擴(kuò)充模塊、下采樣模塊和上采樣模塊構(gòu)成。

14、1)維度擴(kuò)充模塊使用32個3×3的卷積核，在保證二維數(shù)據(jù)特征圖的大小不變的情況下將輸入的二維數(shù)據(jù)特征圖的維度由1擴(kuò)充至32，其目的在于擴(kuò)充數(shù)據(jù)的可用特征總量。維度擴(kuò)充模塊可由下式表示：

15、dataoutput＝f2(f1(datainput,ω1,b1),ω2,b2)

16、其中f1代表二維卷積層和批歸一化層，ρ1，b1為二維卷積層的權(quán)重和偏置；f2深度特征提取層和批歸一化層，ω2，b2為深度特征提取層的權(quán)重和偏置；

17、2)下采樣模塊使用三個完全相同的下采樣塊實(shí)現(xiàn)對數(shù)據(jù)高維特征的提取。下采樣塊的網(wǎng)絡(luò)層按照先后順序依次為：最大池化層、下采樣二維卷層和批歸一化層、深度特征提取層和批歸一化層。最大池化層的作用是將特征圖的長和寬各縮小為原來的1/2，下采樣二維卷積層的作用是在特征圖的大小不變的前提下將其維度擴(kuò)展為原來的2倍；而深度特征提取層和批歸一化層的作用則與維度擴(kuò)充模塊中深度特征提取層和批歸一化層的作用一致，這里不在贅述。經(jīng)過三個下采樣模塊后，特征的維度為256。下采樣模塊可由下式表示：

18、dataoutput＝fdeepdown(fdown(d(datainput)，ωdown，bdown)，ωdeepdown，bdeepdown)其中，d代表下采樣層；fdown代表下采樣二維卷積層和批歸一化層，ωdown，bdown為下采樣二維卷積層的權(quán)重和偏置；fdeepdown代表深度特征提取層和批歸一化層，ωdeepdown，bdeepdown為深度特征提取層的權(quán)重和偏置；

19、3)上采樣模塊的作用是放大特征圖的尺寸，以恢復(fù)待測組織體光學(xué)參數(shù)分布的特征。其包含兩種上采樣塊，其中前兩個上采樣塊結(jié)構(gòu)相同，網(wǎng)絡(luò)層按照先后順序依次為：上采樣層、上采樣二維卷層和批歸一化層、深度特征提取層和批歸一化層。其中，上采樣層使用最近鄰差值，在保證特征圖維度不變的情況下，將特征圖的長和寬擴(kuò)充為原來的2倍；上采樣二維卷層和批歸一化層的作用是在保證特征圖的長和寬不變的情況下，將特征圖的維度縮減為原來的1/2；而深度特征提取層和批歸一化層的作用則與維度擴(kuò)充模塊中深度特征提取層和批歸一化層的作用一致，這里不在贅述。第一和第二個上采樣塊可由下式表示：

20、dataoutput＝fdeepup(fup(u(datainput)，ωup，bup),ωdeepup，bdeepup)

21、其中，u代表上采樣層；fup代表上采樣二維卷積層和批歸一化層，ωup，bup為上采樣二維卷積層的權(quán)重和偏置；fdeepup代表深度特征提取層和批歸一化層，ωdeepup，bdeepup為深度特征提取層的權(quán)重和偏置；

22、第三個上采樣塊與前兩個上采樣塊采用了不同的結(jié)構(gòu)，其結(jié)構(gòu)為一個上采樣層和三個上采樣二維卷積層。其中，上采樣層使用最近鄰差值，在保證特征圖維度不變的情況下，將特征圖的長和寬擴(kuò)充為原來的2倍；上采樣二維卷積層在保證特征圖的長和寬不變的情況下，將特征圖的維度縮減為原來的1/2。在經(jīng)過上述三個上采樣塊后，即可得到預(yù)測的待測組織體光學(xué)參數(shù)分布圖。第三個上采樣層可由下式表示：

23、dataoutput＝fup3(fup2(fup1(u(datainput)，ωup1,bup1),ωup2，bup2),ωup3，bup3)

24、其中，u代表上采樣層；fup1代表上采樣二維卷積層和批歸一化層，ωup1,bup1為上采樣二維卷積層的權(quán)重和偏置；fup2和fup3代表上采樣二維卷積層，ωup2,bup2,ωup3,bup3分別為第二個、第三個上采樣二維卷積層的權(quán)重和偏置。

25、與現(xiàn)有技術(shù)相比較，本發(fā)明設(shè)計了一種基于卷積物理信息神經(jīng)網(wǎng)絡(luò)的擴(kuò)散光學(xué)斷層成像重建方法，該方法開創(chuàng)性的采用擴(kuò)散方程作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，將物理信息神經(jīng)網(wǎng)絡(luò)與二維卷積相結(jié)合，輸入經(jīng)過預(yù)處理的數(shù)據(jù)后可以直接重建出高質(zhì)量的待測組織體內(nèi)部的光學(xué)參數(shù)分布圖，與傳統(tǒng)方法相比，本方法質(zhì)量更高，速度更快；與基于神經(jīng)網(wǎng)絡(luò)的重建算法相比，本文的方法具有更好的泛化性，同時具備物理可解釋性。