本發(fā)明屬于醫(yī)學(xué)視頻圖像處理，特別涉及一種手持超聲視頻探針追蹤方法，可用于對肝腫瘤消融術(shù)中探針的實(shí)時(shí)跟蹤，便于醫(yī)生更好地進(jìn)行肝腫瘤消融治療。

背景技術(shù)：

1、據(jù)世界衛(wèi)生組織國際癌癥研究署發(fā)布，原發(fā)性肝癌是全球發(fā)病率第六高的癌癥，也是導(dǎo)致癌癥死亡的第三大癌癥。此外，肝臟也是身體其他部位的轉(zhuǎn)移性癌癥發(fā)生的常見部位，如結(jié)腸、肺、乳腺、胰腺和食道。對于≤3cm的早期腫瘤進(jìn)行經(jīng)皮肝腫瘤消融術(shù)，例如射頻和微波消融，已被用作治療不適合手術(shù)切除或者肝移植的患者。

2、超聲提供實(shí)時(shí)圖像，其與計(jì)算機(jī)斷層掃描儀器相比，不僅成本低，且已廣泛用于指導(dǎo)消融器的放置。在手持超聲探頭引導(dǎo)的過程中，醫(yī)生用一只手操作2d超聲探頭，另一只手操作消融探針的插入，同時(shí)保持探針必須在實(shí)時(shí)超聲圖像的平面上，以查看患者體內(nèi)的探針和消融目標(biāo)。對于肝腫瘤消融術(shù)，必須將消融針插入腫瘤，插入的位置通常是腫瘤質(zhì)心，這樣可以確保完整的腫瘤消融治療。探針插入腫瘤后會(huì)在針尖周圍的特定區(qū)域產(chǎn)生熱從而產(chǎn)生一個(gè)熱消融區(qū)域，誘導(dǎo)細(xì)胞進(jìn)行不可逆的死亡。在實(shí)踐中，由于腫瘤位于體內(nèi)深處，可毗鄰膽囊、膽管、門靜脈等關(guān)鍵器官和結(jié)構(gòu)，因此對消融探針的準(zhǔn)確放置要求很高，操作者需要看到針頭的運(yùn)動(dòng)軌跡和方向。當(dāng)探針在腫瘤內(nèi)時(shí)，了解消融區(qū)與腫瘤之間的重疊區(qū)域以及腫瘤區(qū)域是否會(huì)被完全覆蓋是關(guān)鍵的。

3、然而，盡管針尖和/或針軸的識(shí)別已經(jīng)在各種技術(shù)中討論過，但在手持超聲探頭引導(dǎo)下進(jìn)行經(jīng)皮肝腫瘤消融術(shù)仍然面臨著獨(dú)特的挑戰(zhàn)。由于平面內(nèi)成像的局限性、超聲成像質(zhì)量差、肝腫瘤患者其他疾病以及超聲偽影等的影響，導(dǎo)致探針的可見性比較低，增加了探針識(shí)別的困難程度。

4、近年來，基于深度學(xué)習(xí)的方法由于其在大型數(shù)據(jù)集上具有強(qiáng)大的表示能力，已被應(yīng)用于探針尖端或軸的分割等任務(wù)。這些工作試圖使用深度學(xué)習(xí)模型來檢測二維超聲視頻，即二維視頻圖像幀序列中的探針。研究表明超聲視頻可以提供比單獨(dú)的2d超聲圖像更豐富的信息，此外這些研究也表明在一定圖像序列范圍內(nèi)，合理地利用相鄰幀的上下文和時(shí)間特征，是提高探針能見度、減輕手持式超聲探針與組織之間相對運(yùn)動(dòng)導(dǎo)致的針信息缺失問題的一種解決思路。

5、利用基于深度學(xué)習(xí)的方法，mwikirize等人在nips會(huì)議中提出了一個(gè)快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)faster-rcnn框架來對探針進(jìn)行分類，該框架是在之前rcnn的研究基礎(chǔ)上，在卷積特征提取器之后首次添加了區(qū)域候選網(wǎng)絡(luò)rpn，以通過共享整幅圖像的卷積特征進(jìn)行幾乎無代價(jià)的候選邊界框生成，從而實(shí)現(xiàn)實(shí)時(shí)的探針目標(biāo)檢測。該方法證明了深度學(xué)習(xí)技術(shù)在探針定位任務(wù)中的可行性，但并沒有深入研究如何提高探針定位任務(wù)的準(zhǔn)確性。

6、gillies和rodgers在cvpr會(huì)議中提出了一種基于unet的改進(jìn)模型，其在各種臨床手術(shù)中分割線性探針，包括肝腫瘤消融、腎活檢和消融以及前列腺和婦科近距離放射治療。在該模型基礎(chǔ)上引入基于暹羅神經(jīng)網(wǎng)絡(luò)的針尖跟蹤模塊，對目標(biāo)探針特征與搜索幀中的所有區(qū)域進(jìn)行跨相關(guān)操作，以尋找最相似的區(qū)域；之后通過rpn模塊進(jìn)行邊界回歸框的調(diào)整，以實(shí)現(xiàn)快速精確的目標(biāo)檢測。該模型雖說能實(shí)現(xiàn)對針尖的魯棒追蹤與精確定位。但其模型性能都是基于離體生物組織評估得到的，因此很難將這些模型應(yīng)用到臨床醫(yī)學(xué)中，特別是在實(shí)際情況中需要考慮到病人的呼吸和醫(yī)生的探頭運(yùn)動(dòng)。此外，由于經(jīng)皮肝腫瘤消融手術(shù)中探針的定位研究很少，在已有的研究中，探針的插入深度僅約為7cm。因此，在臨床肝消融術(shù)中，由于超聲成像中的各種因素所導(dǎo)致的探針外觀圖像質(zhì)量差這一問題，并沒有得到充分的解決。

7、綜上，現(xiàn)有的方法通常致力于更好地提取圖像的整體特征，但較少關(guān)注到病人的呼吸和探頭運(yùn)動(dòng)所導(dǎo)致的探針針尖纖細(xì)形狀、相鄰幀之間不均勻的運(yùn)動(dòng)和較低的探針可見性等超聲視頻探針跟蹤任務(wù)所具有的獨(dú)特特征，導(dǎo)致探針追蹤性能比較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足，提出一種基于mount模型的手持超聲視頻探針追蹤的方法，以關(guān)注探針針尖纖細(xì)形狀、相鄰幀之間不均勻的運(yùn)動(dòng)和探針可見性較低的獨(dú)特特征，提高手持超聲視頻探針追蹤性能。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案包括如下步驟：

3、(1)獲取肝腫瘤消融過程超聲視頻數(shù)據(jù)集d并進(jìn)行定義，將定義后的數(shù)據(jù)集按照7:3的比例劃分為訓(xùn)練集d1和測試集d2；

4、(2)構(gòu)建手持超聲視頻探針追蹤網(wǎng)絡(luò)mount：

5、(2a)使用現(xiàn)有的mask-rcnn網(wǎng)絡(luò)作為手持超聲視頻探針追蹤模型的整體框架，在該框架的基礎(chǔ)上，建立不均勻運(yùn)動(dòng)感知ump模塊和相鄰幀聚合afa模塊，并將原mask-rcnn網(wǎng)絡(luò)中的區(qū)域候選網(wǎng)絡(luò)rpn替換為具有針尖特定檢測的區(qū)域候選網(wǎng)絡(luò)td-rpn；

6、(2b)將不均勻運(yùn)動(dòng)感知ump模塊、具有針尖特定檢測的區(qū)域候選網(wǎng)絡(luò)td-rpn、相鄰幀聚合afa模塊依次串聯(lián)，構(gòu)成手持超聲視頻探針追蹤網(wǎng)絡(luò)mount，并初始化mount網(wǎng)絡(luò)的權(quán)重w和偏置b；

7、(3)對手持超聲視頻探針追蹤網(wǎng)絡(luò)mount進(jìn)行迭代訓(xùn)練：

8、(3a)將超聲視頻訓(xùn)練集d1中每個(gè)超聲視頻的幀組合按照時(shí)序順序輸入手持超聲視頻探針追蹤網(wǎng)絡(luò)mount，得到網(wǎng)絡(luò)mount輸出；

9、(3b)根據(jù)網(wǎng)絡(luò)mount的輸出構(gòu)建損失函數(shù)l：

10、(3c)通過隨機(jī)梯度下降法對網(wǎng)絡(luò)mount進(jìn)行參數(shù)更新；

11、(3d)重復(fù)步驟(3a)到(3c),得到訓(xùn)練好的手持超聲視頻探針追蹤網(wǎng)絡(luò)mount；

12、(4)將測試集d2中每個(gè)超聲視頻的幀組合按照時(shí)序順序輸入到訓(xùn)練好的手持超聲視頻探針追蹤網(wǎng)絡(luò)mount，得到預(yù)測結(jié)果集合pe；

13、(5)對預(yù)測結(jié)果集合pe進(jìn)行篩選優(yōu)化的后處理操作，得到最終的探針入口點(diǎn)坐標(biāo)pent，尖端坐標(biāo)ptip，和針軸方向角度完成對手持超聲視頻探針的追蹤。

14、本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)：

15、1、本發(fā)明由于構(gòu)建的手持超聲視頻探針追蹤網(wǎng)絡(luò)mount，考慮了手持式超聲探針與組織之間相對運(yùn)動(dòng)導(dǎo)致的針信息缺失問題，專注于手持超聲探頭運(yùn)動(dòng)不均勻、探針目標(biāo)纖細(xì)、探針可見度低的獨(dú)特特征，因而有效地提升了手持超聲視頻中探針追蹤的準(zhǔn)確性。

16、2、本發(fā)明由于在mount網(wǎng)絡(luò)中構(gòu)建了不均勻運(yùn)動(dòng)感知ump模塊和相鄰幀聚合afa模塊，可通過感知關(guān)鍵幀和參考幀之間的相對運(yùn)動(dòng)，緩解手持超聲探頭的不均勻運(yùn)動(dòng)問題，聚合參考幀和關(guān)鍵幀之間的特征，有效提升了模型對探針的追蹤性能。

17、3、本發(fā)明由于在mount網(wǎng)絡(luò)中使用具有針尖特定檢測的區(qū)域候選網(wǎng)絡(luò)td-rpn代替了原mask-rcnn中的區(qū)域候選網(wǎng)絡(luò)rpn，故可生成探針針尖的候選結(jié)果，有效輔助探針的定位檢測。

技術(shù)特征：

1.一種基于mount模型的手持超聲視頻探針追蹤方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(1)中獲取的肝腫瘤消融過程超聲視頻數(shù)據(jù)集d并進(jìn)行定義，是根據(jù)數(shù)據(jù)集d所包括肝腫瘤各不相同的若干名患者的肝腫瘤消融超聲視頻，定義數(shù)據(jù)集d中的每個(gè)超聲視頻v為：

3.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(2a)在手持超聲視頻探針追蹤模型的整體框架上，建立的不均勻運(yùn)動(dòng)感知ump模塊和相鄰幀聚合afa模塊，結(jié)構(gòu)分別如下：

4.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(2a)中的區(qū)域候選網(wǎng)絡(luò)td-rpn，由一個(gè)特征提取器ff和一個(gè)區(qū)域候選網(wǎng)絡(luò)rpn依次連接組成，用于實(shí)現(xiàn)對針尖區(qū)域的特定檢測。

5.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(3a)將超聲視頻訓(xùn)練集d1中每個(gè)超聲視頻的幀組合按照時(shí)序順序輸入手持超聲視頻探針追蹤網(wǎng)絡(luò)mount，得到mount網(wǎng)絡(luò)的輸出，實(shí)現(xiàn)如下：

6.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(3b)中根據(jù)網(wǎng)絡(luò)mount的輸出構(gòu)建損失函數(shù)l，表示如下：

7.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(3c)中通過隨機(jī)梯度下降法對手持超聲視頻探針追蹤網(wǎng)絡(luò)mount進(jìn)行迭代訓(xùn)練，實(shí)現(xiàn)如下：

8.根據(jù)權(quán)利要求書1所述的方法，其特征在于，步驟(5)中對預(yù)測結(jié)果集合pe進(jìn)行篩選優(yōu)化的后處理操作，實(shí)現(xiàn)如下：

9.根據(jù)權(quán)利要求書5所述的方法，其特征在于，步驟(3a3)中所述關(guān)鍵幀ik、參考幀集合{ir}和參考幀的特征集合{fr}通過ump模塊輸出與關(guān)鍵幀對齊的參考幀特征集合實(shí)現(xiàn)如下：

10.根據(jù)權(quán)利要求書5所述的方法，其特征在于，步驟(3a3)所述關(guān)鍵幀特征圖fk和對齊的參考幀特征圖集合通過td-rpn網(wǎng)絡(luò)，輸出若干候選框brpn，候選框?qū)?yīng)的對角線σ和特征向量f，，同時(shí)為每個(gè)針尖先驗(yàn)生成預(yù)測位移實(shí)現(xiàn)如下：

11.根據(jù)權(quán)利要求書5所述的方法，其特征在于，步驟(3a3)所述候選框brpn、對應(yīng)的特征向量f和邊界框?qū)蔷€σ通過afa模塊進(jìn)行過濾和聚合兩個(gè)階段實(shí)現(xiàn)參考幀與關(guān)鍵幀的特征聚合，輸出聚合后的特征向量實(shí)現(xiàn)如下：

12.根據(jù)權(quán)利要求書8所述的方法，其特征在于，步驟(8e)中探針掩碼mi所對應(yīng)的直線中的斜率ai和截距zi，求解過程包括如下：

技術(shù)總結(jié)
本發(fā)明公開了一種基于MOUNT模型的手持超聲視頻探針追蹤方法，主要解決現(xiàn)有技術(shù)中由于沒有考慮探針形狀纖細(xì)、相鄰幀之間不均勻運(yùn)動(dòng)和較低的探針可見性，導(dǎo)致探針追蹤性能較差的問題。其實(shí)現(xiàn)方案為：獲取肝腫瘤消融過程超聲視頻數(shù)據(jù)集；構(gòu)建手持超聲視頻探針追蹤網(wǎng)絡(luò)MOUNT；對手持超聲視頻探針追蹤網(wǎng)絡(luò)MOUNT進(jìn)行迭代訓(xùn)練；使用訓(xùn)練好的MOUNT網(wǎng)絡(luò)對測試集進(jìn)行測試，得到預(yù)測候選結(jié)果集合；對預(yù)測候選結(jié)果集合進(jìn)行篩選優(yōu)化的后處理操作，得到探針入口點(diǎn)和針尖坐標(biāo)，完成對探針的追蹤。本發(fā)明關(guān)注了手持超聲視頻探針追蹤任務(wù)的獨(dú)特特征，有效提升了手持超聲視頻探針追蹤的準(zhǔn)確性，可用于對肝腫瘤消融手術(shù)中的探針實(shí)時(shí)跟蹤。

技術(shù)研發(fā)人員：緱水平,范曉颯,劉寧濤,童諾,李睿敏
受保護(hù)的技術(shù)使用者：西安電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9