本發(fā)明涉及醫(yī)療器械領域，特別涉及基于文本和圖像識別的顱腦創(chuàng)傷臨床決策系統(tǒng)。

背景技術：

1、顱腦創(chuàng)傷(traumatic?brain?injury，tbi)作為神經(jīng)外科最常見的急危重癥之一，具有高發(fā)病率和高死殘率的特點，尤其對青壯年的生命健康造成嚴重威脅。同時，tbi不僅嚴重影響患者的身心健康和生活質量，還給家庭和社會帶來巨大經(jīng)濟損失和沉重的醫(yī)療負擔。因此，研究如何提高tbi救治效率，遏制其危害，具有重大社會效益和經(jīng)濟價值。

2、申請?zhí)枮?02311626792.9的發(fā)明專利公開了一種多任務混雜神經(jīng)網(wǎng)絡驅動的ct圖像處理方法和類腦診斷系統(tǒng)，涉及人工智能醫(yī)學影像，方法包括生成混雜神經(jīng)網(wǎng)絡，輸入ct圖像，在每一層執(zhí)行混雜脈沖-卷積計算；生成共同編碼器和多任務解碼器，輸出多任務結果圖像。系統(tǒng)包括處理器和存儲器及顯示器，存儲器中存儲有至少一條指令，指令由處理器加載并執(zhí)行以實現(xiàn)如下步驟：獲取ct圖像；生成基于混雜神經(jīng)網(wǎng)絡建立的共同編碼器，調用編碼器對ct圖像進行編碼，生成聯(lián)合特征；生成基于混雜神經(jīng)網(wǎng)絡建立的多任務解碼器，調用解碼器對聯(lián)合特征進行分類操作和分割操作，得到多任務診斷結果。本發(fā)明可以提高ct圖像的多任務診斷效率，在保證多任務精度的同時降低診斷系統(tǒng)的計算功耗。

3、上述技術完成了對ct圖像的精確識別，依照圖像的分割識別圖像特征，得到ct圖像的多任務診斷結果，但是上述技術仍然需要醫(yī)生進行最終的決策診斷，現(xiàn)有的tbi診療模式存在諸多問題，對其救治效率產(chǎn)生不利影響，這些問題可歸納為三大“痛點”：“痛點”一：神經(jīng)外科醫(yī)生嚴重不足，無法應對日益增長的tbi患者?！巴袋c”二：長時間超負荷工作，導致醫(yī)生疲勞工作，降低醫(yī)生診治效率?！巴袋c”三：多種因素可能影響醫(yī)生判斷，從而影響tbi患者的救治。針對上述三個“痛點”，最簡單有效的解決辦法就是在短期內(nèi)增加大量精力充沛、不會疲倦、處變不驚且臨床經(jīng)驗豐富的神經(jīng)外科?？漆t(yī)生，但這顯然無法辦到?，F(xiàn)需要一種技術能夠提升tbi救治效率。

技術實現(xiàn)思路

1、本發(fā)明提供了基于文本和圖像識別的顱腦創(chuàng)傷臨床決策系統(tǒng)，能夠提升tbi救治效率。

2、為了解決上述技術問題，本技術提供如下技術方案：

3、基于文本和圖像識別的顱腦創(chuàng)傷臨床決策系統(tǒng)，包括：

4、圖像識別模塊：用于對ct圖像進行識別后生成文本報告；建立ct征象與臨床病情和診療措施的映射關系；

5、關鍵命名實體識別模塊：在bert預訓練語言模型的基礎上，構建bert-idcnn-bilstm-crf模型，從文本報告的全局或局部中抽取關鍵的命名實體；

6、基于知識的語義表示模塊：對關鍵命名實體進行特征分析，建立word2vec模型，將相關醫(yī)學文本向量化表示，并基于知識建立醫(yī)學文本權重評分機制、醫(yī)學文本相似度度量方法，得到醫(yī)療文本；

7、深度學習決策模塊：用于在提取醫(yī)療文本特征后，理解醫(yī)學詞之間的差異，對tbi患者醫(yī)療文本進行智能識別和判讀，并做出診療決策。

8、本方案的基本原理及有益效果：在前期基礎、臨床及應用研究的基礎上，深入研究和模擬神經(jīng)外科?？漆t(yī)生對tbi的診療思路，從而構建全新的針對顱腦創(chuàng)傷的cdss，即“t-system”。t-system將直接從患者電子病歷(emr)中獲取包括病史、體格檢查，以及重要輔助檢查等在內(nèi)的關鍵醫(yī)療圖像和文本信息，避免信息來源渠道不一致導致的數(shù)據(jù)缺失。該系統(tǒng)獲取病史、體征、ct表現(xiàn)等的關鍵信息后，通過臨床分析后得出診療結論。同時，該系統(tǒng)將tbi的診療方案進行細化，并按照病情危重程度對處置措施優(yōu)先級進行排序，既包括了排除診斷所需的診療措施，又包括了搶救性措施。t-system包括四大模塊：(1)圖像識別模塊；(2)關鍵命名實體識別系統(tǒng)；(3)基于知識的語義表示系統(tǒng)；(4)深度學習決策系統(tǒng)。在圖像識別模塊中，ct表現(xiàn)將被仔細識別后生成文本報告，作為t-system判讀病情和作出決策重要數(shù)據(jù)來源，并在此基礎上，建立重要ct征象與臨床病情和診療措施的映射關系。同時，我們在bert預訓練語言模型的基礎上，構建了bert-idcnn-bilstm-crf模型，能夠很好地從全局和局部文本中抽取出關鍵的命名實體，尤其在醫(yī)學文本識別中展示了很好的識別效果。深度學習決策系統(tǒng)中基于醫(yī)學知識的詞向量空間更適合于醫(yī)療場景，在提取醫(yī)療文本特征后，模型能夠更好地理解醫(yī)學詞之間的差異。基于深度學習的模型還可以為文本提供足夠的表征能力，以快速、高質量地解決問題，數(shù)據(jù)中的信息可以在模型中被有效地“編碼”。

9、通過對ct圖像的識別，生成文本信息展示出ct圖像中的特征，然后對文本信息中的特征進行語義識別，獲得該特征下病癥的診療措施，然后做出對應的決策。該決策是基于病情對應的處理措施完成的，通過數(shù)據(jù)模型的智能學習醫(yī)生的處理方式，實現(xiàn)了機器決策，解放了人力，減少了人長久勞作容易出現(xiàn)的識別誤差問題，且提升了處理效率，能夠為眾多患者進行同時診斷。

10、進一步，所述圖像識別模塊還用于，對頭顱ct圖像進行預處理：以dicom格式保存所有正常人和患者的頭顱ct圖像，改進卡爾曼濾波算法對ct圖像去噪，利用lableimg工具對頭顱ct圖像進行標注；然后將tbi患者的頭顱ct圖像分為顱骨損傷和腦損傷，分別在頭顱ct影像的骨窗和腦窗兩個窗位，采用co-unet模型對tbi患者頭顱ct影像進行圖像分割，設計單連通域邊界插值的深度卷積網(wǎng)絡模型提取正常頭顱ct的圖像特征信息，基于densenet網(wǎng)絡實現(xiàn)異常信息的識別，改進閾值分割算法對識別結果進行二次篩選，對tbi患者頭顱ct二維圖像中不同種類的顱骨損傷和腦損傷進行定側、定位、定性和定量識別。有益效果：以dicom格式保存所有正常人和患者的頭顱ct圖像，改進卡爾曼濾波算法對ct圖像去噪，利用lableimg工具對頭顱ct圖像進行標注，為識別提供數(shù)據(jù)保障。

11、進一步，所述深度學習決策模塊還用于：以tbi患者急診電子病歷(emr)為醫(yī)療文本信息來源，采集內(nèi)容主要包括病史、體格檢查和輔助檢查結果；其中，頭顱ct檢查結果為圖像識別模塊輸出的文本結果；和以最新的國內(nèi)外顱腦創(chuàng)傷診療指南為指導，結合臨床實踐經(jīng)驗和本研究團隊前期的基礎、臨床和應用研究結果，將顱腦創(chuàng)傷患者的病史、體格檢查、ct等重要輔助檢查予以不同權重評分；同時，將顱腦創(chuàng)傷的各種診療措施進行細化，經(jīng)過反復的臨床數(shù)據(jù)驗證，研究和構建多維、多源、異構數(shù)據(jù)與相應診療決策的映射關系；并通過對tbi患者的頭顱ct圖像和emr進行智能識別，得到以中文文本形式輸出的診療結果，包括急診診斷性結論和急診診療性決策。

12、進一步，在針對頭顱ct識別時；對正常頭顱ct圖像進行識別：將正常人頭顱ct圖像的骨窗和腦窗位圖像進行分別存儲和分析；在骨窗位，通過co-unet模型對顱骨進行分割，包括面顱骨和腦顱骨，提取這些骨標志性結構的特征；在腦窗位，采用co-unet模型對腦實質區(qū)域進行分割，包括幕上和幕下腦實質區(qū)域，提取這些腦實質內(nèi)標志性結構的特征，并計算出正常人不同頭顱ct層面雙側側腦室平均面積；

13、對tbi患者頭顱ct圖像的識別：將tbi患者的傷灶分為顱骨損傷和腦損傷，并將tbi患者頭顱ct圖像的骨窗和腦窗位進行分別存儲和分析，分別在不同窗位對腦傷和顱骨損傷進行識別。

14、進一步，對tbi患者頭顱ct圖像的腦窗位進行識別主要包括：對腦傷進行識別，包括定側、定位、定性、定量識別；對腦傷的定側、定位、定性和定量識別進行匯總；

15、對tbi患者頭顱ct圖像的骨窗位對顱骨損傷進行識別主要包括：對顱骨損傷部位及種類進行識別，包括定側、定位、定性、定量識別；對顱骨損傷的定側、定位、定性和定量識別進行匯總。

16、進一步，所述圖像處理模塊輸出的文本信息包括結論性結果和描述性結果；其中結論性結果：按照神經(jīng)外科和神經(jīng)影像診斷思維，輸出腦傷和/或顱骨損傷結果，包含定側、定位和定性結果；描述性結果：對頭顱ct圖像進行更加詳細的描述，包含了定側、定位、定性和定量結果。

17、進一步，所述關鍵命名實體識別模塊包括：

18、bert模塊：

19、bert采用了一種與完形填空題相似的掩碼語言模型來完成預訓練，掩碼語言模型的目的是隨機地掩蓋一個句子中的一些單詞，并用一個標記[mask]來取代原來的單詞，掩碼語言模型的進一步目標是根據(jù)標記的左邊和右邊的上下文來預測被屏蔽的詞，bert模型計算方法如公式(1)所示：

20、

21、其中，q、k、v為輸入向量矩陣，qkt表示計算出輸入向量的相似度矩陣，dk為輸入向量矩陣k的維度。

22、在bert的下游任務中，如蘊含和情感分析，是利用每個序列的第一個標記來處理的，這個標記稱為特殊分類令牌[cls]，在bert模型中，對應于[cls]標記的最終隱藏狀態(tài)聚合了一個句子或一對句子的特征表示；

23、idcnn模塊：

24、idcnn采用膨脹卷積，通過調節(jié)卷積核的膨脹寬度，減小了數(shù)據(jù)丟失，擴展了感知范圍，實現(xiàn)了對文本的更長的捕捉；膨脹卷積的感受野計算公式為：

25、fi+1＝(2i+2-1)2

26、在idcnn模塊中有三個卷積層，膨脹寬度分別為1、1和2；模塊一共經(jīng)過4次迭代，迭代過程中的參數(shù)共享有效地防止了模型過擬合；各參量隨層數(shù)的增大而線性增大，而感覺野值則呈現(xiàn)指數(shù)式的增長，使得感覺野能夠迅速地涵蓋全部的輸入序列；

27、bilstm模塊：

28、bilstm在遞歸循環(huán)神經(jīng)網(wǎng)絡中引用了門控機制，即輸入門、輸出門和遺忘門；bilstm由雙向的lstm組成，分別從兩個方向提取全局上下文特征；

29、crf模塊：

30、對于一個輸入單詞序列x，存在表示單詞序列x的一般標簽序列y，條件隨機場的概率模型在給定輸入單詞序列x的所有可能的標簽序列y上定義了一個分布p(y|x)，其形式如下：

31、

32、有益效果：針對醫(yī)療相關知識表示系統(tǒng)及其語義分析系統(tǒng)構建過程中，非結構化數(shù)據(jù)噪聲冗雜、存在多細粒度文本、信息抽取困難、識別準確率不穩(wěn)定的特點，我們擬專門針對醫(yī)學文本信息的特點，構建bert-idcnn-bilstm-crf這一模型，解決對醫(yī)療相關關鍵命名實體進行準確識別這一關鍵問題。

33、進一步，所述基于知識的語義表示模塊用于計算醫(yī)學文本的持續(xù)分布式表示；通過一個隱藏層的神經(jīng)網(wǎng)絡結構，從醫(yī)學文本語料庫的輸入中產(chǎn)生文本向量作為輸出；在word2vec模型中首先從輸入的文本生成一個詞匯表，然后通過反向傳播和隨機梯度方法學習單詞向量；

34、還用于：

35、建立相似度度量的方法以根據(jù)醫(yī)學表現(xiàn)權重評分來分析匹配相應的治療措施；借助word2vec生成的醫(yī)學文本詞向量來生成關鍵文本的句向量表示，句向量表示由如下公式所得。

36、

37、其中vs為句向量表示，?vi為i詞的詞向量表示，w(i)為權重，m為詞數(shù)；

38、該方法采用余弦相似度來將關鍵醫(yī)學文本與醫(yī)學專家制定的權重評分表匹配，針對醫(yī)學表現(xiàn)分析出相應治療措施；余弦相似度在0到1之間，當余弦相似度接近1時，稱兩個向量相似，當余弦相似度接近0時，稱兩個向量不相似；針對不同醫(yī)學關鍵實體，我們通過實驗制定相應的相似度閾值；

39、

40、其中v1，v2為不同的句向量表示。

41、進一步，所述圖像識別模塊分析的ct圖像來源于ct檢測儀；包括機架，所述ct檢測儀包括設置在水平方向的x光發(fā)射器和與x光發(fā)射器對應的x光接收器；所述x光發(fā)射器和固定在機架上，所述x光發(fā)射器和x光接收器之間的機架上固定有支撐臺，所述支撐臺上固定有頭枕，頭枕兩側均鉸接有偏轉塊，偏轉塊底部鉸接有滑桿，所述支撐臺由上至下開有第一滑道和第二滑道，所述第一滑道和第二滑道呈八字形分布，所述支撐臺內(nèi)還開有通氣道，所述通氣道分別與第一滑道和第二滑道的底部連通，頭枕左右兩側的滑桿分別與第一滑道和第二滑道滑動連接，所述偏轉塊底部和支撐臺頂部固定有第一彈簧，所述第一彈簧套設在滑桿外部；靠近x光發(fā)射器一側的支撐臺上開設有豎直方向的第三滑道，所述第三滑道底部和通氣道連通，所述第三滑道內(nèi)滑動連接有第一鉛塊，第一鉛塊底部和第三滑動底部的內(nèi)壁之間固定連接有第二彈簧，第一鉛塊底部的第三滑道，兩個滑桿底部的第一滑道和第二滑道，和通氣道組成密閉空間；在滑桿未被按壓下移時，第一鉛塊未處于x光發(fā)射器的照射范圍內(nèi)；在滑桿之上的偏轉塊受壓時，第一鉛塊被頂出，出現(xiàn)在x光的照射范圍內(nèi)；數(shù)據(jù)處理模塊收集x光檢測儀繪制的圖片，并將有鉛塊圖像的ct圖片舍棄傳輸給圖像識別模塊。

42、進一步，所述第一滑道內(nèi)和第二滑道內(nèi)設置有位置傳感器，位置傳感器在滑桿在第一滑道/第二滑道內(nèi)下移時發(fā)出提醒信號；所述頭枕上方的機架上固定有電動伸縮桿，所述電動伸縮桿的自由端的移動方向朝下，訴訟電動伸縮桿底部固定有第二鉛塊；數(shù)據(jù)處理模塊接收到提醒信號，控制電動伸縮桿啟動，將第二鉛塊伸入x光的照射區(qū)域，在提醒信號消失后，電動伸縮桿復位。

43、有益效果：在對少兒進行頭部ct檢測時，由于少兒的自制力較差，可能會在檢測的過程中頭部晃動，產(chǎn)生多余的動作影響到最終的檢測結果；例如頭部的任何移動都可能導致圖像出現(xiàn)模糊，影響圖像質量。偽影產(chǎn)生：不適當?shù)囊苿涌赡茉趫D像上產(chǎn)生偽影，這會干擾圖像的解讀，可能導致誤診或漏診。本方案采用決策系統(tǒng)對患者的病癥出具診療意見，如果ct圖像出現(xiàn)偏差將會大大影響正確率，因此本方案通過設置鉛塊的伸縮，在患者移動時會觸發(fā)偏轉塊偏轉，從而擠壓通氣道，第一鉛塊在受壓時頂出，出現(xiàn)在x光的照射區(qū)域內(nèi)，此時成像的圖片上將會出現(xiàn)明顯陰影，表示此張圖片不可用。數(shù)據(jù)處理模塊識別出有陰影的圖片進行舍棄，保證了傳輸至圖像處理模塊處的ct圖像是完全正確的，提升了數(shù)據(jù)樣本的準確度，進而減小了決策系統(tǒng)出現(xiàn)誤差的概率，且本方案是不停機，不間斷地檢測ct，能夠防止若圖像出現(xiàn)瑕疵時，多次照射造成的輻射危害。

44、為了防止出現(xiàn)測量誤差，通過設置伸縮桿的設置，在滑桿下移(即偏轉塊受壓)時才發(fā)出信號，控制伸縮桿頂出，即患者偏轉時所拍攝的圖像上可能出現(xiàn)兩個兩個陰影，即對陰影的產(chǎn)生誤差進行了消減，例如患者腦袋里存在金屬異物時，可能也會造成陰影，此時容易和腦袋移動造成混淆，通過伸縮桿的設置，能夠在伸出的同時提醒患者，也能夠在圖像上進行二次標記，減少樣本誤差。