背景技術(shù)：

1、管理手術(shù)海綿是現(xiàn)代手術(shù)室的一個(gè)重要領(lǐng)域，最重要的是確保沒有手術(shù)海綿(或其他物體)被無意中遺留在患者體內(nèi)或放錯(cuò)地方。過去，醫(yī)療保健專業(yè)人員依靠對(duì)手術(shù)海綿進(jìn)行手動(dòng)分揀和計(jì)數(shù)。最近，手術(shù)海綿管理系統(tǒng)已經(jīng)利用電子設(shè)備來協(xié)助計(jì)數(shù)手術(shù)海綿。stryker?corporation(密歇根州的kalamazoo)以商品名surgicount和surgicount+銷售一種這樣的系統(tǒng)，該系統(tǒng)在2013年4月11日公開的共同擁有的美國專利公開no.2013/0088354中公開了，在此其全部內(nèi)容被通過引用方式并入本文，其中射頻識(shí)別(rfid)讀取器檢測手術(shù)海綿上的rfid標(biāo)簽。

2、確定手術(shù)期間的失血量可用于監(jiān)控術(shù)中患者的健康狀況。眾所周知，通過視覺評(píng)估手術(shù)海綿和其他吸收流體的物品(例如，手術(shù)服、床上用品或手術(shù)單)來估計(jì)手術(shù)期間的失血量，本質(zhì)上這是主觀的，因此容易出現(xiàn)人為錯(cuò)誤。還已知通過在秤上批量稱重手術(shù)海綿來估計(jì)手術(shù)期間的失血量，這需要用戶將手術(shù)海綿運(yùn)送到秤處進(jìn)行稱重。成像和計(jì)算技術(shù)的進(jìn)步已經(jīng)提供了通過捕捉手術(shù)海綿的圖像來量化失血量的方法。gauss?surgical，inc.(加利福尼亞州的menlo?park)出售的這種系統(tǒng)名為triton，在2014年11月25日公告的共同擁有的美國專利no.8，897,523和2019年9月24日公告的美國專利no.10,424,060中公開了，其中每個(gè)專利的全部內(nèi)容被通過引用方式并入本文。

3、使用基于圖像的血液量化的系統(tǒng)可能無法充分地補(bǔ)償不同類型的手術(shù)海綿，并且可能無法實(shí)現(xiàn)手術(shù)海綿管理系統(tǒng)的高級(jí)功能。因此，本領(lǐng)域需要提供一種改進(jìn)的系統(tǒng)和方法來克服上述缺點(diǎn)，并且對(duì)于可能習(xí)慣于現(xiàn)有手術(shù)協(xié)議的用戶來說可以提供直觀、無縫的工作流程。

技術(shù)實(shí)現(xiàn)思路

1、本公開內(nèi)容總體上涉及通過基于圖像的處理來分析手術(shù)物品，該基于圖像的處理基于手術(shù)物品的物品類型是已知的。主要的實(shí)施例是在手術(shù)海綿管理系統(tǒng)和用于量化在手術(shù)程序中沾血的手術(shù)海綿上的失血量的方法的背景下描述的。然而，設(shè)想本公開的目的還可應(yīng)用于除手術(shù)海綿之外的手術(shù)物品，包括銳器、工具(電動(dòng)的或手動(dòng)的)和其他器械。除其他優(yōu)點(diǎn)外，該系統(tǒng)和方法的功能無需用戶確定、調(diào)用和/或手動(dòng)輸入物品類型，和/或無需用戶使用任何屏幕或設(shè)備來觸發(fā)圖像的捕獲來進(jìn)行分析。對(duì)于手術(shù)海綿，該系統(tǒng)能夠?qū)Σ煌叽绾蛯拥氖中g(shù)海綿執(zhí)行qbl，并且可以自動(dòng)且實(shí)時(shí)地執(zhí)行，而無需用戶有目的地改變計(jì)出手術(shù)海綿的工作流程。同樣，也無需將手術(shù)海綿運(yùn)送到單獨(dú)的秤上進(jìn)行稱重。此外，手術(shù)海綿管理系統(tǒng)可在不增加手術(shù)室內(nèi)占地面積的情況下實(shí)現(xiàn)qbl，并適應(yīng)在距離相機(jī)通常常見的距離和用戶方便的高度成像或掃描的海綿尺寸。對(duì)于其他手術(shù)物品，本系統(tǒng)能夠確認(rèn)被展示給系統(tǒng)的物品與之前識(shí)別的物品類型相同。圖像處理還可以幫助識(shí)別損壞的物品、已使用與未使用的物品狀態(tài)、物品清潔狀態(tài)、自動(dòng)物品計(jì)數(shù)等。因此，本文描述的基于海綿的方法的相關(guān)術(shù)語可以修改為也適用于非基于海綿的手術(shù)物品。

2、手術(shù)海綿管理系統(tǒng)可以包括用戶界面、數(shù)據(jù)讀取器、一個(gè)或多個(gè)處理器、存儲(chǔ)器、通信設(shè)備和/或其他硬件。用戶界面可能是帶有觸摸屏顯示器的平板電腦。可以在平板電腦上集成包括光學(xué)傳感器和可選的深度傳感器的相機(jī)。神經(jīng)網(wǎng)絡(luò)可以在平板電腦的處理器上、在被聯(lián)接到平板電腦或遠(yuǎn)離平板電腦的硬件的一個(gè)或多個(gè)處理器上、通過云計(jì)算、其組合等實(shí)現(xiàn)或執(zhí)行。

3、數(shù)據(jù)讀取器可以作為手持設(shè)備使用，或者在通過托架支撐時(shí)使用。數(shù)據(jù)讀取器被配置為檢測與手術(shù)海綿相關(guān)聯(lián)的標(biāo)簽。數(shù)據(jù)讀取器可以是配置為檢測rfid標(biāo)簽的射頻(rfid)讀取器。通過使標(biāo)簽被數(shù)據(jù)讀取器檢測到，手術(shù)海綿可被計(jì)入。檢測到的標(biāo)簽將識(shí)別數(shù)據(jù)發(fā)送給處理器。該標(biāo)簽包括至少一個(gè)指示手術(shù)海綿的特征的獨(dú)有的識(shí)別符。獨(dú)有的識(shí)別符可以包括海綿尺寸或類型。處理器被配置為基于該獨(dú)有的識(shí)別符來確定手術(shù)海綿的類型。處理器可以索引計(jì)數(shù)器以反映一個(gè)或多個(gè)手術(shù)海綿被計(jì)入到手術(shù)程序。該計(jì)數(shù)器可以顯示在用戶界面上。

4、該方法包括計(jì)出手術(shù)海綿。用數(shù)據(jù)讀取器檢測手術(shù)海綿的標(biāo)簽，并由處理器接收標(biāo)簽上存儲(chǔ)的獨(dú)有的識(shí)別符。處理器基于該獨(dú)有的識(shí)別符從預(yù)定海綿類型的數(shù)據(jù)庫中識(shí)別手術(shù)海綿的海綿類型。用戶界面可以索引并顯示計(jì)數(shù)器，包括已計(jì)入手術(shù)程序和已計(jì)出手術(shù)程序的每個(gè)海綿類型的更新的計(jì)數(shù)。

5、該方法可以包括觸發(fā)系統(tǒng)進(jìn)行海綿成像。響應(yīng)于數(shù)據(jù)讀取器檢測到標(biāo)簽相機(jī)可被自動(dòng)激活。相機(jī)檢測到的圖像供應(yīng)可以顯示在用戶界面上。圖像供應(yīng)可以基于從光學(xué)傳感器和/或深度傳感器接收的數(shù)據(jù)。圖像供應(yīng)可以包括形成在光學(xué)傳感器的視場內(nèi)用戶拿持著海綿的視頻的圖像幀。圖像供應(yīng)可以包括基于來自光學(xué)傳感器和/或深度傳感器的數(shù)據(jù)的圖形增強(qiáng)或標(biāo)記。圖像供應(yīng)的顯示可以響應(yīng)于標(biāo)簽被數(shù)據(jù)讀取器檢測到而自動(dòng)執(zhí)行。

6、該方法可以包括在用戶界面上顯示覆蓋在相機(jī)捕獲的圖像供應(yīng)上的展示窗口。展示窗口的尺寸基于手術(shù)海綿的被識(shí)別的海綿類型，該海綿類型與被計(jì)出的手術(shù)海綿的被檢測到的標(biāo)簽相對(duì)應(yīng)。處理器可以基于手術(shù)海綿的類型確定驗(yàn)收標(biāo)準(zhǔn)-并且可以調(diào)整展示窗口的大小和比例，以便如果用戶以至少基本上匹配或符合展示窗口的方式展示手術(shù)海綿，則滿足了驗(yàn)收標(biāo)準(zhǔn)中的至少一些?？商娲兀梢圆伙@示展示窗口，而是，處理器可以基于海綿在光學(xué)和/或深度傳感器內(nèi)的實(shí)際定位確定動(dòng)態(tài)的展示窗口。

7、對(duì)圖像供應(yīng)進(jìn)行處理或分析，以確定是否滿足驗(yàn)收標(biāo)準(zhǔn)或防護(hù)欄。驗(yàn)收標(biāo)準(zhǔn)通常設(shè)計(jì)為用于確保光學(xué)傳感器捕獲的手術(shù)海綿的qbl圖像具有高質(zhì)量。該步驟包括分析圖像供應(yīng)的每個(gè)圖像幀(或每幾個(gè)圖像幀)，以確保被拉伸的、正確的手術(shù)海綿被在合適的距離處展示，不折疊、不移動(dòng)，以及滿足其他驗(yàn)收標(biāo)準(zhǔn)。如果驗(yàn)收標(biāo)準(zhǔn)中的任何一個(gè)或多個(gè)仍然不滿足，則處理器將阻止相機(jī)捕獲手術(shù)海綿的qbl圖像進(jìn)行qbl分析。一旦確定滿足驗(yàn)收標(biāo)準(zhǔn)，該方法包括使用相機(jī)獲取手術(shù)海綿的qbl圖像的步驟。qbl圖像可能是在滿足了驗(yàn)收標(biāo)準(zhǔn)之后緊接著輸入的圖像供應(yīng)的后續(xù)幀，并且從執(zhí)行海綿識(shí)別狀態(tài)機(jī)(srsm)的海綿識(shí)別算法輸出。使用血紅蛋白估計(jì)引擎分析qbl圖像，以確定手術(shù)海綿上液體的血液成分(例如血紅蛋白)。處理器可以從qbl圖像提取顏色分量值(例如，紅色值)，并執(zhí)行實(shí)現(xiàn)血紅蛋白估計(jì)引擎的經(jīng)過訓(xùn)練的血紅蛋白估計(jì)算法，以逐像素或其他合適的方式確定血液成分的質(zhì)量。血紅蛋白估計(jì)算法對(duì)于已計(jì)出的海綿類型來說可能是獨(dú)有的?？梢栽趶V泛的數(shù)據(jù)集上針對(duì)每個(gè)海綿類型訓(xùn)練血紅蛋白估計(jì)算法，以與系統(tǒng)兼容?？梢愿鶕?jù)血液成分來確定失血量。通過使用海綿類型來確定展示窗口和驗(yàn)收標(biāo)準(zhǔn)的特征，基于圖像的qbl可以應(yīng)用于更多或大多數(shù)類型的手術(shù)紡織品，包括不同尺寸、層數(shù)和/或顏色的紡織品。

8、對(duì)于具有較少或較低層(1ower?plys)的某些海綿類型，可能需要在成像之前將海綿折疊。用戶界面上顯示的展示窗口可用于指導(dǎo)用戶折疊手術(shù)海綿。該方法還可以包括在用戶界面上向用戶顯示折疊協(xié)議的可選步驟。展示窗口的尺寸可以設(shè)計(jì)成接近于手術(shù)海綿根據(jù)折疊協(xié)議折疊時(shí)的尺寸。折疊協(xié)議可以包括指導(dǎo)，以方便用戶以期望的方式折疊手術(shù)海綿。該指導(dǎo)可以是文本操作說明或圖形標(biāo)記，和/或聲音內(nèi)容。

9、海綿識(shí)別算法由一個(gè)或多個(gè)處理器執(zhí)行，并配置為處理手術(shù)海綿的圖像以檢測海綿并應(yīng)用驗(yàn)收標(biāo)準(zhǔn)或防護(hù)欄。海綿識(shí)別算法可以包括圖像預(yù)處理、神經(jīng)網(wǎng)絡(luò)、標(biāo)記邏輯、防護(hù)欄算法、srsm和任何后圖像處理?？梢源嬖谥辽賰煞N神經(jīng)網(wǎng)絡(luò)：定位神經(jīng)網(wǎng)絡(luò)和分割神經(jīng)網(wǎng)絡(luò)。定位神經(jīng)網(wǎng)絡(luò)，除其他動(dòng)作外，還被配置為檢測圖像中是否存在海綿，并提供圍繞著檢測到的海綿的邊界框。邊界框可以包括有關(guān)檢測到的海綿的信息，例如寬度、高度、x移位和y移位。此外，定位神經(jīng)網(wǎng)絡(luò)可以被配置為確定在展示窗口內(nèi)展示的是未拉伸的海綿、部分海綿還是沒有海綿。分割神經(jīng)網(wǎng)絡(luò)提供海綿分割掩碼的逐像素預(yù)測，即像素是海綿像素還是背景像素。分割神經(jīng)網(wǎng)絡(luò)可以利用來自光學(xué)傳感器和深度傳感器兩者的數(shù)據(jù)，或者可替代地僅利用來自光學(xué)傳感器的數(shù)據(jù)。定位標(biāo)記接收來自定位神經(jīng)網(wǎng)絡(luò)的輸出，分割標(biāo)記器接收來自分割神經(jīng)網(wǎng)絡(luò)的輸出。標(biāo)記被提供到srsm，用于根據(jù)預(yù)設(shè)數(shù)量的先前幀的主導(dǎo)類別預(yù)測來識(shí)別基于視頻的狀態(tài)。海綿識(shí)別算法的輸出被提供給血紅蛋白估計(jì)算法。

10、首先，海綿識(shí)別算法確定是否存在手術(shù)海綿。接下來，該方法包括通過確定手術(shù)海綿是否至少基本上是正方形或矩形來確定手術(shù)海綿是否被折疊。定位神經(jīng)網(wǎng)絡(luò)生成被檢測到的海綿的邊界框。根據(jù)邊界框的外邊緣，定位標(biāo)記器確定手術(shù)海綿是否足夠呈正方形或矩形。該確定可以與海綿類型相關(guān)聯(lián)。該步驟可以包括根據(jù)被計(jì)出的海綿類型確定所展示的手術(shù)海綿的寬高比是否在可接受范圍內(nèi)。定位神經(jīng)網(wǎng)絡(luò)提供邊界框，并將所確定的邊界框的寬高比與該海綿類型的寬高比的可接受范圍進(jìn)行比較。如果所確定的邊界框的寬高比在可接受范圍之外，則定位標(biāo)記器確定海綿為折疊海綿，并據(jù)此生成定位標(biāo)記。

11、該方法可以包括確定所展示的海綿是否是部分海綿。如果海綿的邊界框延伸超出了相機(jī)的視場，則定位標(biāo)記器確定為部分海綿狀況。此外，定位標(biāo)記器可以確定邊界框是否太靠近展示窗口?？梢源_定邊距，即邊界框和展示窗口之間的基于像素的距離，并將其與邊距閾值數(shù)值進(jìn)行比較。如果所確定的邊距小于邊距閾值數(shù)值，則定位標(biāo)記器生成所展示的手術(shù)海綿是部分海綿的定位標(biāo)記。

12、海綿識(shí)別算法可以包括分別通過確定海綿是太大還是太小來確定海綿被定位地距離相機(jī)太近還是太遠(yuǎn)。定位標(biāo)記器確定邊界框的基于像素的區(qū)域，并將邊界框區(qū)域與每個(gè)海綿類型獨(dú)有的邊界框區(qū)域的可接受范圍進(jìn)行比較。邊界框區(qū)域的可接受范圍可能近似于展示窗口。如果處理器確定邊界框區(qū)域大于或小于邊界框區(qū)域的可接受范圍，則定位標(biāo)記器分別生成海綿距離相機(jī)太近或太遠(yuǎn)的定位標(biāo)記。

13、分割神經(jīng)網(wǎng)絡(luò)輸出海綿像素與背景像素分離的分割掩碼。分割神經(jīng)網(wǎng)絡(luò)可能僅在定位神經(jīng)網(wǎng)絡(luò)已經(jīng)確定存在海綿的圖像供應(yīng)圖像幀上運(yùn)行。分割神經(jīng)網(wǎng)絡(luò)可以并行運(yùn)行或在定位網(wǎng)絡(luò)之后順序運(yùn)行，以優(yōu)化處理速度和資源權(quán)衡。該方法包括通過確定海綿分割掩碼中的像素?cái)?shù)來驗(yàn)證海綿分割掩碼，并將所確定的像素?cái)?shù)與像素的可接受范圍進(jìn)行比較。像素的可接受范圍取決于海綿類型，而海綿類型由處理器在利用數(shù)據(jù)讀取器計(jì)出時(shí)識(shí)別出來。如果由分割神經(jīng)網(wǎng)絡(luò)確定的分割掩碼沒有足夠數(shù)量的像素，則確定該分割掩碼無效。分割標(biāo)記器可以據(jù)此生成分割標(biāo)記。

14、分割掩碼求精算法可以從分割掩碼中排除具有與大多數(shù)掩碼像素相比超出了閾值的不同深度值的像素。深度值的差可以被估計(jì)為相應(yīng)點(diǎn)與擬合到深度圖的平面之間的距離。對(duì)于不同的海綿類型來說，閾值可能相同或不同。深度數(shù)據(jù)可被用于建立可接受的展示距離的閾值。該方法可以包括確定所展示的手術(shù)海綿是否太近或太遠(yuǎn)。如果屬于海綿分割掩碼的所有像素的平均深度分別小于或大于最小閾值或最大閾值，則分割標(biāo)記器可以輸出所展示的手術(shù)海綿太近或海綿太遠(yuǎn)的相應(yīng)的分割標(biāo)記。

15、分割標(biāo)記器可以利用從深度傳感器獲得的深度數(shù)據(jù)的深度圖來確定所展示的手術(shù)海綿的真實(shí)尺寸，以評(píng)定其它驗(yàn)收標(biāo)準(zhǔn)。該方法還可以包括確定所展示的手術(shù)海綿是否是正確的海綿。通過利用深度圖來確定分割掩碼的海綿區(qū)域，分割標(biāo)記器將所確定的真實(shí)海綿區(qū)域與海綿區(qū)域的可接受范圍進(jìn)行比較，海綿區(qū)域的可接受范圍是基于被計(jì)出的海綿類型的。如果所確定的分割掩碼的真實(shí)海綿區(qū)域在海綿區(qū)域的可接受范圍之外，則分割標(biāo)記器輸出錯(cuò)誤海綿標(biāo)記。該步驟還可以包括將海綿緊密度(compactness)與預(yù)定緊密度閾值進(jìn)行比較。預(yù)定緊密度閾值可能是邊界框的區(qū)域的一部分，所確定的分割掩碼的海綿區(qū)域必須超過該部分才能被確定為正確。

16、該方法還可以包括確定所展示的手術(shù)海綿是否正在移動(dòng)?？梢源_定海綿分割掩碼的質(zhì)心，并且可以在圖像供應(yīng)的預(yù)定數(shù)量的圖像幀內(nèi)確定質(zhì)心的平均運(yùn)動(dòng)幅度。該步驟可以包括將平均運(yùn)動(dòng)幅度與質(zhì)心變化閾值進(jìn)行比較，該質(zhì)心變化閾值可以基于被計(jì)出的海綿類型。如果平均運(yùn)動(dòng)幅度大于質(zhì)心變化閾值，則分割標(biāo)記器確定所展示的手術(shù)海綿移動(dòng)太快，并且不滿足驗(yàn)收標(biāo)準(zhǔn)。

17、分割和定位神經(jīng)網(wǎng)絡(luò)可以結(jié)合成單一神經(jīng)網(wǎng)絡(luò)，該單一神經(jīng)網(wǎng)絡(luò)不僅輸出分類標(biāo)記(例如，無海綿、部分海綿、折疊海綿和完整海綿)，還輸出分割掩碼和圍繞著檢測到的海綿的相關(guān)聯(lián)邊界框。此外，分割和定位標(biāo)記器可以結(jié)合起來，根據(jù)檢測到的海綿特征和預(yù)期的海綿類型，作為一系列狀況檢查來檢查每個(gè)防護(hù)欄。分割和定位神經(jīng)網(wǎng)絡(luò)可以同時(shí)或順序地執(zhí)行。

18、該方法可以包括執(zhí)行海綿監(jiān)督，其中使用姿態(tài)估計(jì)神經(jīng)網(wǎng)絡(luò)來檢測用戶的手、軀干、頸部和其他關(guān)聯(lián)身體部位，以及使用定位神經(jīng)網(wǎng)絡(luò)或分割神經(jīng)網(wǎng)絡(luò)檢測所展示的手術(shù)海綿的定位。一旦檢測并定位到人和所展示的手術(shù)海綿，姿態(tài)估計(jì)神經(jīng)網(wǎng)絡(luò)即配置以確定所展示的手術(shù)海綿是否被正確地拿持在軀干前面。海綿監(jiān)督算法可以識(shí)別身體中心線和海綿豎直中心線，并進(jìn)一步確定所展示的手術(shù)海綿相對(duì)于身體中心線的定位的水平移位?？梢詫⒏郊又行木€中的一個(gè)或多個(gè)與所展示的手術(shù)海綿的水平海綿中心線進(jìn)行比較，以確定所展示的手術(shù)海綿的豎直移位?？梢詫⑺揭莆缓?或豎直移位與相應(yīng)的相對(duì)移位閾值和/或預(yù)定的優(yōu)選位置進(jìn)行比較。如果(一個(gè)或兩個(gè))移位超過移位閾值，則可以在用戶界面上提供指導(dǎo)，指示用戶將手術(shù)海綿展示在其軀干前面。來自深度傳感器的深度圖可用于區(qū)分背景和前景中的人，并且姿態(tài)估計(jì)算法確定相機(jī)視場內(nèi)的多個(gè)人中的哪一個(gè)正在展示海綿。

19、海綿識(shí)別算法包括海綿識(shí)別狀態(tài)機(jī)(srsm)。srsm配置為接收來自定位標(biāo)記器和分割標(biāo)記器中每一個(gè)的標(biāo)記，并在相機(jī)捕獲qbl圖像之前執(zhí)行進(jìn)一步處理。srsm算法，通過結(jié)合來自定位和分割標(biāo)記器兩者的聚合狀態(tài)，確定是否滿足了由定位標(biāo)記器和海綿分割標(biāo)記器分別執(zhí)行的驗(yàn)收標(biāo)準(zhǔn)或防護(hù)欄。srsm算法可以執(zhí)行平滑程序，使用具有圖像幀大小的滑動(dòng)窗口來聚合定位和分割標(biāo)記。最頻繁聚合的海綿標(biāo)記被稱為主導(dǎo)標(biāo)記。如果所需的連續(xù)幀中的主導(dǎo)標(biāo)記滿足驗(yàn)收標(biāo)準(zhǔn)，則srsm可以指示qbl圖像已準(zhǔn)備好捕獲和通過血紅蛋白估計(jì)引擎繼續(xù)分析。如果在最后的連續(xù)的圖像幀中沒有識(shí)別到主導(dǎo)標(biāo)記，那么srsm可能生成不確定狀況狀態(tài)。

20、一旦捕獲到qbl圖像，無論接近的標(biāo)記和主導(dǎo)標(biāo)記如何，srsm可能都不允許進(jìn)一步捕獲qbl圖像，至少直到主導(dǎo)標(biāo)記確認(rèn)海綿在圖像供應(yīng)的所需數(shù)量的連續(xù)圖像幀中都不再存在或不存在為止。一旦海綿在所需數(shù)量的連續(xù)幀中不再存在，srsm算法即配置為返回到其中定位神經(jīng)網(wǎng)絡(luò)和分割神經(jīng)網(wǎng)絡(luò)準(zhǔn)備執(zhí)行本文公開的方法的狀態(tài)。