用于顯示圖像流的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種用于顯示和/或回放圖像流的方法和系統(tǒng)，更具體地，本發(fā)明設(shè) 及一種用于有效顯示例如由膠囊內(nèi)窺鏡生成的圖像流的多個(gè)圖像的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 圖像流可W由一系列的靜止圖像聚集而成并向用戶顯示。圖像可從各種來源中創(chuàng) 建或收集，例如，使用基文影像公司的商業(yè)化的PillCam⑩SB2或ES02可吞咽膠囊產(chǎn)品。例 如，專利號(hào)為5, 604, 531和/或7, 009, 634歸屬Iddan等人的美國(guó)專利，委托給本申請(qǐng)的共 同受讓人并通過引用方式合并于此，其介紹了一種體內(nèi)成像系統(tǒng)，其中在一個(gè)實(shí)施例中包 括可吞咽或者可吸收的膠囊。成像系統(tǒng)在膠囊通過內(nèi)腔的同時(shí)，捕獲內(nèi)腔例如胃腸道（GI) 的圖像并將其傳輸至外部記錄裝置。膠囊可W不同的進(jìn)展速度沿著內(nèi)腔部分前進(jìn)，W非一 致的速度移動(dòng)，取決于腸的蠕動(dòng)運(yùn)動(dòng)該速度可W更快或更慢。可收集大量圖像用于觀察，并 且例如按順序組合?？蒞從原始圖像流中選擇圖像用于顯示，并可W向用戶顯示原始圖像 流的子集。對(duì)整套所捕獲的圖像進(jìn)行回放花費(fèi)的時(shí)間可W相對(duì)較長(zhǎng)，例如可花費(fèi)若干小時(shí)。
[0003]回放的醫(yī)生可希望查看圖像的縮減集，其包括重要的或臨床感興趣的圖像，并且 其沒有忽略任何相關(guān)的臨床信息?？s減或縮短的影片可包括具有臨床重要性的圖像，比 如被選擇在胃腸道內(nèi)預(yù)定位置的圖像，W及具有病理學(xué)或崎形的圖像。例如，申請(qǐng)?zhí)枮?10/949, 220歸屬化vidson等人的美國(guó)專利申請(qǐng)，委托給本申請(qǐng)的共同受讓人并通過引用 方式合并于此，在一個(gè)實(shí)施例中介紹了一種例如通過選擇遵循預(yù)定標(biāo)準(zhǔn)的圖像來編輯圖像 流的方法。
[0004] 為了縮短回放時(shí)間，原始圖像流可被分割成兩個(gè)或多個(gè)圖像流的子集，可W同時(shí) 或基本上同時(shí)顯示圖像流子集。專利號(hào)為7, 505, 062歸屬于化vidson等人的美國(guó)專利，委 托給本申請(qǐng)的共同受讓人并通過引用方式合并于此，介紹了一種顯示來自貫穿多個(gè)連續(xù)時(shí) 間段的原始圖像流的圖像的方法，其中，在每個(gè)時(shí)間段中顯示來自原始圖像流的一套連續(xù) 圖像，由此提高了可回放的原始圖像流的速率，而不減少圖像顯示時(shí)間。后置處理可被用于 融合同時(shí)或基本上同時(shí)示出的圖像。例如，在委托給本發(fā)明的共同受讓人并通過引用方式 合并于此的專利號(hào)為7, 474, 327的美國(guó)專利中描述的實(shí)施例中可發(fā)現(xiàn)融合圖像的實(shí)例。
[0005] 與回放單個(gè)圖像流比較，同時(shí)顯示多個(gè)圖像流的子集可產(chǎn)生對(duì)于用戶在回放時(shí)更 具挑戰(zhàn)性的影片。例如，當(dāng)同時(shí)查看多個(gè)圖像流的子集時(shí)，圖像被典型地W更快的總速率顯 示，并且用戶需要對(duì)存在于多個(gè)被同時(shí)顯示的圖像中的可能病理解剖更加集中、專屯、和警 覺。

【發(fā)明內(nèi)容】

[0006] 一種用于顯示由體內(nèi)成像膠囊捕獲的圖像流的系統(tǒng)和方法可包括生成合并圖像， 所述合并圖像包括映射圖像部分和生成部分。映射圖像部分可包括邊界像素，該邊界像素 表示合并圖像的映射部分和生成部分之間的邊界。生成部分可包括與邊界像素和內(nèi)部像素 鄰近的像素。
[0007] 可進(jìn)行生成部分的像素的距離變換，而且對(duì)于每個(gè)像素，可計(jì)算像素離最近的邊 界像素的距離?？捎?jì)算生成部分中像素的補(bǔ)償值。計(jì)算生成部分中與邊界像素鄰近的像素 Pa的補(bǔ)償值，例如，是通過計(jì)算PA的色值和至少一個(gè)相鄰像素的平均值、中值、廣義平均值 或加權(quán)平均數(shù)之間的差實(shí)現(xiàn)的。相鄰像素可選自與Pa鄰近的邊界像素。
[0008] 在一些實(shí)施例中，可基于已被指定補(bǔ)償值的至少一個(gè)相鄰像素的補(bǔ)償值，計(jì)算生 成部分中內(nèi)部像素的補(bǔ)償值。例如，計(jì)算生成部分中內(nèi)部像素的補(bǔ)償值，可通過計(jì)算被指定 補(bǔ)償值的至少一個(gè)相鄰像素的平均值、中值、廣義平均值或加權(quán)平均數(shù)乘W衰減系數(shù)實(shí)現(xiàn)。
[0009] 對(duì)于生成部分中的每個(gè)像素，可將被計(jì)算的像素補(bǔ)償值加到像素色值上，從而獲 得新的像素色值?？蒞顯示合并圖像，其包括映射圖像部分和具有新的像素色值的生成部 分。
[0010] 所述方法可包括從體內(nèi)成像膠囊中接收用于并行顯示的一組原始圖像；和選擇用 于顯示所述圖像組的模板。所述模板可包括至少一個(gè)映射圖像部分和一個(gè)生成部分。原始 圖像可被映射到被選擇模板中的映射圖像部分上?？缮苫蚝铣蓪?duì)于合并圖像預(yù)定區(qū)域 (例如，根據(jù)被選擇的模板）的填充，從而產(chǎn)生合并圖像的生成部分。通過將補(bǔ)了從映射圖 像部分復(fù)制到生成部分，可生成填充。
[0011] 例如基于計(jì)算的距離可W對(duì)生成部分中的像素分類，并根據(jù)分類的順序可計(jì)算內(nèi) 部像素的補(bǔ)償值。映射圖像部分的邊界像素可包括作為對(duì)應(yīng)生成部分的鄰近像素的像素。
[0012] 本發(fā)明的實(shí)施例可包括一種用于顯示合并圖像的系統(tǒng)，所述合并圖像可包括至少 一個(gè)映射圖像部分和一個(gè)生成部分。映射圖像部分可包括邊界像素，并且生成部分可包括 與所述邊界像素和內(nèi)部像素鄰近的像素。所述系統(tǒng)可包括處理器W計(jì)算例如生成部分的像 素，像素至最近邊界像素的距離值。處理器可計(jì)算與邊界像素鄰近的生成部分的像素的補(bǔ) 償值?；谝阎付ㄑa(bǔ)償值的至少一個(gè)相鄰像素的補(bǔ)償值，可計(jì)算生成部分中的內(nèi)部像素的 補(bǔ)償值。對(duì)于生成部分中的每個(gè)像素，可將計(jì)算的像素補(bǔ)償值加到像素的色值上，W獲得新 的像素色值。所述系統(tǒng)可包括存儲(chǔ)單元，用于存儲(chǔ)距離值、補(bǔ)償值和新的像素色值；和顯示 器，用于顯示合并圖像，所述合并圖像包括映射圖像部分和具有新的像素色值的生成部分。
[0013] 在一些實(shí)施例中，存儲(chǔ)單元可存儲(chǔ)來自體內(nèi)成像膠囊的一組原始圖像，用于并行 顯示。處理器可選擇用于顯示所述圖像組的模板，所述模板可包括至少一個(gè)映射圖像部分 和一個(gè)生成部分。處理器可將原始圖像映射到所述選擇模板中的映射圖像部分，從而產(chǎn)生 映射圖像部分。處理器可生成合并圖像的預(yù)定區(qū)域的填充，從而產(chǎn)生生成部分。例如，處理 器可通過將補(bǔ)了從映射圖像部分復(fù)制到生成部分而生成填充。
[0014] 在一些實(shí)施例中，處理器可基于計(jì)算的距離值在生成部分中分類像素，并根據(jù)分 類的順序計(jì)算內(nèi)部像素的補(bǔ)償值。
[0015] 本發(fā)明的實(shí)施例包括一種變形視頻流的多個(gè)圖像W適應(yīng)符合人類視野的方法。可 使用失真最小化技術(shù)，W基于模板圖案將圖像變形為新的輪廓，所述模板圖案具有圓角和 類楠圓形?？蓪⒆冃蔚膱D像顯示為視頻流。模板圖案可包括映射圖像部分和合成部分。通 過將映射圖像部分的區(qū)域復(fù)制到合成部分，并使映射圖像部分和合成部分之間的邊緣平滑 化，可計(jì)算合成部分的值。
【附圖說明】
[0016]從下面結(jié)合附圖的詳細(xì)說明中，將對(duì)本發(fā)明進(jìn)行更全面的理解和領(lǐng)會(huì)，其中：
[0017] 圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的體內(nèi)成像系統(tǒng)的示意圖；
[0018] 圖2描繪了根據(jù)本發(fā)明一個(gè)實(shí)施例的體內(nèi)圖像流的典型圖形用戶界面顯示；
[0019] 圖3A-3C描繪了根據(jù)本發(fā)明一個(gè)實(shí)施例的典型雙重圖像顯示；
[0020] 圖3D描繪了根據(jù)本發(fā)明一個(gè)實(shí)施例的典型雙重圖像模板；
[0021] 圖4描繪了根據(jù)本發(fā)明一個(gè)實(shí)施例的典型S重圖像顯示；
[0022] 圖5描繪了根據(jù)本發(fā)明一個(gè)實(shí)施例的典型四重圖像顯示；
[0023] 圖6為描繪根據(jù)本發(fā)明一個(gè)實(shí)施例的用于顯示合成圖像的方法的流程圖；
[0024] 圖7A為描繪根據(jù)本發(fā)明一個(gè)實(shí)施例的用于生成合成圖像的預(yù)定空部的方法的流 程圖；
[0025] 圖7B為描繪根據(jù)本發(fā)明一個(gè)實(shí)施例用于對(duì)合成圖像中生成部分的邊緣平滑化的 方法的流程圖；
[0026] 圖7C為如圖5所示合成的四重圖像的左上部顯示的放大圖。
【具體實(shí)施方式】
[0027]在下面的描述中，將對(duì)本發(fā)明的各個(gè)方面進(jìn)行描述。為了說明的目的，提出了特定 的配置和細(xì)節(jié)，為的是提供對(duì)本發(fā)明的全面理解。然而，對(duì)本領(lǐng)域技術(shù)人員而言也顯而易見 的是，不具有此處給出的特定細(xì)節(jié)時(shí)，可W實(shí)施本發(fā)明。而且，為了不使本發(fā)明不清楚，可W 省略或簡(jiǎn)化熟知的特點(diǎn)。
[0028]根據(jù)本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)和方法使得用戶可在不增加對(duì)編輯的圖像流的 總體查看時(shí)間的情況下，用更長(zhǎng)的時(shí)間周期查看圖像流的圖像?？蛇x地，根據(jù)一個(gè)實(shí)施例的 系統(tǒng)和方法可被用于增加用戶可回放圖像流的速率，而不犧牲可在流中描繪的細(xì)節(jié)。在特 定實(shí)施例中，從橫貫胃腸道的可吞咽或者可消化膠囊中收集圖像。圖像可被組合成圖像流 或影片。在一些實(shí)施例中，可W產(chǎn)生原始圖像流或完整的圖像流，其包括在成像過程中所捕 獲或接收的所有圖像（例如，整套的帖）。來自圖像流的多個(gè)圖像可被同時(shí)或基本上同時(shí)顯 示在屏幕或監(jiān)視器上。
[0029]在其它實(shí)施例中，減小或編輯的圖像流可包括圖像的選擇（例如，捕獲的帖的子 集），其根據(jù)一個(gè)或多個(gè)預(yù)定標(biāo)準(zhǔn)選擇。在一些實(shí)施例中，可從原始圖像流中省略圖像，例 如，原始圖像流可包括比通過可吞咽膠囊捕獲的圖像數(shù)量更少的圖像。例如，過飽和的，污 染的，包括腸道內(nèi)含物或渾濁的圖像，和/或與相鄰圖像非常類似的圖像，可從由成像膠囊 捕獲的整套圖像中移除，而且原始圖像流可包括由成像膠囊捕獲的圖像的子集，在該些情 況下，減小的圖像流可包括根據(jù)預(yù)定標(biāo)準(zhǔn)選自原始圖像流的減小的圖像子集。
[0030]本發(fā)明的實(shí)施例可包括物品，比如計(jì)算機(jī)或處理器可讀非臨時(shí)性存儲(chǔ)介質(zhì)，比如 例如存儲(chǔ)器，硬盤驅(qū)動(dòng)器或USB閃存裝置編碼、包括或存儲(chǔ)指令，例如，計(jì)算機(jī)可執(zhí)行指令， 當(dāng)由處理器或控制器執(zhí)行時(shí)，其導(dǎo)致處理器或控制器實(shí)施此處公開的方法。
[0031] 參考圖1，其示出根據(jù)本發(fā)明一個(gè)實(shí)施例的體內(nèi)成像系統(tǒng)的示意圖。在一個(gè)示例 實(shí)施例中，系統(tǒng)包括膠囊40,其具有一個(gè)或多個(gè)成像器46用于捕獲圖像，一個(gè)或多個(gè)照明 源42用于照明身體內(nèi)腔，和傳輸器41用于向接收裝置傳輸圖像和可能的其他信息。體內(nèi) 成像裝置可與專利號(hào)為5, 604, 531和/或7, 009, 634歸屬Iddan等人的美國(guó)專利，和/或 申請(qǐng)?zhí)枮?1/603, 123歸屬Gilad的美國(guó)專利申請(qǐng)相一致，但在可選實(shí)施例中可W為體內(nèi)成 像裝置的其他類別。通過成像系統(tǒng)捕獲的圖像可W為包括例如圓形、正方形、矩形、八角形、 六角形等任何合適的形狀。典型地，位于患者體外的一個(gè)或多個(gè)位置的是圖像接收器12,包 括天線或天線陣列（未示出）；圖像接收器存儲(chǔ)單元16 ;數(shù)據(jù)處理器14 ;數(shù)據(jù)處理器存儲(chǔ)單 元19 及圖像監(jiān)視器18,用于顯示，除了別的W外，由膠囊40記錄的圖像。典型地，數(shù)據(jù) 處理器存儲(chǔ)單元19包括圖像數(shù)據(jù)庫21。處理器14和/或其他處理器，或圖像顯示發(fā)生器 24,可W被配置為執(zhí)行由本文中描述的方法，例如，被連接到存儲(chǔ)到當(dāng)由處理器執(zhí)行時(shí)使得 處理器執(zhí)行此方法的存儲(chǔ)單元或存儲(chǔ)器的指令或軟件。
[0032] 典型地，數(shù)據(jù)處理器14、數(shù)據(jù)處理器存儲(chǔ)單元19和監(jiān)視器18為個(gè)人電腦或工作站 的部件，其包括標(biāo)準(zhǔn)組件，比如處理器14、存儲(chǔ)器、硬盤驅(qū)動(dòng)器和比如鼠標(biāo)和鍵盤的輸入輸 出裝置，盡管替換配置是可能的。數(shù)據(jù)處理器14可包括任何標(biāo)準(zhǔn)的數(shù)據(jù)處理器，比如微處 理器，多重處理器、加速板，或任何其它串聯(lián)或并聯(lián)高性能數(shù)據(jù)處理器。數(shù)據(jù)處理器14作為 其功能性的部分，典型地充當(dāng)控制器的作用，控制圖像（例如，其圖像，在各種窗口中的圖 像位置，圖像顯示的計(jì)時(shí)或持續(xù)時(shí)間等）的顯示。圖像監(jiān)視器18典型地為常規(guī)的視頻顯示 器，但是另外也可W是任何能夠提供圖像或其它數(shù)據(jù)的其它裝置。圖像監(jiān)視器18典型地W 靜止和移動(dòng)圖片的形式呈現(xiàn)圖像數(shù)據(jù)，并可另外呈現(xiàn)其它信息。在一