基于視圖分類的模型初始化的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像處理裝置、一種圖像處理方法、一種計(jì)算機(jī)程序單元以及一 種計(jì)算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0002] 對(duì)高質(zhì)量影像的依賴在醫(yī)學(xué)領(lǐng)域中是普遍的，盡管在這方面中也可以列舉來(lái)自其 他領(lǐng)域的范例，例如無(wú)損材料測(cè)試、地質(zhì)學(xué)、或用于安全檢查的行李篩查。尤其具有挑戰(zhàn)性 的是對(duì)視覺(jué)檢驗(yàn)不容易達(dá)到的"隱藏的"對(duì)象的高質(zhì)量圖像的采集。例如，在醫(yī)學(xué)領(lǐng)域中，內(nèi) 部器官的清晰定義的圖像是重要的診斷工具。具體而言，在三維經(jīng)食道超聲心動(dòng)描記法（3D TEE)中，3D超聲成像裝備被用于采集患者的心臟的超聲圖像體積。申請(qǐng)人的US 7141020 描述了一種3D超聲系統(tǒng)。諸如CT掃描器的其他成像模態(tài)也被頻繁地使用。通過(guò)那些成像 模態(tài)采集到的圖像可以被后處理以幫助更好地識(shí)別被編碼在其中的解剖結(jié)構(gòu)信息。這樣的 后處理包括圖像分割。分割允許清晰地定義圖像的哪個(gè)部分表示人類或動(dòng)物的心臟或其他 感興趣對(duì)象。然而，已經(jīng)發(fā)現(xiàn)，在某些情況下，分割結(jié)果是不可靠的。

【發(fā)明內(nèi)容】

[0003] 因此可以存在對(duì)解決以上指出的缺陷或類似的缺陷的裝置的需要。
[0004] 本發(fā)明的目的是通過(guò)獨(dú)立權(quán)利要求的主體來(lái)解決的，其中，在從屬權(quán)利要求中并 入了另外的實(shí)施例。應(yīng)當(dāng)注意到，本發(fā)明的以下描述的方面同樣地應(yīng)用于圖像處理方法、計(jì) 算機(jī)程序單元以及計(jì)算機(jī)可讀介質(zhì)。
[0005] 根據(jù)本發(fā)明的第一方面，提供了一種圖像處理裝置，包括：
[0006] 輸入端口，其用于接收由成像器在視場(chǎng)處采集到的對(duì)象的圖像，所述圖像記錄與 所述成像器的視場(chǎng)相對(duì)應(yīng)的所述對(duì)象的姿態(tài)；
[0007] 分類器，其被配置為使用所述對(duì)象的幾何模型來(lái)從預(yù)定義的（候選）姿態(tài)的集合 中確定被記錄在所述圖像中的所述對(duì)象的所述姿態(tài)；
[0008] 輸出端口，其被配置為輸出描述所確定的姿態(tài)的姿態(tài)參數(shù)。
[0009] 根據(jù)一個(gè)實(shí)施例，所述圖像處理裝置還包括分割器，所述分割器被配置為使用所 述姿態(tài)參數(shù)作為初始化信息來(lái)對(duì)處于所估計(jì)的姿態(tài)的所述對(duì)象的所述圖像進(jìn)行分割?；?模型的分割依賴于對(duì)在所述分割器的算法中使用的幾何模型的適當(dāng)?shù)某跏蓟?。然而，?dāng)器 官的姿態(tài)由于解剖結(jié)構(gòu)可變性或變化的成像幾何結(jié)構(gòu)（例如，與其中幾乎沒(méi)有任何成像幾 何結(jié)構(gòu)的變化的CT相比，在3D TEE中）而遭受變化時(shí)，基于先驗(yàn)知識(shí)的標(biāo)準(zhǔn)初始化失效。 在一個(gè)實(shí)施例中，所提出的裝置執(zhí)行基于視圖的分類并且隨后將該信息用于對(duì)可以是感興 趣器官的所述對(duì)象的分割。換言之，所述裝置能夠自動(dòng)檢測(cè)帶分割的所述器官相對(duì)于參考 姿態(tài)的所述姿態(tài)。所述姿態(tài)尤其包括所述對(duì)象的位置及其相對(duì)于處于所述參考姿態(tài)的所述 模型的取向。由所述分類器建立的所述姿態(tài)參數(shù)描述該位置和取向。在一個(gè)實(shí)施例中，所 述姿態(tài)參數(shù)然后被用于對(duì)分割處理流水線進(jìn)行初始化，具體用于對(duì)要在所述分割中使用的 所述模型進(jìn)行初始化?？梢砸圆煌姆绞絹?lái)供應(yīng)姿態(tài)參數(shù)，例如，針對(duì)與所述姿態(tài)有關(guān)的變 換的矩陣。
[0010] 在一個(gè)實(shí)施例中，所述變換被應(yīng)用到所述模型以產(chǎn)生處于"正確的"姿態(tài)中的經(jīng)變 換的模型，所述"正確的"姿態(tài)與被記錄在所述圖像中的所述對(duì)象的所述姿態(tài)相對(duì)應(yīng)。在該 實(shí)施例中，所建立的姿態(tài)參數(shù)允許使所述模型適于被記錄在所述圖像中的所述對(duì)象的所述 姿態(tài)。在又一實(shí)施例中，所述變換被應(yīng)用以對(duì)所述圖像進(jìn)行變換。以不同的形式供應(yīng)所述 姿態(tài)參數(shù)允許使所提出的裝置適于給定的分割器的內(nèi)部算法工作。以這種方式，所提出的 裝置能夠被用作針對(duì)現(xiàn)有分割器的"附加物"。
[0011] 在一個(gè)實(shí)施例中，所述裝置在對(duì)所述圖像的操作期間自動(dòng)操作，而不需要用戶輸 入。所估計(jì)的姿態(tài)參數(shù)被自動(dòng)轉(zhuǎn)發(fā)到所述分割器以用于所述初始化。在半自動(dòng)的實(shí)施例中， 所述輸出姿態(tài)參數(shù)被顯示在屏幕上以由人類專家進(jìn)行驗(yàn)證。例如，可以使用所述姿態(tài)參數(shù) 來(lái)將所述模型變換為所建立的姿態(tài)，并且然后將所述模型顯示在所述屏幕上以用于用戶檢 驗(yàn)。所述裝置可以對(duì)在成像階段期間由所述成像器供應(yīng)的圖像的序列進(jìn)行操作。在該實(shí)施 例中，所述裝置輸出對(duì)應(yīng)的姿態(tài)參數(shù)的序列，每個(gè)姿態(tài)參數(shù)用在所述序列中的各自圖像的 單獨(dú)的分割初始化中。
[0012] 在一個(gè)實(shí)施例中，所述模型是勾勒出所述對(duì)象的形狀的3D表面網(wǎng)格。在一個(gè)實(shí)施 例中，所述網(wǎng)格是由互連的三角形元素組成的，然而，也可以使用其他網(wǎng)格，例如矩形/方 形元素網(wǎng)格或由NURBS(非均勻有理（rational)b條樣）表面組成的網(wǎng)格。
[0013] 根據(jù)一個(gè)實(shí)施例，所述分類器使用廣義霍夫變換（GHT)來(lái)確定所述對(duì)象的姿態(tài)。 所述預(yù)定義的姿態(tài)中的每個(gè)與所述GHT的（霍夫）參數(shù)空間中的點(diǎn)相關(guān)聯(lián)。根據(jù)一個(gè)實(shí)施 例，所述GHT基于多個(gè)單獨(dú)的霍夫累積因子，每個(gè)霍夫累積因子專用于所述預(yù)定義的姿態(tài) 中的不同的一個(gè)。換言之，不同的取向未被附加以形成單個(gè)累積因子。以這種方式，能夠節(jié) 省CPU時(shí)間而不對(duì)準(zhǔn)確度做出折衷，這是因?yàn)橛?jì)算量?jī)H與不同取向的量線性成比例。更具 體地，并且根據(jù)一個(gè)實(shí)施例，姿態(tài)被定義為被記錄在所述圖像中的所述對(duì)象的位置和取向。 每個(gè)姿態(tài)的每個(gè)累積因子是單獨(dú)的數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)對(duì)霍夫空間中的每個(gè)位置中有 多少圖像點(diǎn)與該特定的霍夫空間點(diǎn)相對(duì)應(yīng)進(jìn)行計(jì)數(shù)。在一個(gè)實(shí)施例中，在訓(xùn)練階段中根據(jù) 訓(xùn)練圖像來(lái)學(xué)習(xí)普遍的姿態(tài)（取向或位置）。在備選實(shí)施例中，姿態(tài)位置和姿態(tài)取向的角色 被顛倒，亦即，所述單獨(dú)的累積因子是每個(gè)位置的并且各自的條目記錄關(guān)于取向的對(duì)應(yīng)性。
[0014] 使用某些質(zhì)量量度，所述累積因子能夠被比較以找到關(guān)于所述量度與所述圖像最 佳擬合的那個(gè)累積因子。建立最佳擬合累積因子接著確定所尋求的取向，并且在所述最佳 擬合累積因子中的條目被用于建立與所述取向一起定義所尋求的姿態(tài)參數(shù)的所述位置。基 于所述姿態(tài)參數(shù)，然后能夠確定對(duì)幾何模型進(jìn)行變換的仿射變換（或其他類型的變換），使 得其能夠被用作針對(duì)如之前提及的基于模型的分割的起始點(diǎn)。根據(jù)一個(gè)實(shí)施例，所述質(zhì)量 量度是在所有累積因子條目上的最大值。根據(jù)一個(gè)實(shí)施例，經(jīng)加權(quán)的最大值被用于例如將 不同的權(quán)重歸于來(lái)自不同累積因子的條目。在不同累積因子表示不同取向的實(shí)施例中，經(jīng) 加權(quán)的最大值合計(jì)為對(duì)不同取向的加權(quán)。在一些實(shí)施例中，設(shè)想熵量度，其中，在每個(gè)累積 因子的每個(gè)最大值條目周圍的鄰近處的熵被評(píng)估，并且具有擁有最大熵的所述最大值條目 的累積因子被返回。所述最大值也可以被取為絕對(duì)的、"平的"最大值或被取為如以上提及 的經(jīng)加權(quán)的最大值。
[0015] 根據(jù)不同的實(shí)施例，所述圖像處理裝置包括識(shí)別器，所述識(shí)別器被配置為識(shí)別所 述圖像中的一個(gè)（但是一般為多個(gè)）標(biāo)志。每個(gè)預(yù)定義的姿態(tài)與變換相關(guān)聯(lián)。所述分類器 能夠使用所述變換中的至少一個(gè)（但是一般為兩個(gè)或更多個(gè)）以分別對(duì)識(shí)別出的標(biāo)志的坐 標(biāo)進(jìn)行變換，并將經(jīng)變換的標(biāo)志坐標(biāo)與所述模型的標(biāo)志的坐標(biāo)進(jìn)行比較?；谙嗨贫攘慷龋?從至少兩個(gè)所述變換當(dāng)中建立最佳擬合的變換。所述姿態(tài)參數(shù)描述與所述最佳擬合的變換 相關(guān)聯(lián)的所述姿態(tài)。在一個(gè)實(shí)施例中，所述姿態(tài)參數(shù)是是最佳擬合的變換，并且可以被應(yīng)用 到所述模型以使所述模型適于以上提及的所述圖像。
[0016] 根據(jù)一個(gè)實(shí)施例，所述分類器能夠生成從所述圖像到所述模型的搜索變換。所述 搜索變換基于：（i)所述圖像中的識(shí)別出的標(biāo)志的坐標(biāo)，以及（ii)所述模型中的目標(biāo)標(biāo)志 的坐標(biāo)。所述分類器被配置為基于相似度量度將所述搜索變換與所述預(yù)定義的變換中的一 個(gè)（但是一般為兩個(gè)或更多個(gè)）進(jìn)行比較，以如此建立最佳擬合的變換，并且所述輸出姿態(tài) 參數(shù)描述與所述最佳擬合的變換相關(guān)聯(lián)的所述姿態(tài)。與之前的實(shí)施例類似，也可以以所述 最佳擬合的變換的方式來(lái)供應(yīng)所述姿態(tài)參數(shù)，并且所述姿態(tài)參數(shù)可以被應(yīng)用到所述模型以 使所述模型適于所述圖像。
[0017] 根據(jù)一個(gè)實(shí)施例，所述分類器使用權(quán)重的集合，所述權(quán)重反映當(dāng)所述成像器正在 被使用時(shí)，所述成像器的位置相對(duì)于待成像的所述對(duì)象之間的期望的空間關(guān)系。這允許 進(jìn)一步改進(jìn)所述姿態(tài)參數(shù)的準(zhǔn)確度。在具有多個(gè)累積因子的霍夫變換實(shí)施例中，針對(duì)成像 器-對(duì)象空間關(guān)系的所述權(quán)重能夠被用于定義質(zhì)量量度的又一實(shí)施例，以用于對(duì)累積因子 進(jìn)行比較。在該實(shí)施例中，在經(jīng)加權(quán)的累積因子上取得最大值條目。來(lái)自表示符合期望的 空間成像器-對(duì)象關(guān)系的姿態(tài)的累積因子的條目是優(yōu)選的，因此使得與來(lái)自其他累積因子 的條目相比附有更高的權(quán)重。
[0018] 所述裝置能夠被使用在針對(duì)圖像數(shù)據(jù)集中的器官的姿態(tài)未知的模態(tài)的各種分割 任務(wù)中。等價(jià)地，所述裝置能夠被使用在坐標(biāo)軸的原點(diǎn)和取向不是固定的或預(yù)先已知的模 態(tài)中。針對(duì)這樣的模態(tài)的范例為TEE超聲成像，其中