用于交互式圖像標(biāo)注的系統(tǒng)與方法
【專(zhuān)利摘要】一種用于實(shí)現(xiàn)對(duì)圖像102的交互式標(biāo)注的系統(tǒng)100，包括用戶(hù)輸入部160，其用于接收來(lái)自用戶(hù)的放置命令162，所述放置命令指示標(biāo)記140在圖像102中的第一放置位置；以及處理器180，其被布置為(i)對(duì)所述圖像中的區(qū)域130應(yīng)用圖像處理算法，所述區(qū)域基于所述第一放置位置，并且所述圖像處理算法對(duì)視覺(jué)上與所述標(biāo)記140相對(duì)應(yīng)的圖像部分作出響應(yīng)，用于建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)匹配度，(ii)根據(jù)所述多個(gè)匹配度和相應(yīng)的多個(gè)圖像部分建立第二放置位置，用于將所述標(biāo)記匹配到所述圖像中的所述區(qū)域，并且(iii)將所述標(biāo)記140放置在所述圖像102中的所述第二放置位置處。
【專(zhuān)利說(shuō)明】用于交互式圖像標(biāo)注的系統(tǒng)與方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于實(shí)現(xiàn)對(duì)圖像的交互標(biāo)注的系統(tǒng)與方法。本發(fā)明還涉及包括所述系統(tǒng)的工作站和成像裝置，并且涉及包括用于令處理器系統(tǒng)執(zhí)行所闡述的方法的指令的計(jì)算機(jī)程序產(chǎn)品。
【背景技術(shù)】
[0002]圖像標(biāo)注是指這樣的過(guò)程，其中，通過(guò)添加文本、色彩疊加等來(lái)標(biāo)記圖像的特定區(qū)域。尤其地，可以添加圖形標(biāo)注，例如曲線、線、符號(hào)等，后文稱(chēng)作標(biāo)記。通過(guò)手來(lái)標(biāo)注圖像是已知的，例如使用鋼筆或鉛筆。此外，使用系統(tǒng)來(lái)以交互的方式標(biāo)注圖像也是已知的。在這樣的系統(tǒng)中，用戶(hù)可以操作諸如鼠標(biāo)的用戶(hù)接口設(shè)備，以在顯示的圖像上繪制或拖曳標(biāo)記，并且作為響應(yīng)，所述系統(tǒng)相應(yīng)地在所顯示的圖像上繪制或放置所述標(biāo)記。
[0003]US2007/0174769A1描述了一種用于增強(qiáng)醫(yī)學(xué)圖像的遞送與顯示的系統(tǒng)和方法，用于術(shù)前規(guī)劃與診斷。文中聲稱(chēng)，用戶(hù)可以選擇初始標(biāo)注，操作所述系統(tǒng)來(lái)沿所顯示的與解剖學(xué)特征關(guān)聯(lián)的圖像修改所述初始標(biāo)注，并然后將合適的標(biāo)注固定在所顯示的圖像的上的期望位置，供以后參考。
[0004]此外，關(guān)于標(biāo)示椎骨，據(jù)披露所述系統(tǒng)可以被用于自動(dòng)標(biāo)示椎骨。特別地，用戶(hù)可以選擇初始標(biāo)注，并將其與椎骨相關(guān)聯(lián)。一旦這已完成，所述系統(tǒng)將自動(dòng)標(biāo)示從所述初始參考椎骨向上和向下延伸的剩余椎骨，因?yàn)樗鼈冎耙淹ㄟ^(guò)機(jī)器閱讀器被映射。
[0005]上述系統(tǒng)的問(wèn)題在于，對(duì)于用戶(hù)而言，要準(zhǔn)確地將標(biāo)注放在所顯示圖像中的期望位置并不方便。

【發(fā)明內(nèi)容】

[0006]擁有一種這樣的系統(tǒng)或方法將是有利的，所述系統(tǒng)或方法用于使得用戶(hù)能夠以更方便的方式，將標(biāo)記準(zhǔn)確放置在圖像中的期望位置。
[0007]為了更好地解決該問(wèn)題，本發(fā)明的第一個(gè)方面提供一種用于實(shí)現(xiàn)對(duì)圖像的交互式標(biāo)注的系統(tǒng)，所述系統(tǒng)包括:
[0008]-用戶(hù)輸入部，其用于接收來(lái)自用戶(hù)的放置命令，所述放置命令指示標(biāo)記在所述圖像中的第一放置位置；以及
[0009]-處理器，其被布置為(i)對(duì)所述圖像中的區(qū)域應(yīng)用圖像處理算法，所述區(qū)域基于所述第一放置位置，并且將所述圖像處理算法配置為對(duì)視覺(jué)上與所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)，用于建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)匹配度，(ii)根據(jù)所述多個(gè)匹配度和相應(yīng)的多個(gè)圖像部分，建立第二放置位置，用于將所述標(biāo)記匹配到所述圖像中的所述區(qū)域，并且(iii)將所述標(biāo)記放置在所述圖像中的所述第二放置位置處。
[0010]在本發(fā)明的另外一方面中，提供一種包括所述系統(tǒng)的工作站和成像裝置。
[0011]在本發(fā)明的另外一方面中，提供一種方法，用于實(shí)現(xiàn)對(duì)圖像的交互式標(biāo)注，所述方法包括:
[0012]-接收來(lái)自用戶(hù)的放置命令，所述放置命令指示標(biāo)記在所述圖像中的第一放置位置，
[0013]-對(duì)所述圖像中的區(qū)域應(yīng)用圖像處理算法，所述區(qū)域基于所述第一放置位置，并且將所述圖像處理算法配置為對(duì)視覺(jué)上與所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)，用于建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)匹配度，
[0014]-根據(jù)所述多個(gè)匹配度和所述各自多個(gè)圖像部分建立第二放置位置，以將所述標(biāo)記匹配到所述圖像中的所述區(qū)域，并且
[0015]-將所述標(biāo)記放置在所述圖像中的所述第二放置位置處。
[0016]在本發(fā)明的另外一方面中，提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括用于令處理器系統(tǒng)執(zhí)行所述方法的指令。
[0017]以上措施使得用戶(hù)能夠交互地標(biāo)注所述圖像。出于該目的，接收來(lái)自用戶(hù)放置命令。所述放置命令指示一位置，即所述第一放置位置，所述用戶(hù)將標(biāo)記放置在所述圖像中的該位置。然后，針對(duì)基于所述第一放置位置的區(qū)域內(nèi)的多個(gè)圖像部分中的每個(gè)，確定所述標(biāo)記與所述各自圖像部分之間的匹配度。所述匹配度指示所述標(biāo)記在多大程度上類(lèi)似于相應(yīng)的圖像部分，并因此表示它們的視覺(jué)對(duì)應(yīng)性。為了確定所述匹配度，使用圖像處理算法，其對(duì)視覺(jué)上與所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)，即，其提供針對(duì)所述圖像部分的不同輸出，并因此允許識(shí)別所述圖像部分。然后使用所述多個(gè)匹配度和所述多個(gè)圖像部分來(lái)確定第二放置位置，其用于將所述標(biāo)記匹配到所述圖像中的所述區(qū)域。最后，將所述標(biāo)記放置在所述圖像內(nèi)的所述第二放置位置處，而非所述第一放置位置處。
[0018]以上措施具有這樣的效果，即當(dāng)用戶(hù)指示標(biāo)記在圖像中的第一放置位置或初始放置位置時(shí)，通過(guò)在基于所述第一放置位置的區(qū)域內(nèi)將多個(gè)圖像部分匹配到所述標(biāo)記來(lái)優(yōu)化所述第一放置位置，基于所述匹配的結(jié)果確定第二放置位置或最終放置位置。因此，關(guān)于所述標(biāo)記在多大程度上匹配特定圖像部分的信息被用于確定將所述標(biāo)記放置在所述區(qū)域內(nèi)的何處。
[0019]本發(fā)明部分基于以下認(rèn)識(shí)，即因?yàn)闃?biāo)記通常視覺(jué)上相似于圖像部分，因而標(biāo)記頻繁地預(yù)測(cè)要被標(biāo)注的所述圖像部分。這樣的原因在于，標(biāo)記可以為應(yīng)用特異的，即，可以根據(jù)正被標(biāo)注的圖像的類(lèi)型定制其外觀。例如，在標(biāo)注2D乳房X光片中的解剖學(xué)標(biāo)志時(shí)，通常使用點(diǎn)標(biāo)記乳頭或乳房下區(qū)域，同時(shí)通常使用直線段標(biāo)記胸肌。所述標(biāo)記的外觀因此常常預(yù)測(cè)要被標(biāo)注的所述圖像部分。結(jié)果，所述標(biāo)記的外觀提供有關(guān)所述標(biāo)記要被放置在所述圖像內(nèi)的何處的隱含信息，例如，在與所述標(biāo)記相似的圖像部分附近或其上。本發(fā)明采用所述認(rèn)識(shí)，通過(guò)允許用戶(hù)指示所述標(biāo)記的第一放置位置，并然后將所述第一放置位置用于將所述標(biāo)記匹配到多個(gè)圖像部分，并且最后將所述匹配的結(jié)果用于確定所述標(biāo)記的第二放置位置。
[0020]有利地，所述用戶(hù)不需要以高的準(zhǔn)確度將所述標(biāo)記放置在所述圖像中，因?yàn)樗龇胖梦恢帽蛔詣?dòng)地優(yōu)化，得到所述標(biāo)記的更為準(zhǔn)確的放置位置。結(jié)果，所述用戶(hù)可以更快速地放置所述標(biāo)記，因?yàn)樗啦槐匾愿叩臏?zhǔn)確度放置所述標(biāo)記。
[0021]任選地，所述用戶(hù)輸入部被布置為接收來(lái)自所述用戶(hù)的選擇命令，所述選擇命令指示在多個(gè)不同標(biāo)記中對(duì)所述標(biāo)記的選擇；并且所述處理器被布置為根據(jù)所選擇的標(biāo)記將所述圖像處理算法配置為對(duì)視覺(jué)上與所選擇的標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。
[0022]當(dāng)所述用戶(hù)可以在多個(gè)不同標(biāo)記中選擇所述標(biāo)記時(shí)，所述用戶(hù)將通常將他的選擇適應(yīng)于要被標(biāo)注的所述圖像部分。通過(guò)接收來(lái)自所述用戶(hù)的所述選擇命令，知曉在所述多個(gè)不同標(biāo)記中選擇哪個(gè)標(biāo)記。響應(yīng)于此，所述處理器配置所述圖像處理算法，以對(duì)視覺(jué)上與所選擇的標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。因此，通過(guò)定制對(duì)所選擇的標(biāo)記的所述圖像處理算法，在對(duì)放置位置的優(yōu)化中，自動(dòng)地考慮到對(duì)所述標(biāo)記的所述選擇。
[0023]任選地，所述選擇命令還指示如由所述用戶(hù)確定的所選擇的標(biāo)記的取向，并且其中，所述處理器還被布置為根據(jù)所述取向?qū)⑺鰣D像處理算法配置為對(duì)視覺(jué)上與所選擇的具有所述取向的標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。
[0024]當(dāng)所述用戶(hù)可以確定所述標(biāo)記的所述取向時(shí)，所述用戶(hù)將通常選擇或調(diào)節(jié)所述取向，以便與要被標(biāo)注的所述圖像部分的期望取向相對(duì)應(yīng)。通過(guò)接收來(lái)自所述用戶(hù)的所述選擇命令，知曉了如由所述用戶(hù)確定的所選擇的標(biāo)記的所述取向。作為響應(yīng)，所述處理器將所述圖像處理算法配置為對(duì)視覺(jué)上與具有所述特定取向的所選擇的標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。因此，在通過(guò)相應(yīng)地定制所述圖像處理算法對(duì)其放置位置的優(yōu)化中，自動(dòng)地考慮所述標(biāo)記的所述取向。
[0025]任選地，所述用戶(hù)輸入部被布置為接收類(lèi)型數(shù)據(jù)，所述類(lèi)型數(shù)據(jù)指示所述圖像中要被標(biāo)注的圖像部分的類(lèi)型，并且所述處理器還被布置為根據(jù)所述類(lèi)型數(shù)據(jù)將所述圖像處理算法配置為對(duì)視覺(jué)上與圖像部分的類(lèi)型和標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。
[0026]當(dāng)用戶(hù)可以明確指示在所述圖像中要被標(biāo)注的圖像部分的類(lèi)型(例如胸肌)時(shí)，可以除所述標(biāo)記的所述外觀之外額外地使用該信息，以確定所述標(biāo)記的所述放置位置。通過(guò)接收指示要被標(biāo)注的圖像部分的所述類(lèi)型的類(lèi)型數(shù)據(jù)并將所述圖像處理算法配置為對(duì)所述圖像部分的類(lèi)型作出響應(yīng)，可以在對(duì)所述標(biāo)記的所述放置位置的所述優(yōu)化中，除了所述標(biāo)記自身之外，額外地考慮所述圖像部分的類(lèi)型。
[0027]任選地，所述標(biāo)記的所述放置包括調(diào)節(jié)以下中的至少一項(xiàng):所述標(biāo)記的形狀、取向和尺寸，用于將所述標(biāo)記匹配到所述第二放置位置處的圖像部分。所述標(biāo)記的所述外觀典型地與要被標(biāo)注的所述圖像部分的預(yù)期外觀相對(duì)應(yīng)。在實(shí)踐中，所述圖像部分的實(shí)際外觀可能偏離所述預(yù)期外觀。在這種情況中，通過(guò)在已確定了所述標(biāo)記的所述放置位置之后，相對(duì)于所述第二放置位置處的所述圖像部分調(diào)節(jié)所述標(biāo)記的外觀，并在所述調(diào)節(jié)之后放置所述標(biāo)記，獲得改進(jìn)的標(biāo)注。
[0028]任選地，所述處理器被布置為通過(guò)以下方式來(lái)建立所述多個(gè)匹配度:建立一方面、所述第一放置位置與另一方面、相應(yīng)的多個(gè)圖像部分之間的多個(gè)距離；以及用所述多個(gè)距離對(duì)所述多個(gè)匹配度加權(quán)，以提升(promote)更接近所述第一放置位置定位的圖像部分。
[0029]如由用戶(hù)所提供的第一放置位置指示所述用戶(hù)知曉或期望要被標(biāo)注的圖像部分定位于哪里。因此，在優(yōu)化所述放置位置時(shí)，期望不要偏離所述第一放置位置太遠(yuǎn)，因?yàn)檎业剿鰣D像部分的可能性隨著距所述第一放置位置的距離增加而減小。通過(guò)用相應(yīng)的圖像部分到所述第一放置位置的距離來(lái)對(duì)每個(gè)匹配度加權(quán)，考慮以上認(rèn)識(shí)。這樣，獲得了圖像部分與所述標(biāo)記的相似度與其到所述第一放置位置的距離之間的權(quán)衡。
[0030]任選地，所述處理器被布置為通過(guò)以下方式來(lái)建立所述多個(gè)匹配度:建立多個(gè)細(xì)節(jié)度量，所述多個(gè)細(xì)節(jié)度量指示所述圖像中存在于一方面、所述第一放置位置與另一方面為相應(yīng)的多個(gè)圖像部分之間圖像細(xì)節(jié)；并且用所述多個(gè)細(xì)節(jié)度量來(lái)對(duì)所述多個(gè)匹配度加權(quán)，以提升所述圖像中在所述圖像部分與所述第一放置位置之間具有較少圖像細(xì)節(jié)的圖像部分。
[0031]當(dāng)在要被標(biāo)注的所述圖像部分附近存在圖像細(xì)節(jié)時(shí)，用戶(hù)必須小心，以相對(duì)于所述圖像細(xì)節(jié)正確地放置所述標(biāo)記。這樣的原因在于，圖像細(xì)節(jié)提供參考點(diǎn)。因此，期望所述第一放置位置相對(duì)于所述圖像細(xì)節(jié)是準(zhǔn)確的，并且因此，所述圖像細(xì)節(jié)的方向是準(zhǔn)確的。該認(rèn)識(shí)通過(guò)上文提及的措施考慮，其結(jié)果是存在于所述第一放置位置與圖像部分之間的細(xì)節(jié)充當(dāng)某種壁壘，因?yàn)樗鰣D像部分的所述匹配度降低或貶值。因此，所述第二放置位置可能在其中預(yù)期后一位置為準(zhǔn)確的方向中較小地偏離所述第一放置位置，并且在其中所述位置可能不準(zhǔn)確的方向中更多地偏離所述第一放置位置。
[0032]任選地，所述處理器被布置為建立通過(guò)使用基于力的模型來(lái)建立所述第二放置位置，所述基于力的模型包括作為吸引力的所述多個(gè)匹配度。基于力的模型構(gòu)成用于根據(jù)所述多個(gè)匹配度建立所述第二放置位置的有效方式。
[0033]任選地，所述用戶(hù)輸入部被布置為接收來(lái)自所述用戶(hù)的范圍數(shù)據(jù)，所述范圍數(shù)據(jù)指示所述區(qū)域的尺寸，并且所述處理器被布置為根據(jù)所述范圍數(shù)據(jù)建立所述區(qū)域的所述尺寸。所述用戶(hù)因此可以影響所述區(qū)域所述尺寸，例如，以在期望所述第一放置位置準(zhǔn)確時(shí)減小所述區(qū)域的所述尺寸，或者在不期望所述第一放置位置準(zhǔn)確時(shí)增大所述區(qū)域的所述尺寸。
[0034]任選地，所述放置命令還指示在提供所述放置命令時(shí)的放置方向，并且所述處理器被布置為根據(jù)所述放置方向建立所述區(qū)域相對(duì)于所述第一放置位置的形狀。所述用戶(hù)因此可以在提供所述放置命令時(shí)，經(jīng)由所述放置方向影響所述區(qū)域相對(duì)于所述第一放置位置的所述形狀。所述放置方向例如可以為對(duì)應(yīng)于用戶(hù)接口設(shè)備(例如鼠標(biāo))的物理移動(dòng)的方向，或者在顯示器上顯示的指針的移動(dòng)的方向等。有利地，當(dāng)所述用戶(hù)在已到達(dá)預(yù)期放置位置之前提供所述放置命令時(shí)，所述系統(tǒng)可以通過(guò)主要在所述放置方向中形成所述區(qū)域來(lái)補(bǔ)償所述事實(shí)。
[0035]任選地，所述放置命令還指示提供所述放置命令時(shí)的放置速度，并且所述處理器還被布置為根據(jù)所述放置速度建立所述區(qū)域的尺寸。所述用戶(hù)因此可以在提供所述放置命令時(shí)，以所述放置速度來(lái)影響所述區(qū)域的所述尺寸。所述放置速度例如可以為對(duì)應(yīng)于用戶(hù)接口設(shè)備的物理移動(dòng)的速度，或者在顯示器上顯示的指針的速度等。有利地，可以組合所述放置方向與放置速度，以模仿所述用戶(hù)接口設(shè)備的或所述指針的慣性，用于為所述用戶(hù)提供影響所述區(qū)域的所述形狀和尺寸的直觀方式。
[0036]本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，可以用任何被認(rèn)為有用的方式組合上文提及的本發(fā)明的實(shí)施例、實(shí)現(xiàn)方式和/或各方面中的兩個(gè)或多個(gè)。
[0037]本領(lǐng)域技術(shù)人員基于本說(shuō)明，可以執(zhí)行對(duì)所述成像裝置、所述工作站、所述方法和/或所述計(jì)算機(jī)程序產(chǎn)品的修改和變型，這些修改和變型對(duì)應(yīng)于所描述的對(duì)所述系統(tǒng)的修改和變型。
[0038]本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，所述方法可以被用于多維圖像數(shù)據(jù)，例如二維(2D)、三維(3D)或四維(4D)圖像。所述多維圖像數(shù)據(jù)的維度可以涉及時(shí)間。例如，三維圖像數(shù)據(jù)可以包括時(shí)域系列的二維圖像。所述圖像可以為通過(guò)各種采集模態(tài)采集的醫(yī)學(xué)圖像，所述采集模態(tài)例如，但不限于標(biāo)準(zhǔn)X射線成像、計(jì)算機(jī)斷層攝影(CT)、磁共振成像(MRI)、超聲(US)、正電子發(fā)射斷層攝影(PET)、單光子發(fā)射計(jì)算機(jī)斷層攝影(SPECT)，以及核醫(yī)學(xué)(NM)。然而，所述圖像也可以為任意其他類(lèi)型的，例如用戶(hù)希望標(biāo)注的心電圖或地震圖像。
[0039]本發(fā)明由獨(dú)立權(quán)利要求限定。在從屬權(quán)利要求中限定了有利的實(shí)施例。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0040]參考下文描述的實(shí)施例，本發(fā)明的這些以及其他方面將是顯而易見(jiàn)的，并且將參考下文描述的實(shí)施例對(duì)本發(fā)明的這些以及其他方面進(jìn)行闡述。在附圖中:
[0041]圖1示出了根據(jù)本發(fā)明的系統(tǒng)和顯示器；
[0042]圖2示出了根據(jù)本發(fā)明的方法；
[0043]圖3a示出了用戶(hù)在圖像上移動(dòng)標(biāo)記；
[0044]圖3b不出了用戶(hù)將所述標(biāo)記放置在第一放置位置；
[0045]圖3c示出了區(qū)域以及所述區(qū)域內(nèi)的多個(gè)圖像部分；
[0046]圖3d示出了將所述標(biāo)記放置在第二放置位置的所述系統(tǒng)；
[0047]圖4示出了在不同標(biāo)記中選擇所述標(biāo)記；
[0048]圖5示出了用戶(hù)確定所述標(biāo)記的取向；
[0049]圖6a示出了用在放置標(biāo)記時(shí)具有放置速度和放置方向的指針,放置所述標(biāo)記；并且
[0050]圖6b示出了所述標(biāo)記被調(diào)節(jié)到圖像部分。
【具體實(shí)施方式】
[0051]圖1示出了用于實(shí)現(xiàn)對(duì)圖像102的交互式標(biāo)注的系統(tǒng)100。系統(tǒng)100包括用戶(hù)輸入部160，其用于接收來(lái)自用戶(hù)的放置命令162，其中，放置命令162指示標(biāo)記在圖像102中的第一放置位置，用于使得用戶(hù)能夠?qū)⑺鰳?biāo)記放置在圖像102中。盡管未在圖1中示出，但是用戶(hù)輸入部160可以連接有由所述用戶(hù)操作的用戶(hù)接口設(shè)備，例如鼠標(biāo)、鍵盤(pán)或觸摸屏。系統(tǒng)100還包括處理器180。處理器180可以被布置為根據(jù)所述第一放置位置來(lái)建立所述圖像中的區(qū)域。出于該目的，處理器180被示為被連接到用于接收放置命令162的用戶(hù)輸入部160。處理器180還被布置為將圖像處理算法應(yīng)用到所述區(qū)域，圖像處理算法對(duì)視覺(jué)上與所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)，用于建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)匹配度。此外，處理器180被布置為將所述標(biāo)記放置在圖像102中的第二放置位置。圖1示出了處理器180，其被布置為通過(guò)被連接到顯示所述標(biāo)記的顯示器184，將所述標(biāo)記放置在圖像102中的第二放置位置處。出于該目的，處理器180將顯示數(shù)據(jù)182提供到顯示器184?？蛇x地，或額外地，處理器180可以通過(guò)創(chuàng)建可以被例如圖像顯示設(shè)備用于顯示所述標(biāo)記的關(guān)聯(lián)數(shù)據(jù)，將所述標(biāo)記放置在圖像102中的所述第二放置位置處。
[0052]圖2示出了實(shí)現(xiàn)對(duì)圖像的交互式標(biāo)注的方法200，所述方法包括題為“獲得第一放置位置”的第一步驟210，第一步驟210包括接收來(lái)自用戶(hù)的放置命令，所述放置命令指示標(biāo)記在所述圖像中的第一放置位置。所述方法還包括題為“將標(biāo)記匹配到區(qū)域內(nèi)的圖像部分”的第二步驟220，包括將圖像處理算法應(yīng)用到所述圖像中的區(qū)域，所述區(qū)域基于所述第一放置位置，并且所述圖像處理算法對(duì)視覺(jué)上與所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)，用于建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分之間的多個(gè)匹配度。所述方法還包括題為“建立第二放置位置”的第三步驟230，包括根據(jù)所述多個(gè)匹配度和相應(yīng)的多個(gè)圖像部分，建立第二放置位置，用于將所述標(biāo)記匹配到所述圖像中的所述區(qū)域。所述方法還包括題為“將所述標(biāo)記放置在第二放置位置”的第四步驟，包括將所述標(biāo)記放置在所述圖像中的所述第二放置位置。
[0053]方法200可以對(duì)應(yīng)于系統(tǒng)100的操作，并且將參考系統(tǒng)100得以進(jìn)一步解釋。然而，將認(rèn)識(shí)到，所述方法可以獨(dú)立于所述系統(tǒng)而得以執(zhí)行，例如通過(guò)另一種系統(tǒng)或設(shè)備。
[0054]圖3a和另外的附圖通過(guò)示出圖像102和標(biāo)記104在顯示器184上的示范性顯示，圖示了系統(tǒng)100的操作。圖3a示出了作為醫(yī)學(xué)圖像的圖像102，所述醫(yī)學(xué)圖像為示出胸肌104和乳房的輪廓線的乳房X光片。所述乳房X光片可以被用于，除其他以外，評(píng)估在乳房X光片中患者定位的質(zhì)量。出于該目的，諸如放射科醫(yī)師或技術(shù)人員的用戶(hù)可能需要在所述乳房X光片中的解剖學(xué)標(biāo)志上放置簡(jiǎn)單的幾何圖元，來(lái)標(biāo)注所述乳房X光片。在圖3a的范例中，用戶(hù)希望將為線段的標(biāo)記140放置在胸肌104上，以標(biāo)注或標(biāo)記胸肌104。
[0055]系統(tǒng)100可以被布置為允許所述用戶(hù)控制被顯示在所述圖像上的指針166，以移動(dòng)標(biāo)記140。然而，將認(rèn)識(shí)到，該功能也可以由代替系統(tǒng)100的另一系統(tǒng)或設(shè)備提供。此外，在放置所述標(biāo)記時(shí)，可以?xún)H顯示指針166，而沒(méi)有標(biāo)記140，或者可以?xún)H顯示標(biāo)記140，即沒(méi)有指針166。
[0056]圖3a還示出了第一放置位置124，其為所述用戶(hù)想要將標(biāo)記140放置在其處的位置，第一放置位置124接近胸肌104，以標(biāo)注或標(biāo)記胸肌104。出于該目的，所述用戶(hù)可以移動(dòng)指針166，例如通過(guò)使用前文提及的用戶(hù)接口設(shè)備，并且可以提供放置命令，例如通過(guò)按壓或釋放前文提及的用戶(hù)接口設(shè)備的按鈕，由此指示要將標(biāo)記140放置在指針166的當(dāng)前位置處的希望。圖3b示出了所述用戶(hù)的以上動(dòng)作的結(jié)果，即所述用戶(hù)已將指針166，并因此將移動(dòng)標(biāo)記140移動(dòng)到第一放置位置124。所述用戶(hù)可以在此時(shí)或在該情形中提供所述放置命令，由此指示希望將標(biāo)記140放置在第一放置位置124處。
[0057]圖3a和圖3b均示出放置位置124毗鄰胸肌104，但在胸肌104旁邊。因此，在第一放置位置124處放置標(biāo)記140將造成標(biāo)記140與胸肌104之間的不對(duì)齊。這可能導(dǎo)致對(duì)胸肌104的非完美的，可能甚至非充分的標(biāo)注。所述用戶(hù)可能意識(shí)到所述不對(duì)齊，但可能因例如時(shí)間約束或在準(zhǔn)確放置所述標(biāo)記中的困難，而選擇所述放置位置。所述用戶(hù)也可能沒(méi)有意識(shí)到所述不對(duì)齊，例如，由于他不能容易地察覺(jué)所述不對(duì)齊。
[0058]圖3c示例性示出系統(tǒng)100的操作的中間步驟，通?？赡懿粚?duì)所述用戶(hù)示出該操作。為了易于圖不，已在圖3c中省略了指針166和標(biāo)記140,以及指不胸肌104的附圖標(biāo)記。圖3c示出處理器180已根據(jù)第一放置位置124建立了圖像102中的區(qū)域130。在比較圖3b與圖3c時(shí)，可見(jiàn)，區(qū)域130大致位于第一放置位置124周?chē)Ｒ彩境隽藚^(qū)域130內(nèi)的多個(gè)圖像部分132、134、136、138，所述圖像部分為圖像102中在每條線下方的部分，即由每條線描繪的部分。這些圖像部分132、134、136、138具有與標(biāo)記140相同的形狀，并且表示標(biāo)記140的多個(gè)可能的放置位置，將所述放置位置與所述圖像部分共同定位，并因此未明確示出所述放置位置。如在圖3c中所示，多個(gè)圖像部分134中的一個(gè)對(duì)應(yīng)于圖像102中在第一放置位置124處的所述部分。
[0059]注意到，為了清楚起見(jiàn)，圖3中所示的圖像部分132、134、136、138數(shù)量有限、清楚且非重疊。然而，將認(rèn)識(shí)到，所述圖像部分也可以緊密相鄰和/或交疊。尤其地，圖像部分132、134、136、138可以由區(qū)域130內(nèi)所有或基本上所有可能的放置位置構(gòu)成。
[0060]注意到，因此，處理器180可以不需要被布置為基于第一放置位置124明確地建立區(qū)域130。區(qū)域130而是可以為，例如已將所述多個(gè)圖像部分定位在所述圖像中的圖像處理算法的暗含結(jié)果。區(qū)域130也可以為處理器180 (例如通過(guò)將所述圖像處理算法限制或約束到最大迭代數(shù)目)修改所述圖像處理算法的一個(gè)或多個(gè)參數(shù)的暗含結(jié)果。處理器180也可以被布置為明確地建立所述圖像中的區(qū)域130。例如，處理器180可以被布置為根據(jù)到第一放置位置124的臨近度確定區(qū)域130。因此，所述區(qū)域可以由具有至少到第一放置位置124的給定臨近度的所有圖像部分構(gòu)成。區(qū)域130也可以通過(guò)簡(jiǎn)單地定義繞第一放置位置124的圓形、矩形或任意其他集合形狀而得以建立。區(qū)域130的形狀可以被選擇為在某一方向更大。例如，當(dāng)標(biāo)記140具有某個(gè)主導(dǎo)取向時(shí)，區(qū)域130的形狀可以在垂直于所述主導(dǎo)取向的方向更大，而非其他方向。
[0061]在已經(jīng)建立所述圖像中的區(qū)域130之后，處理器180將圖像處理算法應(yīng)用到區(qū)域130，用于建立一方面、標(biāo)記140與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分132、134、136、138之間的匹配度。所述匹配度被建立用于，如果將標(biāo)記140放置在相應(yīng)的圖像部分的上方(即，在對(duì)應(yīng)的放置位置處)，則確定標(biāo)記140在多大程度上匹配于圖像部分132、134、136、138中的每個(gè)。在該具體范例中，標(biāo)記140為線段，所述圖像處理算法將建立圖像部分132、134、136、138中的每個(gè)在多大程度上相似于如由標(biāo)記140構(gòu)成的線段。
[0062]所述圖像處理算法可以為圖像處理領(lǐng)域已知的、適于確定標(biāo)記140與圖像處理部分132、134、136、138之間的匹配度或視覺(jué)對(duì)應(yīng)性的任意圖像處理算法。所述圖像處理算法可以包括確定多個(gè)圖像部分132、134、136、138中的每個(gè)與標(biāo)記140的圖像表示之間的亮度差。所述亮度差可以為圖像部分132、134、136、138的像素與標(biāo)記140的圖像表示的對(duì)應(yīng)像素之間的差。像素之間小的亮度差可以指示高匹配度，即，高視覺(jué)對(duì)應(yīng)性，并且大的亮度差可以指示低匹配度，即，低視覺(jué)對(duì)應(yīng)性。然而，將認(rèn)識(shí)到，圖像處理領(lǐng)域包括可以被用于所述目的的許多其他算法。
[0063]例如，可以從圖像102和標(biāo)記140計(jì)算所謂的特征增強(qiáng)的圖像，所述特征增強(qiáng)圖像指示標(biāo)記140與所述區(qū)域內(nèi)的圖像部分132、134、136、138中的每個(gè)之間的匹配度。例如，當(dāng)標(biāo)記140為點(diǎn)標(biāo)簽時(shí)，所述圖像處理算法可以計(jì)算點(diǎn)狀或滴狀特征得以增強(qiáng)的特征增強(qiáng)的圖像。所述增強(qiáng)可以以各種方式執(zhí)行。例如，滴特征增強(qiáng)圖像可以來(lái)自于針對(duì)區(qū)域130內(nèi)的每個(gè)像素計(jì)算的海塞矩陣。這里，就絕對(duì)值而言，最小量級(jí)的海塞矩陣的本征值可以被解釋為指示所述匹配度的所謂的滴特征。類(lèi)似地，當(dāng)標(biāo)記140為線段時(shí)，所述圖像處理算法可以，例如通過(guò)將所述海塞矩陣中的上第二最小本征值和下最小本征值解釋為線或邊特征，來(lái)計(jì)算線或邊特征被增強(qiáng)的特征增強(qiáng)的圖像?？蛇x地，或額外地，可以使用Gabor濾波器、霍夫變換，或任意其他合適的技術(shù)。
[0064]己建立了一方面為標(biāo)記140與另一方面為區(qū)域130內(nèi)的多個(gè)圖像部分132、134、136、138之間的所述匹配度，處理器180可以根據(jù)所述多個(gè)匹配度和相應(yīng)的多個(gè)圖像部分，來(lái)建立第二放置位置126。例如，處理器180可以將第二放置位置126建立為所述多個(gè)圖像部分136中具有所述多個(gè)匹配度中最高的一個(gè)的一個(gè)圖像部分的位置。
[0065]圖3c示出了圖像部分136的范例，其大致由胸肌104構(gòu)成，并且具有所述多個(gè)匹配度中最高的一個(gè)。此外，在該范例中，將圖像部分136的所述位置建立為第二放置位置126。該操作的結(jié)果示于圖3d中，其中，標(biāo)記140被視為被放置在第二放置位置126處。
[0066]盡管未在前面的任意附圖中示出，但是所述處理器也可以被布置為通過(guò)，建立一方面為所述第一放置位置與另一方面為所述各自多個(gè)圖像部分之間的所述多個(gè)距離，來(lái)建立所述多個(gè)匹配度，并且用所述多個(gè)距離對(duì)所述多個(gè)匹配度加權(quán)，用于提升更接近所述第一放置位置定位的圖像部分。因此，所述處理器不需要選擇所述多個(gè)圖像部分中最相似于所述標(biāo)記的一個(gè)的位置作為所述第二放置位置，而是合理地相似于所述標(biāo)記并且位于比最相似于所述標(biāo)記的所述圖像部分更接近所述第一放置位置的圖像部分的位置作為所述第二放置位置。所述加權(quán)可以包括將所述匹配度乘以根據(jù)所述距離的加權(quán)因子。所述加權(quán)也可以包括對(duì)所述匹配度加上所述距離，或者從所述匹配度減去所述距離。將認(rèn)識(shí)到，也可以使用各種其他機(jī)制，用于相對(duì)于接近所述第一放置位置定位的圖像部分來(lái)提升距所述第一放置位置更遠(yuǎn)定位的圖像部分。
[0067]此外，所述處理器可以被布置為通過(guò)使用基于力的模型來(lái)建立所述第二放置位置，所述基于力的模型包括作為吸引力的所述多個(gè)匹配度。此外，所述多個(gè)距離可以被包括在所述基于力的模型中作為排斥力。然后可以將處于平衡狀態(tài)或正經(jīng)受最接近平衡的凈力的圖像部分的位置選擇為所述第二放置位置。
[0068]圖4圖示了系統(tǒng)100的操作的另一范例。這里，系統(tǒng)100被布置為允許用戶(hù)在多個(gè)不同標(biāo)記142、144、146中選擇標(biāo)記140。圖4將所述標(biāo)記示出為幾何圖元，即線段142、圓144和角段146。然而，將認(rèn)識(shí)到，所述標(biāo)記可以為任意其他類(lèi)型的圖形標(biāo)記。圖4示出了用戶(hù)已選擇所述圓作為標(biāo)記140的結(jié)果。用戶(hù)輸入部160可以被布置為接收來(lái)自用戶(hù)的選擇命令163，其指示在多個(gè)不同標(biāo)記142、144、146中選擇的標(biāo)記140。用戶(hù)可以通過(guò)，例如用指針166在所述多個(gè)標(biāo)記中特定的一個(gè)(例如圓144上)點(diǎn)擊，來(lái)提供選擇命令163。此外，處理器180可以被布置為根據(jù)所選擇的標(biāo)記將所述圖像處理算法配置為對(duì)視覺(jué)上與所選擇的標(biāo)記144相對(duì)應(yīng)的圖像部分作出響應(yīng)。因此,代替如前面在圖3a至圖3d中所示的對(duì)視覺(jué)上與線段相對(duì)應(yīng)的圖像部分作出響應(yīng)，可以將所述圖像處理算法配置為對(duì)相似于作為標(biāo)記140的特定直徑的圓的圖像部分作出響應(yīng)。在這一方面，注意到，配置所述圖像處理算法可以包括，例如修改所述圖像處理算法的一個(gè)或多個(gè)參數(shù)，或者從多個(gè)圖像處理算法中選擇所述圖像處理算法。
[0069]圖5圖示了系統(tǒng)100的操作的另一范例。這里,系統(tǒng)100被布置為允許所述用戶(hù)確定標(biāo)記140的取向。這通過(guò)用戶(hù)在標(biāo)記141、142、143的多個(gè)取向中選擇標(biāo)記140的取向，得以示例性示出。例如，系統(tǒng)100可以被布置為通過(guò)允許所述用戶(hù)繞標(biāo)記140的中心點(diǎn)旋轉(zhuǎn)所述標(biāo)記，來(lái)允許所述用戶(hù)確定標(biāo)記140的取向。此外，選擇命令163還指示如由所述用戶(hù)確定的標(biāo)記140的取向，并且處理器180可以還被配置為根據(jù)所述取向?qū)⑺鰣D像處理算法配置為對(duì)視覺(jué)上與所選擇具有所述取向的標(biāo)記140相對(duì)應(yīng)的圖像部分作出響應(yīng)。因此通過(guò)處理器180相應(yīng)地配置所述圖像處理算法，考慮了所述標(biāo)記的取向的任意改變。例如，如果所述圖像處理算法包括邊緣探測(cè)濾波器，則其濾波器系數(shù)可以被修改為對(duì)在與所述標(biāo)記的取向相同方向的邊緣作出響應(yīng)。類(lèi)似地，如果所述圖像處理算法包括用于執(zhí)行模板匹配的模板，則可以根據(jù)標(biāo)記140的旋轉(zhuǎn)來(lái)旋轉(zhuǎn)所述模板。
[0070]圖6a圖示了系統(tǒng)100的操作的另一范例。這里，在指針168具有在所述標(biāo)記的放置時(shí)的速度(后文稱(chēng)作放置速度)以及方向(后文稱(chēng)作放置方向)時(shí)，放置標(biāo)記140。由尾隨指針168的虛線指針示例性地示出所述放置速度和所述放置方向。在該范例中，用戶(hù)輸入部160可以被布置為從可由所述用戶(hù)操作的用戶(hù)接口設(shè)備接收所述放置命令。所述用戶(hù)接口設(shè)備可以為，例如鼠標(biāo)、操縱桿、觸摸屏等。所述放置命令可以進(jìn)一步指示在提供所述放置命令時(shí)與所述用戶(hù)接口設(shè)備或指針168相關(guān)聯(lián)的所述放置方向?？梢酝ㄟ^(guò)，例如所述用戶(hù)在操作所述鼠標(biāo)在圖像102上移動(dòng)指針168的同時(shí)釋放鼠標(biāo)按鈕，來(lái)提供所述放置命令。如在圖6a中所示，所述放置方向可以為用戶(hù)接口元件(例如由所述用戶(hù)接口設(shè)備控制的指針168)的屏幕上方向。可選地，所述放置方向可以對(duì)應(yīng)于所述用戶(hù)接口設(shè)備的移動(dòng)的物理方向。
[0071]處理器180可以被布置為根據(jù)所述放置方向，建立區(qū)域130相對(duì)于第一放置位置124的形狀。在圖6a中，這由區(qū)域130示出，其被成形為使得其主要在相對(duì)于第一放置位置124的放置方向中延伸，而不是，例如繞第一放置位置124為中心。因此，對(duì)應(yīng)于區(qū)域130內(nèi)未描繪的多個(gè)圖像部分的多個(gè)可能的放置位置122、123、124、125，主要定位于相對(duì)于第一放置位置124的放置方向。區(qū)域130的形狀可以為盒狀。類(lèi)似地，區(qū)域130的形狀可以為三角形或梯形，例如用于隨著距第一放置位置124的距離增加而加寬區(qū)域130。
[0072]可選地，或額外于指示所述放置方向的放置命令，所述放置命令可以指示所述用戶(hù)接口設(shè)備或指針168在提供所述放置命令時(shí)的放置速度。在該范例中，處理器180可以還被布置為根據(jù)所述放置速度建立區(qū)域130的尺寸。例如區(qū)域130的尺寸可以正比于所述放置速度，使得高放置速度得到大尺寸的區(qū)域130，并且低放置速度得到小尺寸的區(qū)域130。作為以上的結(jié)果，用戶(hù)可以使用所述用戶(hù)接口設(shè)備或指針168，來(lái)在要被標(biāo)注的所述圖像部分的方向中‘扔出’標(biāo)記140，其中，標(biāo)記140然后因系統(tǒng)100的操作，而被‘甩(snap)’到所述圖像部分。
[0073]處理器180也可以被布置為通過(guò)多個(gè)細(xì)節(jié)度量來(lái)確定所述多個(gè)匹配度，所述細(xì)節(jié)度量指示在圖像102中存在的一方面、第一放置位置124與另一方面、相應(yīng)的多個(gè)圖像部分之間的圖像細(xì)節(jié)；并用所述多個(gè)細(xì)節(jié)度量來(lái)對(duì)所述多個(gè)匹配度加權(quán)，用于提升所述圖像中在所述圖像部分與所述第一放置位置之間具有較少圖像細(xì)節(jié)的圖像部分。結(jié)果，標(biāo)記140更容易地‘甩’到在他們與第一放置位置之間具有較少圖像細(xì)節(jié)的圖像部分，即在圖像細(xì)節(jié)方面具有朝向第一放置位置125的清晰路徑的圖像部分。針對(duì)系統(tǒng)100的該操作的物理類(lèi)比可以為充當(dāng)針對(duì)標(biāo)記140的可能放置的載體或閾值的圖像細(xì)節(jié)。
[0074]作為選擇，或額外于被用于確定區(qū)域130的所述尺寸的所述放置速度，用戶(hù)輸入部160可以被布置為從所述用戶(hù)接收范圍數(shù)據(jù)165，所述范圍數(shù)據(jù)指示區(qū)域130的所述尺寸。范圍數(shù)據(jù)165因此可以從所述用戶(hù)對(duì)指示區(qū)域130的所述尺寸選擇(例如通過(guò)拖動(dòng)滑塊以指示所述尺寸)而獲得。此外，處理器180可以被布置為根據(jù)范圍數(shù)據(jù)165建立區(qū)域130的所述尺寸。因此，所述用戶(hù)也可以通過(guò)提供所述范圍數(shù)據(jù)來(lái)影響區(qū)域130的所述尺寸。
[0075]圖6b圖示了系統(tǒng)100的操作的另一范例，其中，對(duì)第二放置位置125的選擇可以根據(jù)在圖6a中所示并參考其所描述的系統(tǒng)100的操作。這里，所選擇的第二放置位置125被示為具有對(duì)應(yīng)的，但未描繪的圖像部分，其在如圖6a中所示的所述多個(gè)放置位置122、123、124、125中最相似于標(biāo)記140。然而，第二放置位置125沒(méi)有與胸肌104完美對(duì)齊。處理器180可以被布置為通過(guò)在所述放置步驟期間或之前調(diào)節(jié)標(biāo)記140的所述形狀、所述取向或所述尺寸或它們的組合，來(lái)放置標(biāo)記140，以將標(biāo)記140匹配到要被標(biāo)注的所述圖像部分，即胸肌104，其僅部分地定位于第二放置位置125處。在該具體范例中，標(biāo)記140被旋轉(zhuǎn)，以更好地匹配胸肌104的所述取向，并且隨后在所述旋轉(zhuǎn)之后被放置。有效地，這樣的結(jié)果是第二放置位置125得以根據(jù)對(duì)標(biāo)記140的所述調(diào)節(jié)而被調(diào)節(jié)，得到相對(duì)于第二放置位置125旋轉(zhuǎn)的第二放置位置126。
[0076]為了相對(duì)于在所述第二放置位置的所述圖像部分調(diào)節(jié)標(biāo)記140，可以使用來(lái)自圖像處理和圖像分析領(lǐng)域的各種技術(shù)。例如，霍夫變換可以被用于確定胸肌104的取向，然后相應(yīng)地旋轉(zhuǎn)標(biāo)記140。在標(biāo)記140為計(jì)算機(jī)圖形模型的情況中，例如包括頂點(diǎn)和面，可以通過(guò)，例如使用圖像分割或圖像分析算法，來(lái)探測(cè)所述圖像的特定特征，并且可以使標(biāo)記140變形以與所探測(cè)到的圖像的特征相符，即標(biāo)記140可以為可變形的標(biāo)記。
[0077]—般而言，如在圖1中所示，用戶(hù)輸入部160可以被布置為接收類(lèi)型數(shù)據(jù)163，所述類(lèi)型數(shù)據(jù)指示在所述圖像中要被標(biāo)注的圖像部分的類(lèi)型，并且所述處理器可以還被配置用于根據(jù)所述類(lèi)型數(shù)據(jù)來(lái)配置所述圖像處理算法，以便對(duì)視覺(jué)上與所述圖像部分的類(lèi)型和所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。因此，用戶(hù)可以，例如通過(guò)在所述圖像部分的范例或模板上點(diǎn)擊，來(lái)選擇他想要在所述圖像中標(biāo)注的圖像部分的類(lèi)型?？梢匀缓髮D像處理算法配置為等同地對(duì)所選擇的類(lèi)型的圖像部分和所述標(biāo)記作出響應(yīng)，但更多地對(duì)相似于所選擇的圖像部分的類(lèi)型和標(biāo)記兩者的圖像部分作出響應(yīng)。所述類(lèi)型的圖像部分可以由所述系統(tǒng)自動(dòng)選擇，例如在已知要標(biāo)注那種類(lèi)型的圖像部分時(shí)。例如，在標(biāo)注2D乳房X光片中的解剖學(xué)標(biāo)志時(shí)，已知所述類(lèi)型的圖像部分通常為乳頭或乳房下皺襞。因此，可以將所述圖像處理算法配置為對(duì)任一類(lèi)型作出響應(yīng)。
[0078]所述處理器也可以被配置用于使用來(lái)自數(shù)學(xué)優(yōu)化領(lǐng)域的技術(shù)來(lái)確定所述第二放置位置。尤其地，要被標(biāo)注的所述圖像部分可以為區(qū)域或整個(gè)圖像內(nèi)的全部圖像部分中的任一個(gè)或基本上全部。確定全部所述圖像部分的匹配度可能導(dǎo)致高的計(jì)算復(fù)雜度。為了避免該高的計(jì)算復(fù)雜度，所述處理器可以被布置為應(yīng)用，例如梯度下降或類(lèi)似的優(yōu)化算法，其中所述匹配度被用作要被優(yōu)化的函數(shù)，所述函數(shù)中的變量為所述區(qū)域內(nèi)的位置。因此，所述處理器可以迭代地到達(dá)所述第二放置位置，該位置是通過(guò)所述優(yōu)化算法獲得的結(jié)果。因此，避免了對(duì)全部所述圖像部分的所述匹配度的窮盡計(jì)算。將認(rèn)識(shí)到，在該情況中，可以通過(guò)設(shè)定或調(diào)節(jié)所述優(yōu)化算法中的一個(gè)或多個(gè)參數(shù)，來(lái)建立所述區(qū)域，所述參數(shù)涉及例如迭代的次數(shù)或到所述第一放置位置的所述距離。
[0079]—般而言，應(yīng)注意，所述系統(tǒng)可以被配置為使得，在所述第二放置位置不利地不對(duì)應(yīng)于所意圖的一個(gè)的情況中，即，其不對(duì)應(yīng)于要被標(biāo)注的所述圖像部分，用戶(hù)可以通過(guò)提供新的放置命令來(lái)請(qǐng)求所述系統(tǒng)再次建立所述第二放置位置而糾正所述第二放置位置，或通過(guò)手動(dòng)放置所述標(biāo)記而不請(qǐng)求所述系統(tǒng)進(jìn)一步優(yōu)化對(duì)所述標(biāo)記的所述放置。
[0080]還要指出，所述多個(gè)圖像部分可以由位于所述第一放置位置的第一圖像部分以及位于另外的放置位置的另外的圖像部分構(gòu)成，所述系統(tǒng)因此比較所述標(biāo)記與所述圖像部分之間的匹配度，并將所述標(biāo)記放置在兩種圖像部分中的一個(gè)處，即產(chǎn)生最高匹配度的所述圖像部分。所述第二放置位置可以為所述另外的放置位置，但是如果所述標(biāo)記與所述第一圖像部分之間的所述匹配度為所述最高匹配度，則可以等同地為所述第一放置位置。
[0081]將認(rèn)識(shí)到，本發(fā)明也應(yīng)用于計(jì)算機(jī)程序，尤其是在載體上或載體中的計(jì)算機(jī)程序，其適于將本發(fā)明付諸實(shí)踐。所述程序可以為以下形式:源代碼、目標(biāo)代碼、源代碼和目標(biāo)代碼中間的代碼(例如部分編譯形式的代碼)或者適于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的任意其他形式。也將認(rèn)識(shí)到，這樣的代碼可以具有許多不同的架構(gòu)設(shè)計(jì)。例如，實(shí)施根據(jù)本發(fā)明的所述方法或系統(tǒng)的功能的程序代碼可以被細(xì)分成一個(gè)或多個(gè)子例程。在這些子例程間分布所述功能的許多不同方式對(duì)本領(lǐng)域技術(shù)人員將是顯而易見(jiàn)的。所述子例程可以被一起存儲(chǔ)在一個(gè)可執(zhí)行文件中，以形成自含程序。這樣的可執(zhí)行文件可以包括計(jì)算機(jī)可執(zhí)行指令，例如，處理器指令和/或解釋器指令(例如，Java解釋器指令)?？蛇x地，所述子例程中的一個(gè)或多個(gè)或全部可以被存儲(chǔ)在至少一個(gè)外部庫(kù)文件中，并且靜態(tài)或動(dòng)態(tài)地(例如在運(yùn)行時(shí))與主程序鏈接。所述主程序包括對(duì)所述子例程中的至少一個(gè)的調(diào)用。所述子例程也可以包括對(duì)彼此的函數(shù)調(diào)用。涉及計(jì)算機(jī)程序產(chǎn)品的實(shí)施例包括對(duì)應(yīng)于本文所述的方法中的至少一個(gè)的每個(gè)處理步驟的計(jì)算機(jī)可執(zhí)行指令。這些指令可以被細(xì)分成子例程和/或被存儲(chǔ)在一個(gè)或多個(gè)可以被靜態(tài)或動(dòng)態(tài)鏈接的文件中。涉及計(jì)算機(jī)程序產(chǎn)品的另一實(shí)施例包括對(duì)應(yīng)于本文所述的系統(tǒng)和/或產(chǎn)品中的至少一個(gè)的每個(gè)工具的計(jì)算機(jī)可執(zhí)行指令。這些指令可以被細(xì)分成子例程和/或被存儲(chǔ)在可以被靜態(tài)或動(dòng)態(tài)鏈接的一個(gè)或多個(gè)文件中。
[0082]計(jì)算機(jī)程序的載體可以為能夠承載所述程序的任意實(shí)體或設(shè)備。例如，所述載體可以包括存儲(chǔ)介質(zhì)，例如ROM(例如⑶ROM或半導(dǎo)體ROM)，或者磁性記錄介質(zhì)，例如硬盤(pán)。此外，所述載體可以為傳播載體，例如電信號(hào)或光信號(hào)，可以經(jīng)由電纜或光纜或通過(guò)無(wú)線電或其他工具傳送它們。當(dāng)所述程序被實(shí)現(xiàn)為這樣的信號(hào)時(shí)，所述載體可以由這樣的線纜或其他設(shè)備或器件構(gòu)成?？蛇x地，所述載體可以為在其中嵌入了所述程序的集成電路，所述集成電路能夠適于執(zhí)行相關(guān)方法，或在所述相關(guān)方法的執(zhí)行中使用。
[0083]應(yīng)注意，上文提及的實(shí)施例例示而非限制本發(fā)明，并且本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)許多可選的實(shí)施例，而不偏離所附權(quán)利要求書(shū)的范圍。在權(quán)利要求書(shū)中，置于括號(hào)內(nèi)的任意附圖標(biāo)記不應(yīng)被解釋為對(duì)權(quán)利要求限制。動(dòng)詞“包括”及其詞形變化形式的使用不排除權(quán)利要求中記載的那些以外的其他元件或步驟的存在。元件前的定語(yǔ)“一”或“一個(gè)”不排除多個(gè)這樣的元件的存在。本發(fā)明可以借助于包括幾個(gè)不同元件的硬件，以及借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉了幾種器件的裝置型權(quán)利要求中，這些器件中的幾個(gè)可以由同一硬件來(lái)實(shí)現(xiàn)。盡管在互不相同的從屬權(quán)利要求中記載了特定措施，但是這并不指示不能有利地組合這些措施。
【權(quán)利要求】
1.一種用于實(shí)現(xiàn)對(duì)圖像(102)的交互式標(biāo)注的系統(tǒng)(100)，包括: -用戶(hù)輸入部(160)，其用于接收來(lái)自用戶(hù)的放置命令(162)，所述放置命令指示標(biāo)記(140)在所述圖像中的第一放置位置(124);以及 -處理器(180)，其被布置為: (i)對(duì)所述圖像中的區(qū)域(130)應(yīng)用圖像處理算法，所述區(qū)域基于所述第一放置位置，并且所述圖像處理算法對(duì)視覺(jué)上與所述標(biāo)記(140)相對(duì)應(yīng)的圖像部分作出響應(yīng)，用于建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)匹配度， (?)根據(jù)所述多個(gè)匹配度和相應(yīng)的多個(gè)圖像部分(132、134、136、138)建立第二放置位置(126)，以將所述標(biāo)記(140)匹配到所述圖像(102)中的所述區(qū)域(130)，并且 (iii)將所述標(biāo)記(140)放置在所述圖像(102)中的所述第二放置位置(126)處。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中: -所述用戶(hù)輸入部(160)被布置為接收來(lái)自所述用戶(hù)的選擇命令(163)，所述選擇命令指示在多個(gè)不同標(biāo)記(142、144、146)中對(duì)所述標(biāo)記(140)的選擇；并且 -所述處理器(180)被布置為根據(jù)所選擇的標(biāo)記將所述圖像處理算法配置為對(duì)視覺(jué)上與所選擇的標(biāo)記(140)相對(duì)應(yīng)的圖像部分作出響應(yīng)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)(100)，其中，所述選擇命令(163)還指示如由所述用戶(hù)確定的所選擇的標(biāo)記(140、141、142、143)的取向，并且其中，所述處理器(180)還被布置為根據(jù)所述取向?qū)⑺鰣D像處理算法配置為對(duì)視覺(jué)上與具有所述取向的所選擇的標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中: -所述用戶(hù)輸入部(160)被布置為接收類(lèi)型數(shù)據(jù)(164)，所述類(lèi)型數(shù)據(jù)指示所述圖像(102)中要被標(biāo)注的圖像部分的類(lèi)型；并且 -所述處理器(180)還被布置為根據(jù)所述類(lèi)型數(shù)據(jù)(164)將所述圖像處理算法配置為對(duì)視覺(jué)上與圖像部分的所述類(lèi)型和所述標(biāo)記(140)相對(duì)應(yīng)的圖像部分作出響應(yīng)。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中，所述標(biāo)記(140)的所述放置包括調(diào)節(jié)以下中的至少一項(xiàng):所述標(biāo)記的形狀、取向和尺寸，以將所述標(biāo)記匹配到所述第二放置位置(126)處的圖像部分(104)。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中，所述處理器(180)被布置為通過(guò)以下方式來(lái)建立所述多個(gè)匹配度: -建立一方面、所述第一放置位置(124)與另一方面、相應(yīng)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)距離；并且 -用所述多個(gè)距離對(duì)所述多個(gè)匹配度加權(quán)，以提升更接近所述第一放置位置(124)定位的圖像部分。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中，所述處理器(180)被布置為通過(guò)以下方式來(lái)建立所述多個(gè)匹配度: -建立多個(gè)細(xì)節(jié)度量，所述多個(gè)細(xì)節(jié)度量指示所述圖像(102)中存在于一方面、所述第一放置位置(124)與另一方面為相應(yīng)的多個(gè)圖像部分(132、134、136、138)之間的圖像細(xì)節(jié)；并且-用所述多個(gè)細(xì)節(jié)度量對(duì)所述多個(gè)匹配度加權(quán)，以提升所述圖像(102)中在所述圖像部分與所述第一放置位置(124)之間具有較少圖像細(xì)節(jié)的所述圖像部分。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中，所述處理器(180)被布置為通過(guò)使用基于力的模型來(lái)建立所述第二放置位置(126)，所述基于力的模型包括作為吸引力的所述多個(gè)匹配度。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中，所述用戶(hù)輸入部(160)被布置為接收來(lái)自所述用戶(hù)的范圍數(shù)據(jù)(165)，所述范圍數(shù)據(jù)指示所述區(qū)域(130)的尺寸，并且所述處理器被布置為根據(jù)所述范圍數(shù)據(jù)來(lái)建立所述區(qū)域的所述尺寸。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)(100)，其中，所述放置命令(162)還指示在提供所述放置命令時(shí)的放置方向，并且其中，所述處理器(180)被布置為根據(jù)所述放置方向，建立所述區(qū)域(130)相對(duì)于所述第一放置位置(124)的形狀。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)(100)，其中，所述放置命令(162)還指示在提供所述放置命令時(shí)的放置速度，并且其中，所述處理器(180)還被布置為根據(jù)所述放置速度來(lái)建立所述區(qū)域(130)的 尺寸。
12.一種包括根據(jù)權(quán)利要求1所述的系統(tǒng)(100)的工作站。
13.—種包括根據(jù)權(quán)利要求1所述的系統(tǒng)(100)的成像裝置。
14.一種實(shí)現(xiàn)對(duì)圖像的交互式標(biāo)注的方法(200)，包括: -接收(210)來(lái)自用戶(hù)的放置命令，所述放置命令指示標(biāo)記在所述圖像中的第一放置位置； -對(duì)所述圖像中的區(qū)域應(yīng)用(220)圖像處理算法，所述區(qū)域基于所述第一放置位置，并且所述圖像處理算法對(duì)視覺(jué)上與所述標(biāo)記相對(duì)應(yīng)的圖像部分作出響應(yīng)，以便建立一方面、所述標(biāo)記與另一方面、所述區(qū)域內(nèi)的多個(gè)圖像部分(132、134、136、138)之間的多個(gè)匹配度； -根據(jù)所述多個(gè)匹配度和相應(yīng)的多個(gè)圖像部分建立(230)第二放置位置，以將所述標(biāo)記匹配到所述圖像中的所述區(qū)域；并且 -將所述標(biāo)記放置(240)在所述圖像中的所述第二放置位置。
15.一種包括用于令處理器系統(tǒng)執(zhí)行根據(jù)權(quán)利要求14所述的方法(200)的指令的計(jì)算機(jī)程序產(chǎn)品。
【文檔編號(hào)】G06T7/00GK103918008SQ201280054843
【公開(kāi)日】2014年7月9日 申請(qǐng)日期:2012年10月30日 優(yōu)先權(quán)日:2011年11月8日
【發(fā)明者】T·比洛, K·梅茨, M·貝格特爾特 申請(qǐng)人:皇家飛利浦有限公司