專利名稱：基于運動預測和三維約束的序列圖像分割方法
技術領域：
本發(fā)明屬于圖像處理技術領域，具體涉及一種基于運動預測和偏三維約束， 并結合主動輪廓模型的圖像序列分割方法。
背景技術：
三維圖像分割是圖像處理和計算機視覺中的一個重要研究領域，廣泛應用于 計算機輔助三維重建、運動物體跟蹤以及醫(yī)學中細胞運動和形變的分析等應用領域。三維圖像或圖像序列與一般圖像的不同之處在于:序列圖像是針對同一目標， 切片是由間隔相同的距離或時間連續(xù)采樣而得到的，因此對三維圖像的分割既與 一般的圖像分割有相同之處,又有特殊之處。
傳統(tǒng)的主動輪廓模型都要求模型初始化在目標輪廓的附近，否則將可能收斂 到錯誤的結果。而在三維圖像分割中對每一幅切片圖進行手工初始化是一種費時 而繁瑣的工作，需要找到一種自動化的三維分割方法。
現(xiàn)有的基于主動輪廓模型的分割方法主要有
1、 預測法，預測法簡單易行，利用物體的輪廓一般都是平滑變化這一常識， 用前面數(shù)個輪廓的位置，對初始位置的設置進行改進，在自動分割中，如何更精 確的自動設定主動輪廓的初始位置非常重要，初始位置距離實際邊緣越接近，收 斂到正確位置的可能性就越大。這種方法有一定效果，但沒有利用圖像本身的信 息，有進一步改進的空間。
2、 光流法，光流法利用光流場的方法迭代獲得圖像中物體運動的趨勢，這 種趨勢以一個新的外力的形式影響收斂的結果，有較好的效果。但缺點是方法復 雜，運算量比較大。而且沒有改善初始化位置，迭代次數(shù)也會比較多，會增加收 斂的時間。
3、 三維形變模型法，常規(guī)的三維形變模型法是把物體整體建立三維輪廓模 型，雖然利用了相鄰圖像相關性信息但是模型復雜，計算量大，初始位置設置困 難。如果能在二維輪廓模型中引入三維約束，則可以在二維模型的優(yōu)點中加入三 維模型的三維平滑的特點，更符合物體的實際特性。

發(fā)明內容
技術問題本發(fā)明基于三維圖像序列的相似性，采用在視頻壓縮中常見的運 動估計方法，并與偏三維約束相結合，提出了一種新的適用于三維圖像分割的方 法?；谌S圖像具有三維平滑、連續(xù)變化等特性，本發(fā)明提出了一種新的圖像 序列分割方法。該方法在計算過程中只需手動設置第一幅圖中主動形變模型的關 鍵點位置。在其他圖像中，首先采用預測和視頻運動估計中常用的塊匹配法優(yōu)化，在MPEG-4和R26x中采用的都是這種塊匹配法，然后采用偏三維約束和梯度矢 量流(GVF)，從初始化位置開始在圖像中進一步迭代收斂得到每幅圖像中的最 終輪廓位置，在一般的二維平滑基礎上，達到三維平滑，三維分割的作用。本發(fā) 明方法可以顯著提高分割的準確性以及速度。
技術方案本發(fā)明公開了一種基于運動預測和三維約束的序列圖像分割方
法，該方法包括如下步驟
I) 對數(shù)字圖像初始化
II) 在第一幀數(shù)字圖像輪廓線轉向的地方，交互式設置手動控制點，相鄰的 兩個手動控制點之間均等生成控制點的初始位置；
12)迭代收斂，收斂到第一幅圖像中物體輪廓的邊沿，其過程如下
121 )采取加入控制點或合并控制點的方式來調節(jié)相鄰兩個控制點的間距，
122) 由蛇的控制點的初始位置出發(fā)，以梯度矢量流場替代原圖像計算梯度 值并作為外力，
123) 計算第一層內能公式為^u^(x,+u+x,一,廠2x"》，、y表示第j幅圖 像中的第i個控制點的位置，《,',為內部能量，
124) 計算合力公式^,"。fe =Ant 計算出的合力為零來作為圖像收斂的條件，其中E^ke為能量函數(shù)，￡e。ra, , 為約束能量來限制控制 點的運動，Ant為內部能量，五^^為外部能量，
125) 根據(jù)公式XirXij+《;^計算出來的合力移動控制點，、j表示第j幅圖
像中的第i個控制點的位置，五二^表示第j幅圖像中的第i個控制點的位置的能 量函數(shù)，126)對圖像收斂的處理過程
利用公式
<formula>complex formula see original document page 8</formula>來判斷圖像收斂條件，sum(abs(Esnake))表示 為所有控制點合力的絕對值之和，length(Esnake)為控制點的個數(shù)，avd為合力的平
均值，
如果合力的平均值小于0.08時再收斂15次，目的是在合力較小的情況下進 一步接近輪廓，
當avd<0.08后且又迭代15次時，迭代結束，得到最終收斂結果， 否則，回到步驟121)，迭代繼續(xù)進行；
13) 對第一幀數(shù)字圖像不進行控制點位置預測計算，以第一幀數(shù)字圖像主動 輪廓模型的收斂位置作為控制點的預測位置，
按合力公式<formula>complex formula see original document page 8</formula> 計算出的合力為零來作為圖像收斂的條件，其中E融e為能量函數(shù)，Econstrain為約束能量來限制控制點的運動，
Eint為內部能量,Einage為外部能量；
14) 塊匹配初始搜索點的選擇，以預測的下一幀的控制點的位置作為初始 搜索點，和直接采用參考圖像對應位置相比，2個圖像塊比較，相應的像素點兩 兩求差的絕對值，它們的平均值是最小絕對差匹配準則所求的值，公式中的M,N是圖像塊的長和寬，Z"""，")是指在k幀數(shù)字圖像中(m,n)處像素點的像素值，
<formula>complex formula see original document page 8</formula>
其中(△p,△q)為位移矢量，fk為當前幀圖像的灰度值,fk-1為上一幀圖 像的灰度值，圖像塊大小為M*N為MAD(△p,△q)最小值是最優(yōu)匹配點，
搜索策略為菱形搜索算法，采用9個檢測點的大模板和5個檢測點的小模板， 對匹配得到的平均絕對差設定門限值，當最終搜索到最優(yōu)匹配點小于門限值時， 把匹配到的點作為控制點的初始位置；反之，直接把預測位置作為控制點的初始 位置；
2)循環(huán)
21) 設置數(shù)字圖像幀層數(shù)記數(shù)器，用于判斷是否超過最底數(shù)字圖像幀層，若 數(shù)字圖像幀層數(shù)沒有超過最底數(shù)字圖像幀層則執(zhí)行步驟22)，否則結束循環(huán)；
22) 以前兩層收斂的控制點的坐標預測下一層的控制點的位置
預測下一幀數(shù)字圖像的控制點位置，Xi,j表示第j幀數(shù)字圖像中的第i個控制
點的位置，控制點位置的變化用Vi,j,表示為Vi,j =Xi,j—Xi,j-1，得到預測的 j+l幀數(shù)字圖像中的相應控制點的位置:<formula>complex formula see original document page 9</formula>為預測系數(shù)，當
k1為0時，直接用上一幀數(shù)字圖像的分割結果作為初始值；
23) 以步驟22)中所預測控制點的位置為起點作為初始搜索點，和直接采 用參考圖像對應位置相比，2個圖像塊比較，相應的像素點兩兩求差的絕對值， 它們的平均值是最小絕對差匹配準則所求的值，公式中的M,N是圖像塊的長和
寬，fk(m,n)是指在k幀數(shù)字圖像中(m,n)處像素點的像素值，
<formula>complex formula see original document page 9</formula>
其中(Δp，Δq)為位移矢量，fk為當前幀圖像的灰度值，fk-1為上一幀圖
像的灰度值，圖像塊大小為N*N， M4D (Δp,Δq)為最小值是最優(yōu)匹配點，
搜索策略為菱形搜索算法,采用9個檢測點的大模板和5個檢測點的小模板， 對匹配得到的平均絕對差設定門限值，當最終搜索到最優(yōu)匹配點小于門限值時， 把匹配到的點作為控制點的初始位置；反之，直接把預測位置作為控制點的初始 位置；
24) 偏三維約束的迭代收斂，過程如下
241) 采取加入控制點或合并控制點的方式來調節(jié)相鄰兩個控制點的間距，
242) 由步驟22)中所預測控制點的位置出發(fā)，以梯度矢量流場替代原圖像 計算梯度值并作為外力，
243) 計算偏三維約束的內力公式為
E'int=k(xi+1,j+xi-1,j-2xi,j)+(1-k)(xi,j+1+k1(xi,j+1-xi,j+2)-xi,j)
xi,j表示第j幅圖像中的第i個控制點的位置，Eint為偏三維約束內部能量，k為預測系數(shù)，
244)合力公式為Snake=Eint+Eimage+Econstrain，計算出的合力為零來作為圖像收斂的條件，其中Esnake為能量函數(shù)，Econstrair為約束能量來限制控制點的運動，Eint內部能量和Eimage外部能量；
245) 合力移動控制點，xij=xi,j+Ei,j snkde， Xi,j表示第j幅圖像中的第i個控制點的位置，Ei,j snake表示第j幅圖像中的第i個控制點的位置的能量函數(shù)，
246) 判斷是否到達收斂，
利用公式
avd=sum(abs(Esnake))/length(Esnake)作為判斷圖像收斂條件，sum(abs(Esnake))表示為所有控制點合力的絕對值之和，length(Esnake)為控制點的個數(shù)，avd為合力的
平均值，
如果合力的平均值小于0.08時再收斂15次，目的是在合力較小的情況下進 一步接近輪廓，
當avd<0.08后且又迭代15次時，迭代結束，得到最終收斂結果，
否則，回到步驟241)，迭代繼續(xù)進行；
25) 數(shù)字圖像幀層數(shù)記數(shù)器進行幀層數(shù)累加；
26) 判斷步驟25)中的數(shù)字圖像幀層數(shù)是否超過最底數(shù)字圖像幀層，若數(shù)字 圖像幀層數(shù)沒有超過最底數(shù)字圖像幀層則執(zhí)行步驟22),否則結束循環(huán)。
上述基于運動預測和三維約束的序列圖像分割方法，該方法步驟14)和步 驟23)中的門限值為10到20之間，歩驟121)和步驟241)中的兩個控制點的 間距保持在3個像素到7個像素之間，步驟243)中的kl的預測系數(shù)取值為0 到1之間。
本發(fā)明首先采用預測與匹配相結合初始位置設置方法。以主動輪廓模型上的 控制點作為預測模型形變的著手點，避免了有的預測法中關于質心的概念。對質 心的應用中要求輪廓為比較飽滿的形狀，否則若質心太過接近于輪廓邊緣，會使 判斷的法線方向有較大的偏差，影響有效性。我們把物體變化的平滑性和一致性， 表示為控制點位置變化的一致性。
由于我們是以控制點構成的網格表示物體的輪廓，物體表現(xiàn)出來的平滑性和一致性要體現(xiàn)在控制點網格上以控制點的變化趨勢，預測在序列中下一幀圖像中 相應控制點的位置，然后以預測位置作為匹配的初始搜索位置采用MPEG-4所 使用的是菱形搜索算法。對于匹配結果，由于控制點是位于物體的邊緣部分，這 個區(qū)域圖像灰度值變化大，有利于匹配到正確的結果。并進一步設定一個恰當門 限，圖像變化以及噪聲劇烈的，門限就要高一點，變化及噪聲平穩(wěn)的就小一點。 當最終搜索到最優(yōu)匹配點的平均絕對差(MAD)小于門限時，就認為結果為正 確匹配點，把匹配到的點作為控制點的初始位置；反之則認為結果為錯誤的匹配 點，忽略匹配結果，直接把預測位置作為控制點的初始位置。這樣又盡量避免了 錯誤匹配造成的影響。達到了在簡單，計算量小的條件下的較好的效果。
在傳統(tǒng)的主動輪廓模型基礎上，本發(fā)明引入了偏三維約束的概念，作為主動 輪廓模型的能量之一。對于本發(fā)明的三維自動分割方法，是從第一層圖像開始， 逐層向下。在任何時候，我們只知道上一層圖像中的控制點的位置，而不知道下 一層圖像中的控制點位置，所以并不能直接釆用4點約束式的三維約束模型。這 個種情況下，本發(fā)明基于上層控制點和預測，提出了偏三維約束。
對于橫向內能，目的是使輪廓在水平方向上平滑，由同層相鄰的兩個控制點 決定，和三維模型沒有區(qū)別。而縱向內能，由于本文序列分割的特性，是由二維 模擬三維，不能輕易得出，因為縱向相鄰的2個控制點只知道一個。對此，本發(fā) 明采用預測的方法來進行模擬。由于物體的平滑性，物體在每層圖像上投影的變 化具有連續(xù)性，即由上兩層圖像控制點預測得到的位置與上下兩層控制點的中點 的位置在大多數(shù)情況下近似，并且同樣能反映物體平滑的特性。
通過手動設置第一幅圖中主動形變模型的關鍵點位置后，在其他圖像中，釆 用預測和塊匹配法相結合的方法自動地設置后續(xù)圖像的主動輪廓模型初始化位 置，并采用偏三維約束和梯度矢量流相結合的方法，從初始位置丌始，自動化地 進一步迭代收斂得到每幅圖像中的最終輪廓位置。
采用預測與匹配相結合初始位置設置方法。以主動輪廓模型上的控制點作為 預測模型形變的著手點，把物體變化的平滑性和一致性，表示為控制點位置變化 的一致性，以控制點的變化趨勢，預測在序列中下一幀圖像中相應控制點的位置， 然后以預測位置作為匹配的初始搜索位置采用MPEG-4所使用的是菱形搜索算 法。對于匹配結果，由于控制點是位于物體的邊緣部分，這個區(qū)域圖像灰度值變化大，有利于匹配到正確的結果。并進一步設定一個恰當門限。當最終搜索到最 優(yōu)匹配點的MAD小于門限時，就認為結果為正確匹配點，把匹配到的點作為控 制點的初始位置；反之則認為結果為錯誤的匹配點，忽略匹配結果，直接把預測 位置作為控制點的初始位置。這樣又盡量避免了錯誤匹配造成的影響。達到了在 簡單、計算量小的條件下的較好的預測效果。
在傳統(tǒng)的主動輪廓模型基礎上，本發(fā)明引入了偏三維約束的概念，作為主動 輪廓模型的能量之一。對于本發(fā)明的三維自動分割方法，是從第一層圖像開始， 逐層向下。對于橫向內能，由同層相鄰的兩個控制點決定，和三維模型沒有區(qū)別。 而縱向內能則以上層圖像中的控制點的位置采用偏三維約束，以預測的方法來進 行模擬。
有益效果本發(fā)明中聯(lián)合匹配預測用于序列圖像分割，優(yōu)化了初始主動輪廓 的設置，使得初始輪廓更接近與實際邊緣，有利于得到準確的分割結果。在二維 輪廓模型中引入三維約束，則可以在二維模型的優(yōu)點中加入三維模型的三維平滑 的特點，更符合物體的實際特性，并可以同時實現(xiàn)重建的作用，以低計算成本達 到較好的效果。該方法在三維序列圖像分割中非常有效，可以顯著提高分割的準 確性以及速度。


圖1為本發(fā)明總體流程圖。
圖2為偏三維約束迭代收斂過程的流程圖。
圖3為預測法對人體肝臟CT圖像序列進行分割的成像結果。
圖4為匹配法對人體肝臟CT圖像序列進行分割的成像結果。
圖5為光流法對人體肝臟CT圖像序列進行分割的成像結果。
圖6為本發(fā)明方法對人體肝臟CT圖像序列進行分割的成像結果。
具體實施例方式
下面是本發(fā)明的具體實施例來進一步描述
本發(fā)明的運行環(huán)境是WinXP操作系統(tǒng);閃龍2500+ CPU ;算法采用仿真計算 平臺Matlab7.0版本進行編制。該方法總體過程如圖1所示包括如下步驟 l)對數(shù)字圖像初始化
11) 在第一幀數(shù)字圖像輪廓線轉向的地方，交互式設置手動控制點，相鄰的 兩個手動控制點之間均等生成控制點的初始位置；
12) 迭代收斂，收斂到第一幅圖像中物體輪廓的邊沿，包括如下步驟
121 )采取加入控制點或合并控制點的方式來調節(jié)相鄰兩個控制點的間距保 持在5個像素，
122) 由蛇的控制點的初始位置出發(fā)，以梯度矢量流場替代原圖像計算梯度 值并作為外力，
123) 計算第一層內能公式為Eint=(Xi+1，j +Xi-1 - 2Xi，j)，Xi，y表示第j幅圖 像中的第i個控制點的位置，Eint為內部能量，
124) 計算合力公式Esnake=Eint+Eimage+Econstrain，計算出的合力為零來作為圖像收斂的條件，其中Esnake為能量函數(shù)，Econstrain為約束能量來限制控制點的運動，Eint為內部能量，Eimage為外部能量，
125) 根據(jù)公式xij=Xij+Esnake計算出來的合力移動控制點，Xi，j表示第j幅圖像中的第i個控制點的位置，Esnake表示第j幅圖像中的第i個控制點的位置的能 量函數(shù)，
126) 對圖像收斂的處理過程
利用公式
adv=sum(abs(Esnake))/length(Esnake)來判斷圖像收斂條件，sum(abs(Esnake))表示 為所有控制點合力的絕對值之和，length(Esnake)為控制點的個數(shù)，avd為合力的平均值，
如果合力的平均值小于0.08時再收斂15次，目的是在合力較小的情況下進一步接近輪廓，
當avd＜O.08后且又迭代15次時，迭代結束，得到最終收斂結果，
否則，回到步驟121)，迭代繼續(xù)進行；
13) 對第一幀數(shù)字圖像不進行控制點位置預測計算，以第一幀數(shù)字圖像主動 輪廓模型的收斂位置作為控制點的預測位置，
按合力公式Esnake=Eint +Eimage +Econstrain計算出的合力為零來作為圖像收斂的條件，其中Esnake為能量函數(shù)，Econstrair為約束能量來限制控制點的運動，Eint為內部能量，Eimage為外部能量；
14)塊匹配初始搜索點的選擇，以預測的下一幀的控制點的位置作為初始 搜索點，和直接采用參考圖像對應位置相比，2個圖像塊比較，相應的像素點兩 兩求差的絕對值，它們的平均值是最小絕對差匹配準則所求的值，公式中的M，N是圖像塊的長和寬，力(w'")是指在k幀數(shù)字圖像中(m,n)處像素點的像素值， <formula>complex formula see original document page 14</formula>
其中(^,A《)為位移矢量，fk為當前幀圖像的灰度值，fk-1為上一幀圖 像的灰度值，圖像塊大小為M*N， MAD(Ap，^)為最小值是最優(yōu)匹配點，
搜索策略為菱形搜索算法，采用9個檢測點的大模板和5個檢測點的小模板， 對匹配得到的平均絕對差設定門限值為15，當最終搜索到最優(yōu)匹配點小于門限 值時，把匹配到的點作為控制點的初始位置；反之，直接把預測位置作為控制點 的初始位置；
2)循環(huán)
21) 設置數(shù)字圖像幀層數(shù)記數(shù)器，用于判斷是否超過最底數(shù)字圖像幀層，若數(shù)字圖像幀層數(shù)沒有超過最底數(shù)字圖像幀層則執(zhí)行步驟22),否則結束循環(huán)；
22) 以前兩層收斂的控制點的坐標預測下一層的控制點的位置
預測下一幀數(shù)字圖像的控制點位置，Aj表示第j幀數(shù)字圖像中的第i個控制點的位置，控制點位置的變化用r,，,表示為<formula>complex formula see original document page 14</formula>，得到預測的 j+l幀數(shù)字圖像中的相應控制點的位置<formula>complex formula see original document page 14</formula>， k1為預測系數(shù)，當k1,為0時，直接用上一幀數(shù)字圖像的分割結果作為初始值；
23) 以步驟22)中所預測控制點的位置為起點作為初始搜索點，和直接采 用參考圖像對應位置相比，2個圖像塊比較，相應的像素點兩兩求差的絕對值， 它們的平均值是最小絕對差匹配準則所求的值，公式中的M,N是圖像塊的長和寬，fk(m,n)是指在k幀數(shù)字圖像中(m,n)處像素點的像素值，<formula>complex formula see original document page 15</formula>
其中(Ap，勿)為位移矢量，/A為當前幀圖像的灰度值，/^為上一幀圖
像的灰度值，圖像塊大小為1VPN， M4D(Ap, )為最小值是最優(yōu)匹配點，
搜索策略為菱形搜索算法，采用9個檢測點的大模板和5個檢測點的小模板， 對匹配得到的平均絕對差設定門限值，當最終搜索到最優(yōu)匹配點小于門限值時， 把匹配到的點作為控制點的初始位置；反之，直接把預測位置作為控制點的初始 位置；
24)偏三維約束的迭代收斂，其過程如圖2所示包括如下步驟
241 )采取加入控制點或合并控制點的方式來調節(jié)相鄰兩個控制點的間距，
242) 由步驟22)中所預測控制點的位置出發(fā)，以梯度矢量流場替代原圖像 計算梯度值并作為外力，
243) 計算偏三維約束的內力公式為<formula>complex formula see original document page 15</formula>
、y表示第j幅圖像中的第i個控制點的位置，《w為偏三維約束內部能量， kl為預測系數(shù)取0.5，
244) 合力公式為<formula>complex formula see original document page 15</formula>，計算出的合力為零來 作為圖像收斂的條件，其中E^ke為能量函數(shù)，^ 。,>為約束能量來限制控制點 的運動，《m內部能量和外部能量；
245) 合力移動控制點，xirXij+￡2te，、,表示第j幅圖像中的第i個控制
點的位置，五l;L表示第j幅圖像中的第i個控制點的位置的能量函數(shù)，
246) 判斷是否到達收斂， 利用公式
avd=sum(abs(Esnake))/length(EsnakeMf為判斷圖像收斂條件，sum(abs(Esnate))表 示為所有控制點合力的絕對值之和，length(Esnake)為控制點的個數(shù)，avd為合力的 平均值，
如果合力的平均值小于0.08時再收斂15次，目的是在合力較小的情況下進 一步接近輪廓，
當aVd<0.08后且又迭代15次時，迭代結束，得到最終收斂結果，
否則，回到步驟241)，迭代繼續(xù)進行；
25) 數(shù)字圖像幀層數(shù)記數(shù)器進行幀層數(shù)累加；
26) 判斷步驟25)中的數(shù)字圖像幀層數(shù)是否超過最底數(shù)字圖像幀層，若數(shù)字 圖像幀層數(shù)沒有超過最底數(shù)字圖像幀層則執(zhí)行步驟22)，否則結束循環(huán)。
在第一幅序列圖像上，沿著所需的圖像，手動設置是以鼠標點擊的方式直 接在圖像邊緣附近點擊設定若干點，標識輪廓位置，根據(jù)手動設置的點，自動等 間距的生成控制點手動設置少數(shù)的接近輪廓的點,這些點主要位于輪廓線轉向的 地方，在手動設置的相鄰的兩個點之間也許距離會比較遠，而控制點的間距要求 比較均勻，間距較小，根據(jù)這個原則等距的均勻地加入控制點?？刂泣c的位置作 為主動輪廓模型的初始位置。
輪廓的迭代收斂，由主動輪廓的初始位置，采用改進外力的Snake模型， GVF Snake模型收斂主動輪廓。采用公式(l)計算各個控制點的能量，以合力推 動控制點的移動。公式中的變量代碼能量就是指下面公式中計算出來的數(shù)值，分 為x軸方向和y軸方向，這計算出來的值越大，控制點的移動也就越大。這個能 量分為下面公式中的3個部分，這3個能量的和作為推動控制點移動的合力。<formula>complex formula see original document page 16</formula>其中外部能量Eimage采用梯度矢量流場。 離散計算公式為
<formula>complex formula see original document page 16</formula>
計算出梯度矢量流場，其中
<formula>complex formula see original document page 16</formula>
(3)
<formula>complex formula see original document page 16</formula>是計算GVF場時，第n次迭代的的迭代值，第一次迭代時，它 的值就是圖像本身的像素值。fx(p，q)， fy(p,q)是x， y方向上的圖像梯度值。
在三維圖像中，內部能量與周圍4個控制點相關，受4個控制點的共同影響， 周圍的4個控制點決定內部能量的大小。本發(fā)明采用預測的方法來進行模擬，采 用預測位置作為縱向平滑約束，提出了偏三維約束。公式表示為
E'int = k(xi+1, j+xi-1, j-2xi, j)+(1-k)(xi, j+1+k1(xi, j+1-xi, j+2)-xi, j)
(4)
其中，xi,j表示第j幅圖像中的第i個控制點的位置，k控制橫向約束的和縱向預測之間的權衡，^為預測系數(shù)(0≤k1 ≤l)。由于預測的準確性低于實際的縱向內能且上層中的控制點位置固定不變，物體的輪廓是控制點的網格，每個控制 點相鄰的都有4個控制點，水平方向上2個作為橫向約束，產生橫向能量，垂直方 向上2個作為縱向約束，產生縱向內能，這是傳統(tǒng)的三維模型計算法，本文方法 在橫向上是和它一致的，而在縱向上使用預測的方法產生縱向能量。約束過強是 指由于預測的結果還是有一定的不準確性，為了避免這種不準確性導致錯誤，橫 向約束應強于縱向約束(0.5<k<l)，使輪廓有更大的自由度，避免約束過強造成的誤差。在實驗中，k取0.6-0.7， k1取0.5。
在傳統(tǒng)的三維模型中，內力的公式表示為
Eint = (xi+1, j+xi-1, j-2xi, j)+(xi, j+1+xi, j-1-2xi, j)
區(qū)別在于，控制點周圍的4個控制點都是已知的，使用這4個控制點約束中間 控制點。
在本算法中，第一層的約束是普通的二維收斂，采用的內能也是二維的，表 現(xiàn)為只有橫向約束，沒有三維的縱向約束，公式為
Eint = (xi+1, j+xi-1, j-2xi, j)+(
采用下述約束能量限制控制點的運動，防止跳變的產生控制點一次變化過大 可能會落入無法回歸的圖像區(qū)域而而產生錯誤
<formula>complex formula see original document page 17</formula>(5)(6)<formula>complex formula see original document page 18</formula>(7)
<formula>complex formula see original document page 18</formula>
(8)
內部能量和外部能量的合力在約束能量的約束之下控制控制點的移動。 反復計算，經過多次迭代最終收斂到所需的圖像邊沿處。 預測下一層的控制點位置
分兩種情況處理。當為第一幅圖像時，就以主動輪廓模型的收斂位置作為預 測位置，不再進行預測計算。
對其它的下層圖像，則進行如下的預測處理。
控制點位置的變化f^可以表示為
<formula>complex formula see original document page 18</formula>
(9)
x,》表示第j幅圖像中的第i個控制點的位置，可以得到預測的n+l幅圖中的相
應控制點的位置<formula>complex formula see original document page 18</formula>
(10)
當)k,為0時，就是直接使用上一幅圖的分割結果作為初始值。
匹配。利用預測的結果進一步采用匹配的方法獲得更為接近與圖像中物體邊 緣的位置。本發(fā)明采用實現(xiàn)簡單且被MPEG-x和H.26x等廣泛應用的基于塊匹配 的運動估計算法塊匹配是指2個相同大小的圖像進行比較，差異越小匹配度越高。 匹配點是指塊匹配圖像塊的中心點，這個點可以匹配塊的位置，塊匹配成功實際 上相應的匹配點匹配成功，塊匹配技術主要包括以下3點
第一，初始搜索點的選擇。本發(fā)明中采用預測的下一幀的控制點的位置作 為初始搜索點作為初始搜索點，和直接采用上一幀的控制點收斂位置作為初始搜 索點相比，可以有效減少匹配的次數(shù)和時間。
第二，塊匹配準則。本發(fā)明方法中采用常用的最小絕對差匹配準則2個圖像 塊比較，相應的像素點兩兩求差的絕對值，它們的平均值就是最小絕對差匹配準
則所求的值。公式如下
<formula>complex formula see original document page 19</formula>(11)
M,N是圖像塊的長和寬,fk(m,n)是指在k幀中(m，n)處像素點的像素值， 其中(Δp,Δq)為位移矢量；MAD(Δp,Δq)的最小值是最優(yōu)匹配點。
第三，搜索策略。使用的是菱形搜索算法(DiamondSearch，DS)。采用了兩 種模板，即9個檢測點的大模板LDSP(Large Diamond Search Pattem)和5個檢測點 的小模板SDSP(Small Diamond Search Pattern)。首先，搜索時先采用大模板對搜 索中心點周圍的9個點進行匹配運算，就是把以這9個點為中心的9個圖像塊分別 和上一幀相應控制點為中心的圖像塊計算MAD(Δp,Δq)，當最小塊誤差點即為中心 點時，則自動轉換為小模板搜索策略，對中心點周圍其他5個點進行匹配運算，5 點中的最優(yōu)匹配點即為所求點。如果在采用大模板搜索時，最優(yōu)點不在中心點時， 那么就以該最優(yōu)點為中心點重新采用大模板進行搜索，直到最優(yōu)匹配點為中心點 時，再轉換為小模板搜索，最終找到最優(yōu)匹配點。
對于匹配結果，由于控制點是位于物體的邊緣部分，這個區(qū)域圖像灰度值變 化大，有利于匹配到正確的結果。并進一步對匹配得到的平均絕對差設定一個門 限。當最終搜索到最優(yōu)匹配點的MAD小于門限時，就認為結果為正確匹配點， 把匹配到的點作為控制點的初始位置；反之則認為結果為錯誤的匹配點，忽略匹 配結果，直接把預測位置作為控制點的初始位置。這樣既避免了錯誤匹配造成的 影響，又達到了在簡單、計算量小條件下較好的預測效果。門限要根據(jù)匹配塊大 小，以及實際圖像情況進行調整，圖像變化以及噪聲劇烈的，門限就要高一點， 變化及噪聲平穩(wěn)的就小一點。通常取值為10-20。通過使用本發(fā)明方法可以達到 圖6所示的效果并可以與圖3、圖4、圖5進行比較。
權利要求
1.一種基于運動預測和三維約束的序列圖像分割方法，其特征在于該方法包括如下步驟1)對數(shù)字圖像初始化；11)在第一幀數(shù)字圖像輪廓線轉向的地方，交互式設置手動控制點，相鄰的兩個手動控制點之間均等生成控制點的初始位置；12)對第一幀數(shù)字圖像進行迭代收斂，收斂到第一幀數(shù)字圖像中物體輪廓的邊沿；13)對第一幀數(shù)字圖像不進行控制點位置預測計算，以第一幀數(shù)字圖像主動輪廓模型的收斂位置作為控制點的預測位置，按合力公式Esnake＝Eint+Eimage+Econstrain計算出的合力為零來作為圖像收斂的條件，其中Esnake為能量函數(shù)，Econstrain為約束能量來限制控制點的運動，Eint為內部能量，Eimage為外部能量；14)塊匹配初始搜索點的選擇，以預測的下一幀的控制點的位置作為初始搜索點，和直接采用參考圖像對應位置相比，2個圖像塊比較，相應的像素點兩兩求差的絕對值，它們的平均值是最小絕對差匹配準則所求的值，公式中的M，N是圖像塊的長和寬，fk(m，n)是指在k幀數(shù)字圖像中(m，n)處像素點的像素值，
2.如權利要求1所述的基于運動預測和三維約束的序列圖像分割方法，其 特征在于該方法步驟12)包括如下步驟121) 采取加入控制點或合并控制點的方式來調節(jié)相鄰兩個控制點的間距，122) 由蛇的控制點的初始位置出發(fā)，以梯度矢量流場替代原圖像計算梯度 值并作為外力，123) 計算第一層內能公式為<formula>see original document page 4</formula>Xi,j表示第j幅圖 像中的第i個控制點的位置，Eint為內部能量，124) 計算合力公式五<formula>see original document page 4</formula>計算出的合力為零來作為圖像收斂的條件，其中Esake為能量函數(shù)，Econstrain為約束能量來限制控制 點的運動，Eint為內部能量，Eimage為外部能量，125) 根據(jù)公式<formula>see original document page 4</formula>計算出來的合力移動控制點，、j表示第j幅圖像中的第i個控制點的位置，五二L表示第j幅圖像中的第i個控制點的位置的能量函數(shù)，126) 對圖像收斂的處理過程利用公式-avd-sum(abs(Esnake))/length(E咖ke)來判斷圖像收斂條件，sum(abs(Esnake))表示 為所有控制點合力的絕對值之和，length(Esnake)為控制點的個數(shù)，avd為合力的平 均值，如果合力的平均值小于0.08時再收斂15次，目的是在合力較小的情況下進 一步接近輪廓，當avdO.08后且又迭代15次時，迭代結束，得到最終收斂結果， 否則，回到步驟121)，迭代繼續(xù)進行:。
3.如權利要求l所述的基于運動預測和三維約束的序列圖像分割方法，其 特征在于該方法步驟24)包括如下步驟241) 采取加入控制點或合并控制點的方式來調節(jié)相鄰兩個控制點的間距，242) 由步驟22)中所預測控制點的位置出發(fā)，以梯度矢量流場替代原圖 像計算梯度值并作為外力，243) 計算偏三維約束的內力公式為<formula>see original document page 4</formula>Xi，j表示第j幅圖像中的第i個控制點的位置，E’int為偏三維約束內部能量，kl4為預測系數(shù)，244)合力公式為Esnake=Eint+ Eimage +Econstrain，計算出的合力為零來作為圖像收斂的條件，其中Esnake為能量函數(shù)，Econstrain為約束能量來限制控制點的運動，Eint 為內部能量和Eimage 外部能量；245) 合力移動控制點，Xi^Xij+g;二 ， x,j表示第j幅圖像中的第i個控制點的位置，Esnake i,j 表示第j幅圖像中的第i個控制點的位置的能量函數(shù)，246) 判斷是否到達收斂， 利用公式-avd=sum(abs(Esnake))/length(Esnake)作為判斷圖像收斂條件，sum(abs(Esnake))表示為所有控制點合力的絕對值之和，length(Esnake)為控制點的個數(shù)，avd為合力的平均值，如果合力的平均值小于0.08時再收斂15次，目的是在合力較小的情況下進 一步接近輪廓，當avdO.08后且又迭代15次時，迭代結束，得到最終收斂結果， 否則，回到步驟241)，迭代繼續(xù)進行。
4. 如權利要求l所述的基于運動預測和三維約束的序列圖像分割方法，其 特征在于該方法步驟14)和步驟23)中的門限值為10到20之間。
5. 如權利要求2所述的基于運動預測和三維約束的序列圖像分割方法，其 特征在于該方法步驟121)中的兩個控制點的間距保持在3個像素到7個像素之 間。
6. 如權利要求3所述的基于運動預測和三維約束的序列圖像分割方法，其 特征在于該方法步驟241 )中的兩個控制點的間距保持在3個像素到7個像素之 間，步驟243)中的kl的預測系數(shù)取值為0到1之間。
全文摘要
本發(fā)明公開了一種基于運動預測和偏三維約束并結合主動輪廓模型的圖像序列分割方法，屬于圖像處理技術領域。以主動輪廓模型上的控制點作為預測模型形變的著手點，把物體變化的平滑性和一致性，表示為控制點位置變化的一致性，以控制點的變化趨勢，預測在序列中下一幀圖像中相應控制點的位置，然后以預測位置作為匹配的初始搜索位置采用MPEG-4所使用的是菱形搜索算法。本發(fā)明引入了偏三維約束的概念，作為主動輪廓模型的能量之一。這樣又盡量避免了錯誤匹配造成的影響。達到了在簡單、計算量小的條件下的較好的預測效果。
文檔編號H04N7/32GK101202916SQ20071019103
公開日2008年6月18日 申請日期2007年12月4日 優(yōu)先權日2007年12月4日
發(fā)明者智 丁, 董育寧 申請人:南京郵電大學