專利名稱：基于時變和無序多圖像的四維場景建模方法
技術領域：
本發(fā)明涉及一種基于時變和無序多圖像的四維場景建模方法，涉及計算機視覺和
虛擬現實的交叉領域，綜合運用了計算機圖形學、計算機視覺和攝影測量學等多個學科的 相關技術。該技術可用于重建隨時間變化的三維真實場景的演化過程，也可進一步用于反 映城市外貌變遷以及文化遺跡的發(fā)展變化。
背景技術：
基于圖像的三維場景建模過程主要包括了圖像匹配和攝像機標定兩大模塊，這也 是目前的研究熱點，但針對大量時變和無序圖像的處理方案卻很少涉及。
Schaffalitzky禾口Zisserman在文獻Multi —view matching for unordered image sets(ECCV， vol. 1， pp. 414-431， 2002.)中提出了一種處理多幅圖像關系的方案。該方案 建立哈希表存儲兩兩視圖間的初始匹配，使用貪婪算法構建圖像間的匹配關系圖，并根據 圖中的每一個連通分量(即有相關內容的若干幅圖)找出至少25條圖中特征點的連通軌 跡，這種特征點匹配技術在只有幾幅圖像的小規(guī)模三維場景重建時效果較好，但是當重建 的場景規(guī)模需要上百甚至上千幅圖像時，和用該方法處理的時間復雜度為0(n2)。 Yao等 (Pattern Recognition, vol. 40 (11) pp. 3081-3099， 2007)指出Schaffalitzky的方法在圖 的數量大時仍很耗時，而且在參考兩圖間的相似性時沒有考慮匹配的可靠性。他們在建立 生成樹的過程中，若匹配數量小于50，則采用極線約束來檢驗圖的相關性。該方法改進了多 圖間拓撲結構的可靠性，但仍然沒有解決計算量問題。 目前，在四維場景重建領域，Grant Schindler， Frank Dellaert and Sing Bing Kang在文獻Inferring Temporal Order of Images From 3D Structure. (CVPR，page (s): 1-7,2007)針對4D城市重建問題提出了一種從城市建筑圖像中恢復時間序列的方法。首 先利用SFM方法提取每幅圖像的特征點，并對兩兩圖像間的特征點進行匹配，進一步得到 所有圖像的特征點跟蹤(track)，利用攝像機標定、捆集調整(bundle adjustment)等算法 最終得到三維場景的歐式結構。在此基礎上，對三維點在每幅圖像的類別進行劃分，構建可 見性矩陣，將原問題轉化為約束滿足問題，利用回溯、局部搜索等方法最終復原出圖像的時 間序列。這種利用三維點為基本元素的方法在處理復雜城市場景時存在語義表達不足的問 題，無法建立三維場景的時變模型。
發(fā)明內容
要解決的技術問題 為了避免現有技術的不足之處，本發(fā)明提出一種基于時變和無序多圖像的四維場 景建模方法，解決基于無序圖像的四維場景建模問題。
本發(fā)明的思想在于
技術方案 —種基于時變和無序多圖像的四維場景建模方法，其特征在于步驟如下
步驟1 :采用SIFT算法對N幅數字圖像提取SIFT局部不變特征，形成N個圖像特 征集； 步驟2 :建立任意兩幅圖像的相似度度量
&m(/,,/y)=.'柳a * E /(0 其中x = 1，…，N， y = 1，…，N， x - y，"/.、.和 分別表示圖像Ix和Iy的特征集 大小，n^。h表示匹配的特征點數目，l/min^，rU是自適應系數項，f(i)表示第i對匹配特 征的相似度值，f (i) = (W^，其中和di2分別表示第i個特征到其最近鄰特征和次近 鄰特征的距離； 步驟3:隨機取出N個圖像特征集合中的任一幅圖像Ix， x = 1，…N作為種子圖 像，以該幅圖像的相似度與所有圖像采用BBF方法進行試探匹配，將Sim(I,， Iy)大于閾值 a的圖像建立圖像集合Tk，k二 1，…，所述的a =1; 步驟4 :在圖像集合T中選取與種子圖像Ix滿足相似度Sim(Ix，Iy)在[a ， 的 圖像Iy，y二 1，…M，且Iy與圖像集合T中的任一幅圖像的相似度不大于13的圖像作為新 的種子圖像；重復本過程，直至沒有圖像能夠滿足本條件后進行下一步；
步驟5 :重復步驟3 4，直至N個圖像特征集合中的所有圖像均已被分組；
步驟6 :采用最小生成樹組織分組內的圖像，并對組內Sim(Ix， Iy)大于a的圖像 采用RANSAC方法去除外點得到單應矩陣或基礎矩陣；以單應矩陣或基礎矩陣為向導，增加 為攝像機標定準備基礎數據的匹配點對； 步驟7 :利用SFM算法計算步驟6得到的每個圖像分組的三維點集合和攝像機參 數； 步驟8 :利用混合高斯模型和EM算法對每個圖像分組的三維點集合進行分割，得 到三維空間中不同位置的子集S，S二 {Si|i G 1…khk表示分割得到的子集數量；
步驟9 :利用SFM算法中得到的三維點_圖像關聯矩陣對每個子集進行進一步分 割，提取出每個單獨的建筑；三維點_圖像關聯矩陣表示了各個三維點在每幅圖像中的可 見性；首先采用重投影方法判斷每個建筑在各幅圖像中是否可見，得到建筑-圖像關聯矩 陣V，若建筑i在圖像j中可見，則I = 1，否則= 0，、為V中第i行元素，表示建筑i 的可見向量；對于包含建筑bm，bm+1， 的子集Si，將Si中每個三維點Xj在三維點_圖像
關聯矩陣的對應行向量Vj與相應建筑的可見向量、,，、,+,，…，；,分別進行相似度計算，相似 度為兩個向量間的歐式距離，選擇距離最小的建筑序號作為該三維點的所屬類別，將Si分 割為不同建筑的集合Bm，B^，…，B" 步驟10 :利用z-buffer算法對每幅圖像中不可見的建筑的類別進行劃分，得到VM 矩陣，VMij表示建筑i在圖像j中的可見性若建筑i在圖像j可見，VMij = 1 ;若建筑i的 重投影點的二維坐標超出了圖像j的范圍，VMij = 0 ;若重投影點二維坐標在圖像j范圍內 而又沒有圖像特征點與之對應，進一步判斷該建筑是被遮擋還是不存在；對任意圖像j進 行如下步驟 步驟a :對于圖像j中可見的建筑，利用格雷厄姆掃描法得到其重投影二維點集合 的凸包； 步驟b :生成與圖像j分辨率相同的8位灰度圖像，顏色置為黑色；對凸包內部的區(qū)域用白色進行填充，保存填充完成的掩膜圖像記為maskj ; 步驟C :對于任意建筑物，計算其包含的三維點的深度信息，求取深度信息的平均 值，將平均值作為對應凸包區(qū)域內部像素的深度信息；利用z-buffer算法計算掩膜圖像 maskj中每個像素的深度信息； 步驟d :對于圖像j中尚未確定類別的建筑i，計算其重投影二維點集合中超出圖 像范圍的點的個數與深度小于maskj中對應像素深度的點的個數之和Ns，進一步計算Ns在 建筑i包含的三維點總數N中所占比例R，如果R小于0. 1 ，判斷建筑i被遮擋，VMij = 0 ;否 則建筑i不存在，VMij = -I ; 步驟11 :利用局部搜索算法對VM矩陣列的順序進行調整，得到圖像時間序列；VM 矩陣需要滿足約束當矩陣中任意一行出現1…-l…1模式，進行調整步驟如下
步驟a :計算初始VM矩陣中違反約束的元素個數； 步驟b :對VM矩陣每兩列進行臨時交換，計算交換后的VM矩陣中違反約束的元素 個數，選擇違反約束個數最小的臨時交換作為最終交換； 步驟C :重復步驟b，直至矩陣中的所有行都滿足約束，最終VM的列順序即為圖像 的時間序列；如果陷入局部最優(yōu)，則轉步驟l，重新隨機生成VM矩陣的列的初始順序；
步驟12 :將調整后的VM矩陣以列為單位進行聚類，得到不同時期的三維場景并組 合得到四維場景，基本步驟如下 步驟a :將以VM矩陣的第一列作為一個新類； 步驟b :從VM矩陣的第二列開始，依次對每一列進行判斷；若該列和某個類中的列 一致，則將其加入該類；否則以該列生成另一個新類；列i與列j一致的定義如下若列i中 取值為1的元素在列j中對應的元素取值不為-l，則兩列一致； 聚類完成后，每個類中包含的建筑物的三維點集合就是該歷史時期的三維重建結
果，而整個時間上連續(xù)的三維重建結果集合就是最終的四維場景重建結果。
所述試探匹配為采用圖像Ix建立索引結構H，以圖像Iy的特征集R去匹配，具體
試探匹配步驟如下 步驟1.將R中的所有"/,個特征的順序隨機打亂； 步驟2.取出R前np個特征，其中，"p = ，采用BBF算法在索引結構H中搜
索，根據相似度度量公式，得到前np個特征的相似度Simp，并根據
' = &>WP * / 計算出全局相似度； 步驟3.當Sim(Ix， Iy)小于相似度閾值a時，a = 1，停止匹配；否則，從R再取 出np個特征繼續(xù)匹配，并重新計算Simp和Sim(Ix， Iy);重復步驟3，直到R所有特征都被計 算或者匹配過程被停止。
有益效果 本發(fā)明提出的基于時變和無序多圖像的四維場景建模方法，傳統(tǒng)技術在推導圖像 時間序列時，對每幅圖像手工提取特征點，手工對各幅圖像的特征點進行匹配，然后利用 SFM算法得到三維點坐標與攝像機參數。對圖像手工標記特征點是一個十分費時費力的過 程，提取的圖像特征點不可能很多(一幅圖像至多幾百個特征點)，這對后續(xù)的遮擋判斷的精確性會造成較大影響。而人工建立匹配的過程也很容易出錯。 本技術利用sift算法對每幅圖像自動提取特征點，每幅圖像根據分辨率不同一 般可提取數千至上萬個特征點，較之手工方法提供了更為豐富的信息。進一步利用特征描 述子對圖像間的特征點進行自動匹配，整個過程不需要人工交互的過程，大大降低了成本， 也提高了工作效率。 原有技術在處理建筑物遮擋判斷問題時，以三維點作為基本元素，通過對每幅 圖像的特征點進行delaunay三角化，利用freespace原理對三維點類別進行劃分。但 delaunay三角化使得不同建筑的特征點連接在一起，形成一些不需要的三角面片，這在判 斷遮擋時容易出現錯誤劃分。 本技術對三維點集合進行分割，得到單獨的建筑，計算每個建筑在圖像上的深度 信息，利用深度的大小進行遮擋判斷。仔細觀察城市的變化規(guī)律，建筑都是作為整體建成或 拆除，因此以建筑作為基本單位，較之孤立的三維點具有更強的語義性。這是對原三維點模 型的進一步抽象，提高了圖像時間序列推導的準確性。同時將上萬個三維抽象為若干個建 筑大大提高了局部搜索算法的效率。
具體實施例方式
現結合實施例、附圖
對本發(fā)明作進一步描述 1.輸入163幅與6個場景相關的無序圖像序列，對每一幅圖像提取SIFT特征，形 成163個SIFT特征集。 2.建立任意兩幅圖像的相似度度量&m(/x,/v)=.廣 、* E /(0 ' min{"4， } /=i 其中x = 1，…，N， y = 1，…，N， x - y，""和 分別表示圖像Ix和Iy的特征集 大小，n^。h表示匹配的特征點數目，l/min^，rU是自適應系數項，f(i)表示第i對匹配特 征的相似度值，f (i) = (W^，其中和di2分別表示第i個特征到其最近鄰特征和次近 鄰特征的距離； 3.對163幅圖像的SIFT特征集種子擴散算法和采用試探匹配算法進行快速匹配 和分組。 為了降低寬基線無序圖像的匹配、分組及其有序化方案的計算量問題，本發(fā)明在 該步驟里提供一種基于種子擴算和試探匹配的策略快速分組方法。種子擴散的具體流程見 表l : 表1.種子擴散算法的流程函數名SeedGrowing
輸入N幅有關S個干場景的無序圖像集 輸出S個內容關聯的有序圖像分組
1對N幅圖像提取SIFT特征 2隨機選擇一幅種子圖像，插入到擴散隊列Que中 3 while Que ! = NULL [QQ53] 4取Que的隊首元素采用試探匹配算法進行擴散，得到 M幅相似圖像
5 選擇M幅圖像中和種子圖像相似度在[a,"]且彼此相 似度不大于/ 的圖像插入到Que中
6 end
7如果還有剩余圖像，進入2，否則結束。 對于兩幅圖像特征集之間的快速匹配，本發(fā)明采用試探匹配方法來完成。對于待
匹配的兩幅圖像L和Iy，用圖像Ix的特征集建立KD-tree索引結構H，然后用Iy中的特征
去搜索。與以往方法不同的是，本方法一開始并不用17中的所有"/,,個特征去檢索，而只隨
機抽樣部分特征進行檢索，并由此得到部分相似度值Simp，由于部分相似度和全局相似度
存在如下映射關系， S〖W(/義，) = S/Wp * / 其中Sim(Ix， Iy)表示全局相似度，np表示部分特征的數目。根據部分相似度計算 出全局相似度，若相似度大于給定閾值a ，則繼續(xù)計算，否則，被認為是不相關圖像而終止 計算。試探匹配能快速鑒別不相似的圖像特征集，并能保留相似圖像特征集的匹配結果。其 詳細過程如下 表2.試探匹配的算法流程
函數名TentativeMatching
輸入圖像/》特征集i 以及根據特征集人建立的索引結構//(々
輸出圖像4和、是否相關，若相關則保留/,中每一個特征在/,中的匹
配結果
1. 用特征集合7 的所有特征產生一個隨機特征序列2"e,。。rf .
2. 如果2"e,^非空，將前 個特征出隊并在W搜索，否則進入步驟5.
3. 計算S/m(/,，/》，如果a ，進入步驟4，否則進入步驟2.
4. 圖像A和B不相關并返回/^:sfi.
5. 圖像A和B相關并返回77 t^. 4.依據組內圖像的相似度大小，采用最小生成樹有序化組內圖像。即首先選擇兩幅具有最大匹配度圖像加入到視圖樹中(其中一幅作為根節(jié)點)，接著從剩下圖像中選擇 一幅和視圖樹中某個節(jié)點具有最大匹配度的圖像添加到視圖樹中，遞歸該過程直到所有圖 像都加入到視圖樹中。如果還有剩余圖像，則新建一棵最小生成樹，直到所有圖像都被劃分 到相應的組中。 5.對于分組內相關聯的圖像，采用RANSAC算法求解基礎矩陣并去除外點。然后用 基礎矩陣為向導，增加更多正確的匹配點，為三維重構準備數據。 6.對得到的6個分組的每一組圖像利用SFM算法計算該組內三維點坐標和攝像機 參數 針對每一分組，首先選擇兩幅圖像，建立初始坐標系，選擇圖像主要有兩個標準 1圖像間匹配點足夠多；2圖像間基線，也就是攝像機中心的距離較寬，防止出現退化情況。 建立初始坐標系后，在剩余圖像中選擇一幅加入到當前的坐標系中。使用直接線性變換，估 計新加入圖像的攝像機矩陣，然后增加新的三維空間點，重復這一步驟直到所有的圖像都 加入到當前的坐標系。以上得到的是射影重構結果，使用攝像機自標定技術提升為度量重 構。利用攝像機內參數提供的約束，估計攝像機的內參數和射影變換，得到度量坐標系下的 三維重構結果。 7.利用混合高斯模型和EM算法對每個圖像分組的三維點集合進行分割，得到三 維空間中不同位置的子集集合S，S二 {Si|i G 1…khk表示分割得到的子集數量。
對于每個分組的三維點集合，給出混合高斯模型的子成份個數c。對于每個子成 分，對其所占權重Wi、期望ep協(xié)方差矩陣E i進行隨機初始化，利用EM算法進行迭代優(yōu)化， 得到最終的混合高斯模型參數，然后對每個三維點進行分類，判斷其屬于哪個子成員。
8.利用S預算法中得到的三維點_圖像關聯矩陣對子集進行進一步分割，提取出 每個單獨的建筑 部分子集中仍然混雜了多個建筑，這是因為不同歷史時期的建筑在三維空間中會 出現重疊，需要利用三維點_圖像關聯矩陣進行進一步分割，三維點_圖像關聯矩陣表示 了各個三維點在每幅圖像中的可見性。首先判斷每個建筑在各幅圖像中是否可見，得到建 筑-圖像關聯矩陣V。若建筑i在圖像j中可見，則Vipl，否則Vij二O。定義Vi為V中第 i行元素，表示建筑i的可見向量。子集S3中包含建筑7，建筑8，建筑9，將Si中每個三維 點Xj在三維點_圖像關聯矩陣的對應行向量與可見向量V7， V8， V9分別進行相似度計算，相 似度定義為兩個向量間的歐式距離，每次選擇距離最小的建筑序號作為該三維點的所屬類 別。最終將Si分割為建筑子集B7，Bs，B9。 9.利用z-buffer算法對每幅圖像中不可見的建筑的類別進行劃分，得到VM矩陣， VMij表示建筑i在圖像j中的可見性若建筑i在圖像j可見，= 1 ;若建筑i的重投 影點的二維坐標超出了圖像j的范圍，VMij = 0 ;若重投影點二維坐標在圖像j范圍內而又 沒有圖像特征點與之對應，進一步判斷該建筑是被遮擋還是不存在；對任意圖像j進行如 下步驟 步驟a :對于圖像j中可見的建筑，利用格雷厄姆掃描法得到其重投影二維點集合 的凸包； 步驟b :生成與圖像j分辨率相同的8位灰度圖像，顏色置為黑色；對凸包內部的 區(qū)域用白色進行填充，保存該圖像，得到mask，.；
步驟C :對于任意建筑物，計算其包含的三維點的深度信息，求取平均值，將平均值作為對應凸包區(qū)域內部像素的深度信息；利用z-buffer算法計算掩膜圖像中每個像素的深度信息； 步驟d :對于圖像j中尚未確定類別的建筑i，計算其重投影二維點集合中超出圖像范圍的點的個數與深度小于maskj中對應像素深度的點的個數之和Ns，進一步計算Ns在建筑i包含的三維點總數N中所占比例R，如果R小于0. 1，建筑i被遮擋，VMij = 0 ;否則建筑i不存在，VMij = -I ; 10.利用局部搜索算法對VM矩陣列的順序進行調整，得到圖像時間序列；VM矩陣需要滿足約束矩陣中任意一行，不能出現1…-l…1模式。調整步驟如下
步驟a :計算初始VM矩陣中違反約束的元素個數； 步驟b :對VM矩陣每兩列進行臨時交換，計算交換后的VM矩陣中違反約束的元素個數；選擇違反約束個數最小的臨時交換作為最終交換； 步驟c :重復步驟b，直至矩陣中的所有行都滿足約束，最終VM的列順序即為圖像的時間序列； 11.將調整后的VM矩陣以列為單位進行聚類，得到不同時期的三維場景，最終得到四維場景，基本步驟如下 步驟a :生成一個新類，將VM矩陣的第一列加入其中； 步驟b :從第二列開始，依次對每一列進行判斷。若該列和某個類中的列一致，則將其加入該類；否則生成一個新類，將該列加入新類中；列i與列j 一致的定義如下若列i中取值為1的元素在列j中對應的元素取值不為-l，則兩列一致； 聚類完成后，每個類中包含的建筑物的三維點集合就是該歷史時期的三維重建結果，而整個時間上連續(xù)的三維重建結果集合就是最終的四維場景重建結果。
權利要求
一種基于時變和無序多圖像的四維場景建模方法，其特征在于步驟如下步驟1采用SIFT算法對N幅數字圖像提取SIFT局部不變特征，形成N個圖像特征集；步驟2建立任意兩幅圖像的相似度度量 <mrow><mi>Sim</mi><mrow> <mo>(</mo> <msub><mi>I</mi><mi>x</mi> </msub> <mo>,</mo> <msub><mi>I</mi><mi>y</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mfrac> <msub><mi>n</mi><mi>match</mi> </msub> <mrow><mi>min</mi><mo>{</mo><msub> <mi>n</mi> <msub><mi>I</mi><mi>x</mi> </msub></msub><mo>,</mo><msub> <mi>n</mi> <msub><mi>I</mi><mi>y</mi> </msub></msub><mo>}</mo> </mrow></mfrac><mo>*</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <msub><mi>n</mi><mi>match</mi> </msub></munderover><mi>f</mi><mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo></mrow> </mrow>其中x＝1，...，N，y＝1，...，N，x≠y，和分別表示圖像Ix和Iy的特征集大小，nmatch表示匹配的特征點數目，1/min{nA，nB}是自適應系數項，f(i)表示第i對匹配特征的相似度值，f(i)＝di2/di1，其中di1和di2分別表示第i個特征到其最近鄰特征和次近鄰特征的距離；步驟3隨機取出N個圖像特征集合中的任一幅圖像Ix，x＝1，...N作為種子圖像，以該幅圖像的相似度與所有圖像采用BBF方法進行試探匹配，將Sim(Ix，Iy)大于閾值α的圖像建立圖像集合Tk，k＝1，...，所述的α＝1；步驟4在圖像集合T中選取與種子圖像Ix滿足相似度Sim(Ix，Iy)在[α，β]的圖像Iy，y＝1，...M，且Iy與圖像集合T中的任一幅圖像的相似度不大于β的圖像作為新的種子圖像；重復本過程，直至沒有圖像能夠滿足本條件后進行下一步；步驟5重復步驟3～4，直至N個圖像特征集合中的所有圖像均已被分組；步驟6采用最小生成樹組織分組內的圖像，并對組內Sim(Ix，Iy)大于α的圖像采用RANSAC方法去除外點得到單應矩陣或基礎矩陣；以單應矩陣或基礎矩陣為向導，增加為攝像機標定準備基礎數據的匹配點對；步驟7利用SFM算法計算步驟6得到的每個圖像分組的三維點集合和攝像機參數；步驟8利用混合高斯模型和EM算法對每個圖像分組的三維點集合進行分割，得到三維空間中不同位置的子集S，S＝{si|i∈1...k}，k表示分割得到的子集數量；步驟9利用SFM算法中得到的三維點-圖像關聯矩陣對每個子集進行進一步分割，提取出每個單獨的建筑；三維點-圖像關聯矩陣表示了各個三維點在每幅圖像中的可見性；首先采用重投影方法判斷每個建筑在各幅圖像中是否可見，得到建筑-圖像關聯矩陣V，若建筑i在圖像j中可見，則Vij＝1，否則Vij＝0，Vi為V中第i行元素，表示建筑i的可見向量；對于包含建筑bm，bm+1，…，bn的子集si，將si中每個三維點xj在三維點-圖像關聯矩陣的對應行向量Vj與相應建筑的可見向量分別進行相似度計算，相似度為兩個向量間的歐式距離，選擇距離最小的建筑序號作為該三維點的所屬類別，將si分割為不同建筑的集合Bm，Bm+1，…，Bn；步驟10利用z-buffer算法對每幅圖像中不可見的建筑的類別進行劃分，得到VM矩陣，VMij表示建筑i在圖像j中的可見性若建筑i在圖像j可見，VMij＝1；若建筑i的重投影點的二維坐標超出了圖像j的范圍，VMij＝0；若重投影點二維坐標在圖像j范圍內而又沒有圖像特征點與之對應，進一步判斷該建筑是被遮擋還是不存在；對任意圖像j進行如下步驟步驟a對于圖像j中可見的建筑，利用格雷厄姆掃描法得到其重投影二維點集合的凸包；步驟b生成與圖像j分辨率相同的8位灰度圖像，顏色置為黑色；對凸包內部的區(qū)域用白色進行填充，保存填充完成的掩膜圖像記為maskj；步驟c對于任意建筑物，計算其包含的三維點的深度信息，求取深度信息的平均值，將平均值作為對應凸包區(qū)域內部像素的深度信息；利用z-buffer算法計算掩膜圖像maskj中每個像素的深度信息；步驟d對于圖像j中尚未確定類別的建筑i，計算其重投影二維點集合中超出圖像范圍的點的個數與深度小于maskj中對應像素深度的點的個數之和Ns，進一步計算Ns在建筑i包含的三維點總數N中所占比例R，如果R小于0.1，判斷建筑i被遮擋，VMij＝0；否則建筑i不存在，VMij＝-1；步驟11利用局部搜索算法對VM矩陣列的順序進行調整，得到圖像時間序列；VM矩陣需要滿足約束當矩陣中任意一行出現1…-1…1模式，進行調整步驟如下步驟a計算初始VM矩陣中違反約束的元素個數；步驟b對VM矩陣每兩列進行臨時交換，計算交換后的VM矩陣中違反約束的元素個數，選擇違反約束個數最小的臨時交換作為最終交換；步驟c重復步驟b，直至矩陣中的所有行都滿足約束，最終VM的列順序即為圖像的時間序列；如果陷入局部最優(yōu)，則轉步驟1，重新隨機生成VM矩陣的列的初始順序；步驟12將調整后的VM矩陣以列為單位進行聚類，得到不同時期的三維場景并組合得到四維場景，基本步驟如下步驟a將以VM矩陣的第一列作為一個新類；步驟b從VM矩陣的第二列開始，依次對每一列進行判斷；若該列和某個類中的列一致，則將其加入該類；否則以該列生成另一個新類；列i與列j一致的定義如下若列i中取值為1的元素在列j中對應的元素取值不為-1，則兩列一致；聚類完成后，每個類中包含的建筑物的三維點集合就是該歷史時期的三維重建結果，而整個時間上連續(xù)的三維重建結果集合就是最終的四維場景重建結果。F2010100136412C00012.tif,F2010100136412C00013.tif,F2010100136412C00021.tif
2.根據權利要求1所述的基于時變和無序多圖像的四維場景建模方法，其特征在于所述試探匹配為采用圖像L建立索引結構H，以圖像Iy的特征集R去匹配，具體試探 匹配步驟如下步驟1.將R中的所有 個特征的順序隨機打亂；步驟2.取出R前np個特征，其中， = /10 ，采用BBF算法在索引結構H中搜索，根 據相似度度量公式，得到前np個特征的相似度Simp，并根據 iSVw(/x, /》=iS7mp * y 計算出全局相似度；步驟3.當Sim(I,， Iy)小于相似度閾值a時，a = 1，停止匹配；否則，從R再取出np 個特征繼續(xù)匹配，并重新計算Simp和Sim(I,， Iy);重復步驟3，直到R所有特征都被計算或 者匹配過程被停止。
全文摘要
本發(fā)明涉及一種基于時變和無序多圖像的四維場景建模方法，技術特征在于利用sift算法對每幅圖像自動提取特征點，每幅圖像根據分辨率不同一般可提取數千至上萬個特征點，對三維點集合進行分割，得到單獨的建筑，計算每個建筑在圖像上的深度信息，利用深度的大小進行遮擋判斷。仔細觀察城市的變化規(guī)律，建筑都是作為整體建成或拆除，因此以建筑作為基本單位。有益效果利用特征描述子對圖像間的特征點進行自動匹配，對原三維點模型的進一步抽象，提高了圖像時間序列推導的準確性。同時將上萬個三維抽象為若干個建筑大大提高了局部搜索算法的效率。
文檔編號G06T7/00GK101739721SQ20101001364
公開日2010年6月16日 申請日期2010年1月21日 優(yōu)先權日2010年1月21日
發(fā)明者亓曉振, 何周燦, 周果清, 徐炯 , 成宏璟, 楊恒, 潘杰, 王慶, 王雯, 陳庭旺 申請人:西北工業(yè)大學