專利名稱：一種圖像序列排序方法
一種圖像序列排序方法技術(shù)領(lǐng)域
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種圖像序列排序方法，用于將一組圖像序列拼接為一幅全景圖像。
背景技術(shù)：
圖像拼接是把描述同一場景的相互之間有部分重疊的一系列圖像拼接成一個(gè)寬視角的圖像技術(shù)。圖像拼接要求輸入的待拼接圖像序列是按照實(shí)際場景的內(nèi)容順序排列的，但在現(xiàn)實(shí)的圖像拍攝、后續(xù)存儲(chǔ)和處理等過程中，可能使圖像序列的順序發(fā)生改變，致使不能直接進(jìn)行全景圖像的拼接。
目前，已有的很多圖像拼接算法和圖像拼接軟件都要求輸入的圖像序列是有序的，如果待拼接的圖像數(shù)量很小時(shí)，可以進(jìn)行人工干預(yù)，倘若數(shù)量很大時(shí)，人工干預(yù)將會(huì)變得非常困難，人工干預(yù)非常耗時(shí)，而且現(xiàn)有的這些拼接算法和軟件要求輸入的圖像序列大小相同，限制了這些算法和軟件的適用性。
相位相關(guān)法最早是在1975 年由 C. Kuglin 和 D. Hines (C. Kuglin, D. Hines. The phase correlation image alignment method[C]. In Proceeding of IEEE Conference on Cybernetics and Society, New York, 1975，9:163-165.)提出來的，該方法根據(jù)傅里葉性質(zhì)中的時(shí)移性，借助傅里葉變換將兩幅待拼接的圖像變換到頻域上，利用互功率譜直接計(jì)算出兩幅待拼接圖像之間的平移量。相位相關(guān)法由于只利用互功率譜的相位關(guān)系，對(duì)圖像灰度信息依賴性小，因此具有一定的抗干擾能力。
借助于計(jì)算機(jī)進(jìn)行圖像序列的自動(dòng)排序技術(shù)被提出后引起了廣泛關(guān)注。1999 年，Kyung Ho Jang 和 Soon Ki Jung 等(Kyung Ho Jang, Soon Ki Jung and Min ho Lee. Constructing cylind rical panoramic image using equidistant matching[J]. Electronics Letters, 1999, 35 (20) : 1715-1716.)利用等距離匹配的思想實(shí)現(xiàn)圖像序列的自動(dòng)排序，但該算法計(jì)算量大，而且對(duì)噪聲、運(yùn)動(dòng)目標(biāo)和場景光照變化等魯棒性較差。2006 年，華順剛、曾令宜等(華順剛，曾令宜，歐宗瑛.一種快速的柱面全景圖像拼接算法[J]. 數(shù)據(jù)采集與處理，2006, 21 (4) :434-438.)也是利用等距離的思想來實(shí)現(xiàn)圖像序列的自動(dòng)排序，但此方法受圖像內(nèi)容和灰度的影響較大，而且文中也沒有說明怎樣確定頭圖像和尾圖像。2007年，趙輝，陳輝等(趙輝，陳輝，于泓.一種改進(jìn)的全景圖自動(dòng)拼接算法[J].中國圖象圖形學(xué)報(bào)，2007，12(2) :336-342.)基于相位相關(guān)法提出一種全景圖全自動(dòng)拼接算法， 但該排序算法需要人為地設(shè)置閾值，影響了算法的適應(yīng)性和自動(dòng)性。同年，趙萬金，龔聲蓉等(趙萬金，龔聲蓉，劉全等.一種用于圖像拼接的圖像序列自動(dòng)排序算法[J].中國圖象圖形學(xué)報(bào)，2007, 12(10) : 1861-1864.)提出一種利用相位相關(guān)法的圖像序列自動(dòng)排序算法， 但要求輸入的圖像序列必須大小相同，而且文中對(duì)于頭尾圖像的確定的敘述也很含糊。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有圖像拼接方法要求圖像序列大小必須3一致的缺陷，提供一種圖像序列排序方法，能夠?qū)崿F(xiàn)不同大小的圖像序列的拼接。
本發(fā)明具體采用以下技術(shù)方案
一種圖像序列排序方法，用于將η幅圖像拼接為Μ*Ν的全景圖像，Μ、Ν分別為所述全景圖像所包含的行圖像數(shù)、列圖像數(shù)；首先將待拼接的η幅圖像轉(zhuǎn)化為尺寸相同的灰度圖像，具體如下先將η幅圖像分別轉(zhuǎn)化為灰度圖像；設(shè)得到的η幅灰度圖像中行像素?cái)?shù)、 列像素?cái)?shù)的最大值分別為r0Wmax、C0lmax，通過在圖像尾部補(bǔ)O的方式將各幅圖像尺寸均轉(zhuǎn)化為1OwIiiMXc0ImM像素；然后利用相位相關(guān)法確定η幅圖像之間的位置關(guān)系；最后按照所確定的位置關(guān)系將η幅圖像排序。
所述利用相位相關(guān)法確定η幅圖像之間的位置關(guān)系，具體包括以下步驟
步驟A、利用相位相關(guān)法計(jì)算η幅灰度圖像中任意兩幅圖像之間的位移量 (Δ X，Δ y)及相關(guān)度，從而得到待拼接的η幅圖像的相關(guān)度表；
步驟B、根據(jù)相關(guān)度表確定待拼接的η幅圖像中的邊角圖像；
步驟C、根據(jù)所確定的邊角圖像及任意兩幅圖像的位移量確定其他圖像的位置關(guān)系O
所述步驟B具體包括
步驟BI、保留相關(guān)度表中按行最大的2個(gè)相關(guān)度和按列最大的2個(gè)相關(guān)度，其余置 0，得到最大相關(guān)度表；
步驟Β2、在最大相關(guān)度表中，對(duì)所有位移量若I Λ χ|>| Λ y|，則N=I ;若 Λ y I > I Λ x I，則 M=I ;若既有 I Δχ|> Δγ|,又有 | Δγ|>| Δχ|,則 Μ>1，N>1 ；
步驟Β3、當(dāng)M=I或者N=I時(shí)，步驟Cl中得到的最大相關(guān)度表中行相關(guān)度僅有一個(gè)非O值所對(duì)應(yīng)的圖像即為邊角圖像；當(dāng)M>1，N>1時(shí)，則保留步驟B所得到的相關(guān)度表中按行最大的3個(gè)相關(guān)度和按列最大的3個(gè)相關(guān)度，其余置0，得到新的最大相關(guān)度表；則新的最大相關(guān)度表中行相關(guān)度僅有兩個(gè)非O值所對(duì)應(yīng)的圖像即為邊角圖像。
步驟C中所述根據(jù)所確定的邊角圖像及任意兩幅圖像的位移量確定其他圖像的位置關(guān)系，具體按照以下方法
若M=l，則以選定的邊角圖像中水平位移量Λ y為負(fù)的那幅圖像為起始圖像，再根據(jù)水平位移量Λ y依次確定圖像順序Λ y為負(fù)的，排在右邊；若N=l，則以選定的邊角圖像中垂直位移量ΛX為負(fù)的那副圖像為起始圖像，再根據(jù)垂直位移量ΛX依次確定圖像順序 Λ X為負(fù)的，排在下面；
若步驟BI得到的最大相關(guān)度表中每行均有兩個(gè)非O相關(guān)度值，說明圖像序列是首尾互連的360°圖像序列，任取其中一幅圖像作為起始圖像；若心1，Ν>1，則在所確定的邊角圖像中任取一幅作為起始圖像；然后根據(jù)位移量確定圖像位置比較它們對(duì)應(yīng)的垂直位移量Λ X、水平位移量Λ y，取Λ X、Ay絕對(duì)值大的為參考量，若I Λχ|>| Ay|，則Λχ為負(fù)時(shí)，圖像排在下面，反之圖像排在上面；若I Ay|>l Λ χ|，則Ay為負(fù)時(shí)，圖像排在右邊， 反之圖像排在左邊。
本發(fā)明通過尾部補(bǔ)O的方式，將灰度化后的圖像序列的尺寸統(tǒng)一，然后利用相位相關(guān)法確定圖像序列的位置關(guān)系并進(jìn)而完成拼接，克服了現(xiàn)有技術(shù)不能完成不同尺寸圖像序列拼接的不足；本發(fā)明進(jìn)一步對(duì)基于相位相關(guān)法的圖像序列排序方法進(jìn)行了改進(jìn)，使之更具有實(shí)用性。


圖1是本發(fā)明中圖像序列自動(dòng)排序的算法流程圖；圖2是M=1時(shí)的圖像序列不意圖，圖中陰影部分表不重置區(qū)域；圖3是N=1時(shí)的圖像序列不意圖，圖中陰影部分表不重置區(qū)域；圖4是M*N型(M>1，N>1)圖像序列示意圖，圖中為4*3型圖像序列，圖中陰影部分 表不重置區(qū)域；圖5是本發(fā)明中圖像序列自動(dòng)排序算法的詳細(xì)流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明在圖像拼接的過程中，為了能夠正確地拼接出所需要的全景圖像，要求輸入的相 鄰兩幅圖像之間有一定的重疊區(qū)域，即輸入的待拼接圖像序列是按照實(shí)際場景的內(nèi)容順序 排列的。但在現(xiàn)實(shí)應(yīng)用中，圖像拍攝、后續(xù)存儲(chǔ)和處理等過程，可能會(huì)使圖像序列的順序發(fā) 生改變，致使不能直接進(jìn)行全景圖像的拼接?，F(xiàn)有圖像排序算法基本是對(duì)于相同尺寸圖像 進(jìn)行排序，但實(shí)際應(yīng)用中，排序的圖像可能是來自于不同設(shè)備的不同尺寸圖像。針對(duì)上述問 題，本發(fā)明提出利用尾部補(bǔ)0的方式，將灰度化后的圖像序列的尺寸統(tǒng)一，然后利用相位相 關(guān)法確定圖像序列的位置關(guān)系并完成拼接。為了便于公眾了解本發(fā)明技術(shù)方案，有必要對(duì)相位相關(guān)法的基本原理進(jìn)行簡要介 紹。相位相關(guān)法最早是在1975年由C. Kuglin和D. Hines提出來的，該方法根據(jù)傅里 葉性質(zhì)中的時(shí)移性，借助傅里葉變換將兩幅待拼接的圖像變換到頻域上，利用互功率譜直 接計(jì)算出兩幅待拼接圖像之間的平移量。相位相關(guān)法由于只利用互功率譜的相位關(guān)系，對(duì) 圖像灰度信息依賴性小，因此具有一定的抗干擾能力。對(duì)于兩幅待拼接圖像^(x, y)和I2(x, y)(此處和以下所提到的I^x, y)和I2(x, y) 都是經(jīng)過灰度化轉(zhuǎn)換后的灰度圖像)，匕(u, v)和F2 (u, v)分別是I: (x, y)和I2 (x, y)的傅 里葉變換，那么有以下關(guān)系
權(quán)利要求
1.一種圖像序列排序方法，用于將/7幅圖像拼接為iftV的全景圖像，M、 N分別為所述全景圖像所包含的行圖像數(shù)、列圖像數(shù)；其特征在于，首先將待拼接的幅圖像轉(zhuǎn)化為尺寸相同的灰度圖像，具體如下先將幅圖像分別轉(zhuǎn)化為灰度圖像；設(shè)得到的幅灰度圖像中行像素?cái)?shù)、列像素?cái)?shù)的最大值分別為, COlasi，通過在圖像尾部補(bǔ)O的方式將各幅圖像尺寸均轉(zhuǎn)化為rew· Xcolmsz像素；然后利用相位相關(guān)法確定幅圖像之間的位置關(guān)系；最后按照所確定的 位置關(guān)系將/7幅圖像排序。
2.如權(quán)利要求I所述圖像序列排序方法，其特征在于，所述利用相位相關(guān)法確定η幅圖像之間的位置關(guān)系，具體包括以下步驟步驟Α、利用相位相關(guān)法計(jì)算/7幅灰度圖像中任意兩幅圖像之間的位移量及相關(guān)度，從而得到待拼接的《幅圖像的相關(guān)度表；步驟B、根據(jù)相關(guān)度表確定待拼接的/7幅圖像中的邊角圖像；步驟C、根據(jù)所確定的邊角圖像及任意兩幅圖像的位移量確定其他圖像的位置關(guān)系。
3.如權(quán)利要求2所述圖像序列排序方法，其特征在于，所述步驟B具體包括步驟BI、保留相關(guān)度表中按行最大的2個(gè)相關(guān)度和按列最大的2個(gè)相關(guān)度，其余置0， 得到最大相關(guān)度表；步驟Β2、在最大相關(guān)度表中，對(duì)所有位移量若I&|>丨，則N=I ;若|~丨>1&1 JlJM=I ； 若既有I χ|>1 Af丨，又有丨每丨>1M丨，則μ> I，N〉I;步驟Β3、當(dāng)M=I或者N=I時(shí)，步驟Cl中得到的最大相關(guān)度表中行相關(guān)度僅有一個(gè)非O 值所對(duì)應(yīng)的圖像即為邊角圖像；當(dāng)Μ>1，Ν>1時(shí)，則保留步驟B所得到的相關(guān)度表中按行最大的3個(gè)相關(guān)度和按列最大的3個(gè)相關(guān)度，其余置0，得到新的最大相關(guān)度表；則新的最大相關(guān)度表中行相關(guān)度僅有兩個(gè)非O值所對(duì)應(yīng)的圖像即為邊角圖像。
4.如權(quán)利要求3所述圖像序列排序方法，其特征在于，步驟C中所述根據(jù)所確定的邊角圖像及任意兩幅圖像的位移量確定其他圖像的位置關(guān)系，具體按照以下方法若M=l，則以選定的邊角圖像中水平位移量為負(fù)的那幅圖像為起始圖像，再根據(jù)水平位移量Ay依次確定圖像順序Af為負(fù)的，排在右邊；若#1，則以選定的邊角圖像中垂直位移量Ax為負(fù)的那副圖像為起始圖像，再根據(jù)垂直位移量Δχ依次確定圖像順序.Ax力負(fù)的，排在下面；若步驟BI得到的最大相關(guān)度表中每行均有兩個(gè)非O相關(guān)度值，說明圖像序列是首尾互連的360°圖像序列，任取其中一幅圖像作為起始圖像；若Μ>1，Ν>1，則在所確定的邊角圖像中任取一幅作為起始圖像；然后根據(jù)位移量確定圖像位置比較它們對(duì)應(yīng)的垂直位移量Λκ、水平位移量妙，取Δι hy絕對(duì)值大的為參考量，若|ΔΛ__|>[4ν|，則Δχ為負(fù)時(shí)，圖像排在下面，反之圖像排在上面；若|^|> ,則Ay為負(fù)時(shí)，圖像排在右邊，反之圖像排在左邊。
全文摘要
本發(fā)明公開了一種圖像序列排序方法，用于將n幅圖像序列拼接為M*N的全景圖像，M、N分別為所述全景圖像所包含的行圖像數(shù)、列圖像數(shù)。本發(fā)明方法首先將待拼接的n幅圖像轉(zhuǎn)化為尺寸相同的灰度圖像，具體如下先將n幅圖像分別轉(zhuǎn)化為灰度圖像；設(shè)得到的n幅灰度圖像中行像素?cái)?shù)、列像素?cái)?shù)的最大值分別為、，通過在圖像尾部補(bǔ)0的方式將各幅圖像尺寸均轉(zhuǎn)化為像素；然后利用相位相關(guān)法確定n幅圖像之間的位置關(guān)系；最后根據(jù)所確定的位置關(guān)系將n幅圖像拼接為全景圖像。本發(fā)明克服了現(xiàn)有技術(shù)不能完成不同尺寸圖像序列拼接的不足，并進(jìn)一步對(duì)基于相位相關(guān)法的圖像序列排序方法進(jìn)行了改進(jìn)，使之更具有實(shí)用性。
文檔編號(hào)G06T5/50GK102938143SQ201210372289
公開日2013年2月20日 申請(qǐng)日期2012年9月28日 優(yōu)先權(quán)日2012年9月28日
發(fā)明者吳學(xué)文, 蔡明星, 劉娜, 沈潔, 王慧斌, 宋云云, 顧欣, 陳松, 馮超禹 申請(qǐng)人:河海大學(xué)