專利名稱：圖像處理裝置、方法以及程序的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置、方法以及程序。本發(fā)明具體地涉及可以獲得高質量全 景圖像的圖像處理裝置、方法以及程序。
背景技術：
到目前為止，提出了通過交疊和合成由集成了相機的數(shù)字VCR等攝取的多個靜止 圖像來生成全景圖像的技術(例如，參見日本未實審專利申請公報No. 2003-198902)。因為 全景圖像是通過布置和合成多個靜止圖像而獲得的圖像，所以利用全景圖像能夠顯示比一 個靜止圖像被攝取時作為圖像攝取目標的空間上的區(qū)域更廣的區(qū)域作為對象。此外，作為確定當靜止圖像的組合被執(zhí)行時靜止圖像間的接縫的方法，提出了利 用針對在圖形理論中的最短路徑問題的解決方案的方法(例如，參見Japan Industrial Publishing Co.，Ltd.于 2008 年 8 月 5 日發(fā)行的 Image Lab 2008 年 6 月刊第 6-11 頁 Φ Takeaki IIY0SHI> Wataru MITSUHASHI 白勺 “Image mosaic generation method for panoramic image creation”)。根據(jù)該方法，例如，如圖1所示，位于兩個相鄰的靜止圖像 I(t)和靜止圖像I(t+1)的交疊區(qū)域中的接縫SJ被確定。應當注意，在圖1中，水平方向和 垂直方向分別表示X方向和Y方向，并且靜止圖像I (t)和靜止圖像I(t+1)交疊并被布置 在XY坐標系中。此外，交疊區(qū)域的四個角的坐標被設定為“(QxO，QyO)，(Qx0,Qyl), (Qx 1, QyO)和(Qxl，Qyl) ”。在圖1的示例中，根據(jù)在靜止圖像I(t)和靜止圖像I(t+1)的交疊區(qū)域中計算的 成本值，具有最小成本的接縫SJ被計算出。更具體地，在為靜止圖像上的運動對象設定高 成本并且相對地為靜止對象設定低成本的同時，二維圖形被生成，并且具有最小成本的接 縫SJ被確定。因此，接縫SJ被獲得，其中靜止圖像上的運動對象沒有被分割。當接縫SJ被計算時，從靜止圖像I⑴的左側的端部到接縫SJ的附近的區(qū)域的部 分和從靜止圖像I (t+Ι)的接縫SJ的附近的區(qū)域到靜止圖像I (t+ι)的右端的部分被合成 來生成全景圖像。通過按照此方式計算接縫SJ和合成各個靜止圖像，這些圖像在圖像的接縫不顯 著的位置處被連接，從而能夠獲得更高質量全景圖像。

發(fā)明內容
根據(jù)本發(fā)明的實施例，希望獲得與上述現(xiàn)有技術相比更高質量的全景圖像。根據(jù)本發(fā)明的一個實施例，提供了一種圖像處理裝置，包括運動補償參數(shù)計算單 元，計算用于補償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變圖像攝取方向的同時執(zhí)行 圖像攝取而獲得的多個攝取圖像間的相對運動的參數(shù)；第一連接線設定單元，將在基于運 動補償參數(shù)確定的相鄰攝取圖像彼此交疊的交疊區(qū)域中相對圖像攝取方向的改變方向的 中央位置設定作為第一連接線；運動對象檢測單元，通過使用所述交疊區(qū)域中的攝取圖像 檢測運動對象來生成對象信息；對象信息投影單元，將所述交疊區(qū)域中的對象信息投影到掃動軸上，所述掃動軸是所述圖像攝取方向的改變方向；第二連接線設定單元，基于投影的 對象信息來執(zhí)行第二連接線的設定；圖像攝取條件檢測單元，檢測在攝取圖像間發(fā)生二維 旋轉的圖像攝取條件；以及連接線選擇單元，根據(jù)所述圖像攝取條件檢測單元的檢測結果 來選擇第一連接線和第二連接線中的一者作為用于所述相鄰攝取圖像的連接線。根據(jù)本發(fā)明的該實施例，運動補償參數(shù)計算單元計算用于補償執(zhí)行圖像攝取的圖 像攝取裝置在通過順次改變圖像攝取方向的同時執(zhí)行圖像攝取而獲得的多個攝取圖像間 的相對運動的參數(shù)，例如，全局矢量。第一連接線設定單元將在基于運動補償參數(shù)確定的相 鄰攝取圖像彼此交疊的交疊區(qū)域中相對圖像攝取方向的改變方向的中央位置設定作為第 一連接線，即，將掃動方向的中央位置作為第一連接線。運動對象檢測單元通過使用所述交 疊區(qū)域中的攝取圖像來檢測運動對象并生成對象信息，例如，根據(jù)運動量的評估值。對象信 息投影單元在與掃動軸正交的方向上對攝取圖像的各個位置處的評估值進行積分以將對 象信息投影到掃動軸上。第二連接線設定單元將投影后的對象信息，即評估值的積分值最 小的位置，設定作為第二連接線。圖像攝取條件檢測單元檢測在攝取圖像間發(fā)生二維旋轉 的圖像攝取條件。例如，攝取圖像間的二維旋轉角度或者與掃動軸正交的圖像攝取裝置的 圖像攝取方向的角度可以被姿勢檢測單元檢測。連接線選擇單元可以在所述旋轉角度或所 述圖像攝取方向中的角度大于預先設定的閾值范圍時選擇所述第一連接線，并且在所述旋 轉角度或所述圖像攝取方向中的角度在閾值范圍內時選擇所述第二連接線。此外，通過利 用運動補償參數(shù)，所述多個攝取圖像可以被圖像投影單元投影到全景坐標系上，并且可以 由圖像合成單元在所選擇的連接線處執(zhí)行投影的攝取圖像的連接。根據(jù)本發(fā)明的另一實施例，提供了一種圖像處理方法，包括以下步驟計算用于補 償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變圖像攝取方向的同時執(zhí)行圖像攝取而獲 得的多個攝取圖像間的相對運動的參數(shù)；將在基于運動補償參數(shù)確定的相鄰攝取圖像彼此 交疊的交疊區(qū)域中相對圖像攝取方向的改變方向的中央位置設定作為第一連接線；使用所 述交疊區(qū)域中的攝取圖像檢測運動對象并生成對象信息；將所述交疊區(qū)域中的對象信息投 影到掃動軸上，所述掃動軸是所述圖像攝取方向的改變方向；基于投影的對象信息來執(zhí)行 第二連接線的設定；檢測在攝取圖像間發(fā)生二維旋轉的圖像攝取條件；以及根據(jù)檢測到的 圖像攝取條件來選擇所述第一連接線和所述第二連接線中的一者作為用于所述相鄰攝取 圖像的連接線。根據(jù)本發(fā)明的另一實施例，提供一種用于使得計算機從當如下裝置的程序運動 補償參數(shù)計算裝置，計算用于補償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變圖像攝取 方向的同時執(zhí)行圖像攝取而獲得的多個攝取圖像間的相對運動的參數(shù)；第一連接線設定裝 置，將在基于運動補償參數(shù)確定的相鄰攝取圖像彼此交疊的交疊區(qū)域中相對圖像攝取方向 的改變方向的中央位置設定作為第一連接線；運動對象檢測裝置，通過使用所述交疊區(qū)域 中的攝取圖像檢測運動對象來生成對象信息；對象信息投影裝置，將所述交疊區(qū)域中的對 象信息投影到掃動軸上，所述掃動軸是所述圖像攝取方向的改變方向；第二連接線設定裝 置，基于投影的對象信息來執(zhí)行第二連接線的設定；圖像攝取條件檢測裝置，檢測在攝取圖 像間發(fā)生二維旋轉的圖像攝取條件；以及連接線選擇裝置，根據(jù)所述圖像攝取條件檢測裝 置的檢測結果來選擇所述第一連接線和所述第二連接線中的一者作為用于所述相鄰攝取 圖像的連接線。
應當注意，根據(jù)本發(fā)明的該實施例的程序是例如可以以計算機可讀格式通過存儲 介質或通信介質提供到能夠執(zhí)行各種程序代碼的通用個人計算機系統(tǒng)的程序，例如，所述 存儲介質諸如光盤、磁盤或半導體存儲器之類，所述通信介質諸如網(wǎng)絡。通過提供以計算機 可讀格式的這樣的程序，根據(jù)該程序的處理被實現(xiàn)在計算機系統(tǒng)上。根據(jù)本發(fā)明的實施例，用于補償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變圖 像攝取方向的同時執(zhí)行圖像攝取而獲得的多個攝取圖像間的相對運動的參數(shù)被計算。作為 第一連接線，在基于運動補償參數(shù)確定的相鄰攝取圖像彼此交疊的交疊區(qū)域中相對圖像攝 取方向的改變方向的中央位置，即掃動方向的中央位置，被設定作為第一連接線。此外，交 疊區(qū)域中的攝取圖像被用來檢測運動對象，并且對象信息被生成。對象信息被投影到掃動 軸上，所述掃動軸是所述圖像攝取方向的改變方向。基于此投影的對象信息，第二連接線被 設定。此外，在攝取圖像間發(fā)生二維旋轉的圖像攝取條件被檢測。根據(jù)檢測到的圖像攝取 條件，第一連接線或第二連接線被選擇，并且所選擇的連接線被設定作為用于相鄰攝取圖 像的連接線。因此，適用于圖像攝取條件的連接線被選擇，并且在所選擇的連接線處攝取圖 像的連接被執(zhí)行，從而容易地生成高質量全景圖像。


圖1是用于描述現(xiàn)有技術中對于接縫的搜索方法的說明圖；圖2示出根據(jù)本發(fā)明的一個實施例的圖像攝取裝置的配置示例；圖3示出圖像處理單元的配置示例；圖4是用于描述全景圖像生成方法的流程圖；圖5是用于描述攝取圖像在圓柱面上的投影的說明圖；圖6是用于描述圖像攝取面和圓柱面之間的關系的說明圖；圖7A到圖7E是用于描述圖像攝取方向的斜度與攝取圖像間的旋轉角之間的關系 的說明圖；圖8是用于描述關于第一連接線的設定的說明圖；圖9是用于描述運動對象的檢測和對象信息的生成的說明圖；圖IOA和圖IOB是用于描述在掃動軸上各個位置處的運動對象得分的說明圖；圖IlA和圖IlB是用于描述對于連接線的搜索的說明圖；圖12A和圖12B是用于描述對于連接線的設定順序的說明圖；圖13A和圖13B舉例說明所選擇的連接線；圖14A到圖14C是用于描述攝取圖像的連接的說明圖；圖15A和圖15B是用于描述全景圖像的剪裁的說明圖；圖16是用于描述對象信息的另一示例的說明圖；圖17是用于描述對象信息的另一示例的說明圖；圖18是用于描述對象信息的另一示例的說明圖；圖19A和圖19B是用于描述連接線的確定順序的說明圖；圖20A到圖20C是用于描述連接線的確定順序的說明圖；以及圖21示出計算機的配置示例。
具體實施例方式下面將描述實現(xiàn)本發(fā)明的實施例。應當注意，在基于全局運動矢量執(zhí)行運動補償?shù)娜敖M合處理中，在交疊區(qū)域中 相對圖像攝取方向的改變方向的中央位置處進行連接的情況中，在運動(掃動)速度可以 被認為恒定的情形下，各個圖像中連接線的位置基本是恒定的。另一方面，在圖像組合被執(zhí) 行以使得圖像的接縫不位于運動對象的位置處的情況中，依賴于運動對象的存在與否，連 接線的位置在圖像之間不是恒定的。由于此特性，在要被彼此合成的圖像具有旋轉分量的 情況中，當在交疊區(qū)域中相對圖像攝取方向的改變方向的中央位置處進行連接時，可歸因 于旋轉分量的連接誤差在圖像間是恒定的。然而，當圖像組合被執(zhí)行以使得圖像的接縫不 位于運動對象的位置處時，可歸因于旋轉分量的連接誤差在圖像間是變化的。接縫斷裂對 合成的全景圖像的影響是非常大的，但是這樣的情況根據(jù)本發(fā)明的實施例被解決。下文中將按照以下順序來給出實現(xiàn)本發(fā)明的實施例的描述1.圖像攝取裝置的配置2.圖像攝取裝置的操作3.圖像處理單元的配置4.全景圖像生成處理5.對象信息的另一示例6.連接線的確定順序的另一示例7.通過使用程序執(zhí)行處理的情況1.圖像攝取裝置的配置圖2示出根據(jù)本發(fā)明的一個實施例的圖像攝取裝置的配置。圖像攝取裝置10包 括光學系統(tǒng)、信號處理系統(tǒng)、記錄系統(tǒng)、顯示系統(tǒng)和控制系統(tǒng)。光學系統(tǒng)包括用于收集對象的光學圖像的透鏡21、用于調節(jié)來自透鏡21的光學 圖像的光量的光圈22以及用于執(zhí)行將所收集的光圖像光電轉換成電信號的圖像攝取元件 23。圖像攝取元件23例如包括CXD (電荷耦合器件)圖像傳感器、CMOS (互補金屬氧化物 半導體)圖像傳感器之類。信號處理系統(tǒng)包括采樣單元24、A/D(模/數(shù))轉換單元25以及圖像處理單元30。 采樣單元24例如由相關雙采樣單元(CDS 相關雙采樣)實現(xiàn)，其對來自圖像攝取元件23的 電信號采樣以生成模擬信號。利用此配置，在圖像攝取元件23中生成的噪聲被減少。在采 樣單元24中獲得的模擬信號是用于顯示所攝取對象圖像的圖像信號。A/D轉換單元25將從采樣單元24提供的模擬信號轉換成數(shù)字信號以被輸出到圖 像處理單元30，并且圖像處理單元30對從A/D轉換單元25輸入的數(shù)字信號應用預定的圖 像處理。此外，記錄系統(tǒng)包括用于對圖像信號編碼或解碼的編碼/解碼單元41以及用于記 錄圖像信號的存儲器42。編碼/解碼單元41對作為經(jīng)過圖像處理單元30處理的數(shù)字信號 的圖像信號進行編碼以編碼在存儲器42中，或者從存儲器42中讀出圖像信號并且對圖像 信號解碼以輸出到圖像處理單元30。顯示系統(tǒng)包括D/A(數(shù)/模)轉換單元43、視頻編碼器44和顯示單元45。D/A轉換單元43將經(jīng)過圖像處理單元30處理的圖像信號轉換成模擬信號以輸出到視頻編碼器44，并且視頻編碼器44將來自D/A轉換單元43的圖像信號編碼成基于符合 顯示單元45的格式的視頻信號。顯示單元45例如由LCD(液晶顯示器)之類來實現(xiàn)，并且 基于通過在視頻編碼器44中的編碼而獲得的視頻信號，與該視頻信號相對應的圖像被顯 示。顯示單元45還充當針對對象的圖像攝取時的取景器。控制系統(tǒng)包括定時生成單元46、操作輸入單元47、驅動器48和控制單元50。此 外，圖像處理單元30、編碼/解碼單元41、存儲器42、定時生成單元46、操作輸入單元47和 控制單元50經(jīng)由總線51彼此連接。定時生成單元46控制圖像攝取元件23、采樣單元24、A/D轉換單元25和圖像處 理單元30的操作的定時。操作輸入單元47通過按鈕、開關之類來構造，并且被布置以接受 快門操作或用戶的其他命令輸入，以向控制單元50輸出根據(jù)用戶的操作的信號。預定的外圍設備被連接到驅動器48，并且驅動器48驅動所連接的外圍設備。例 如，驅動器48從所連接的作為外圍設備的記錄介質(諸如磁盤、光盤、磁光盤或半導體存儲 器之類)讀取數(shù)據(jù)并且將此數(shù)據(jù)輸出到控制單元50。應當注意，圖像攝取裝置10可以設置 有姿勢檢測單元49。姿勢檢測單元49檢測圖像攝取裝置10在圖像攝取時的姿勢并且將檢 測結果輸出到圖像處理單元30。例如，加速度傳感器、角速度傳感器、斜度傳感器之類被用 作姿勢檢測單元49來檢測圖像攝取裝置10的姿勢?？刂茊卧?0控制圖像攝取裝置10的全部。例如，經(jīng)由驅動器48，控制單元50從 被連接到驅動器48的記錄介質讀取控制程序，并且基于此控制程序、來自操作輸入單元47 的命令等來控制圖像攝取裝置10的總體操作。2.圖像攝取裝置的操作接著，將給出對圖像攝取裝置10的操作的描述。在圖像攝取裝置10中，來自對象 的入射光，即，對象的光學圖像，經(jīng)由透鏡21和光圈22進入圖像攝取元件23并且被圖像攝 取元件23光電轉換成電信號。圖像攝取元件23獲得的此電信號的噪聲分量通過采樣單元 24去除。此電信號被A/D轉換單元25數(shù)字化并且然后被臨時存儲在圖像處理單元30內置 的圖像存儲器中(在圖中未被示出)。應當注意，在常規(guī)狀態(tài)中，換句話說，在快門操作之前的狀態(tài)中，在定時生成單元 46對該信號處理系統(tǒng)的定時控制下，來自A/D轉換單元25的圖像信號以恒定的幀率被有規(guī) 律地覆寫在圖像處理單元30的圖像存儲器中。圖像處理單元30的圖像存儲器中的圖像信 號被D/A轉換單元43從數(shù)字信號轉換成模擬信號，并被視頻編碼器44轉換成視頻信號，從 而與該視頻信號相對應的圖像被顯示在顯示單元45上。在此情況中，顯示單元45還充當圖像攝取裝置10的取景器，并且用戶在查看顯示 在顯示單元45上的圖像的同時設定畫面組成并且按壓充當操作輸入單元47的快門按鈕來 指示圖像攝取。當快門按鈕被按壓時，基于來自操作輸入單元47的信號，控制單元50指示 定時生成單元46保存緊在快門按鈕被按壓后的圖像信號。利用此配置，此信號處理系統(tǒng)被 控制以使得在圖像處理單元30的圖像存儲器中圖像信號不被覆寫。之后，保存在圖像處理單元30的圖像存儲器中的圖像信號然后被編碼/解碼單元 41編碼以被記錄在存儲器42中。通過上述圖像攝取裝置10的操作，完成了捕獲一個圖像 的圖像信號。3.圖像處理單元的配置
圖3示出在圖2中所示的圖像處理單元30的配置。圖像處理單元30包括攝取圖 像保存單元301、圓柱投影單元(cylinder projection unit) 302、運動補償參數(shù)計算單元 303、圖像攝取條件檢測單元304、第一連接線設定單元305、運動對象檢測單元306、對象信 息投影單元307、第二連接線設定單元308、連接線選擇單元309、圖像投影單元310和圖像 合成單元311。攝取圖像保存單元301被提供由圖像攝取裝置10攝取的對象的圖像(下文中將 被稱為攝取圖像)。攝取圖像保存單元301保存多個被提供的攝取圖像。提供到攝取圖像 保存單元301的攝取圖像是在圖像攝取裝置10在預定方向中移動(掃動)的狀態(tài)中連續(xù) 攝取的圖像。在攝取圖像的攝取時，圖像攝取裝置10被移動以使得同一對象被包括在連續(xù) 攝取的兩個圖像上。應當注意，在下文中，在連續(xù)攝取的圖像中，在第t輪(turn)攝取的攝取圖像也被 稱為幀F(xiàn)(t)中的攝取圖像I (t)。圓柱投影單元302從攝取圖像保存單元301讀取攝取圖像并且將所讀取的攝取圖 像投影在圓柱面上。圓柱投影單元302將被投影在圓柱面上的攝取圖像輸出到運動補償參 數(shù)計算單元303、運動對象檢測單元306和圖像投影單元310?；趤碜詧A柱投影單元302的攝取圖像，運動補償參數(shù)計算單元303計算用于補 償圖像攝取裝置10在攝取圖像的各幀之間的運動(移動)的運動補償參數(shù)。此外，運動補 償參數(shù)計算單元303將計算出的運動補償參數(shù)輸出到圖像攝取條件檢測單元304、第一連 接線設定單元305、運動對象檢測單元306、對象信息投影單元307和圖像投影單元310。運 動補償參數(shù)例如是在多個攝取圖像中的各個攝取圖像被布置以使得相同對象基本彼此交 疊的情況中有關攝取圖像彼此間的相對位置關系的信息。圖像攝取條件檢測單元304檢測在通過使用從運動補償參數(shù)計算單元303提供的 運動補償參數(shù)進行圖像攝取時的各種條件，并且將檢測結果輸出到連接線選擇單元309。圖 像攝取條件檢測單元304例如檢測攝取圖像間發(fā)生二維旋轉的圖像攝取條件。第一連接線設定單元305基于從運動補償參數(shù)計算單元303輸出的運動補償參數(shù) 來從連續(xù)幀中的攝取圖像確定交疊區(qū)域。此外，第一連接線設定單元305將交疊區(qū)域中相 對圖像攝取方向的改變方向的中央位置設定作為第一連接線。即，在交疊區(qū)域中，第一連接 線設定單元305穿過圖像攝取裝置10的旋轉移動方向(掃動軸的方向)上的中點，并且將 與掃動軸正交的直線設定作為第一連接線。第一連接線設定單元將表示第一連接線的第一 連接線信息輸出到連接線選擇單元309。應當注意，掃動軸是指與圖像攝取裝置10在攝取 攝取圖像時移動的方向相同的方向，并且掃動軸的方向是預先設定的。關于掃動軸的方向， 當用戶在圖像攝取之前或之后操縱操作輸入單元47時，掃動軸的方向可以在多個方向中 選擇。因為運動補償參數(shù)是用于補償圖像攝取裝置10的運動(移動)的參數(shù)，所以掃動軸 的方向也可以基于此運動補償參數(shù)自動被確定。運動對象檢測單元306通過使用來自運動補償參數(shù)計算單元303的運動補償參數(shù) 以及來自圓柱投影單元302的攝取圖像來針對相鄰攝取對象彼此交疊的交疊區(qū)域檢測運 動對象，并生成對象信息。此外，運動對象檢測單元306將所生成的對象信息輸出到對象信 息投影單元307。運動對象檢測單元306例如生成指示運動對象的運動量的評估值作為對
象信息。
對象信息投影單元307通過使用來自運動補償參數(shù)計算單元303的運動補償參數(shù) 將來自運動對象檢測單元306的對象信息投影到掃動軸上，并且將投影結果輸出到第二連 接線設定單元308。第二連接線設定單元308基于從對象信息投影單元307提供的對象信息的投影結 果來設定連續(xù)幀中的攝取圖像彼此連接時的第二連接線。此外，第二連接線設定單元308 將表示設定的第二連接線的第二連接線信息輸出到連接線選擇單元309。在此，第二連接線 設定單元308基于對象信息的投影結果來設定第二連接線，從而使運動對象不包括在連接 位置中。連接線選擇單元309基于圖像攝取條件檢測單元304中的檢測結果來選擇第一連 接線或第二連接線。即，連接線選擇單元309基于圖像攝取條件檢測結果選擇由第一連接 線設定單元305生成的第一連接線信息和由第二連接線設定單元308生成的第二連接線信 息中的一者，并且將所選擇的連接線信息輸出到圖像合成單元311。圖像投影單元310通過使用來自運動補償參數(shù)計算單元303的運動補償參數(shù)將來 自圓柱投影單元302的攝取圖像投影到全景坐標系上，并且將經(jīng)投影的攝取圖像輸出到圖 像合成單元311。在此，全景坐標系被設定為使用包括掃動軸和與掃動軸垂直的軸的軸的二 維坐標系(換句話說，預定平面)，并且全景坐標系是預先設定的。圖像合成單元311在由連接線選擇單元309選擇的連接線信息所表示的連接線處 將從圖像投影單元310提供的投影后的攝取圖像彼此相連接來生成一個全景圖像。全景圖 像是在攝取了多個圖像時所有用作圖像攝取目標的區(qū)域都被設定作為對象的圖像。4.全景圖像生成處理當用戶操縱操作輸入單元47并且指示生成全景圖像時，圖像攝取裝置10通過攝 取圖像和生成全景圖像來啟動全景圖像生成處理。下面，將參考圖4的流程圖來描述圖像 攝取裝置10的全景圖像生成處理。在步驟STll中，圖像攝取元件23執(zhí)行對象的圖像攝取。在圖像攝取裝置10的圖 像攝取方向順次改變的狀態(tài)中，圖像攝取元件23執(zhí)行對象的圖像攝取以生成多個攝取圖 像，并且處理進行到步驟ST12。例如，當在預定方向上轉動圖像攝取裝置10時，用戶指示圖 像攝取裝置10連續(xù)攝取多個圖像。來自對象的光經(jīng)由透鏡21和光圈22進入圖像攝取元件23。圖像攝取元件23使 入射光經(jīng)受光電轉換以攝取圖像。由此獲得的攝取圖像(圖像信號)從圖像攝取元件23 經(jīng)由采樣單元24、A/D轉換單元25、圖像處理單元30和編碼/解碼單元41被提供到存儲 器42并被記錄。此時，攝取圖像被編碼/解碼單元41編碼。此外，在將圖像記錄在存儲器 42中時，各個攝取圖像按照圖像攝取順序被分配有幀編號。當多個攝取圖像被順次記錄在存儲器42中時，那些攝取圖像從存儲器42中被讀 出以被編碼/解碼單元41解碼并提供到圖像處理單元30的攝取圖像保存單元301中以便 被保存。應當注意，通過圖像攝取而獲得的攝取圖像可以不記錄在存儲器42中，并且可以 直接提供到攝取圖像保存單元301。此外，攝取圖像可以是一個攝取靜止圖像或者構成運動 圖像的、一幀的攝取圖像。在步驟ST12中，圓柱投影單元302將攝取圖像投影在圓柱面上。圓柱投影單元302輪流讀出保存在攝取圖像保存單元301中的攝取圖像，并且基于攝取圖像的圖像攝取時的 聚焦距離將讀出的攝取圖像投影到預定圓柱面上。此外，圓柱投影單元302將投影的攝取 圖像輸出到運動補償參數(shù)計算單元303、運動對象檢測單元306、和圖像投影單元310，并且 處理進行到步驟ST13。圖5是用于描述攝取圖像在圓柱面上的投影的說明圖。例如，當攝取圖像的圖像 攝取時的透鏡21的聚焦距離FD為半徑的圓柱的側面被設定作為圓柱面CS時，通過捕獲圖 像攝取面PS而獲得的攝取圖像被投影到該圓柱面CS上。即，圖像攝取面PS在圓柱面上的 投影被執(zhí)行。在圖5的示例中，圓柱面CS被設定為與圖像攝取面PS的中心接觸的面。應 當注意，透鏡21的聚焦距離可以從在攝取圖像的圖像攝取時的透鏡21的位置等來獲得。通過按照此方式將攝取圖像投影到圓柱面上，在生成全景圖像時，能夠進一步抑 制對象位置在連接攝取圖像間的偏移(誤差)。圖6示出圖像攝取面和圓柱面之間的關系。如圖6所示，在圖像攝取裝置10的光 學中心位于光學中心點Cll的狀態(tài)中，當圖像攝取裝置10關于被設定作為中心的光學中心 點Cll順時針掃動(轉動)時，用戶指示圖像攝取裝置10生成多個攝取圖像。應當注意， 圖6中的與圖5的情況相對應的部分被指派有相同的標號，并且將適當?shù)厥÷詫λ鼈兊拿?述。在圖6中，圖像攝取是在五個圖像攝取面PS-O到PS-4上執(zhí)行的，并且生成了五個 攝取圖像。由此獲得的攝取圖像然后分別被投影到圓柱面CS上。圓柱面CS是光學中心點 Cll被設定作為中心并且聚焦距離為半徑的圓柱的側面。在此情況中，考慮在攝取圖像在不改變的情況下被合成并且全景圖像被生成的情 形。在圖6中，位于彼此相鄰的圖像攝取面的端部的附近的圖像交疊部分在圓柱面CS的半 徑方向上空間地偏移。因此，如果攝取圖像在不改變的情況下彼此交疊并布置，則產(chǎn)生對象 的位置偏移，從而相同對象不彼此交疊。因此，全景圖像的質量被劣化。鑒于上述，在各個攝取圖像被投影到圓柱面CS上之后，投影的攝取圖像彼此交疊 并且被合成以生成全景圖像。通過按照此方式生成全景圖像，與在攝取圖像不投影到圓柱 面上而被合成的情況相比，在攝取圖像間對象的位置偏移(誤差)可以被進一步抑制。因 此，當攝取圖像被投影到圓柱面CS上并且投影的圖像被合成以生成全景圖像時，在攝取圖 像間生成的對象的位置的誤差被減輕，從而能夠以更高的質量獲得全景圖像。在圖4的步驟ST13中，運動補償參數(shù)計算單元303為從圓柱投影單元302提供的 各個攝取圖像計算攝取圖像的運動補償參數(shù)。運動補償參數(shù)計算單元303將計算出的運動 補償參數(shù)輸出到圖像攝取條件檢測單元304、第一連接線設定單元305、運動對象檢測單元 306、對象信息投影單元307和圖像投影單元310，并且處理進行到步驟ST14。例如，通過使用連續(xù)兩幀中的攝取圖像，通過特征點的提取和塊匹配，運動補償參 數(shù)計算單元303計算攝取圖像的全局運動矢量作為運動補償參數(shù)。全局運動矢量是指指示攝取圖像上整個對象在幀之間的運動的全局運動矢量。攝 取圖像上的大多數(shù)對象是在真實空間不運動的靜止物體，并且因此可以說全局運動矢量是 指示攝取圖像上的靜止物體在幀之間的運動(換句話，圖像攝取裝置10在攝取圖像的圖像 攝取時的運動)的矢量。應當注意，運動補償參數(shù)不限于全局運動矢量，而是還可以是可以補償圖像攝取裝置10的運動的參數(shù)，例如，平面投影矩陣、仿射矩陣等?？梢酝ㄟ^使用連續(xù)兩幀中的攝取 圖像進行的特征點提取和塊匹配來獲得平面投影矩陣和仿射舉證。在全局運動矢量被采用 作為運動補償參數(shù)的情況中，能夠以比采用平面投影矩陣或仿射矩陣的情況更低的計算成 本來獲得運動補償參數(shù)。在步驟ST14中，圖像攝取條件檢測單元304通過使用從運動補償參數(shù)計算單元 303輸出的運動補償參數(shù)來檢測圖像攝取時的圖像攝取條件。在圖像攝取裝置10的圖像攝 取方向相對于與掃動操作的旋轉軸正交的方向具有斜度的情況中，在掃動期間通過圖像攝 取而獲得的攝取圖像在攝取圖像間具有二維旋轉。圖7A到圖7E是用于描述圖像攝取裝置10的圖像攝取方向的斜度與攝取圖像間 的旋轉角之間的關系的說明圖。例如，如圖7C所示，在由掃動操作的旋轉軸AR與圖像攝取 方向VP定義的角度為90度的情況中，不發(fā)生攝取圖像間的二維旋轉。接著，如圖7B所示， 在圖像攝取方向VP相對掃動操作的旋轉軸AR的角度小于90度并且圖像攝取方向VP相對 于與掃動操作的旋轉軸AR正交的方向具有仰角θ a時，產(chǎn)生了攝取圖像間的二維旋轉角。 此外，如圖7A所示，當仰角θ a變大時，攝取圖像間的旋轉角變大。如圖7D所示，在圖像攝 取方向VP相對掃動操作的旋轉軸VP的角度大于90度并且圖像攝取方向VP相對與掃動操 作的旋轉軸AR正交的方向具有俯角θ b時，產(chǎn)生了攝取圖像間的旋轉角。此外，如圖7E所 示，當此俯角9 b變大時，圖像間的旋轉角變大。應當注意，在存在俯角9 b的情況中的攝 取圖像的旋轉處于與存在仰角θ a的情況中的旋轉相反的方向。按照此方式，可能發(fā)生如下情況在攝取圖像間發(fā)生二維旋轉并且圖像攝取條件 檢測單元304檢測到在攝取圖像間發(fā)生二維旋轉的圖像攝取條件。更具體地，圖像攝取條 件檢測單元304基于由運動補償參數(shù)計算單元303計算出的運動補償參數(shù)(例如，全局運 動矢量)來檢測攝取圖像間的二維旋轉角度。此外，圖像攝取條件檢測單元把檢測到的旋 轉角度作為圖像攝取條件輸出到連接線選擇單元309。此外，圖像攝取條件檢測單元304可 以獲得仿射矩陣以使攝取圖像幾何變換到旋轉后的位置并從此仿射矩陣獲得旋轉角度。此 外，當圖像攝取方向相對與掃動操作的旋轉軸正交的方向具有俯角或仰角時，發(fā)生攝取圖 像間的二維旋轉。因此，圖像攝取裝置10可以設有姿勢檢測單元49，并且姿勢檢測單元49 可以檢測圖像攝取方向相對掃動操作的旋轉軸的角度，以將所檢測到的角度設定作為圖像 攝取條件。在攝取圖像間的二維旋轉不僅通過圖像攝取方向相對掃動操作的旋轉軸的角度 改變還通過另外的圖像攝取條件改變的情況中，還執(zhí)行其他圖像攝取條件的檢測。在步驟ST15中，第一連接線設定單元305設定第一連接線。第一連接線設定單元 305基于來自運動補償參數(shù)計算單元303的運動補償參數(shù)來確定攝取圖像彼此交疊的交疊 區(qū)域。此外，第一連接線設定單元305在交疊區(qū)域中掃動方向的中央位置處設定與掃動方 向正交的第一連接線，并且將表示此設定的第一連接線的第一連接線信息輸出到連接線選 擇單元309，并且處理進行到步驟ST16。圖8是用于描述設定第一連接線的說明圖。當用于合成攝取圖像I (t)與攝取圖 像I(t+1)的第一連接線被設定時，第一連接線設定單元305檢測與攝取圖像I (t)與攝取 圖像I (t+Ι)彼此交疊的交疊區(qū)域相對應的從掃動軸上的位置QxO到位置Qxl的范圍。在 此，位置QxO是當攝取圖像I (t+Ι)被投影在掃動軸上時處于攝取圖像I (t+1)的左端的位 置，并且位置Qxl是當攝取圖像I (t)被投影在掃動軸上時處于攝取圖像I (t)的右端的位置。第一連接線設定單元305把掃動軸上從位置QxO到位置ζ χ 的中央位置SC設定 作為用于連接攝取圖像I(t)和攝取圖像I(t+1)的第一連接線。即，第一連接線設定單元 305設定第一連接線，以使得從位置QxO到位置SC的距離LdO等于從位置SC到位置Qxl的 距離Ldl。在圖4的步驟ST16中，運動對象檢測單元306執(zhí)行運動對象檢測。運動對象檢測 單元306通過使用來自運動補償參數(shù)計算單元303的運動補償參數(shù)和來自圓柱投影單元 302的攝取圖像來檢測攝取圖像彼此交疊的交疊區(qū)域中的運動對象。此外，運動對象檢測單 元306生成指示檢測到的運動對象的對象信息以輸出到對象信息投影單元307，并且處理 進行到步驟ST17。例如，如圖9所示，通過使用運動補償參數(shù)，運動對象檢測單元306布置兩個連續(xù) 的幀中幀F(xiàn)(t)中的攝取圖像I (t)和幀F(xiàn)(t+1)中的攝取圖像I (t+1)，以使得這些攝取圖像 上的同一對象基本彼此交疊。然后，運動對象檢測單元306將攝取圖像I (t)中與攝取圖像I (t+Ι)交疊的交疊 區(qū)域DR分割成若干塊(下文中將被稱為塊)并且基于塊匹配獲得針對每個塊的運動矢量 LMV。S卩，可以通過搜索攝取圖像I (t+Ι)上與攝像圖像I(t)上的處理目標的塊具有最 小差的區(qū)域來獲得各個塊的運動矢量LMV。例如，與所述塊的差被設定為所述塊中的像素的 像素值與攝取圖像I (t+Ι)中與所述像素相對應的像素的像素值之間的差的絕對值的和。在圖9中，交疊區(qū)域DR中由虛線表示的一個方塊表示一個塊，并且各個塊中的箭 頭表示這些塊的運動矢量LMV。此運動矢量LMV是指示在攝取圖像I⑴和攝取圖像I (t+1) 通過使用運動補償參數(shù)布置的狀態(tài)中在攝取圖像的各個區(qū)域中的對象在幀之間的運動的 矢量。接著，運動對象檢測單元306通過使用所獲得的各個塊的運動矢量LMV來計算表 示攝取圖像I(t)的整體的運動的全局運動矢量GMV(全局運動矢量)。例如，全局運動矢量 GMV被設定為各個塊的運動矢量LMV的中間值。應當注意，全局運動矢量GMV可以通過抗差估計(robust estimation)獲得或者 也可以被設定為在所獲得的各塊的運動矢量LMV中具有最頻繁檢測到的方向和大小的運 動矢量LMV。由此獲得的全局運動矢量表示攝取圖像上的整個對象的運動，并且具有與全局運 動矢量GMV不同的運動矢量LMV的塊包括作為在真實空間處于運動的對象的運動對象。此外，運動對象檢測單元306通過使用所獲得的全局運動矢量GMV和各個塊的運 動矢量LMV來計算攝取圖像I (t)上的交疊區(qū)域中的各個位置中運動對象是否存在以及指 示運動的大小(運動程度)的評估值(成本值)。更具體地，當例如考慮圖9中所示的交疊區(qū)域DR的左上頂點被設定為基準的XY 坐標系時，運動對象檢測單元306基于下面的表達式(1)來計算交疊區(qū)域DR中在XY坐標 系上的坐標為(x，y)的位置處的評估值(成本值)、c0St(x，y)。應當注意，在圖9中，水平 方向被設定為X方向，并且垂直方向被設定為Y方向。此外，掃動軸被設定為X方向。cost (x, y) = GMV-LMV (χ, y) (1)
應當注意，在表達式(1)中，GMV表示整個攝取圖像I (t)的運動矢量GMV，并且 LMV(x, y)指示包括坐標為(x，y)的位置的塊的運動矢量LMV。為了詳細闡述，在每個位置 處的評估值被設定為全局運動矢量GMV和塊的運動矢量LMV之間的差的絕對值。因此，當交疊區(qū)域DR中的該位置處的評估值較大時，具有較大運動的運動對象被 顯示在該位置處。運動對象檢測單元306將如此獲得的評估值作為對象信息輸出到對象信 息投影單元307。應當注意，在圖9中，已經(jīng)描述了其中以塊為單位檢測運動對象(換句話，執(zhí)行了 運動矢量的檢測)的示例，但是也可以針對交疊區(qū)域DR中每個像素來檢測運動矢量。此外，已經(jīng)描述了運動對象是否存在以及指示運動對象的運動程度的評估值被獲 得作為對象信息的示例，但是交疊區(qū)域DR中各個位置處的對象信息也可以是指示在該位 置處是否包括運動對象的二進制值。然而，應當注意，如果對象信息是多值信息，則在下面將要描述的第二連接線設定 單元308中，能夠獲得具有更小對象位置偏移的位置作為連接線。S卩，為了生成全景圖像，第二連接線設定單元308設定用于彼此連接連續(xù)攝取圖 像的連接線。此時，為了獲得具有更高質量的全景圖像，分割運動對象的連接線設定盡可能 要避免，但是由于運動對象的區(qū)域較大等等的原因，在某些情況中，運動對象的位置不情愿 地被設定作為連接線。在這樣的情況中，如果指示運動對象的運動程度的信息以多值信息 的形式被包括在對象信息中，則能夠獲得具有最小對象運動的位置作為連接線。利用此配 置，彼此連接的攝取圖像的連接位置的附近的圖像偏移(換句話，兩個攝取圖像彼此交疊 時對象的位置偏移)可以被減到最小，并且能夠抑制全景圖像的質量的降低。在圖4的步驟ST17中，對象信息投影單元307投影對象信息。對象信息投影單元 307將來自運動對象檢測單元306的對象信息投影到掃動軸上，并且通過使用來自運動補 償參數(shù)計算單元303的運動補償參數(shù)來計算在掃動軸的各個位置處的評估值的總和以生 成運動對象得分。對象信息投影單元307將所生成的運動對象得分輸出到第二連接線設定 單元308，并且處理進行到步驟ST18。即，對象信息投影單元307在與掃動軸垂直的方向中對攝取圖像上各個位置處的 評估值進行積分來得到運動對象得分，從而評估值被投影到掃動軸上。用作投影結果的運 動對象得分隨著與攝取圖像相對應的區(qū)域中運動對象的面積(大小)而變大。例如，如圖9所示，當掃動軸被設定為X方向時，在掃動軸的各個位置處的對象得 分是攝取圖像上具有與在掃動軸上的該位置的X坐標相同的值的X坐標的位置的那些評估 值的總和。更具體地，假定XY坐標系的與掃動軸上預定位置相對應的值例如為“xO”。在此 情況中，交疊區(qū)域DR中X坐標為“xO”的位置處的成本(xO，y)的總和被獲得作為在掃動軸 上預定位置處的運動對象得分。結果，例如，如圖IOA和圖IOB所示，在掃動軸上各個位置處的運動對象得分被獲 得。應當注意，圖IOA示出攝取圖像I⑴，并且圖IOB示出攝取圖像I⑴的運動對象得分。 應當注意，在圖IOB中，水平方向指示掃動軸的方向，并且垂直方向指示掃動軸上各個位置 處的運動對象得分。此外，得分線MS是指示在掃動軸上各個位置處的運動對象得分的線。在攝取圖像I (t)中，因為運動對象包括在攝取圖像I (t)的中心或稍偏左側，所以 掃動軸上與運動對象的部分相對應的位置處，運動對象得分較大。另一方面，沒有包括運動對象的部分的評估值為“0”。此外，在與相鄰攝取圖像不交疊的區(qū)域中不獲得評估值。因 此，在掃動軸上與不存在攝取圖像I (t)的運動對象的區(qū)域相對應的位置處，運動對象得分 為 “0”。對象信息投影單元307按照此方式將用作針對所有攝取圖像的對象信息的評估 值投影到掃動軸上，以獲得掃動軸上各個位置處的運動對象得分。應當注意，在對象信息投 影單元307中，可以從針對各個攝取圖像的運動補償參數(shù)來找到針對各個攝取圖像的每個 區(qū)域的評估值要投影到掃動軸上什么位置。通過將對象信息投影到掃動軸上來獲得掃動軸上各個位置處的運動對象得分，能 夠將用于設定連接線的二維信息轉換成一維信息。利用此配置，用于確定連接線的信息量 減少了，并且節(jié)省了用于記錄信息的存儲器容量。在圖4的步驟ST18中，第二連接線設定單元308執(zhí)行第二連接線的設定。第二連 接線設定單元308基于來自對象信息投影單元307的運動對象得分來設定攝取圖像被連接 時的第二連接線，并且將指示此第二連接線的第二連接線信息輸出到連接線選擇單元309， 并且處理進行到步驟ST19。圖IlA和圖IlB是用于描述搜索連接線的說明圖。例如，如圖IlA和圖IlB所示， 假定從攝取圖像I(t)獲得了由得分線MM指示的運動對象得分。應當注意，圖IlA示出攝 取對象I(t)和攝取對象I (t+1)，并且圖IlB示出運動對象得分。水平方向是掃動軸的方 向，并且垂直方向是在掃動軸上各個位置處的運動對象得分的大小。當設定攝取圖像I (t)和攝取圖像I (t+Ι)彼此合成時的連接線時，第二連接線設 定單元308將與攝取圖像I (t)和攝取圖像I (t+Ι)彼此交疊的交疊區(qū)域相對應的從掃動軸 上的位置QxO到位置Qxl的范圍設定作為搜索范圍。在此，位置QxO是當攝取圖像I (t+1) 投影到掃動軸上時攝取圖像I (t+Ι)的左端的位置，并且位置Qxl是當攝取圖像I (t)投影 到掃動軸上時攝取圖像I (t)的右端的位置。第二連接線設定單元308將從掃動軸上的位置QxO到位置Qxl的范圍設定作為搜 索范圍，并且在該搜索范圍中具有最小運動對象得分的位置被設定作為用于彼此連接攝取 圖像I(t)和攝取圖像I (t+1)的第二連接線。應當注意，在圖IlA和圖IlB中，在掃動軸上的該搜索范圍中的位置SM處，由得分 線MST指示的運動對象得分最小，因此位置SM被設定作為第二連接線。因此，當掃動軸的 位置在位置SM處時，第二連接線設定單元308將相對掃動軸垂直的直線設定作為第二連接 線。第二連接線處于該搜索范圍中具有最小對象得分的位置SM處，并且在掃動軸上 各個位置中對象的運動最小的位置處。為了詳細闡述，在攝取圖像I (t)和攝取圖像I (t+1) 被基于運動補償參數(shù)而布置在預定面上以使得相同對象基本彼此交疊的情況中，位置SM 是攝取圖像的偏移(例如，攝取圖像上對象的位置偏移、在彼此交疊區(qū)域中的各像素的顏 色誤差等)最小的位置。按照此方式，在第二連接線設定單元308中，通過一維搜索處理(其是針對掃動軸 上運動對象的分割得分最小的位置的搜索)，能夠簡單并且快捷地設定連接線。此外，第一連接線設定單元305和第二連接線設定單元308針對所有攝取圖像執(zhí) 行上述處理來設定用于相鄰攝取圖像的第一連接線和第二連接線。
第一連接線設定單元305和第二連接線設定單元308例如按照幀編號的升序(換 句話，按照圖像攝取時間的升序)來設定針對攝取圖像的第一連接線和第二連接線。圖12A 和圖12B示出其中按照幀編號的升序來執(zhí)行第一連接線和第二連接線的設定的情況。在圖12A和圖12B中，包括幀F(xiàn)(t-l)、幀F(xiàn)(t)和幀F(xiàn)(t+1)的三個連續(xù)幀中的攝 取圖像I (t-Ι)、攝取圖像I (t)和攝取圖像I (t+ι)基于運動補償參數(shù)分別布置。在攝取圖 像I(t-1)、攝取圖像I(t)和攝取圖像I(t+1)中，具有最小幀編號的攝取圖像是攝取圖像 I (t-Ι)。因此，第一連接線設定單元305和第二連接線設定單元308設定在攝取圖像I (t-1) 和攝取圖像I (t)的交疊區(qū)域中的第一連接線和第二連接線。S卩，如圖12A所示，第一連接線設定單元305和第二連接線設定單元308在掃動軸 上從位置QxO (t-1，t)到位置Qxl(t-l，t)的范圍中設定相鄰的攝取圖像I (t-1)和攝取圖 像I(t)彼此交疊的第一連接線和第二連接線。結果，在位置Qx0(t-l，t)到位置Qxl(t-1， t)之間的中心的位置SC(t-l，t)成為第一連接線。此外，在從位置QxO (t-1，t)到位置 Qxl(t-Lt)的范圍中具有最小運動對象得分的位置SM(t-l，t)成為第二連接線。接著，如圖12B所示，第一連接線設定單元305和第二連接線設定單元308設定針 對攝取圖像I(t)和攝取圖像I(t+1)的第一連接線和第二連接線。第一連接線設定單元 305將按照上述方式彼此相鄰的攝取圖像I (t)和攝取圖像I(t+1)彼此交疊的范圍中的中 心處的位置SC(t，t+1)設定作為第一連接線。此外，在攝取圖像I (t)和攝取圖像I (t+Ι)彼此交疊的區(qū)域的左側的端部(換句 話，攝取圖像I (t+ι)的左端的位置)位于相對針對攝取圖像I (t-i)和攝取圖像I⑴的連 接線上的先前設定的位置SM(t-l，t)的更左側。因此，第二連接線設定單元308通過從搜索 范圍排除位于位置SM(t-1, t)的左側的區(qū)域并且將從位置SM(t-1, t)到位置Qxl (t，t+1) (其位于攝取圖像I(t)的右端)的范圍設定作為搜索范圍，來設定第二連接線。結果，搜索 范圍中具有最小運動對象得分的位置SM(t，t+1)被設定作為第二連接線。在圖4的步驟ST19中，連接線選擇單元309執(zhí)行連接線的選擇?；谟蓤D像攝 取條件檢測單元304檢測的圖像攝取條件，連接線選擇單元309選擇由第一連接線設定單 元305生成的第一連接線信息和由第二連接線設定單元308生成的第二連接線信息中的一 者。此外，連接線選擇單元309將所選擇的連接線信息輸出到圖像合成單元311，并且處理 進行到步驟ST20。在不存在攝取圖像間的二維旋轉或者旋轉角較小的情況中，當通過在由第二連接 線設定單元308設定的第二連接線處連接圖像而生成全景圖像時，不會出現(xiàn)接縫在運動對 象處的斷裂。因此，與在由第一連接線設定單元305設定的第一連接線處執(zhí)行圖像的連接 的情況相比，此全景圖像獲得了滿意的結果。此外，在攝取圖像間的二維旋轉較大的情況 中，由于該旋轉引起的誤差變大。因此，通過在由第一連接線設定單元305設定的第一連接 線處連接圖像，與在由第二連接線設定單元308設定的第二連接線處執(zhí)行圖像的連接的情 況相比，全景圖像獲得了滿意的結果。因此，連接線選擇單元309將從圖像攝取條件檢測單 元304輸入的圖像攝取條件與閾值相比較。在二維旋轉大于閾值范圍的情況中，連接線選 擇單元309選擇第一連接線信息來輸出到圖像合成單元311。另一方面，在二維旋轉在閾 值范圍內的情況中，連接線選擇單元309選擇第二連接線信息來輸出到圖像合成單元311。 例如，在攝取圖像間的二維旋轉角度或圖像攝取方向相對掃動操作的旋轉軸的角度大于閾值范圍的情況中，連接線選擇單元309選擇第一連接線信息來輸出到圖像合成單元311。此 外，在攝取圖像間的二維旋轉角度或者圖像攝取方向相對掃動操作的旋轉軸的角度在閾值 范圍內時，連接線選擇單元309選擇第二連接線信息來輸出到圖像合成單元311。圖13A和圖1 舉例說明所選擇的連接線。例如，如圖12A和圖12B所示，位置 SC(t-l,t)和SC(t，t+l)是第一連接線，并且位置SM(t-l,t)和SM(t，t+l)是第二連接線。 在此情況中，在不存在攝取圖像間的二維旋轉或者此旋轉較小的情況中，連接線選擇單元 309將指示圖13A中所示的第二連接線的第二連接線信息輸出到圖像合成單元311。此外， 在攝取圖像間的二維旋轉較大的情況中，連接線選擇單元309將表示圖13B中所示的第一 連接線的第一連接線信息輸出到圖像合成單元311。在圖4的步驟ST20中，圖像投影單元310將攝取圖像投影到全景坐標系上。圖像 投影單元310通過使用來自運動補償參數(shù)計算單元303的運動補償參數(shù)將來自圓柱投影單 元302的攝取圖像投影到全景坐標系上。此外，圖像投影單元310將投影的攝取圖像輸出 到圖像合成單元311，并且處理進行到步驟ST21。利用此投影，多個攝取圖像被布置在全景坐標系上，從而使得攝取圖像上的對象 基本彼此交疊。應當注意，全景坐標系是具有包括掃動軸以及與掃動方向垂直的軸在內的 軸的平面。例如，在掃動軸被設定為攝取圖像的圖像攝取時的圖像攝取空間中與垂直方向 垂直的方向的情況中，與掃動軸垂直的軸被設定為垂直方向。在步驟ST21中，圖像合成單元311合成攝取圖像以生成全景圖像。圖像合成單元 311在從圖像投影單元310提供的全景坐標系中在由連接線選擇單元309選擇的連接線信 息表示的連接線處連接投影的攝取圖像，以生成一個全景圖像。此外，在攝取圖像在此連接 線處被連接的情況中，在一些情況中，在連接線處的顏色差等可能是顯著的。因此，圖像合 成單元311可以在將此連接線用作基準的情況下提供一連接區(qū)域，在此連接區(qū)域中執(zhí)行混 合處理并且對所連接的攝取圖像執(zhí)行權重相加(weighting addition)。圖14A到圖14C是用于描述攝取圖像的連接的說明圖。圖14A到圖14C示出攝取 圖像I(t-l)在第二連接線(其處于位置SM(t-l，t))處與攝取圖像I (t)連接的情況。應當 注意，在圖14A到圖14C中，水平方向表示掃動方向，并且兩個連續(xù)幀中的攝取圖像I(t-l) 和攝取圖像I (t)被顯示在全景坐標系上。此外，圖14A示出用于全景圖像的有效區(qū)域被表 示為陰影區(qū)域。圖14B示出針對攝取圖像I(t-l)的權重W(t-l)，并且圖14C示出針對攝取 圖像I(t)的權重W(t)。例如，連接區(qū)域范圍從位置SL(t_l，t)到位置SR(t_l，t)，從而使得連接線上的位 置SM(t-l，t)成為連接區(qū)域的中央位置。此時，在攝取圖像I (t-Ι)中，直到位置SR(t-l， t)的區(qū)域成為有效區(qū)域R(t-l)。此外，在攝取圖像I(t)中，從位置SL(t-l，t)起的區(qū)域成 為針對攝取圖像I (t)的有效區(qū)域R(t)。對于權重，“0”被設定在連接區(qū)域的有效區(qū)域的一端側，并且“1”被設定在另一端 側。此外，在圖14B和圖14C中，權重通過線OMa和OMb來設定。應當注意，實施例并不限 于權重通過線OMa和OMb來設定的情況。在連接區(qū)域的各個位置處，針對攝取圖像I (t-1) 的權重和針對攝取圖像I (t)的權重的和為“1”并且權重被設定為按照有效區(qū)域端側的權 重變?yōu)椤?”的方式順次減小。通過按照此方式在連接線被用作基準的同時設定連接區(qū)域并且改變連接區(qū)域中攝取圖像I(t-l)和攝取圖像I(t)間的合成比率，從攝取圖像I(t-l)到攝取圖像I(t)的 圖像切換被連貫執(zhí)行。因此，能夠以更高質量獲得全景圖像。即，在連接的兩個有效區(qū)域彼 此交疊的部分，即使在存在對象的位置偏移或者像素的顏色不同的情況中，也能夠通過權 重相加來獲得平滑效果。利用此配置，可以抑制全景圖像中丟失對象的一部分或者生成顏 色不均勻的情形，從而能夠獲得更自然的全景圖像。按照此方式，圖像合成單元311在全景坐標系上連接彼此相鄰的攝取圖像的有效 區(qū)域來生成一個全景圖像。此外，圖像合成單元311可以執(zhí)行剪裁(trimming)并且由連接 的有效區(qū)域構成的一個圖像中的一部分區(qū)域可以被設定作為全景圖像。圖15A和圖15B是用于描述全景圖像的剪裁的說明圖。例如，當在圖像攝取裝置 10掃動的同時生成攝取圖像時，在圖像攝取裝置10具有仰角的情況中，如圖15A所示，連續(xù) 的攝取圖像I(O)到I (6)在圖像間具有二維旋轉，并且在全景坐標系的上下方向產(chǎn)生起伏。 應當注意，對于各個攝取圖像，掃動軸是縱向。因此，通過連接各個攝取圖像的有效區(qū)域獲得的單個圖像不是長方形。鑒于上述， 如圖15B所示，圖像合成單元311切出與通過連接攝取圖像I(O)到1(6)的有效區(qū)域而獲 得的整個圖像的區(qū)域內切的最大長方形區(qū)域Pll來獲得全景圖像。此時，此長方形區(qū)域Pll 的長邊被設為與掃動軸平行。按照此方式，通過執(zhí)行剪裁，可以獲得長方形全景圖像。當全景圖像按照此方式生成了時，圖像合成單元311將所生成的全景圖像輸出， 從而圖像攝取裝置10中全景圖像生成處理結束。例如，從圖像合成單元311輸出的全景圖像被編碼/解碼單元41編碼以被記錄在 存儲器42中或者經(jīng)由D/A轉換單元43和視頻編碼器44被輸出到顯示單元45以顯示圖像。如上所述，圖像攝取裝置10基于多種不同算法從攝取圖像設定連接線。此外，圖 像攝取裝置10在掃動方向投影對象信息來設定連接線。此外，圖像攝取裝置10根據(jù)圖像 攝取條件來選擇連接線以使得可以獲得最佳全景圖像，并且在所選擇的連接線處連接(合 成)攝取圖像從而生成全景圖像。按照此方式，在圖像攝取裝置10中，對象信息被投影在掃動方向來設定連接線， 并且因此能夠以更低的計算成本來獲得更高質量的全景圖像。S卩，根據(jù)現(xiàn)有技術，如參考圖1所描述的，解決了如果連接線(接縫SL)通過二維 搜索來設定則運動對象被模糊并且運動對象被分割的問題，并且能夠以更高的質量獲得全 景圖像。然而，根據(jù)二維搜索，計算成本高并且用于二維搜索的存儲器的記錄容量大。另一方面，在圖像攝取裝置10中，包括各個區(qū)域上的對象信息的二維信息被投影 到作為掃動軸的一維軸上，因此能夠通過一維搜索來設定連接線。利用此配置，在防止運動 對象的模糊或分割的同時，不僅可以以更低的計算成本獲得更高質量的全景圖像，而且存 儲器的記錄容量也可以減小。此外，連接線是基于多種算法而設定的，并且根據(jù)圖像攝取條件最佳連接線被選 擇。因此，即使當在攝取圖像間發(fā)生二維旋轉這樣的圖像攝取條件下執(zhí)行時，根據(jù)圖像攝取 條件最佳連接線也被選擇，因此能夠容易地生成其中接縫不顯著的高質量全景圖像。此外，因為最佳連接線是根據(jù)圖像攝取條件自動設定的，因此能夠在用戶不必論 證地在圖像攝取之前或之后選擇或指示用于設定連接線的算法同時以高速獲得具有高圖 像質量的全景圖像。因此，可以提高用戶的使用性。
5.對象信息的另一示例應當注意，上面已經(jīng)描述了用作對象信息的評估值被設定為整個攝取圖像的運動 矢量和塊的運動矢量的差的絕對值，但是對象信息可以是任何信息，只要該信息與攝取圖 像上的對象有關。例如，對于交疊區(qū)域DR(其是圖16中所示的攝取圖像I (t)和攝取圖像I(t+1)彼 此交疊的區(qū)域)中的像素，也可以設定攝取圖像I(t)中的像素的像素值與攝取圖像I(t+1) 中的與上述像素位于相同位置的像素的像素值間的差的絕對值。應當注意，在圖16中，在 此情況中，攝取圖像I(t)和攝取圖像I(t+1)是基于運動補償參數(shù)布置的。運動對象檢測單元306通過下面的表達式⑵來計算攝取圖像I (t)的位于XY坐 標系上(X，y)處的像素的評估值cost (X，y)。應當注意，在圖16中，水平方向被設定為X 方向，并且垂直方向被設定為Y方向。此外，交疊區(qū)域DR的左上頂點被設定為XY坐標系的 基準位置，并且X方向被設定為與掃動軸相同的方向。cost (x, y) = It (χ, y)-It+l(x, y) |. . . (2)在此，在表達式O)中，It (X，y)和It+l(x，y)指示攝取圖像I (t)和攝取圖像 I (t+1)的坐標為(x，y)的像素的像素值。在這樣的評估值被用作對象信息的情況中，在攝取圖像上的像素值的差的絕對值 較小的區(qū)域中，確定由于連接而引起的對象位置偏移較小。當像素值的差的絕對值被設定 為評估值時，獲得了如下優(yōu)點不僅因運動對象的運動而引起的位置偏移可以反映在評估 值上，而且因視差(parallax error)或針對圖像攝取裝置10的運動的運動補償?shù)臏蚀_性 不足而引起的對象位置偏移等也可以反映在評估值上。此外，如圖17所示，通過利用對人臉的檢測，可以獲得使用人臉的相似性作為索 引的評估值作為對象信息。應當注意，在圖17中，攝取圖像I(t)和攝取圖像I(t+1)是基 于運動補償參數(shù)布置的。運動對象檢測單元306檢測攝取圖像I (t)中與攝取圖像I (t+Ι)交疊的交疊區(qū)域 被設定為目標時的人臉。結果，期望包括攝取圖像I (t)上的人臉的具有預定大小的區(qū)域 (下文中將被稱為臉部區(qū)域)和指示人臉區(qū)域與該臉部區(qū)域的相似性的程度的點被獲得。 此點隨著此臉部區(qū)域越可能是人臉而越大。然后，運動對象檢測單元306獲得攝取圖像I (t)的交疊區(qū)域的各個位置的評估 值。即，當該位置包括在臉部區(qū)域中時，針對臉部區(qū)域的點的值被設定作為此位置的評估 值，并且如果此位置沒有包括在臉部區(qū)域中，則此位置的評估值為“0”。通過執(zhí)行類似處理，運動對象檢測單元306檢測攝取圖像I (t+Ι)中與攝取圖像 Kt)交疊的區(qū)域被設定為目標時的臉部區(qū)域，并且獲得攝取圖像ι (t+i)的各個位置處的 評估值。此外，運動對象檢測單元306將攝取圖像I (t)上的交疊區(qū)域的各個位置處的評估 值相加到攝取圖像I (t+Ι)的與上述位置交疊的位置處的評估值中，并且將如此獲得的值 設定作為攝取圖像I (t)上的交疊區(qū)域的各個位置處的最終評估值。在圖17的示例中，因為人臉基本被包括在交疊區(qū)域的中心，所以預期到交疊區(qū)域 的中心附近的評估值較高。在許多情況中，攝取圖像包括人作為運動對象，但是在攝取圖像 連接時與避免連接線對人的胳膊、腿或者軀干的分割相比更希望避免連接線對臉部部分的 分割的情況中，將人臉被用作指標的評估值設定作為對象信息的方法是有效的。
此外，如圖18中所示，通過利用人的檢測，使用人的相似性作為指標的評估值也 可以被獲得作為對象信息。應當注意，在圖18中，攝取圖像I(t)和攝取圖像I(t+1)是基 于運動補償參數(shù)布置的。運動對象檢測單元306檢測攝取圖像I (t)中與攝取圖像I(t+1)交疊的交疊區(qū)域 被設定作為目標時的人。結果，期望包括攝取圖像I(t)上的人的預定大小的區(qū)域(下文中 將被稱為人區(qū)域)和指示用于人的區(qū)域與該人區(qū)域的相似性的程度的點被獲得。此點隨著 人區(qū)域越可能是人而越大。然后，運動對象檢測單元306獲得攝取圖像I (t)的交疊區(qū)域的各個位置的評估 值。即，當該位置包括在該人區(qū)域中時，該人區(qū)域的點的值被設定為此位置的評估值，并且 當此位置沒有包括在該人區(qū)域中時，則此位置的評估值為“0”。通過執(zhí)行類似處理，運動對象檢測單元306檢測攝取圖像I(t+1)中與攝取圖像 Kt)交疊的區(qū)域被設定為目標時的人，并且獲得攝取圖像ι (t+i)的各個位置處的評估值。 此外，運動對象檢測單元306將攝取圖像I (t)上的交疊區(qū)域的各個位置處的評估值與攝取 圖像I(t+1)的與上述位置交疊的位置處的評估值相加，并且將如此獲得的值作為攝取圖 像I(t)上的交疊區(qū)域的各個位置處的最終評估值。在圖18的示例中，人被包括在交疊區(qū)域的中心的左右兩側，并且預期到交疊區(qū)域 的中心的左側和右側的評估值較高。按照此方式，在攝取圖像連接時，為了避免連接線對整 個人的分割，將整個人被用作指標的評估值設定作為對象信息的方法是有效的。此外，可以通過將分別參考圖9以及圖16到圖18所描述評估值中的一些進行組 合來設定對象信息。例如，參考圖9描述的評估值與參考圖17描述的評估值的和可以被用 作攝取圖像的各個位置的評估值(對象信息)。在此情況中，能夠設定相對于人臉的區(qū)域更 大的評估值。此外，例如，參考圖9描述的評估值與參考圖17描述的評估值的和可以被設定作 為對象信息，另外，參考圖9、圖17和圖18描述的各個評估值的和可以被設定作為對象信 息。在這些情況中，攝取圖像上各個位置的評估值的和被獲得，并且所獲得的和被設定作為 各個位置的對象信息。6.連接線的確定順序的另一示例此外，上面已經(jīng)描述了攝取圖像的連接線是按照幀編號的升序來設定的，但是設 定連接線的順序可以是任何順序。即，當預定幀被設定作為基準時，可以從該相關幀中的攝 取圖像起順次設定連接線。例如，如圖19A所示，假定在圖像攝取空間中用于攝取圖像的圖像攝取的區(qū)域中， 運動對象的人在從左到右的方向中移動。在這樣的狀態(tài)中，假定當掃動方向被設為從左到 右的方向時，圖像攝取裝置10攝取多個圖像，并且結果，如圖19B所示，獲得了七個攝取圖 像 I (0)到 I (6)。在此示例中，攝取圖像I⑵到I⑷包括相同的人作為運動對象。在攝取圖像的 圖像攝取時，運動對象的人在從左到右的方向中運動。因此，包括該人的第一幀中的攝取圖 像1( 將人顯示在圖像的左端。此外，包括該人的隨后的幀中的攝取圖像IC3)將人顯示 在圖像的中心，并且包括該人的更隨后的幀中的攝取圖像1(4)將人顯示在圖像的右側。在這樣的情況中，連接線可以按照從攝取圖像I (0)到攝取圖像I (6)的順序設定。 然而，連接線被設定為避免運動對象的區(qū)域，因此在一些情況中，在預定連接線中避免運動對象的區(qū)域的不利作用可能影響有關下一連接線的確定。即，在一些情況中，在包括運動對 象的幀連續(xù)出現(xiàn)的情景中，依賴于確定連接線的順序，可以獲得不同的全景圖像。鑒于上述，在第二連接線設定單元308中，確定要優(yōu)先處理其中的攝取圖像的幀， 并且所確定的幀被設定作為基準幀。此外，從基準幀中的攝取圖像起，在與攝取圖像被攝取 的順序相對應的幀編號的升序和降序的各個方向中順次確定連接線。在這樣的情況中，作為用于確定基準幀的指標，例如可以想到運動對象的中心性 (centricity)。S卩，運動對象檢測單元306通過使用連續(xù)兩幀中的攝取圖像針對攝取圖像 I(O)到I (6)來從各個攝取圖像檢測運動對象。例如，如通過使用圖9描述的，運動對象的 檢測通過將攝取圖像的交疊區(qū)域分割成多個塊并且獲得每個塊的運動矢量和整個攝取圖 像的運動矢量的差來執(zhí)行。利用此配置，攝取圖像的各個區(qū)域中的運動對象的存在與否被 檢測。例如，所獲得的差的絕對值等于或大于預定閾值的區(qū)域被設定作為運動對象的區(qū)域。接著，基于運動對象的檢測結果，運動對象檢測單元306獲得每個攝取圖像的運 動對象的中心性。例如，基于攝取圖像中運動對象的位置來設定運動對象的得分。運動對 象的得分隨著運動對象越靠近攝取圖像的中心性而越大。應當注意，在多個運動對象被包 括在一個攝取圖像中的情況中，所獲得的針對這些運動對象的每個的得分的總和被設定作 為中心性的最終得分。因此，包括位置越靠近中心的運動對象的攝取圖像具有越高的中心性得分。此外， 包括越多運動對象的攝取圖像具有越高的中心性得分。根據(jù)中心性得分，能夠識別多個攝 取圖像中運動對象最接近圖像的中心的攝取圖像。在圖19A和圖19B的示例中，攝取圖像I (3)的中心性得分最高。如此獲得的針對 每個幀的中心性得分被與來自運動對象檢測單元306的對象信息一起經(jīng)由對象信息投影 單元307輸出到第二連接線設定單元308。然后，在第二連接線設定單元308中，攝取圖像的各個幀中具有最高中心性得分 的幀被設定作為基準幀，并且按照從該基準幀中的攝取圖像起的順序確定第二連接線。因此，在圖19A和圖19B的示例中，攝取圖像1(3)的幀被設定作為基準。首先，針 對攝取圖像I (3)和I (4)的第二連接線被設定，之后，按照升序，針對攝取圖像I (4)和I (5) 的第二連接線、針對攝取圖像1(5)和1(6)的第二連接線被順次設定。此外，之后，從該基 準幀起，按照降序，針對攝取圖像1(3)和I (2)的第二連接線、針對攝取圖像I (2)和I(I) 的第二連接線、針對攝取圖像I(I)和I(O)的第二連接線順次被設定。然后，如圖20A所示，當通過使用第二連接線執(zhí)行全景圖像的生成時，獲得了運動 對象顯示在中心的全景圖像。在許多情況中，在攝取圖像的圖像攝取時，為了使人體位于所有作為圖像攝取目 標的區(qū)域的中心附近，圖像攝取裝置10在掃動的同時攝取多個攝取圖像。因此，假定在包 括人體的連續(xù)幀中，在這些幀的中心的附近的幀中，人體存在于所有作為圖像攝取目標的 區(qū)域的中心的附近，并且人體存在于該幀中的攝取圖像的中心。因此，在包括人體的幀中，人體存在于攝取圖像的中心的幀被設定作為基準幀，并 且從該基準幀起順次確定連接線。利用此配置，如圖20A所示，獲得了運動對象基本顯示在 中心的全景圖像。應當注意，在圖19B中，當其中運動對象存在于左端附近的攝取圖像I (2)的幀被設定作為基準幀時，當從攝取圖像I ( 起順次設定第二連接線時，如圖20B所示，獲得了運 動對象顯示在離中心稍靠左側的全景圖像。類似地，在圖19B中，當其中人體存在于右端附 近的攝取圖像I (4)的幀被設定作為基準幀，當從攝取圖像I (4)起順次設定第二連接線時， 如圖20C所示，獲得了運動對象顯示在離中心稍靠右側的全景圖像。按照此方式，當攝取圖像中運動對象的位置等被設定作為指標并且從此特定基準 幀中的攝取圖像起順次設定第二連接線時，能夠獲得更引人入勝的全景圖像。7.使用程序執(zhí)行處理的情況上述處理序列可以通過硬件執(zhí)行也可以通過軟件執(zhí)行。在上述處理序列通過軟件 執(zhí)行的情況中，構成軟件的程序被從程序記錄介質安裝到結合在專用硬件中的計算機或例 如能夠通過安裝各種程序等來執(zhí)行各種功能的通用個人計算機等中。圖21是用于通過程序執(zhí)行上述處理序列的計算機的硬件配置示例的框圖。在計算機60中，CPU (中央處理單元)61、R0M(只讀存儲器)62、RAM(隨機存取存 儲器)63通過總線64彼此連接。此外，輸入輸出接口單元65被連接到總線64。由鍵盤、鼠標、麥克風等構成的輸入 單元66，由顯示器、揚聲器等構成的輸出單元67，由硬盤、非易失存儲器等構成的記錄單元 68，由網(wǎng)絡接口等構成的通信單元69，用于驅動諸如磁盤、光盤、磁光盤、驅動器或半導體存 儲器等的可移除介質80的驅動器71被連接到輸入輸出接口單元65。在如上構造的計算機中，上述處理序列在CPU 61例如經(jīng)由輸入和輸出接口單元 65和總線64將存儲在記錄單元68中的程序加載到RAM 63上用于執(zhí)行時被執(zhí)行。由計算機(CPU 61)執(zhí)行的程序在被記錄在例如用作由磁盤(包括軟盤)、光盤 (CD-ROM(致密盤-只讀存儲器))、DVD(數(shù)字通用盤)、磁光盤或半導體存儲器等構成的封 裝介質的可移除介質80上時被提供，或者通過諸如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播之類的 有線或無線傳輸介質來提供。然后，可以通過將可移除介質80安裝到驅動器來經(jīng)由輸入輸出接口單元65將程 序安裝到記錄單元68。此外，可以通過通信單元69經(jīng)由有線或無線傳輸介質來接收程序以 安裝到記錄單元68中。除了上述以外，程序可以預先被安裝到ROM 62或記錄單元68中。應當注意，由計算機執(zhí)行的程序可以是按照在本說明中描述的順序的時間順序的 方式來執(zhí)行處理的程序，或者并行地或例如在產(chǎn)生調用的適當定時執(zhí)行處理的程序。本申請包含與2009年12月21日于日本專利局提交的日本在先專利申請JP 2009-288859中所公開的主題有關的主題，該申請的全部內容通過引用結合于此。本領域的技術人員應當理解，依據(jù)設計要求和其他因素可以有多種修改、組合、子 組合和變更，只要他們在所附權利要求及其等同物的范圍內即可。
權利要求
1.一種圖像處理裝置，包括運動補償參數(shù)計算單元，計算用于補償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變 圖像攝取方向的同時執(zhí)行圖像攝取而獲得的多個攝取圖像間的相對運動的參數(shù)；第一連接線設定單元，將在基于運動補償參數(shù)確定的相鄰攝取圖像彼此交疊的交疊區(qū) 域中相對圖像攝取方向的改變方向的中央位置設定作為第一連接線；運動對象檢測單元，通過使用所述交疊區(qū)域中的攝取圖像來檢測運動對象從而生成對 象信息；對象信息投影單元，將所述交疊區(qū)域中的對象信息投影到掃動軸上，所述掃動軸是所 述圖像攝取方向的改變方向；第二連接線設定單元，基于投影的對象信息來執(zhí)行第二連接線的設定； 圖像攝取條件檢測單元，檢測在攝取圖像間發(fā)生二維旋轉的圖像攝取條件；以及 連接線選擇單元，根據(jù)所述圖像攝取條件檢測單元的檢測結果來選擇所述第一連接線 和所述第二連接線中的一者作為用于所述相鄰攝取圖像的連接線。
2.根據(jù)權利要求1所述的圖像處理裝置，其中，所述圖像攝取條件檢測單元檢測攝取圖像間的二維旋轉角度或者與所述掃動軸 正交的所述圖像攝取裝置的圖像攝取方向上的角度；并且其中，所述連接線選擇單元在所述旋轉角度或所述圖像攝取方向上的角度大于預先設 定的閾值范圍時選擇所述第一連接線，并且在所述旋轉角度或所述圖像攝取方向上的角度 在該閾值范圍內時選擇所述第二連接線。
3.根據(jù)權利要求2所述的圖像處理裝置，其中，所述圖像攝取條件檢測單元通過使用來自設在所述圖像攝取裝置中的姿勢檢測 單元的檢測信號來檢測所述角度。
4.根據(jù)權利要求2所述的圖像處理裝置，其中，所述運動對象檢測單元使用與運動對象的運動量相應的評估值作為所述對象信息；其中，所述對象信息投影單元通過在與所述掃動軸正交的方向上對攝取圖像上的各個 位置處的評估值進行積分來將所述對象信息投影到所述掃動軸上；并且所述第二連接線設定單元將在投影的評估值最小的位置處與所述掃動軸正交的方向 設定作為所述第二連接線。
5.根據(jù)權利要求1所述的圖像處理裝置，還包括圖像投影單元，利用所述運動補償參數(shù)并且將所述多個攝取圖像投影到全景坐標系 上；以及圖像合成單元，在所選擇的連接線處執(zhí)行投影到所述全景坐標系上的攝取圖像的連接 來生成全景圖像。
6.一種圖像處理方法，包括以下步驟計算用于補償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變圖像攝取方向的同時執(zhí) 行圖像攝取而獲得的多個攝取圖像間的相對運動的參數(shù)；將在基于運動補償參數(shù)確定的相鄰攝取圖像彼此交疊的交疊區(qū)域中相對圖像攝取方 向的改變方向的中央位置設定作為第一連接線；通過使用所述交疊區(qū)域中的攝取圖像檢測運動對象來生成對象信息； 將所述交疊區(qū)域中的對象信息投影到掃動軸上，所述掃動軸是所述圖像攝取方向的改 變方向；基于投影的對象信息來執(zhí)行第二連接線的設定； 檢測在攝取圖像間發(fā)生二維旋轉的圖像攝取條件；以及根據(jù)檢測到的圖像攝取條件來選擇所述第一連接線和所述第二連接線中的一者作為 用于所述相鄰攝取圖像的連接線。
7. 一種使得計算機充當如下裝置的程序運動補償參數(shù)計算裝置，計算用于補償執(zhí)行圖像攝取的圖像攝取裝置在通過順次改變 圖像攝取方向的同時執(zhí)行圖像攝取而獲得的多個攝取圖像間的相對運動的參數(shù)；第一連接線設定裝置，將在基于運動補償參數(shù)確定的相鄰攝取圖像彼此交疊的交疊區(qū) 域中相對圖像攝取方向的改變方向的中央位置設定作為第一連接線；運動對象檢測裝置，通過使用所述交疊區(qū)域中的攝取圖像檢測運動對象來生成對象信息；對象信息投影裝置，將所述交疊區(qū)域中的對象信息投影到掃動軸上，所述掃動軸是所 述圖像攝取方向的改變方向；第二連接線設定裝置，基于投影的對象信息來執(zhí)行第二連接線的設定； 圖像攝取條件檢測裝置，檢測在攝取圖像間發(fā)生二維旋轉的圖像攝取條件；以及 連接線選擇裝置，根據(jù)所述圖像攝取條件檢測裝置的檢測結果來選擇所述第一連接線 和所述第二連接線中的一者作為用于所述相鄰攝取圖像的連接線。
全文摘要
本發(fā)明公開了圖像處理裝置、方法以及程序。圖像處理裝置包括運動補償參數(shù)計算單元，計算用于補償圖像攝取裝置在攝取圖像間的相對運動的參數(shù)；第一連接線設定單元，將交疊區(qū)域的中央位置設定作為第一連接線；運動對象檢測單元，通過使用交疊區(qū)域中的圖像檢測運動對象來生成對象信息；對象信息投影單元，將交疊區(qū)域中的對象信息投影到掃動軸上；第二連接線設定單元，基于投影的對象信息執(zhí)行第二連接線的設定；圖像攝取條件檢測單元，檢測發(fā)生二維旋轉的圖像攝取條件；以及連接線選擇單元，選擇第一連接線或第二連接線作為連接線。
文檔編號G06T7/20GK102104732SQ20101059977
公開日2011年6月22日 申請日期2010年12月14日 優(yōu)先權日2009年12月21日
發(fā)明者木村篤史 申請人:索尼公司