專利名稱：使用加速計(jì)信息來確定圖片和視頻圖像的方向的制作方法
技術(shù)領(lǐng)域：
本發(fā)明設(shè)計(jì)確定圖片和視頻圖像的方向，尤其涉及使用加速計(jì)信息來確定圖片和視頻圖像的方向。
背景技術(shù)：
合并數(shù)字相機(jī)和位置感測(cè)技術(shù)的移動(dòng)設(shè)備正變得日益常見。由于當(dāng)這樣的移動(dòng)設(shè)備捕捉圖片或視頻時(shí)能以任意方向旋轉(zhuǎn)，當(dāng)圖片或視頻被保存在設(shè)備時(shí)缺乏圖片或視頻圖像在方向上的統(tǒng)一性。例如，用戶可使用稍微向右或向左旋轉(zhuǎn)的移動(dòng)設(shè)備拍照。有時(shí)這樣的旋轉(zhuǎn)是有意的(其表示理想的圖片合成)，但有時(shí)不是的。不管旋轉(zhuǎn)是否是有意的，用戶可能想要在稍后調(diào)整圖片。圖片或圖像的旋轉(zhuǎn)通常是手動(dòng)過程(諸如使用照片編輯應(yīng)用)， 并可能是困難以及不準(zhǔn)確的。當(dāng)處理公共圖像處理任務(wù)時(shí)，圖片或視頻圖像之間方向上的不同是有問題的。例如，當(dāng)將一圖片與一個(gè)或多個(gè)其他圖片進(jìn)行比較時(shí)，諸如旋轉(zhuǎn)等方向上的差異能增加尋找匹配圖片或?qū)ふ覉D片內(nèi)匹配特征的困難度。類似地，當(dāng)在將圖片縫合到馬賽克或全景視圖期間在兩個(gè)或兩個(gè)圖片之間匹配特征時(shí)，方向上的不同能使得任務(wù)成功并準(zhǔn)確地執(zhí)行變得更為困難。因此，存在對(duì)與圖片和圖像捕捉以及使用方向信息處理有關(guān)的技術(shù)的改進(jìn)的充分機(jī)會(huì)。

發(fā)明內(nèi)容
能應(yīng)用關(guān)于圖片和圖像捕捉以及使用方向信息處理的各種技術(shù)。例如，提供了一種用于捕捉并處理視頻數(shù)據(jù)的方法。該方法包括，為多個(gè)視頻圖像的各個(gè)視頻圖像，獲得捕捉視頻圖像的計(jì)算設(shè)備的方向信息，并基于該方向信息調(diào)整被捕捉的視頻圖像，該方向信息指示計(jì)算設(shè)備在捕捉視頻圖像時(shí)的方向。能顯示(例如，在視頻捕捉期間實(shí)時(shí)地、或在稍后)調(diào)整后的被捕捉的視頻圖像。能使用三軸加速計(jì)來捕捉方向信息。在某些實(shí)現(xiàn)中，方向信息包括三個(gè)值執(zhí)行捕捉的計(jì)算設(shè)備的X-軸上的加速度、y-軸上的加速度以及ζ-軸上的加速度。作為另一示例，提供了一種用于捕捉并處理視頻數(shù)據(jù)的移動(dòng)設(shè)備。移動(dòng)設(shè)備包括三軸加速計(jì)、存儲(chǔ)、數(shù)字相機(jī)、以及處理單元。移動(dòng)設(shè)備被配置以為多個(gè)視頻圖像的各個(gè)視頻圖像，獲得指示移動(dòng)設(shè)備在捕捉視頻圖像時(shí)的方向的方向信息，并存儲(chǔ)被捕捉的視頻以及關(guān)聯(lián)的方向信息。關(guān)聯(lián)的方向信息能被存儲(chǔ)在與捕捉視頻圖像相同的文件或不同的文件里，并且能被存儲(chǔ)為加速度值、旋轉(zhuǎn)角度值或按另一表示的值。在某些情況下，方向信息以及視頻圖像數(shù)據(jù)(具有或不具有根據(jù)方向信息的調(diào)整)從移動(dòng)設(shè)備流傳輸?shù)骄W(wǎng)絡(luò)服務(wù)器?；蛘?，能使用二軸加速計(jì)(例如，而不是三軸加速計(jì))來捕捉方向信息(例如，兩個(gè)軸上的加速度值)，其能被用以確定并補(bǔ)償一個(gè)平面內(nèi)的旋轉(zhuǎn)。作為另一示例，提供了一種用于匹配圖像數(shù)據(jù)的方法。該方法包括獲得由數(shù)字相機(jī)捕捉的第一圖像的圖像數(shù)據(jù)以及關(guān)聯(lián)的方向信息，并獲得由數(shù)字相機(jī)捕捉的第二圖像的圖像數(shù)據(jù)以及關(guān)聯(lián)的方向信息。方向信息能例如表示在圖像捕捉期間獲得的三軸加速計(jì)信息。接著，使用方向信息來調(diào)整第一和第二被捕捉的圖像中的至少一個(gè)以補(bǔ)償沿著至少一個(gè)旋轉(zhuǎn)平面的數(shù)字相機(jī)的方向上的差異。通過匹配如經(jīng)調(diào)整的第一和第二圖像之間的興趣點(diǎn)來執(zhí)行圖像匹配。參考附圖閱讀以下詳細(xì)描述，將更清楚本發(fā)明的前述和其他特征和優(yōu)點(diǎn)。附圖簡(jiǎn)述

圖1是顯示用于捕捉視頻數(shù)據(jù)并使用方向信息處理該視頻數(shù)據(jù)來顯示的示例性方法的流程圖。圖2是顯示用于捕捉視頻數(shù)據(jù)并使用方向信息存儲(chǔ)該視頻數(shù)據(jù)的示例性方法的流程圖。圖3是顯示包括加速計(jì)的示例移動(dòng)設(shè)備的圖示，其中移動(dòng)設(shè)備通常與由X軸和Y 軸定義的平面對(duì)齊，并垂直于Z軸。圖4是示出包括加速計(jì)的示例移動(dòng)設(shè)備的框圖。圖5是示出示例使用方向信息的圖像匹配操作的圖示。圖6是顯示用于使用方向信息來匹配圖像數(shù)據(jù)的示例性方法的流程圖。圖7是示出示例移動(dòng)設(shè)備細(xì)節(jié)的框圖。圖8是示出示例實(shí)現(xiàn)環(huán)境的圖示。示例性實(shí)施例的詳細(xì)描述以下描述針對(duì)用于使用方向信息的圖像處理的技術(shù)和方案。各種技術(shù)和方案可組合或單獨(dú)使用。不同的實(shí)施例可實(shí)現(xiàn)所描述的技術(shù)和方案的一個(gè)或多個(gè)。I.示例方向信息在此描述的技術(shù)和方案中，方向信息被用于各種圖像處理任務(wù)。如在此使用的，方向信息指能夠描述諸如移動(dòng)設(shè)備等設(shè)備的方向的信息。例如，方向信息包括能夠描述設(shè)備在至少一個(gè)平面上的旋轉(zhuǎn)的信息。在某些實(shí)現(xiàn)中，從三軸加速計(jì)(有時(shí)稱為g_傳感器)獲得方向信息。三軸加速計(jì)提供三個(gè)值，各個(gè)值表示沿著一不同軸的加速。具體的，三軸加速計(jì)提供表示沿著χ-軸的加速度的值、表示沿著y-軸的加速度的值以及表示沿著ζ-軸的加速度的值。按照慣例， 加速計(jì)返回的值具有m/s2(米/秒2)單位(其中大約9.80665m/s2的值等于一個(gè)重力，或 Ig)。如在此使用的，術(shù)語“ax”、“ay”以及“az”指從三軸加速計(jì)獲得的關(guān)于χ-軸、y_軸以及ζ-軸方向的加速度值。在某些實(shí)現(xiàn)中，方向信息包括從三軸加速計(jì)獲得的三個(gè)加速度值(ax，ay以及 az)。在其他實(shí)現(xiàn)中，方向信息包括從加速度值計(jì)算出的值(例如，左/右滾轉(zhuǎn)角度和/或向前/向后傾斜角度)。在又一其它實(shí)現(xiàn)中，只獲得兩軸加速度值(例如，只有ax和ay或只有az和ay)，其能被用以確定一個(gè)平面內(nèi)的旋轉(zhuǎn)(例如，只是左/右滾轉(zhuǎn)或只是向前/向后傾斜)。圖3是示出包括加速計(jì)的示例移動(dòng)設(shè)備300的圖示。加速計(jì)提供描述移動(dòng)設(shè)備 300方向的方向信息。通過三軸加速計(jì)，能獲得x、y以及ζ-軸的方向信息。移動(dòng)設(shè)備300 內(nèi)的加速計(jì)的位置將確定各個(gè)軸的方向。在移動(dòng)設(shè)備300的示例中，加速計(jì)已經(jīng)被定向使得當(dāng)移動(dòng)設(shè)備300保持豎直和水平時(shí)加速計(jì)的y-軸指向下(朝向地球)。χ-軸從移動(dòng)設(shè)備300向左和向右延伸，并且ζ-軸從移動(dòng)設(shè)備300向前和向后延伸。加速計(jì)能在設(shè)備內(nèi)被不同地定向(例如，當(dāng)設(shè)備保持豎直和水平時(shí)ζ-軸指向下)，其將需要對(duì)于用于在此描述的各種操作的軸的對(duì)應(yīng)更改。當(dāng)移動(dòng)設(shè)備300被豎直和水平地定向時(shí)(如在圖中描繪的)，三軸加速計(jì)將提供 y-軸大約9. 80665m/s2的值、χ-軸0. Om/s2的值(表示左-右滾轉(zhuǎn)O度)、以及ζ-軸0. Om/ S2 (表示向前-向后傾斜O(jiān)度)。如果移動(dòng)設(shè)備300被稍微向右旋轉(zhuǎn)，那么y_軸加速度值將減小并且χ-軸加速度值將增大，這指示(y，x)平面內(nèi)的旋轉(zhuǎn)(如果設(shè)備300不是向前或向后旋轉(zhuǎn)，那么ζ-軸值將保持不變)。類似地，如果移動(dòng)設(shè)備300被稍微向前旋轉(zhuǎn)，那么y_軸加速度值將減小并且ζ-軸加速度值將增大，這指示(y，z)平面內(nèi)的旋轉(zhuǎn)(如果設(shè)備300不是向左或向右旋轉(zhuǎn)，那么χ-軸值將保持不變)。左/右以及向前/向后旋轉(zhuǎn)的結(jié)合將導(dǎo)致 x、y以及ζ-軸加速度值的對(duì)應(yīng)改變。然而，不管設(shè)備如何旋轉(zhuǎn)，向量(aX，ay，aZ)的大小理論上是9. 80665m/s2 (當(dāng)設(shè)備靜止或具有恒定速度)。移動(dòng)設(shè)備300可以是任何類型的移動(dòng)計(jì)算設(shè)備。例如，移動(dòng)設(shè)備300可以是移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、智能電話、圖形輸入板計(jì)算機(jī)、膝上型計(jì)算機(jī)、數(shù)字相機(jī)、數(shù)字錄像機(jī)等等。盡管圖3描述了移動(dòng)設(shè)備300，在此描述的技術(shù)和方案不限于移動(dòng)設(shè)備。通常， 包括加速計(jì)和成像設(shè)備的任何類型的計(jì)算設(shè)備(例如，數(shù)字相機(jī)和/或攝像機(jī))能實(shí)現(xiàn)在此描述的技術(shù)和方案。例如，具有加速計(jì)和集成攝像頭(或具有加速計(jì)的附連的攝像頭) 的臺(tái)式計(jì)算機(jī)能獲得在圖片或視頻圖像的捕捉期間的方向信息。II.示例關(guān)聯(lián)方向信息在此描述的技術(shù)和方案中，方向信息能與靜態(tài)圖片和視頻圖像關(guān)聯(lián)。當(dāng)捕捉圖片或視頻圖像時(shí)，能獲得執(zhí)行該捕捉的設(shè)備(例如，移動(dòng)設(shè)備或另一類型的計(jì)算設(shè)備)的方向信息并將其與被捕捉的圖片或視頻圖像關(guān)聯(lián)。例如，方向信息被保存在與圖片或視頻相同的文件中(例如，在圖片或視頻的頭部)或被保存在與圖片或視頻文件關(guān)聯(lián)的單獨(dú)的文件中。例如，具有相機(jī)和加速計(jì)的智能電話被用以拍攝靜態(tài)圖片。當(dāng)圖片被拍攝時(shí)，獲得來自加速計(jì)的方向信息并將其與被捕捉的圖片關(guān)聯(lián)。方向信息描述在圖片被拍攝時(shí)智能電話的方向。在一具體的實(shí)現(xiàn)中，靜態(tài)圖片的方向信息(例如，從三軸加速計(jì)獲得的ax、ay以及az值)根據(jù)信息互換模型(IIM) (IIM模型由國(guó)際新聞電信會(huì)議(IPTC)提供)被保存在圖片文件的IPTC頭部?；蛘?，方向信息被存儲(chǔ)在單獨(dú)的元數(shù)據(jù)文件中。在另一示例中，使用具有相機(jī)(其支持視頻捕捉)和加速計(jì)的智能電話來記錄視頻。在記錄視頻期間，獲得來自加速計(jì)的方向信息并將其與被捕捉的各個(gè)單獨(dú)的視頻圖像關(guān)聯(lián)(例如，各個(gè)單獨(dú)的視頻幀或半幀)。方向信息描述在各個(gè)單獨(dú)的視頻圖像的捕捉期間，智能電話的方向。方向信息能與視頻圖像一起保存在一文件中，或被保存在單獨(dú)的關(guān)聯(lián)文件(例如，包括將各個(gè)被捕捉的方向信息值(諸如ax、ay以及az值)集合與它們對(duì)應(yīng)的視頻圖像關(guān)聯(lián)的信息)中。除了保存視頻圖像和方向信息之外，或者作為其替代，能將視頻圖像和方向信息從智能電話流傳輸?shù)揭粋€(gè)或多個(gè)目的地(例如，到網(wǎng)絡(luò)服務(wù)器用于存儲(chǔ)或到另一設(shè)備用于顯示)。在一具體的實(shí)現(xiàn)中，使用實(shí)時(shí)傳輸協(xié)議(RTP)來流傳輸視頻圖像和方向信息。具
權(quán)利要求
1.一種至少部分地由計(jì)算設(shè)備實(shí)現(xiàn)的用于捕捉并處理視頻數(shù)據(jù)的方法，所述方法包括為多個(gè)視頻圖像中的每一個(gè)通過所述計(jì)算設(shè)備獲得在捕捉所述視頻圖像時(shí)所述計(jì)算設(shè)備的方向信息(110)，其中所述計(jì)算設(shè)備包括三軸加速計(jì)，并且其中所述方向信息是從所述三軸加速計(jì)獲得的； 通過所述計(jì)算設(shè)備基于所述方向信息來調(diào)整被捕捉的視頻圖像(120)；以及通過所述計(jì)算設(shè)備輸出以供顯示經(jīng)調(diào)整的被捕捉的視頻圖像(130)。
2.如權(quán)利要求1所述的方法，其中所述方向信息包括 表示沿著所述計(jì)算設(shè)備的χ-軸的加速度的第一值； 表示沿著所述計(jì)算設(shè)備的y_軸的加速度的第二值；以及表示沿著所述計(jì)算設(shè)備的ζ-軸的加速度的第三值。
3.如權(quán)利要求1所述的方法，其中基于方向信息調(diào)整被捕捉的視頻圖像包括補(bǔ)償所獲得的被捕捉的視頻圖像的方向信息與參考方向之間的差異。
4.如權(quán)利要求1所述的方法，其中基于方向信息調(diào)整被捕捉的視頻圖像包括 使用被捕捉的視頻圖像的所述方向信息來計(jì)算第一平面內(nèi)的旋轉(zhuǎn)角度；確定所計(jì)算的第一平面內(nèi)的旋轉(zhuǎn)角度與第一平面內(nèi)參考旋轉(zhuǎn)角度之間的旋轉(zhuǎn)角度上的差異；以及調(diào)整被捕捉的視頻圖像以補(bǔ)償旋轉(zhuǎn)角度上的差異。
5.如權(quán)利要求1所述的方法，其中基于方向信息調(diào)整被捕捉的視頻圖像包括 使用被捕捉的視頻圖像的所述方向信息來計(jì)算第一平面內(nèi)的旋轉(zhuǎn)角度；使用被捕捉的視頻圖像的所述方向信息來計(jì)算第二平面內(nèi)的旋轉(zhuǎn)角度，其中第一平面與第二平面不同；確定所計(jì)算的第一平面內(nèi)的旋轉(zhuǎn)角度與第一平面內(nèi)參考旋轉(zhuǎn)角度之間的旋轉(zhuǎn)角度上的差異；確定所計(jì)算的第二平面內(nèi)的旋轉(zhuǎn)角度與第二平面內(nèi)參考旋轉(zhuǎn)角度之間的旋轉(zhuǎn)角度上的差異；以及調(diào)整被捕捉的視頻圖像以補(bǔ)償?shù)谝黄矫鎯?nèi)旋轉(zhuǎn)角度上的差異以及第二平面內(nèi)旋轉(zhuǎn)角度上的差異。
6.如權(quán)利要求1所述的方法，其中為所述多個(gè)視頻圖像中的每一個(gè)，在通過所述計(jì)算設(shè)備記錄所述多個(gè)視頻圖像期間實(shí)時(shí)地執(zhí)行所述獲得、所述調(diào)整以及所述顯示。
7.如權(quán)利要求1所述的方法，其特征在于，還包括 為所述多個(gè)視頻圖像中的每一個(gè)通過所述計(jì)算設(shè)備存儲(chǔ)經(jīng)調(diào)整的被捕捉的視頻圖像。
8.如權(quán)利要求7所述的方法，其特征在于，還包括 為所述多個(gè)視頻圖像中的每一個(gè)通過所述計(jì)算設(shè)備存儲(chǔ)與所存儲(chǔ)的經(jīng)調(diào)整的被捕捉的視頻圖像關(guān)聯(lián)的方向信息，其中所述方向信息被存儲(chǔ)為表示沿著所述計(jì)算設(shè)備的軸的加速度的多個(gè)值或被存儲(chǔ)為所述計(jì)算設(shè)備的多個(gè)旋轉(zhuǎn)角度。
9.一種具有用于使得所述計(jì)算設(shè)備被編程從而執(zhí)行權(quán)利要求1-8中任意一項(xiàng)的方法的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)。
10.一種用于捕捉并處理視頻數(shù)據(jù)的移動(dòng)設(shè)備G10)，所述移動(dòng)設(shè)備包括 加速計(jì)G50)；存儲(chǔ)(430)； 數(shù)字相機(jī)G60)；以及處理單元G10)，所述處理被配置以執(zhí)行操作包括 為多個(gè)視頻圖像中的每一個(gè)通過所述處理單元從所述加速計(jì)獲得所述移動(dòng)設(shè)備的方向信息O10)，所述方向信息指示在捕捉視頻圖像時(shí)所述移動(dòng)設(shè)備的方向；通過所述處理單元將被捕捉的視頻圖像和所述方向信息存儲(chǔ)在存儲(chǔ)中O20)，其中所述方向信息與其相應(yīng)的被捕捉的視頻圖像相關(guān)聯(lián)。
11.如權(quán)利要求10所述的移動(dòng)設(shè)備，其中多個(gè)被捕捉的視頻圖像存儲(chǔ)在第一數(shù)據(jù)文件中，并且其中所述方向信息被存儲(chǔ)在不同于所述第一數(shù)據(jù)文件的第二數(shù)據(jù)文件中。
12.如權(quán)利要求10所述的移動(dòng)設(shè)備，其中所述加速計(jì)是三軸加速計(jì)，其中多個(gè)被捕捉的視頻圖像以及所述方向信息被存儲(chǔ)在相同的數(shù)據(jù)文件中，并且其中所述方向信息被存儲(chǔ)為表示沿著計(jì)算設(shè)備的軸的加速的多個(gè)值或被存儲(chǔ)為所述計(jì)算設(shè)備的多個(gè)旋轉(zhuǎn)角度。
13.如權(quán)利要求10所述的移動(dòng)設(shè)備，其特征在于，還包括 為所述多個(gè)視頻圖像中的每一個(gè)將所獲得的方向信息和被捕捉的視頻圖像從所述移動(dòng)設(shè)備流傳輸?shù)骄W(wǎng)絡(luò)服務(wù)器。
14.如權(quán)利要求10所述的移動(dòng)設(shè)備，其特征在于，還包括 為所述多個(gè)視頻圖像中的每一個(gè)通過所述移動(dòng)設(shè)備基于所述方向信息來調(diào)整被捕捉的視頻圖像；以及將經(jīng)調(diào)整的被捕捉的視頻圖像從所述移動(dòng)設(shè)備流傳輸?shù)骄W(wǎng)絡(luò)服務(wù)器。
15.如權(quán)利要求10所述的移動(dòng)設(shè)備，其中所述加速計(jì)是三軸加速計(jì)，并且其中所述方向信息包括表示沿著所述移動(dòng)設(shè)備的χ-軸的加速度的第一值； 表示沿著所述移動(dòng)設(shè)備的y-軸的加速度的第二值；以及表示沿著所述移動(dòng)設(shè)備的Z-軸的加速度的第三值。
全文摘要
描述了使用加速計(jì)信息來確定圖片和視頻圖像的方向。諸如移動(dòng)設(shè)備等的計(jì)算設(shè)備能使用數(shù)字相機(jī)捕捉圖片或視頻圖像并使用加速計(jì)獲得關(guān)聯(lián)的方向信息。方向信息能被用以調(diào)整被捕捉的圖片或視頻圖像中的一個(gè)或多個(gè)以補(bǔ)償一個(gè)或多個(gè)旋轉(zhuǎn)平面內(nèi)的旋轉(zhuǎn)。方向信息能與被捕捉的圖片或視頻圖像一起保存。方向信息也能與被捕捉的圖片或視頻圖像一起傳送或流化。能使用已經(jīng)通過使用方向信息調(diào)整的圖片或視頻圖像來執(zhí)行圖像匹配操作。
文檔編號(hào)G01P13/02GK102314679SQ201110079470
公開日2012年1月11日 申請(qǐng)日期2011年3月21日 優(yōu)先權(quán)日2010年3月22日
發(fā)明者A·E·阿拉巴懷, A·卡赫爾, M·厄爾-薩班, M·巴拉迪, M·里法特 申請(qǐng)人:微軟公司