專利名稱：根據(jù)單個相機和運動傳感器的3d信息推導的制作方法
根據(jù)單個相機和運動傳感器的3D信息推導 ^^隨著手持電子設備技術的改進，各種類型的功能被組合到單個設備，且這些設 備的形狀因數(shù)變小。這些設備可具有大規(guī)模的處理能力、虛擬鍵盤、用于蜂窩電話和因 特網(wǎng)服務的無線連接性以及相機等。相機尤其成為流行的附件，但包括在這些設備中的 相機通常限于低分辨率快照和短視頻序列。這些設備的小尺寸、輕重量和便攜性要求阻 止了相機的許多更復雜用途被包括于其中。例如，可通過從物理上分離的位置獲取同一 物體的兩張照片、由此給出同一場景的略微不同的視覺透視圖來實現(xiàn)3D照相術。用于這 種立體成像算法的技術通常需要精確知曉獲取兩張照片的兩個位置的相對幾何條件。具 體地，分離兩個相機的距離和光軸的會聚角是從圖像提取深度信息時的必要信息。常規(guī) 技術一般要求兩個相機相對于彼此從嚴格固定的位置同時獲取照片，這會需要昂貴且笨 重的設置。這種方法對于小型且相對便宜的手持設備是不實用的。附圖簡述通過參照以下描述和用于示出本發(fā)明的實施例的附圖可以理解本發(fā)明的一些實 施例。在附圖中

圖1示出根據(jù)本發(fā)明的實施例的具有內置相機的多功能手持用戶設備。圖2A和2B示出根據(jù)本發(fā)明的實施例用于參照線性運動和角運動的框架。圖3示出根據(jù)本發(fā)明的實施例從不同位置在不同時間獲取同一物體的兩張照片 的相機。圖4示出根據(jù)本發(fā)明的實施例描繪在偏心位置中的物體的圖像。圖5示出根據(jù)本發(fā)明的實施例利用單個相機提供物體的3D信息的方法的流程 圖。詳細描述在以下描述中，陳述了眾多特定細節(jié)。然而，應該理解本發(fā)明的實施例可在沒 有這些特定細節(jié)的情況下實施。在其它情況下，沒有詳細示出公知的電路、結構和技 術，以免使本說明書的理解困難。對“一個實施例”、“實施例”、“示例實施例”、“各實施例”等的引用指 示所述的本發(fā)明的實施例可包括特定的特征、結構或特性，但并非每個實施例都必需包 括該特定的特征、結構或特性。此外，一些實施例可具有關于其它實施例描述的特征中 的一些、全部或不具有這些特征。在以下描述和權利要求書中，可使用術語“耦合”和“連接”及其衍生詞。應 該理解這些術語并非旨在指彼此同義。相反，在特定實施例中，“連接”用于指示兩個 或多個元件相互直接物理或電接觸?！榜詈稀庇糜谥甘緝蓚€或多個元件彼此合作或相互 作用，但它們可能或可能不直接物理或電接觸。如權利要求中所使用，除非明確說明，否則用于描述普通元件的序數(shù)詞“第 一”、“第二”、“第三”等僅僅指示參照類似元件的不同實例，且不旨在暗示如此描 述的這些元件必須在時間、空間、按等級或按任意其它方式在給定序列中。
3
本發(fā)明的各實施例可以硬件、固件、軟件中的一個或其任意組合實現(xiàn)。本發(fā)明 還可被實現(xiàn)為包含在機器可讀介質內或之上的指令，其可由一個或多個處理器讀取和執(zhí) 行以實現(xiàn)本文所述的操作的執(zhí)行。計算機可讀介質可包括用于按由一個或多個計算機可 讀形式存儲信息的任意機構。例如，計算機可讀介質可包括有形存儲介質，諸如但不限 于只讀存儲器(ROM)；隨機存取存儲器(RAM)；磁盤存儲媒體；光存儲媒體；閃存設 備等。本發(fā)明的各實施例通過在不同時間從不同位置獲取同一一般場景的兩張照片， 將相機移動到照片之間的不同位置來使單個相機能導出一個或多個物體的三維(3D)信 息。線性運動傳感器可用于確定相機已經(jīng)在照片之間移動多遠，由此提供用于分離距離 的基線。角運動傳感器可用于確定相機方向的變化，由此提供所需的會聚角。盡管這種 位置和角信息可能不會像兩個固定安裝的相機可能做到的那樣準確，但該準確度足夠用 于很多應用，且對于那種更笨重方法，成本和尺寸的減小可能是相當大的。各種形式的運動傳感器是可用的。例如，彼此處于正交角的三維線性運動加速 度計可提供三維空間中的加速度信息，該信息可轉換成三維空間中的線性運動信息，進 而可轉換成三維空間中的位置信息。類似地，角運動加速度計可提供關于三個正交軸的 旋轉加速度信息，該信息可轉換成三維空間中角方向的變化?？墒咕哂泻侠頊蚀_度的 加速度計相當便宜且具有緊湊的形狀因數(shù)，尤其是當它們僅需要在短時間段上提供測量 時。可按各種方式使用從兩張照片導出的信息，諸如但不限于1)可確定場景中一個或多個物體的相機至物體距離。2)多個物體的相機至物體距離可用于導出分層描述和物體距離相機的相對距離 和/或物體彼此間的相對距離。3)通過獲取周圍區(qū)域的一系列照片，可自動構造整個區(qū)域的3D地圖。取決于 線和角測量設備的長期準確度，這可使地理上廣大的區(qū)域的地圖能夠簡單地通過移動通 過該區(qū)域并獲取照片來制作，只要每張照片具有至少一個物體與至少一張其它照片相同 即可，從而可進行適當?shù)娜菧y量計算。圖1示出根據(jù)本發(fā)明的實施例的具有內置相機的多功能手持用戶設備。示出設 備110具有顯示器120和相機鏡頭130。相機的其余部分以及處理器、存儲器、無線電 和其它硬件和軟件功能可包含在該設備中且在該圖中不可見。用于確定運動和方向的設 備——包括機械組件、電路和軟件——可在實際相機之外，但物理地且電子地耦合到該 相機。盡管所示的設備110被描述為具有特定形狀、比例和外觀，但這僅僅是實例，且 本發(fā)明的實施例可能不限于該特定的物理構造。在一些實施例中，設備110可以主要是 相機設備，而沒有很多附加功能。在一些實施例中，設備110可以是多功能設備，且很 多其它功能與相機無關。為了便于說明，將顯示器120和相機鏡頭130示出在設備的同 一側，但在很多實施例中，鏡頭在設備上與顯示器相對的一側上，從而顯示器可充當用 戶的取景器。圖2A和2B示出根據(jù)本發(fā)明的實施例用于參照線性運動和角運動的框架。假設 三個相互垂直的軸X、Y和Z，圖2A示出如何將線性運動描述為沿各個軸的線性向量， 而圖2B示出如何將角運動描述為關于每個軸的旋轉。這六個運動度合起來可描述三維
4空間中諸如相機之類的物體的任何位置或旋轉運動。然而，當與周圍區(qū)域的XYZ框架相 比較時，關于相機的XYZ框架可改變。例如，如果諸如加速度計之類的運動傳感器固定 地安裝到相機上，則為這些傳感器提供基準的XYZ軸將來自相機的基準點，且XYZ軸將 隨相機旋轉而旋轉。但是如果所需的運動信息是關于諸如地球之類的相機外部的固定基 準的運動，則變化的內部XYZ基準可能需要轉換成相對固定的外部XYZ基準。幸運的 是，用于這一轉換的算法是已知的，且此處將不會進一步詳細描述。一種用于測量運動的技術是使用相對于相機以固定定向耦合到相機的加速度 計。當相機從一個位置運動到另一個位置時，各自的測量軸與三個軸X、Y和Z中不同 的一個軸平行的三個線性加速度計可檢測三維中的線性加速度。假設相機的初速度和位 置是已知的(諸如在已知位置處從靜止開始)，由加速度計檢測到的加速度可用于計算沿 每個軸的速度，該速度進而可用于及時計算給定點處位置的變化。因為可將重力檢測為 垂直方向的加速度，所以這可從計算中減去。如果相機在測量期間不處于水平位置，則 X和/或Y加速度計可檢測重力分量，且這也可從計算中減去。類似地，與線性運動無關，各自的旋轉軸平行于三個軸X、Y和Z的三個角加速 度計可用于檢測三維中相機的旋轉加速度(即，相機可旋轉到任何方向上的點)。這可轉 換成角速度然后是角位置。因為測量加速度時的微小誤差可導致速度和位置的連續(xù)增加的誤差，所以加速 度計的周期校準可能是必需的。例如，如果假設在獲取第一照片時相機是靜止的，則可 假設恰好在該點處的加速度計讀數(shù)表示靜止相機，且僅將從這些讀數(shù)的變化解釋為運動 的指示?？蓪⑵渌夹g用于檢測運動。例如，全球定位系統(tǒng)(GPS)可用于在任何給定 時間相對于地球坐標定位相機，因此可直接確定不同照片的位置信息。電子羅盤可用于 確定相機在任何給定時間同樣相對于地球坐標所指向的方向，且可從羅盤直接確定不同 照片的光軸的方向信息。在一些實施例中，在獲取照片時需要用戶盡最其大努力使相機 水平(例如，可在相機上提供氣泡水平儀或來自電子傾斜傳感器的指示)，以將線性傳感 器的數(shù)量減少到二(X和Y水平傳感器)并將方向傳感器的數(shù)量減少到一(圍繞垂直Z 軸)。如果使用電子傾斜傳感器，則可向相機提供水平信息，以防止在相機不水平時獲 取照片，或者在獲取照片時提供校正信息以補償非水平相機。在一些實施例中，可將位 置和/或方向信息從外部源輸入到相機，諸如通過用戶或通過本文檔范圍以外的方法確 定該信息并將該信息無線發(fā)射到相機的運動檢測系統(tǒng)的本地定位器系統(tǒng)。在一些實施例 中，可提供可視指示符以幫助用戶按正確方向旋轉相機。例如，在觀察屏幕中的指示符 (例如，箭頭、圓圈、偏斜盒等)可向用戶顯示向哪個方向旋轉相機(左右和/或上下)以 便在第二照片中視覺上獲取期望的物體。在一些實施例中，可使用各種技術的組合(例 如，用于線性運動的GPS坐標和用于旋轉運動的角加速度計)。在一些實施例中，相機 可將這些技術中的多種用于該相機，且用戶或相機可自動地或通過手動選擇從可用技術 中進行選擇和/或可按各種方式組合多種技術。圖3示出根據(jù)本發(fā)明的實施例從不同位置在不同時間獲取同一物體的兩張照片 的相機。在所示實例中，在相機的光軸(即，相機指向的方向，等價于照片的中心)指向 方向1的情況下，相機30獲取物體A和B的第一照片。用虛線示出物體A和B相對于光軸的方向。在將相機30移動到第二位置之后，在相機的光軸指向第二方向的情況下， 相機30獲取物體A和B的第二照片。如圖中所指示的，相機可沿某種間接路徑在第一 和第二位置之間移動。在最終計算中重要的是實際的第一和第二位置，而非它們之間隨 行的路徑，但在一些實施例中，復雜的路徑可使確定第二位置的過程變復雜。正如能夠看到的，在該示例中，物體都不直接處于照片的中心，但可基于相機 的光軸和物體相對于該光軸出現(xiàn)在照片中的位置來計算從相機至每個對象的方向。圖4 示出根據(jù)本發(fā)明的實施例描繪在偏心位置中的物體的圖像。如圖4所指示的，相機的光 軸將處于所獲取的任何照片的圖像的中心。如果物體A離心地位于圖像中，圖像中光軸 和該物體位置之間的水平差‘d’可容易地轉換成與光軸的角度差，不管物體距離相機的 物理距離如何這都應該是相同的。尺寸‘d’示出水平差，但如果需要的話，還可按類 似方式確定垂直差。因此，可通過獲取相機指向的方向并基于照片中物體的布置調節(jié)該方向，以計 算從每個相機位置至每個物體的方向。假設在該描述中相機將相同視場用于兩張照片 (例如，在第一照片和第二照片之間沒有縮放)，從而在兩張照片的圖像中的相同位置將 提供相同的角度差。如果使用不同的視場，則需要使用不同的轉換值來計算每張照片的 角度差。但如果物體在兩張照片中都與光軸對齊，則可以不需要偏心計算。在這種情形 中，第一和第二照片之間的光學縮放是可以接受的，因此不管視場如何光軸都是相同的。代替本文檔的其它位置描述的特征或除這些特征之外，各實施例還可具有其它 特征。例如，在一些實施例中，如果相機不水平和/或不穩(wěn)定，則相機可不允許獲取照 片。在一些實施例中，一旦用戶將相機移動到附近的第二位置并且相機水平且穩(wěn)定，則 相機可自動獲取第二照片。在一些實施例中，在移動到第二位置并獲取相同物體的以 物體為中心的照片之前，可在每個位置獲取若干不同的照片，每張照片以不同物體為中 心。同一物體的每對照片可按如關于兩張照片所述的相同方式被處理。基于從相機至每個物體的位置變化和方向變化，可針對物體A和B中的每一個 計算各種3D信息。在圖中，第二相機位置比第一位置更接近物體，且還可計算該差值。 在一些實施例中，如果物體在一張照片中呈現(xiàn)出與另一張照片不同的尺寸，則相對尺寸 可有助于計算距離信息或至少相對的距離信息。還可基于可用信息計算其它幾何關系。圖5示出根據(jù)本發(fā)明的實施例利用單個相機提供物體的3D信息的方法的流程 圖。在流程圖500中，在一些實施例中，在510，可以根據(jù)需要通過校準位置和方向傳感 器開始過程。在520，如果運動感測通過加速度計來執(zhí)行，則可能需要剛好在獲取第一照 片之前、剛好之后或與之同時對第一位置建立零速度讀數(shù)。如果不需要校準，則可跳過 操作510，并且在520通過獲取第一照片開始過程。然后在530，相機移動到第二位置， 在該位置獲取第二照片。取決于所使用的傳感器的類型，在540，可在運動期間監(jiān)視并計 算線性和/或旋轉運動(例如，對于加速度計)，或者可在獲取第二照片的時候簡單地確 定第二位置/方向(例如，對于GPS和/或羅盤讀數(shù))。在550，獲取第二照片?；?位置信息的變化和方向信息的變化，在560，可計算各種類型的3D信息，且可將該信息 用于各種用途。上述描述旨在說明性而非限制性。本領域的技術人員將想到變形。這些變形旨 在包括在僅由所附權利要求的范圍限制的本發(fā)明的各實施例中。
權利要求
1.一種用于獲取和處理照片的裝置，包括相機，用于在第一時間從第一位置獲取物體的第一照片，且用于在第二時間從第二 位置獲取所述物體的第二照片；耦合到所述相機的運動測量設備，所述運動測量設備用于確定對于所述第一和第 二照片所述相機角方向的變化以及在所述第一和第二位置之間所述相機的線性位置的變 化；以及處理設備，用于基于所述角方向的變化和所述線性位置的變化確定與所述相機有關 的所述物體的三維信息。
2.如權利要求1所述的裝置，其特征在于，所述運動測量設備包括線性加速度計。
3.如權利要求1所述的裝置，其特征在于，所述運動測量設備包括至少一個角加速度計。
4.如權利要求1所述的裝置，其特征在于，所述運動測量設備包括用于確定所述第一 和第二位置之間的線性距離的全球定位系統(tǒng)。
5.如權利要求1所述的裝置，其特征在于，所述運動測量設備包括用于確定所述第一 和第二照片之間所述相機的角方向變化的方向羅盤。
6.—種用于獲取和處理照片的方法，包括在第一時間從第一位置利用相機獲取物體的第一照片；將所述相機從所述第一位置移動到第二位置；在第二時間從所述第二位置利用所述相機獲取所述物體的第二照片；以及通過耦合到所述相機的電子設備確定所述第一和第二位置之間的線性距離和所述第 一和第二時間之間所述相機的光軸的角度變化。
7.如權利要求6所述的方法，其特征在于，還包括基于所述線性距離和所述角度變化 確定所述物體相對于所述第一和第二位置的位置。
8.如權利要求6所述的方法，其特征在于，所述確定包括沿多個垂直軸測量加速度以確定所述線性距離；以及測量圍繞至少一個旋轉軸的角加速度以確定角度變化。
9.如權利要求6所述的方法，其特征在于，所述確定包括在獲取所述第一照片之前第 一次使所述相機水平，以及在獲取所述第二照片之前第二次使所述相機水平。
10.如權利要求6所述的方法，其特征在于，所述確定角度變化包括部分地基于所述 物體在所述第一照片中的位置確定對于所述第一照片所述物體的角方向，以及部分地基 于所述物體在所述第二照片中的位置確定對于所述第二照片所述物體的角方向。
11.如權利要求6所述的方法，其特征在于，所述確定所述線性距離包括使用全球定 位系統(tǒng)確定所述第一和第二位置。
12.如權利要求6所述的方法，其特征在于，所述確定所述角度變化包括使用羅盤確 定在所述第一時間和所述第二時間所述光軸的方向。
13.一種計算機系統(tǒng)，包含用于執(zhí)行權利要求6-12的操作的裝置。
全文摘要
本申請涉及根據(jù)單個相機和運動傳感器的3D信息推導。在各實施例中，相機從兩個不同的相機位置獲取至少一個物體的照片。耦合到相機的測量設備測量相機從一個位置至另一個位置的位置變化和方向變化，并且根據(jù)該信息且在一些實施例中根據(jù)照片中的圖像導出關于物體的三維信息。
文檔編號G03B35/02GK102012625SQ20101020862
公開日2011年4月13日 申請日期2010年6月13日 優(yōu)先權日2009年6月16日
發(fā)明者C·B·霍普 申請人:英特爾公司