專利名稱：改進的掃描傳感器陣列的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像捕捉技術(shù)，尤其涉及改進的掃描傳感器陣列。
背景技術(shù)：
圖像捕捉設(shè)備可被分類為通過全局快門或捕捉技術(shù)或者掃描技術(shù)來捕捉圖像。諸如由電荷耦合器件執(zhí)行的全局捕捉技術(shù)通過在同一時間感測圖像的數(shù)據(jù)陣列來捕捉整體圖像。捕捉圖像或圖像數(shù)據(jù)意味著接收光并存儲表示接收到的光的圖像數(shù)據(jù)。雖然全局捕捉技術(shù)避免運動失真?zhèn)蜗瘢且粋€缺點在于，需要聚光像素來保持其值直至其已被讀出， 這會導(dǎo)致與使用掃描技術(shù)的傳感器相比的增加的刷新時間段以及由此的減小的刷新速率。 此外，對于每個像素，需要增大的半導(dǎo)體面積用于第二電荷存儲元件，以使得像素電荷可盡可能快地被卸載。后者是隔行CCD所采用的原理，這意味著其具有大致雙倍面積懲罰。一些圖像捕捉設(shè)備使用掃描傳感器。掃描傳感器的一個示例是在像視頻相機之類的消費電子產(chǎn)品中找到的典型互補金屬氧化物半導(dǎo)體(CM0Q傳感器設(shè)備。CMOS傳感器使用在不同的時間捕捉圖像數(shù)據(jù)幀的不同部分的滾動快門(rolling shutter)或捕捉技術(shù)。 隔行CMOS傳感器包括平行光敏像素線及其附隨的存儲電路。連續(xù)線的曝光會具有顯著重疊。例如，在30Hz的刷新速率下，對于每條線，會有30ms的曝光窗，這導(dǎo)致幾乎所有線在同一幀中同時被活躍地曝光。然而，對線的讀出被串行化或是滾動的(即，每次一條線)。在對線進行讀出時，將在稍后被讀出的相鄰線仍在對隨時間而改變的場景進行捕捉(意味著接收和存儲光)，因此導(dǎo)致空間和時間的不連續(xù)性。在掃描傳感器的另一示例中，外部快門可與CMOS傳感器聯(lián)用，并且快門可在幀期間在遍歷方向上接連地控制用于圖像數(shù)據(jù)的捕捉的每條像素線的曝光，而同時阻擋其他線。因而，這些線在不同的時間點捕捉圖像幀的不同部分，從而實際上在幀中“滾動”。滾動快門或滾動捕捉技術(shù)在刷新速率方面提供了優(yōu)點，因為讀出是連續(xù)的，并且由于不需要附加存儲像素，因而半導(dǎo)體面積可以較小。掃描傳感器的其他示例包括用在模擬陰極射線管(CRT)系統(tǒng)、激光掃描儀、以及其中光束按相繼方式激活傳感器的光敏區(qū)的其他系統(tǒng)中的圖像傳感器。按掃描模式來掃描圖像傳感器。掃描模式的示例是光柵掃描次序或光柵次序。例如，模擬陰極射線管(CRT) 具有光束在水平線上跨其移動的圖像傳感器以及生成表示圖像的模擬信號的圖像傳感器。 在使用光柵掃描技術(shù)的數(shù)字系統(tǒng)中，圖像傳感器可包括按掃描模式激活的像素。如以上提及的，掃描或滾動技術(shù)中捕捉的時間差引入圖像偽像，尤其在圖像對象正在移動時。照明差異、歪斜、和抖動都是公知的歸因于幀期間的捕捉時間差的偽像。具有圖像傳感器或圖像傳感器陣列的多個圖像捕捉設(shè)備可被用于捕捉場景，常常用于通過使區(qū)域中的每個傳感器聚焦在較小的視場上來提供較大的總體視場或者改進總體分辨率或刷新速率。至少兩個圖像傳感器的視場(FOV)可重疊。例如，傳感器的第一 FOV 可使其底邊與其他傳感器的第二 FOV的頂部相重疊。來自兩個傳感器的圖像可被縫合在一起以產(chǎn)生合成圖像。然而，當(dāng)傳感器是通過諸如滾動捕捉(在此示例中為垂直連續(xù))之類的掃描技術(shù)操作時，第一和第二傳感器同時自頂向下地掃描其相應(yīng)的圖像。因而，聚焦在場景的底部的傳感器在幀的開始處捕捉重疊邊界區(qū)域中的行，而聚焦在場景的頂部的傳感器在幀的結(jié)束處捕捉重疊邊界區(qū)域中的行。在幀中存在可能移動的圖像的情況中，偽像還使得將圖像數(shù)據(jù)中來自第一和第二圖像傳感器的重疊區(qū)域縫合在一起變得復(fù)雜。

發(fā)明內(nèi)容
提供了通過圖像傳感器陣列使用掃描技術(shù)來進行圖像捕捉和圖像處理的技術(shù)。掃描技術(shù)的示例是滾動捕捉技術(shù)。術(shù)語滾動快門技術(shù)有時被使用，并且此技術(shù)是一種滾動捕捉技術(shù)。圖像傳感器陣列被布置成覆蓋視場，其中每個傳感器具有視場段，該視場段與由另一圖像傳感器覆蓋的視場段相鄰。每個視場段(FOV)共享重疊區(qū)域。在一個實施例中，多個圖像傳感器包括第一圖像傳感器和第二圖像傳感器，該第一圖像傳感器和第二圖像傳感器覆蓋共享第一重疊區(qū)域的相鄰FOV段。圖像傳感器中的每一個包括相應(yīng)的光敏元件集，該光敏元件集被遍歷以便在其相應(yīng)的光敏元件集的遍歷方向上捕捉圖像數(shù)據(jù)。第一和第二圖像傳感器在相同的重疊時間段期間在第一重疊區(qū)域中捕捉圖像數(shù)據(jù)，在該相同的重疊時間段期間，第一和第二圖像傳感器使用它們的相應(yīng)的光敏元件集的相反的遍歷方向。這種在相反方向上的遍歷提供了由不同的圖像傳感器在重疊區(qū)域中捕捉的數(shù)據(jù)之間的更緊密的空間和時間關(guān)系。更緊密的空間和時間關(guān)系減少了重疊邊界處的偽像效應(yīng)，由此減少縫合時間和復(fù)雜度。所捕捉的圖像段被縫合在一起以形成合成幀圖像或場景。在必要時，對重疊區(qū)域中的圖像數(shù)據(jù)執(zhí)行諸如糾錯技術(shù)之類的用于偽像減少的圖像處理技術(shù)以及混合技術(shù)，以改進圖像質(zhì)量。這些技術(shù)可使用來自相鄰視場段的重疊區(qū)域的圖像數(shù)據(jù)。提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下的具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。附圖簡述參照附圖進一步描述了用于對使用根據(jù)本說明書的掃描技術(shù)捕捉的圖像數(shù)據(jù)進行圖像處理的技術(shù)。

圖1示出了目標(biāo)識別、分析，及跟蹤系統(tǒng)的示例實施例，其中用戶參與到游戲中。圖2示出了可以在目標(biāo)識別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實施例。圖3是用于將捕捉設(shè)備初始化到彼此和場景的過程的高層流程圖。圖4示意性示出了由一個或多個捕捉設(shè)備中的圖像傳感器捕捉到的重疊FOV段的安排的示例。圖5示出了在使用滾動捕捉技術(shù)捕捉的重疊區(qū)域中的圖像處理的方法實施例。圖6示出了在分開的垂直相鄰的FOV段中表示的重疊區(qū)域的示例。圖7示出了縫合相鄰FOV段之間的重疊區(qū)域中的圖像數(shù)據(jù)的方法實施例。圖8A示出了可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢的計算環(huán)境的示例實施例。圖8B示出了可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢的計算環(huán)境的另一示例實施例。
具體實施例方式以下附圖示出了用于圖像捕捉和圖像處理的技術(shù)或者其中可使用該技術(shù)的示例性系統(tǒng)的實施例的示例。圖像捕捉系統(tǒng)可包括一個相機單元內(nèi)的一個或多個圖像傳感器， 或者圖像傳感器可以處在不同的相機單元中，這些不同的相機單元被定位成使得所有圖像傳感器一起獲得合成場景。每個個體傳感器可捕捉場景的一部分——在本文中稱為視場段 (FOV)。如以下所解釋的，不同的圖像傳感器可按不同的配置來布置，但是捕捉相鄰視場段的圖像傳感器共享重疊區(qū)域，在該重疊區(qū)域中，兩個視場段覆蓋場景的相同的空間區(qū)域。如以下參照附圖所描述的，具有相鄰FOV段的至少兩個圖像傳感器在相同的重疊時間段期間在重疊區(qū)域中捕捉圖像數(shù)據(jù)，在該相同的重疊時間段期間，這兩個圖像傳感器在相反的方向上遍歷其光敏元件。如以下所示的，結(jié)果是與如背景中所討論的兩個圖像傳感器在相同方向上遍歷或滾動相比，重疊區(qū)域具有這樣的數(shù)據(jù)——該數(shù)據(jù)在FOV段之間具有更緊密的時間關(guān)系。此外，由于更緊密的時間關(guān)系，因此在FOV段中捕捉的場景主體或內(nèi)容也將更緊密。換言之，重疊區(qū)域中的移動主體將由第一和第二圖像傳感器在幾乎相同的時間下捕捉，因此這些FOV段中的主體的空間相關(guān)性得以改善。因而，將存在較少的歸因于運動的不連續(xù)性或偽像，或者它們將是較小的數(shù)量。最初參考圖1，用于實現(xiàn)本發(fā)明的技術(shù)的硬件包括目標(biāo)識別、分析和跟蹤系統(tǒng)10， 該系統(tǒng)可用于識別、分析和/或跟蹤諸如用戶18等一個或多個人類目標(biāo)。目標(biāo)識別、分析和跟蹤系統(tǒng)10的實施例包括用于執(zhí)行游戲或其他應(yīng)用的計算環(huán)境12。計算環(huán)境12可以包括硬件組件和/或軟件組件，使得計算系統(tǒng)12可以用于執(zhí)行諸如游戲應(yīng)用和非游戲應(yīng)用之類的應(yīng)用。在一個實施例中，計算環(huán)境12可以包括諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等之類的處理器，該處理器可以執(zhí)行存儲在處理器可讀存儲設(shè)備上的用于執(zhí)行在此所述的過程的指令。系統(tǒng)10還包括一個或多個捕捉設(shè)備20，用于捕捉與一個或多個用戶有關(guān)的圖像數(shù)據(jù)和/或由捕捉設(shè)備感測到的對象。圖1示出了一對捕捉設(shè)備20a和20b。在各實施例中，捕捉設(shè)備20可以用于捕捉與一個或多個用戶的運動和姿勢相關(guān)的信息，所述信息被計算環(huán)境接收并且被用于呈現(xiàn)游戲或其他應(yīng)用的方面、與所述方面交互和/或控制所述方面。下面更詳細地解釋計算環(huán)境12和捕捉設(shè)備20的示例。目標(biāo)識別、分析和跟蹤系統(tǒng)10的實施例可以連接到具有顯示14的音頻/視覺設(shè)備16。設(shè)備16例如可以是可以向用戶提供游戲或應(yīng)用視覺和/或音頻的電視機、監(jiān)視器、 高清電視機(HDTV)等等。例如，計算環(huán)境12可以包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供與游戲應(yīng)用或其他應(yīng)用相關(guān)聯(lián)的音頻/視覺信號。音頻/視覺設(shè)備16可以從計算環(huán)境12接收音頻/視覺信號，并且然后可以向用戶18輸出與該音頻/視覺信號相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個實施例，音頻/視覺設(shè)備16可以通過例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜等等連接到計算環(huán)境12。圖1示出了其中用戶18a和18b參與到英式足球的游戲中的示例實施例。在該示例中，計算環(huán)境12可以使用視聽顯示14來提供以由相應(yīng)用戶18a和18b控制的英式足球運動員形式的兩個化身19a和19b的視覺表示。在各實施例中，化身19模仿對應(yīng)的用戶18在現(xiàn)實世界空間中的運動，使得用戶18可以執(zhí)行控制化身19在顯示器14上的運動和動作的運動和姿勢。用戶18可以在物理空間中移動或執(zhí)行踢運動以致使其相關(guān)聯(lián)的運動員化身19在游戲空間中移動或踢足球。圖1示出了使用捕捉設(shè)備20a和/或20b內(nèi)的不同的相機單元來在自然用戶接口 (NUI)系統(tǒng)中獲得較寬的視場的示例，在該自然用戶接口系統(tǒng)中，用戶的移動控制諸如游戲或其他多媒體應(yīng)用之類的軟件應(yīng)用。多個捕捉設(shè)備可被用于增大玩?？臻g或場景的大小。 如此處所使用的，場景是由捕捉設(shè)備20的圖像傳感器捕捉到的聚集區(qū)域。玩耍空間是由捕捉設(shè)備20在運行在計算環(huán)境12上的游戲應(yīng)用的上下文中捕捉到的場景。另外，多個捕捉設(shè)備可有助于彌補場景的不充分的分辨率或照明、或者場景內(nèi)對象的遮蔽的問題。如以下所解釋的，來自觀測公共場景的多個捕捉設(shè)備的數(shù)據(jù)被綜合或縫合在一起以協(xié)調(diào)來自多個源的數(shù)據(jù)。該計算環(huán)境可以從在各實施方式中可以是或包括多個捕捉設(shè)備20a和/或20b的多個源接收信息。在其他實施例中，可以有兩個以上的捕捉設(shè)備20。捕捉設(shè)備20包括它們內(nèi)部的圖像傳感器。較佳地，出于校準(zhǔn)和同步起見，捕捉設(shè)備20內(nèi)的圖像傳感器是同構(gòu)的。 在其他實施例中，它們可以是不同的，且校準(zhǔn)對它們的差異進行補償。如圖1中所示的，通常在單個區(qū)域上訓(xùn)練捕捉設(shè)備20。每個捕捉設(shè)備20可被設(shè)置在任意位置和定向上且具有焦距，以至少捕捉場景的一部分，其中在一個或更多個邊界區(qū)域上發(fā)生重疊。在圖1的示例中，捕捉設(shè)備對20被固定到固定裝置23，以使得相關(guān)聯(lián)捕捉設(shè)備的空間和定向通常是已知的。這種已知的定位減少了校準(zhǔn)需求。在2010年6月3日提交的、題為"Synthesis of Information From Multiple Audiovisual Sources (來自多個視聽源的信息的綜合)”的第12/792,961號美國申請(代理人檔案號MS3^449. 01)中公開了用于將兩個或更多個捕捉設(shè)備的位置校準(zhǔn)到彼此或校準(zhǔn)到場景的實施例(其中初始位置并非是已知的)，該申請通過整體援引納入于此。相機單元被校準(zhǔn)到彼此以及校準(zhǔn)到場景。由于場景可能常常有用戶和對象進入或移出該場景，因此來自多個捕捉設(shè)備的數(shù)據(jù)被時間同步，以確保來自視覺源的數(shù)據(jù)同時提供場景的數(shù)據(jù)。如上所示，捕捉設(shè)備20a、20b在本發(fā)明技術(shù)的各實施方式中可以是相同或不同的?？捎米魉驹O(shè)備20中的任一個或全部的捕捉設(shè)備20的一個示例現(xiàn)在將參考圖2來描述。在此示例性示例中，捕捉設(shè)備20a和20b是同一類型的，并且兩者都被示為連接到處理來自兩個相機的圖像數(shù)據(jù)的計算環(huán)境12。由于它們兩者是同一類型的，因此以下參照捕捉設(shè)備20及其組件(例如，28、36)的討論意味著描述捕捉設(shè)備中的每一個里的組件。在一個示例性實施例中，捕捉設(shè)備20可以被配置為通過任何合適的技術(shù)捕獲具有可以包括深度值的深度圖像的視頻，這些技術(shù)包括例如飛行時間、結(jié)構(gòu)化光、體視學(xué)等等。根據(jù)一實施例，捕捉設(shè)備可將所計算的深度信息組織為“Z層”，或可與從深度相機沿其視線延伸的Z軸垂直的層。在其他實施方式中，捕捉設(shè)備可將計算出的深度信息組織成以不同角度從深度相機延伸至捕捉到的數(shù)據(jù)點的向量。如圖2所示，每一個捕捉設(shè)備20可以包括圖像相機組件22。根據(jù)一個示例實施例，圖像相機組件22可以是可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維0-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米等計的、所捕捉的場景中的對象距相機的長度或距離。如圖2所示，根據(jù)一示例實施例，圖像相機組件22可包括可用于捕捉場景的深度圖像的頂光組件24、三維(3-D)相機26、和RGB相機28。例如，捕捉設(shè)備20的頂光組件M可以將飛行時間分析中的紅外光或一結(jié)構(gòu)化光發(fā)射到場景上，然后，可以使用傳感器 (未示出)，用例如3-D相機沈和/或RGB相機觀，來檢測從場景中的一個或多個目標(biāo)和對象的表面反向散射的光。根據(jù)另一實施例，每一個捕捉設(shè)備20可包括可以從不同的角度觀察場景的兩個或更多個在物理上分離的相機，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。在另一示例實施例中，捕捉設(shè)備20可使用點云數(shù)據(jù)(point cloud data)和目標(biāo)數(shù)字化技術(shù)來檢測場景和/或用戶的特征。相機中的每一個可包括一個或多個圖像傳感器。例如，RGB相機可包括多個RGB CMOS傳感器。在此示例中，RGB相機28a包括兩個圖像傳感器2和4，這兩個圖像傳感器2 和4被定位成使得傳感器2的FOV段將在傳感器4的FOV段的頂部，并且它們將共享由傳感器2捕捉的FOV段的底部的行與由傳感器4捕捉的FOV段的頂部的行的重疊區(qū)域。類似地，在此示例中，RGB相機28a包括兩個圖像傳感器1和3，這兩個圖像傳感器1和3被定位成使得傳感器1的FOV段將在傳感器3的FOV段的頂部，并且它們將共享由傳感器1捕捉的FOV段的底部的行與由傳感器3捕捉的FOV段的頂部的行的重疊區(qū)域。另外，如將在圖 4的示例中示出的，包括四個傳感器的圖像捕捉設(shè)備20b和20a被定位成使得傳感器1和2 被安排成具有相鄰FOV段，這些相鄰FOV段并排著并且共享它們的垂直邊緣上的列的重疊區(qū)域。類似地，傳感器3和4被定位成具有相鄰FOV段，這些相鄰FOV段并排著并且共享它們的垂直邊緣上的列的重疊區(qū)域。這僅是一個示例安排。在一個實施例中，如以上所提及的，使用典型CMOS隔行圖像傳感器，該傳感器包括致使圖像幀期間在一方向上每次一條像素線地讀出圖像數(shù)據(jù)的控制電路。對于每秒30 幀的幀速率，在大致25到30毫秒(ms)內(nèi)遍歷整個陣列。如先前所提及的，在其他實施例中，外部快門可按需與CMOS傳感器聯(lián)用，該快門可控制用于圖像數(shù)據(jù)的捕捉的每條像素線的曝光，而同時阻擋其他線。常常在CMOS傳感器的控制電路中為CMOS傳感器預(yù)設(shè)遍歷的方向。為了改變相機的方向，可在安排中改變傳感器位置。在另一實施例中，遍歷的方向， 諸如向上、向下、向左、向右，可如以下討論的來編程。在一示例實施例中，每一個捕捉設(shè)備20還可以包括可以與圖像相機組件22進行可操作的通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可被包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。每一個捕捉設(shè)備20還可以包括存儲器組件34，該存儲器組件34可以存儲可以由處理器32執(zhí)行的指令，由3-D相機或RGB相機捕捉到的圖像或圖像的幀，或任何其他合適的信息、圖像等等。根據(jù)一個示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖2所示，在一個實施例中，存儲器組件34可以是與圖像相機組件22和處理器32進行通信的分開的組件。根據(jù)另一實施例，存儲器組件34可以集成到處理器32和/或圖像相機組件22中。在圖2的實施例中，任選的滾動控制器接口軟件模塊186被存儲在每個捕捉設(shè)備20a、20b的存儲器 34中。在滾動控制器接口 186的控制下，處理器32可從諸如圖像縫合引擎184 (參看以下) 之類的軟件接收關(guān)于每個圖像傳感器的遍歷或滾動的方向的指令，并將帶有該方向的消息發(fā)送給指示該方向的控制電路。如圖2所示，每一個捕獲設(shè)備20可以通過通信鏈路36與計算環(huán)境12通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. lib,802. llg、802. Ila或802. Iln連接等無線連接。根據(jù)一個實施例，計算環(huán)境12 可以向捕捉設(shè)備20提供主時鐘，可以使用該時鐘來確定何時通過通信鏈路36來捕捉場景， 如以下參考同步引擎184解釋的。圖2示出了計算環(huán)境12中可被用于校準(zhǔn)捕捉設(shè)備20的相對位置以及用于同步從這些設(shè)備獲得的音頻和/或視覺數(shù)據(jù)的若干組件。這些組件包括同步引擎180、捕捉設(shè)備校準(zhǔn)引擎182和圖像縫合引擎184。這些引擎可以硬件、軟件、或硬件和軟件的組合來實現(xiàn)。另外，每一個捕捉設(shè)備20可以通過通信鏈路36向計算環(huán)境12提供深度信息和由例如3-D相機沈和/或RGB相機觀捕捉到的圖像，以及可以由捕捉設(shè)備20生成的骨架模型。存在用于判斷由捕捉設(shè)備20檢測到的目標(biāo)或?qū)ο笫欠衽c人類目標(biāo)相對應(yīng)的各種已知技術(shù)。其他技術(shù)包括將圖像轉(zhuǎn)換為人的人體模型表示以及將圖像轉(zhuǎn)換為人的網(wǎng)格模型表
7J\ ο然后，可以將骨架模型提供給計算環(huán)境12，使得計算環(huán)境可以執(zhí)行各種動作。計算環(huán)境還可基于例如從骨架模型中識別出的用戶的姿勢來確定在計算機環(huán)境上執(zhí)行的應(yīng)用中要執(zhí)行哪些控制命令。例如，如圖2所示，計算環(huán)境12可包括用于確定用戶何時執(zhí)行了預(yù)定義姿勢的姿勢識別引擎190，如本領(lǐng)域中已知的。如以下所解釋的，在將不同的捕捉設(shè)備20校準(zhǔn)到彼此時，本發(fā)明技術(shù)的實施例使用深度相機數(shù)據(jù)和RGB相機數(shù)據(jù)兩者。因此，在此類實施例中，給定捕捉設(shè)備20的深度相機沈和RGB相機觀兩者相對于彼此被同步，以及相對于其他捕捉設(shè)備20的深度相機沈和RGB相機觀被同步。因而，所有捕捉設(shè)備20中的所有相機沈和觀及其圖像傳感器通過同步引擎180被一起同步。在各個實施例中，包括其圖像傳感器的捕捉設(shè)備20可被放置在圍繞將被捕捉的場景的位置處，其中捕捉設(shè)備之間的間隔和定向是未知的。在本發(fā)明技術(shù)的第一方面中，通過同步引擎180和捕捉設(shè)備校準(zhǔn)引擎182將捕捉設(shè)備20相對于彼此以及相對于它們正捕捉的場景來進行校準(zhǔn)?，F(xiàn)在參照圖3的高層流程圖來解釋引擎180和180用于校準(zhǔn)捕捉設(shè)備20a、20b的視場的操作。圖3是用于將捕捉設(shè)備初始化到彼此和場景的方法實施例300的高層流程圖。在步驟302，啟動系統(tǒng)10。此時，捕捉設(shè)備20開始捕捉場景的數(shù)據(jù)并將其傳送到計算環(huán)境12。 由捕捉設(shè)備20捕捉的場景可能不是靜態(tài)。用戶和對象可進入或離開場景。在一個示例中， 校準(zhǔn)引擎180可具有循序漸進地指導(dǎo)用戶通過校準(zhǔn)過程的校準(zhǔn)例程。在此類實施例中，校準(zhǔn)例程可告訴用戶保持靜止和/或僅在某些特定時間和以定義的方式移動，同時捕捉設(shè)備 20被校準(zhǔn)。在每個捕捉設(shè)備20內(nèi)，由深度相機和RGB相機捕捉場景信息幀。所捕捉的數(shù)據(jù)被同步引擎180用來對從不同捕捉設(shè)備進行的數(shù)據(jù)捕捉進行時間同步304。圖像傳感器#1、#2、#3和#4的控制電路經(jīng)由處理器32從同步引擎180接收幀何時開始的指示?？刂齐娐废蚱湎袼卦丶械拿恳粋€提供時鐘，以對它們的要在幀時段內(nèi)標(biāo)識的數(shù)據(jù)捕捉加上時間戳。如稍后將描述的，同步引擎180可在縫合由圖像傳感器捕捉的不同的FOV段的重疊區(qū)域時使用這些時間戳。為了校準(zhǔn)不同的捕捉設(shè)備20，同步引擎按時間戳標(biāo)識FOV段緩沖器中在同一幀時間段期間捕捉的圖像數(shù)據(jù)。再次地，個體行或列的數(shù)據(jù)由于掃描技術(shù)(例如，滾動快門或滾動捕捉技術(shù))而將具有不同的時間戳，但是來自視場段的圖像數(shù)據(jù)應(yīng)落在同一幀時段中。 由此，校準(zhǔn)引擎182可對在同一幀時間段內(nèi)從設(shè)備20的不同圖像傳感器捕捉的圖像數(shù)據(jù)執(zhí)行其分析。同步引擎180觀察給定幀數(shù)內(nèi)從所有設(shè)備接收到的幀數(shù)據(jù)。通過使用給定幀的此類數(shù)據(jù)的時間戳，以及每一個相機的已知分辨率，同步引擎從生成深度和RGB數(shù)據(jù)的每個設(shè)備確定該深度和RGB數(shù)據(jù)的所需時間偏移量。據(jù)此，同步引擎可跨所有捕捉設(shè)備確定每個深度和RGB設(shè)備的定時的所需調(diào)節(jié)。同步引擎可從單個設(shè)備的幀數(shù)據(jù)(例如，該設(shè)備生成此幀的第一數(shù)據(jù)的)選擇時間戳作為基準(zhǔn)，并將此時間戳設(shè)為基準(zhǔn)時間戳。所有其他設(shè)備的幀數(shù)據(jù)隨后可被調(diào)節(jié)到此基準(zhǔn)時間戳。替換地，同步引擎可生成內(nèi)部時鐘基準(zhǔn)，并將關(guān)于所有幀數(shù)據(jù)的調(diào)節(jié)設(shè)為此內(nèi)部時鐘基準(zhǔn)?，F(xiàn)在返回圖3，在步驟304中，一旦針對移動場景數(shù)據(jù)同步了圖像數(shù)據(jù)幀，在步驟 306中，捕捉設(shè)備就可被校準(zhǔn)到彼此以及場景。在各個實施例中，校準(zhǔn)操作由校準(zhǔn)引擎182使用來自不同的捕捉設(shè)備的深度信息和RGB信息兩者來執(zhí)行。深度相機提供關(guān)于圖像中諸點的χ、y和ζ位置的信息，但是可能具有低分辨率。RGB相機不提供ζ方向上的深度信息，但是通常具有高分辨率以及用于辨別不連續(xù)性、或暗示的紋理，用于將一個捕捉設(shè)備的視圖與另一個進行關(guān)聯(lián)。因此，本發(fā)明技術(shù)的實施例可將捕捉設(shè)備的深度相機和RGB相機兩者用于校準(zhǔn)過程。然而，如以上所示的，雖然更加計算密集且取決于場景中的對象，但是僅使用來自捕捉設(shè)備中的兩個或更多個的深度信息來將捕捉設(shè)備校準(zhǔn)到彼此和場景是可能的。類似地，盡管仍是更加計算密集且取決于場景中的對象，僅使用來自兩個或更多個捕捉設(shè)備的 RGB信息來將設(shè)備校準(zhǔn)到彼此是可能的。例如在2007年5月17日公開的、題為“Navigating Images Using Image Based Geometric Alignment and Object Based Controls (使用基于幾何對齊的圖像和基于對象的控制來導(dǎo)航圖像)，，的公開號為2007/0110338的美國專利中描述了用于單獨使用RGB信息來校準(zhǔn)相機視角的技術(shù)，該公開被用在微軟公司的 W1OtOsynthTM圖像識別軟件中，并且該公開通過整體引用納入于此?？稍?010年6月3 日提交的、題為"Synthesis of Information from Multiple Audiovisual Sources (來自多個視聽源的信息的綜合)”的第12/792，961號美國專利申請中找到關(guān)于校準(zhǔn)相機的附加信息。此申請連同本文中引用的專利和公開一起通過整體引用納入于此。捕捉設(shè)備20a和 20b如圖1中那樣被布置，并且它們的鏡頭指向所需場景的中心。這種粗略調(diào)節(jié)使得圖像傳感器的FOV段將是相鄰的。公知的校準(zhǔn)技術(shù)可被用于相機20a和20b，以針對相鄰性對FOV 段的對齊進行精細調(diào)整。如背景部分中所解釋的，對象在使用類似滾動捕捉技術(shù)捕捉的兩個FOV段之間的重疊區(qū)域中的任何移動造成運動偽像，對該運動偽像的校正向用于將圖像縫合成合成場景以及呈現(xiàn)場景圖像的時間增加了更多時間或等待時間。這是因為，通過使用滾動捕捉，重疊區(qū)域中的移動對象在幀的開始處由第一圖像傳感器來捕捉，而在幀的末尾處由第二圖像傳感器來捕捉。取決于對象移動的速率，該對象可能出現(xiàn)在重疊區(qū)域中的兩個截然不同的空間位置處。出現(xiàn)在重疊區(qū)域中的兩個截然不同的空間位置處的對象是運動偽像的示例。此問題通常由本發(fā)明技術(shù)通過對在兩個相鄰FOV段之間的光敏元件集使用反向遍歷來解決。結(jié)果是第一圖像傳感器和第二圖像傳感器中的光敏元件集將在相同的重疊時間段期間捕捉重疊區(qū)域中的對象(或者在幀的開始處或者在幀的末尾處)。這把將兩個 FOV段一起縫合成合成場景給簡單化了。圖4示意性示出了由一個或多個捕捉設(shè)備20中的圖像傳感器捕捉的重疊FOV段的安排400的示例。在所示示例中，存在圖像傳感器陣列400，該圖像傳感器陣列由布置成捕捉四個FOV段401、402、403和404的四個圖像傳感器#1、#2、#3和#4構(gòu)成。每個傳感器被示為具有其相應(yīng)的控制電路，這些控制電路如下CC#1，421，用于傳感器#1 ；CC#2, 422，用于傳感器#2 ；CC#3，423，用于傳感器#3 ；以及CC#4，4M，用于傳感器#4。在此實施例中，傳感器中的每一個被預(yù)設(shè)成在其光敏元件集處在指定的傳感器的頂部(由頂部1、頂部2、頂部3和頂部4指示)對該光敏元件集開始其遍歷或滾動。在此示例中，光敏元件集是CMOS傳感器上的像素線。為了進行反向遍歷，傳感器#1可被物理地翻轉(zhuǎn)，以使得其“頂部”線(如由頂部1指示的)現(xiàn)在垂直地處于底部，而其指示為底部1的底部線垂直地處于頂部。傳感器#3具有正常定向，其中其頂部線3垂直地位于其底部像素線底部3之上。圖像傳感器#2相對于傳感器#4具有類似的經(jīng)翻轉(zhuǎn)的物理布置，該傳感器#4具有類似于傳感器#3的正常定向。在此實施例中，線是水平行。在其他實施例中，可針對遍歷垂直列上的線而布置傳感器。另外，在其他實施例中，遍歷的方向可被編程并由此被改變，而無需在物理上重新布置傳感器。應(yīng)理解，逆反掃描的方向可通過翻轉(zhuǎn)圖像傳感器以外的手段的來實現(xiàn)。例如，圖像傳感器#1和#3可被保持在相同的定向中(即，沒有相對于彼此翻轉(zhuǎn))，但是在傳感器#1和 #3的一者中，光敏元件線被曝光的時間可被逆反?？稍O(shè)想針對捕捉相鄰FOV段的兩個圖像傳感器中的一個對掃描方向進行逆反的其他手段。使用同構(gòu)圖像傳感器可改善結(jié)果。同構(gòu)圖像傳感器可以是相同類型的圖像傳感器，或者具有類似的操作特性的圖像傳感器。像素的存儲速率、像素的不同的光敏度、像素的不同的焦寬(focal width)以及不同的陣列大小是操作特性的示例。應(yīng)當(dāng)理解，陣列400可按各種不同的其他配置來布置，包括更大或更少的圖像傳感器，其中至少兩個圖像傳感器具有彼此相鄰的FOV段，并且具有在反向上進行遍歷的共享重疊區(qū)域。傳感器#1捕捉場景中落入FOV段401中的部分，該FOV段401的頂部如401t所指示的來界定，其底部如401b所指示的來界定，其左側(cè)如由4011所指示的來界定，而其右側(cè)如由401r所指示的來界定。箭頭412指示其像素行的遍歷方向是從其段的底部401b (該底部401b對應(yīng)于頂部1)朝向段401t的頂部(該頂部對應(yīng)于底部1)。傳感器#1可以是顛倒的，而FOV段不是顛倒的。傳感器#1與傳感器#3的FOV 403共享重疊區(qū)域411。FOV段 403的邊界在其頂部由403t來指示，在其底部由40 來指示，在其左側(cè)由4031來指示，而在其右側(cè)由403r來指示。垂直相鄰的FOV段401和403共享相同的寬度。重疊區(qū)域411在其頂部具有FOV段403的頂部403t，并且具有FOV段401的底部401b作為其底部。箭頭 414指示傳感器#3對FOV段403的遍歷方向是從其像素行的頂部3到底部3，即從其段的頂部403t朝向段的底部40北。FOV段401還在其邊界與傳感器#2的相鄰FOV段402共享重疊區(qū)域413。FOV段 402的邊界在其頂部由402t來指示，在其底部由402b來指示，在其左側(cè)由4021來指示，而在其右側(cè)由4021 來指示。水平相鄰的FOV段401和402共享相同的高度。重疊區(qū)域413 由FOV段402的左側(cè)4021來界定，并且在其右側(cè)上由FOV段401的右側(cè)401r來界定。重疊區(qū)域413和411自身在重疊相交區(qū)域409中重疊，在此2x2陣列示例中，所有重疊區(qū)域在該重疊相交區(qū)域處與它們的重疊相交。由箭頭416指示的關(guān)于FOV段402的遍歷方向與關(guān)于FOV段401的遍歷方向相同。重疊區(qū)域413中的諸線的列具有緊密的空間和時間關(guān)系， 因為它們在相同的時間捕捉相同的場景區(qū)域——只要傳感器#1和傳感器#2在其滾動捕捉中被同步。在此實施例中，對于并排的段401和402、以及403和404，掃描、滾動捕捉的開始可被同步成在同一時間發(fā)生。對于共享通過反向遍歷方向(在此實施例中通過翻轉(zhuǎn)的傳感器來實現(xiàn))捕捉的重疊區(qū)域的FOV段，在滾動捕捉的開始之間可存在時間偏移量，該時間偏移量可被補償，只要該偏移量是已知的。通過使用該偏移量，可找到每個傳感器中重疊區(qū)域開始的不同的線。FOV段404還在其邊界與相鄰FOV段402共享重疊區(qū)域405，并且在其邊界與相鄰FOV段403共享重疊區(qū)域407。FOV段404的邊界在其頂部由404t來指示，在其底部由 404b來指示，在其左側(cè)由4041來指示，而在其右側(cè)由404r來指示。水平相鄰的FOV段403 和404共享相同的高度，而垂直相鄰的FOV段402和404共享相同的寬度。箭頭418指示其FOV段404的像素行的遍歷方向是從其段的頂部404t朝向段404b的底部。此遍歷方向與關(guān)于FOV段402的箭頭412的方向相反，并且與關(guān)于FOV段403的箭頭414的方向相同。重疊區(qū)域407由FOV段404的左側(cè)4041來界定，并且在其右側(cè)上由FOV段403的右側(cè)403r來界定。重疊區(qū)域407與重疊區(qū)域413具有相同特性，因為其提供通過FOV段403 捕捉的內(nèi)容中的緊密空間和時間關(guān)系，但是僅僅是一些數(shù)據(jù)列的。重疊區(qū)域405在其頂部具有FOV段404的頂部404t，并且具有FOV段402的底部402b作為其底部。重疊區(qū)域405 和407自身與區(qū)域413和411在重疊相交區(qū)域409中重疊。取決于實現(xiàn)，重疊的程度對于對象與鏡頭的距離可具有一些依賴性。重疊越小，更好地保持相鄰FOV段之間較緊密的空間和時間關(guān)系。線411a和40 是在相反方向上遍歷的重疊區(qū)域411和405中的交叉地帶的示例。交叉地帶是重疊區(qū)域中具有最緊密空間和時間關(guān)系的區(qū)域。即，在某一時刻t，進入滾動捕捉，相應(yīng)的圖像傳感器各自具有在重疊時間段中在最接近時間幀內(nèi)從場景感測同一區(qū)域的像素元件地帶。虛線411a和40 中的每一個可表示多條線，或者其可以是共享相同的捕捉時間和空間的單條線。共享時間和空間的地帶40fe、411a可以在重疊區(qū)域405、411的中間，但是在其他實施例中不必是這樣。交叉地帶可在FOV段的校準(zhǔn)期間被標(biāo)識，或者在沒有校準(zhǔn)的情況下通過在空間內(nèi)容和時間捕捉方面標(biāo)識兩個最相鄰的線來實時地標(biāo)識。在以上示例中，滾動捕捉是垂直的——沿著像素元件線的水平行。在其他示例中， 滾動捕捉可以是水平的——沿著像素元件的垂直行。另外，在圖4的示例中，滾動捕捉次序在與相鄰視場共享的重疊區(qū)域處開始。在所捕捉的幀的開始處遍歷重疊區(qū)域提供了這樣的優(yōu)點在讀出幀的其余部分之前有更多的處理時間來執(zhí)行段的縫合，由此減少了整體等待時間。在其他示例中，序列在每個傳感器的FOV段的非重疊邊緣開始，并且朝著重疊區(qū)域 411和405中的像素元件行進行。在第二示例中，在接近幀掃描的末尾處到達重疊區(qū)域，但是在兩個示例中，滾動捕捉具有相同的重疊時間段。圖5示出了在使用滾動捕捉技術(shù)捕捉的重疊區(qū)域中的圖像處理的方法實施例 500。此方法被用在包括使用滾動捕捉的圖像傳感器的系統(tǒng)中。出于僅作為示例性而非限制性的目的，在圖4的上下文中討論圖5。諸如圖4中的四個傳感器中的任一個之類的傳感器在重疊時間段中針對第一視場(FOV)段使用滾動捕捉來在第一遍歷方向上捕捉502圖像數(shù)據(jù)。第一重疊區(qū)域是與第二相鄰FOV段共享的。為了便于描述，參考作為第一 FOV段的FOV段401，以及作為第二相鄰 FOV段的FOV段403。也可使用FOV段402和404。傳感器#3在相同的重疊時間段中針對第二 FOV段(例如，F(xiàn)OV段40 的第一重疊區(qū)域使用滾動捕捉來在與第一遍歷方向相反的第二遍歷方向上捕捉504圖像數(shù)據(jù)。僅出于示例性目的，現(xiàn)在參考FOV段401和402。傳感器#2在相同的重疊時間段中針對與第一 FOV段相鄰的第三FOV段(例如，402)的第二重疊區(qū)域使用滾動捕捉來在第一遍歷方向(該第一遍歷方向被FOV段401使用)上捕捉506圖像數(shù)據(jù)，第二重疊區(qū)域是與第一相鄰FOV段(例如，401)共享的。類似地，傳感器#3和傳感器M在其中捕捉其他FOV段之間的重疊區(qū)域的相同的重疊時間段中針對第三重疊區(qū)域407使用滾動捕捉來在相同遍歷方向上捕捉圖像數(shù)據(jù)。除CMOS圖像傳感器之外，本發(fā)明技術(shù)可在使用掃描技術(shù)的其他圖像感測系統(tǒng)中操作。如先前所提及的，此類系統(tǒng)的一些示例包括如在模擬CRT系統(tǒng)中被光柵掃描的圖像傳感器、激光掃描儀、或其中光束以順序方式激活光敏區(qū)域的其他系統(tǒng)。通過使用諸如圖4 中被光柵掃描的數(shù)字傳感器的布置，相應(yīng)的光束按掃描模式遍歷第一、第二、第三和第四圖像傳感器的每一個中的相應(yīng)的光敏元件集里的每一個；并且每個相應(yīng)的光束的掃描模式在重疊相交區(qū)域409的中間開始，并且在相應(yīng)的預(yù)定遍歷方向上掃描行。圖6示出FOV段401中的重疊區(qū)域與垂直相鄰的FOV段403的重疊區(qū)域分開。在此簡化示例中，F(xiàn)OV段401和403的重疊區(qū)域包括11個像素元件行的11條像素數(shù)據(jù)線。在其他實施例中，重疊區(qū)域可以有比這更多或更少的像素元件線。如標(biāo)示為“時間”的旁側(cè)箭頭所指示的，通過使用圖4的示例的滾動捕捉的序列，傳感器#1從FOV段401的線1到線 11順序地捕捉圖像數(shù)據(jù)，而傳感器#3在相反方向上從FOV段403的線1到線11順序地捕捉圖像數(shù)據(jù)。隨著連續(xù)像素線捕捉數(shù)據(jù)，兩個圖像傳感器逼近最接近的時間和空間的交叉地帶411a。最終，用虛線表示的像素線6可表示相同時間下的相同空間的圖像數(shù)據(jù)達某一程度的精度，這取決于圖像傳感器的同構(gòu)性以及它們的視場段的對齊的精度。在線6，共同來自圖像傳感器#1和#3的圖像數(shù)據(jù)將被最嚴(yán)密地對齊，在理想的情況下，僅存在由于兩個圖像傳感器處于不同位置處而導(dǎo)致的視差所產(chǎn)生的偏移量。在線6之后，每個FOV段中像素線7到11的圖像數(shù)據(jù)在時間和空間上分別遠離彼此。例如，F(xiàn)OV段401的像素線11捕捉與FOV段403的像素線1所捕捉的空間相同的空間，但是對于重疊區(qū)域而言，這兩條像素線的捕捉時間戳相隔最遠。FOV段401的像素線3捕捉與FOV段403的像素線9所捕捉的空間相同的空間，并且比起像素線1和10，這兩條線的捕捉時間戳更靠近。如果數(shù)據(jù)是遵循從交叉地帶到FOV段401的非重疊區(qū)域，則重疊區(qū)域411中被選擇用于縫合或者糾錯的數(shù)據(jù)將主要來自FOV段401的。類似地，如果數(shù)據(jù)是遵循從交叉地帶到FOV段403的非重疊區(qū)域，則重疊區(qū)域411中被選擇用于縫合或者糾錯的數(shù)據(jù)將主要來自FOV段403的。另夕卜，如圖4中所述的，在相同遍歷方向上捕捉的相鄰FOV段之間的重疊區(qū)域413 和407提供在相同空間和時間中捕捉的數(shù)據(jù)。如以上所示的，本發(fā)明技術(shù)提供了重疊區(qū)域中的諸線之間更好的空間和時間關(guān)系，結(jié)果，存在更少的運動偽像，諸如不連續(xù)性。此外，可能出現(xiàn)的一些運動偽像不超出散焦的模糊水平以及對于諸如每秒30幀示例之類的特定幀速率的分辨率而言典型的運動模糊，因此無需應(yīng)用圖像糾錯技術(shù)。這些典型的空間和時間關(guān)系還改進關(guān)于重疊邊界中的混合以及當(dāng)不連續(xù)性的確發(fā)生且使用圖像糾錯時的結(jié)果。尤其對于丟失或被遮蔽的數(shù)據(jù)有用的糾錯技術(shù)的示例是用相鄰FOV段中的相同重疊區(qū)域的數(shù)據(jù)來替代重疊區(qū)域中的數(shù)據(jù)。例如，如果傳感器#1無法捕捉FOV段401的落在重疊相交區(qū)域409內(nèi)的角落的數(shù)據(jù)，則可使用來自關(guān)于FOV段402的重疊區(qū)域413或關(guān)于FOV段403的重疊區(qū)域411的數(shù)據(jù)。由于重疊區(qū)域413中落在重疊相交區(qū)域409內(nèi)的數(shù)據(jù)可能已由傳感器#2在相同的時間捕捉了場景中的相同的空間，因此可選擇來自此重疊區(qū)域413的數(shù)據(jù)。例如，基于時間和空間關(guān)系的加權(quán)因子可向重疊區(qū)域413中落在重疊相交區(qū)域409中的數(shù)據(jù)給予最高評級，并且此數(shù)據(jù)被用于最終圖像幀。通過利用這些特性，圖7示出了縫合相鄰FOV段之間的重疊區(qū)域中的圖像數(shù)據(jù)的方法實施例。對于每個FOV段，圖像縫合引擎184選擇重疊區(qū)域的一部分中覆蓋的場景空間，并標(biāo)識704相鄰FOV段的重疊區(qū)域中的空間上相對應(yīng)的數(shù)據(jù)集。例如，段401和403中的線3和9在空間上相對應(yīng)，因為這些線的數(shù)據(jù)是由聚焦在場景中的相同的空間上的相應(yīng)的圖像傳感器1和3的線捕捉的(盡管在不同的時間)。在另一示例中，在相同的方向中遍歷的FOV段403和404之間的重疊區(qū)域407中的像素數(shù)據(jù)列在空間上相對應(yīng)，并且在時間上相對應(yīng)，因為它們是由圖像傳感器3和4在聚焦在場景中的相同的空間的同時在相同時間下被捕捉的。縫合引擎184基于包括捕捉時間有多當(dāng)前的準(zhǔn)則向空間上相對應(yīng)的數(shù)據(jù)指派706 加權(quán)。如以上所述的，捕捉同一場景空間的時間差會因場景中環(huán)境條件的運動或改變而引入不連續(xù)性以及其他偽像。較大的時間差接收較小的加權(quán)，而較小的時間差接收較大的加權(quán)。其他因素也可被包括在加權(quán)中，諸如模糊、光敏元件無法捕捉內(nèi)容、像素與毗鄰像素之間的不連續(xù)性，或者可以是傳感器中的一個上的遮蔽。對于列示例，當(dāng)縫合傳感器3和4之間的垂直邊界時，407中的列數(shù)據(jù)里的大多數(shù)將具有相同的時間和空間，因此其他因素將在加權(quán)中扮演更重要的角色。然而，當(dāng)縫合來自相交區(qū)域409中的來自傳感器1、3和4的數(shù)據(jù)時，407的落在409內(nèi)的數(shù)據(jù)與405和411的重疊區(qū)域中落在409內(nèi)的數(shù)據(jù)之間可能有足夠的不連續(xù)性，由此來自407以及可能的413的貢獻被忽略，而僅411和405被用于將垂直視場縫合在一起?？p合引擎184檢查708任何附加的空間上相對應(yīng)的數(shù)據(jù)集。響應(yīng)于存在另一個， 此另一個被指派706加權(quán)。響應(yīng)于沒有另一個，則縫合引擎184基于相鄰FOV段中的空間上相對應(yīng)的數(shù)據(jù)集的加權(quán)來合并710這些數(shù)據(jù)集。例如，縫合引擎184可從FOV段401和 403產(chǎn)生將用在圖像幀中的兩個像素線的經(jīng)加權(quán)總和。用于糾錯的圖像處理技術(shù)或圖像清理技術(shù)也可利用由以上所討論的滾動捕捉和掃描的定序所提供的較緊密的時間和空間關(guān)系。例如，如以上所討論的，可用相鄰FOV段中的空間上相應(yīng)地的像素線來替代一個FOV段的重疊區(qū)域中被破壞或缺失的像素線數(shù)據(jù)。在從第一捕捉設(shè)備的視角轉(zhuǎn)換為另一捕捉設(shè)備的視角時，可采用各種已知的混合和平滑技術(shù)，例如α混合，以提供平滑和無縫轉(zhuǎn)換。通過援引納入的參見美國專利公開第 2007/0110338號。此外，可能發(fā)生的是存在場景中未被捕捉設(shè)備中的任一個捕捉的間隙。 已知使用來自與這些間隙毗連的圖像的深度和圖像數(shù)據(jù)來填充這些間隙的技術(shù)。在先前通過援引納入的美國專利公開第2007/0110338號中也公開了此類技術(shù)。圖8Α示出了可在類似于圖1和2中所示系統(tǒng)的目標(biāo)識別、分析和跟蹤系統(tǒng)中使用的計算環(huán)境的另一示例實施例。以下參考附圖1-2所描述的諸如計算環(huán)境12的計算環(huán)境可以是多媒體控制臺100，諸如游戲控制臺。如圖8Α所示，多媒體控制臺100包括具有1級高速緩存102、2級高速緩存104和閃存R0M106的中央處理單元(CPU) 101。1級高速緩存 102和2級高速緩存104臨時存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進處理速度和吞吐量。CPU 101可以設(shè)置成具有一個以上的內(nèi)核，以及由此的附加的一級和二級高速緩存 102和104。閃存ROM 106可存儲在當(dāng)多媒體控制臺100通電時的引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)通過總線從GPU 108輸送到視頻編碼器/視頻編解碼器114。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C或其他顯示器。存儲器控制器110連接到GPU 108，以促進處理器對各種類型的存儲器112、比如但不限于RAM的訪問。多媒體控制臺100包括優(yōu)選地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB主控制器 128以及前面板I/O子部件130。USB控制器126和1 用作外圍控制器142 (1)-142 O)、無線適配器148、和外置存儲器設(shè)備146 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機。網(wǎng)絡(luò)接口 1 和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器 144，且其可包括DVD/⑶驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器144 可以是對多媒體控制器100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由介質(zhì)驅(qū)動器144訪問，以由多媒體控制臺100執(zhí)行、回放等。介質(zhì)驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接 (例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務(wù)功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應(yīng)的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。
前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內(nèi)的各個其他組件經(jīng)由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。當(dāng)多媒體控制臺100通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/ 或高速緩存102、104中并在CPU 101上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到多媒體控制臺100上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，介質(zhì)驅(qū)動器144中包含的應(yīng)用和/或其他媒體可從介質(zhì)驅(qū)動器144啟動或播放，以向多媒體控制臺100提供附加功能。多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡(luò)帶寬的保留量(諸如，Slcbs)，等等。因為這些資源是在系統(tǒng)引導(dǎo)時間保留的，所保留的資源對于應(yīng)用視角而言是不存在的。具體地，存儲器保留較佳地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動程序。 CPU保留較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在完整的用戶界面被并發(fā)系統(tǒng)應(yīng)用使用的情況下，優(yōu)選地使用獨立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率并引起TV重新同步。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源中執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPU 101上運行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進行調(diào)度是為了把由在控制臺上運行的游戲應(yīng)用所引起的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時，則由于時間敏感性而異步調(diào)度音頻處理給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是所保留的資源，但卻在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點。 應(yīng)用管理器優(yōu)選地控制輸入流的切換，而無需知道游戲應(yīng)用的知識，并且驅(qū)動程序維護關(guān)于焦點切換的狀態(tài)信息。相機26J8和捕捉設(shè)備20可以為控制臺100定義額外的輸入設(shè)備。圖8B示出了計算環(huán)境220的另一示例實施例，計算環(huán)境220可以是圖1和2中在目標(biāo)識別、分析和跟蹤系統(tǒng)10中使用的計算環(huán)境12。計算系統(tǒng)環(huán)境220只是合適的計算環(huán)境的一個示例，并且不旨在對所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在一些實施例中，各種所描繪的計算元件可包括被配置成實例化本公開的特定方面的電路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。在其他示例實施例中，術(shù)語“電路”可包括通過體現(xiàn)可操作以執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲器等等。在其中電路包括硬件和軟件的組合的示例實施例中，實施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機器可讀代碼。因為本領(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設(shè)計選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進程可被變換成等價的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價的軟件進程。因此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設(shè)計選擇并留給實現(xiàn)者。在圖8B中，計算環(huán)境220包括通常包括各種計算機可讀介質(zhì)的計算機Ml。計算機可讀介質(zhì)可以是可以被計算機241訪問的任何可用的介質(zhì)，并包括易失性和非易失性介質(zhì)，可移動的和不可移動的介質(zhì)。系統(tǒng)存儲器222包括以諸如ROM 223和RAM 260之類的易失性和/或非易失性存儲器的形式存在的計算機存儲介質(zhì)。基本輸入/輸出系統(tǒng)2 (BIOS) 包括如在啟動時幫助在計算機Ml內(nèi)的元件之間傳輸信息的基本例程，它通常儲存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖14B示出操作系統(tǒng)225、應(yīng)用程序226、其它程序模塊227 和程序數(shù)據(jù)228。圖14B還包括具有用于高速和高分辨率的圖形處理和存儲的相關(guān)聯(lián)的視頻存儲器230的圖形處理器單元(GPU) 229。GPU2^可通過圖形接口 231連接到系統(tǒng)總線 221。計算機241也可以包括其他可移動的/不可移動的，易失性/非易失性的計算機存儲介質(zhì)。僅作為示例，圖14B示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器238，從可移動、非易失性磁盤邪4中讀取或向其寫入的磁盤驅(qū)動器239，以及從諸如CD ROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動器 2400可以在示例性操作環(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動器238通常由諸如接口 234的不可移動存儲器接口連接至系統(tǒng)總線221，并且磁盤驅(qū)動器239和光盤驅(qū)動器240通常由諸如接口 235的可移動存儲器接口連接至系統(tǒng)總線 221。以上描述和圖14B中示出的驅(qū)動器及其關(guān)聯(lián)計算機存儲介質(zhì)為計算機241提供了計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲。例如在圖14B中，硬盤驅(qū)動器238 被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其它程序模塊256和程序數(shù)據(jù)255。注意，這些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可以與它們不同。向操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256，以及程序數(shù)據(jù)255提供了不同的編號，以說明，至少，它們是不同的副本。用戶可以通過諸如鍵盤251和定點設(shè)備252(通常被稱為鼠標(biāo)、軌跡球或觸摸板)之類的輸入設(shè)備向計算機241中輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、游戲桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些和其他輸入設(shè)備通常通過耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元259，但也可以由其他接口和總線結(jié)構(gòu)，例如并行端口、游戲端口或通用串行總線(USB)來連接。相機沈、 28和捕捉設(shè)備20可以為控制臺100定義額外的輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也可以通過諸如視頻接口 232之類的接口，連接到系統(tǒng)總線221。除監(jiān)視器之外，計算機還可包括諸如揚聲器244和打印機243之類的其他外圍輸出設(shè)備，它們可通過輸出外圍接口 233來連接。計算機241可以使用到一個或多個遠程計算機(如遠程計算機M6)的邏輯連接， 以在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機246可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它常見的網(wǎng)絡(luò)節(jié)點，并且通常包括以上就計算機241描述的元件中多個或全部，雖然在圖14B中僅僅示出了存儲器存儲設(shè)備M7。在圖14B中所描繪的邏輯連接包括局域網(wǎng) (LAN) 245和廣域網(wǎng)(WAN) M9，但是也可以包括其它網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通過網(wǎng)絡(luò)接口或適配器237連接至LAN 2450當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置或外置的，它可以經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C制連接至系統(tǒng)總線221。在網(wǎng)絡(luò)化環(huán)境中，相對于計算機 241所描述的程序模塊或其部分可被存儲在遠程存儲器存儲設(shè)備中。作為示例而非限制，圖 14B示出駐留在存儲器設(shè)備247上的遠程應(yīng)用程序M8?？梢岳斫猓镜木W(wǎng)絡(luò)連接是示例性的，且可以使用在計算機之間建立通信鏈路的其他手段。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但是可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
18
權(quán)利要求
1.在使用掃描技術(shù)來捕捉圖像數(shù)據(jù)的圖像傳感器的系統(tǒng)中，一種對重疊區(qū)域中的圖像數(shù)據(jù)進行圖像處理的方法，所述方法包括在重疊時間段中，針對第一視場(FOV)段的第一重疊區(qū)域，在第一遍歷方向上捕捉圖像數(shù)據(jù)，所述第一重疊區(qū)域是與第二相鄰FOV段共享的；以及在相同的重疊時間段中，針對所述第二 FOV段的所述第一重疊區(qū)域，在與所述第一遍歷方向相反的第二遍歷方向上捕捉圖像數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其特征在于所述在第一遍歷方向上捕捉圖像數(shù)據(jù)還包括在所述共享的重疊區(qū)域中在所述第一 FOV 段的邊緣處開始所述遍歷；以及所述在第二遍歷方向上捕捉圖像數(shù)據(jù)還包括在所述共享的重疊區(qū)域中在所述第二 FOV 段的邊緣處開始所述遍歷。
3.如權(quán)利要求1所述的方法，其特征在于所述在第一遍歷方向上捕捉圖像數(shù)據(jù)還包括在所述第一 FOV段的非重疊邊緣處開始所述遍歷并且在所述共享的重疊區(qū)域中結(jié)束；并且其中所述在第二遍歷方向上捕捉圖像數(shù)據(jù)還包括在所述第二 FOV段的非重疊邊緣處開始所述遍歷并且在所述共享的重疊區(qū)域中結(jié)束。
4.如權(quán)利要求1所述的方法，其特征在于，還包括在所述相同的重疊時間段中，針對與所述第一 FOV段相鄰的第三FOV段的第二重疊區(qū)域，在所述第一遍歷方向上捕捉圖像數(shù)據(jù)，所述第二重疊區(qū)域是與所述第一相鄰FOV段共享的。
5.一種圖像傳感器的系統(tǒng)，包括多個圖像傳感器，包括第一圖像傳感器和第二圖像傳感器；所述第一和第二傳感器中的每一個，其覆蓋相鄰的視場(FOV)段并在其相鄰FOV段中共享第一重疊區(qū)域；所述多個中的所述圖像傳感器里的每一個，其包括相應(yīng)的光敏元件集；所述多個圖像傳感器中的所述圖像傳感器里的每一個，其就它的相應(yīng)的光敏元件集在一遍歷方向上使用滾動捕捉技術(shù)來捕捉圖像數(shù)據(jù)；以及所述第一和第二圖像傳感器，其在相同的重疊時間段期間在所述第一重疊區(qū)域中捕捉圖像數(shù)據(jù)，在所述相同的重疊時間段期間，所述第一和第二圖像傳感器對它們的相應(yīng)的光敏元件集使用相反的遍歷方向。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，使用相反的遍歷方向的所述第一和第二圖像傳感器在與所述相鄰FOV段共享的所述第一重疊區(qū)域的相應(yīng)的光敏元件集處開始幀的遍歷。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，還包括第三圖像傳感器，其覆蓋與所述第一圖像傳感器的所述FOV段相鄰的FOV段并與所述第一圖像傳感器共享第二重疊區(qū)域，所述第二重疊區(qū)域覆蓋所述第一重疊區(qū)域的一部分； 以及所述第一和第三圖像傳感器，其在相同的重疊時間段期間在第二重疊區(qū)域中捕捉圖像數(shù)據(jù)，在所述相同的重疊時間段期間，所述第一和第三圖像傳感器對它們的相應(yīng)的光敏元件集使用相同的遍歷方向。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括第四圖像傳感器，其覆蓋與所述第二圖像傳感器的所述FOV段相鄰的FOV段并與所述第二圖像傳感器共享第三重疊區(qū)域，所述第三重疊區(qū)域的一部分覆蓋所述第一重疊區(qū)域和所述第二重疊區(qū)域的一部分；所述第二和第四圖像傳感器，其在相同的重疊時間段期間在所述第三重疊區(qū)域中捕捉圖像數(shù)據(jù)，在所述相同的重疊時間段期間，所述第二和第四圖像傳感器對它們的相應(yīng)的光敏元件集使用相同的遍歷方向；以及所述第一、第二和第三重疊區(qū)域的所述部分覆蓋彼此，從而形成重疊相交區(qū)。
9.在使用掃描技術(shù)來捕捉圖像數(shù)據(jù)的圖像傳感器的系統(tǒng)中，一種對重疊區(qū)域中的圖像數(shù)據(jù)進行圖像處理的方法，所述方法包括在重疊時間段中，針對第一視場(FOV)段的第一重疊區(qū)域，在第一遍歷方向上捕捉圖像數(shù)據(jù)，所述第一重疊區(qū)域是與第二相鄰FOV段共享的；以及在相同的重疊時間段中，針對所述第二 FOV段的所述第一重疊區(qū)域，在與所述第一遍歷方向相反的第二遍歷方向上捕捉圖像數(shù)據(jù)；以及執(zhí)行圖像縫合技術(shù)，以將來自兩個FOV段的關(guān)于所述第一重疊區(qū)域的所述圖像數(shù)據(jù)縫合在一起。
10.如權(quán)利要求9所述的方法，其特征在于，所述掃描技術(shù)是滾動掃描技術(shù)。
全文摘要
本發(fā)明提供了改進的掃描傳感器陣列。圖像傳感器陣列被布置成覆蓋圖像捕捉系統(tǒng)的視場。每個傳感器具有一視場段，該視場段與由另一圖像傳感器覆蓋的視場段相鄰。視場段(FOV)共享重疊區(qū)域。每個圖像傳感器包括光敏元件集，該光敏元件集使用掃描技術(shù)捕捉圖像數(shù)據(jù)，該掃描技術(shù)按規(guī)定共享重疊區(qū)域的圖像傳感器在相同的時間段期間在重疊區(qū)域中被曝光的順序進行。至少兩個圖像傳感器針對重疊區(qū)域在相反的遍歷方向上捕捉圖像數(shù)據(jù)。這種定序提供了由不同的圖像傳感器在重疊區(qū)域中捕捉的數(shù)據(jù)之間的更緊密的空間和時間關(guān)系。更緊密的空間和時間關(guān)系減少了縫合邊界的偽像效應(yīng)，并改善應(yīng)用來改進圖像質(zhì)量的圖像處理技術(shù)的性能。
文檔編號H04N1/387GK102413267SQ20111028902
公開日2012年4月11日 申請日期2011年9月14日 優(yōu)先權(quán)日2010年9月15日
發(fā)明者J·A·塔迪夫 申請人:微軟公司