視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置的制作方法

專利名稱：視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置的制作方法
技術(shù)領域：
本發(fā)明有關(guān)于視頻幀的處理，更具體來說，有關(guān)于處理具有圖像配準(imageregistration)信息的視頻巾貞的方法及相關(guān)裝置。
背景技術(shù)：
·全景視頻(panoramic video)是由描述周圍場景(surrounding scene)的一系列全景視頻幀組成的視頻。因此，當全景視頻在顯示裝置上播放時，觀看者能夠?qū)χ車鷪鼍坝?60度視角(360-degree view)。對于一般用戶而言,倉Il建全景視頻內(nèi)容并不容易。目前已經(jīng)開發(fā)出用于產(chǎn)生全景視頻的多種不同系統(tǒng)。舉例來說，創(chuàng)建全景視頻的傳統(tǒng)方法可以分為四類，包括專業(yè)光學設備、同步攝像機(synchronized cameras)、全景視頻紋理(texture)以及前景和背景分割(foreground and background segmentation)。然而，每種傳統(tǒng)方法在實際實施時都存在某些缺點。專業(yè)光學設備的方法會限制所捕獲場景的視頻分辨率(video resolution)。同步攝像機的方法需要許多個攝像機,從而不適用于正常使用條件。全景視頻紋理方法的圖割算法(graph cut algorithm)需要巨大的計算量,并且在復雜移動對象場景中會產(chǎn)生偽像(artifact)。前景和背景分割的方法需要極好的對象分割及追蹤，而即便使用立體攝像機(stereo camera),極好的對象分割及追蹤在目前仍然是一個公開的難題。除了專業(yè)光學設備的方法，其他方法均需要縫合(stitch)多個視頻段。另外，縫合是生成重影(ghosting)或偽像的主要原因。目前尚無用于分析及縫合大范圍不同場景而不產(chǎn)生重影的理想算法。此外，所有傳統(tǒng)全景觀看(viewing)系統(tǒng)要求裁剪和扭曲(cropping and warping)視頻巾貞以顯示正確的透視視圖(perspectiveview)。為顯示每一視頻幀，扭曲算法需要高計算量，并且及其耗費時間，尤其在低成本手持(hand-held)設備中，上述現(xiàn)象尤甚。因此，需要一種創(chuàng)新的設計，其能夠簡單并有效的創(chuàng)建和顯示全景視頻。

發(fā)明內(nèi)容有鑒于此，本發(fā)明特提供一種視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置。本發(fā)明實施例提供了一種處理多個視頻幀的方法，包含獲取多個視頻幀的圖像配準信息，其中圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)；以及使用圖像配準信息，在多個視頻幀中搜尋對應于選定場景的多個目標視頻幀。本發(fā)明實施例又提供了一種視頻流播放方法，包含接收選定場景的播放請求；搜尋用于多個目標視頻幀的視頻流，其中多個目標視頻幀對應于選定場景的圖像配準信息，圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)；以及依據(jù)在視頻流中找到的多個目標視頻幀執(zhí)行播放操作。本發(fā)明實施例另提供了一種用于記錄多個視頻幀的裝置，包含視頻處理電路及信息采集電路。視頻處理電路依據(jù)多個視頻幀產(chǎn)生視頻流；信息采集電路獲取多個視頻幀的圖像配準信息，以及將圖像配準信息記錄入視頻流中，其中圖像配準信息用于將多個不同視頻巾貞轉(zhuǎn)換為同一坐標系統(tǒng)。以上所述的視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置能夠保證輸出視頻質(zhì)量，并且具有較低的計算復雜度。

圖1是依據(jù)本發(fā)明一個范例性實施例的記錄裝置的示意圖。圖2是依據(jù)本發(fā)明另一范例性實施例的記錄裝置的示意圖。圖3是圖1所示的記錄裝置的替代設計。圖4是圖2所示的記錄裝置的替代設計。圖5為將被記錄裝置處理的視頻幀的范例性排布的示意圖。圖6為將被記錄裝置處理的視頻幀的另一范例性排布的示意圖。
`
圖7是依據(jù)范例性實施例的記錄多個視頻幀的方法流程圖。圖8是依據(jù)本發(fā)明的范例性實施例的播放裝置的示意圖。圖9是基于播放請求的范例性視頻幀選擇的示意圖。圖10是基于播放請求的另一范例性視頻幀選擇的示意圖。圖11是基于播放請求的又一范例性視頻幀選擇的示意圖。圖12是范例性觀看幀尺寸歸一化操作的示意圖。圖13是范例性幀對齊處理的示意圖。圖14是依據(jù)一范例性實施例的視頻流播放方法的流程圖。圖15是依據(jù)本發(fā)明的另一范例性實施例的播放裝置的示意圖。圖16是依據(jù)另一范例性實施例的視頻流播放方法的流程圖。圖17是顯示于電子設備的顯示屏上的動態(tài)壁紙的示意圖。圖18是由于桌面滾動命令顯示于顯示屏上的另一動態(tài)壁紙的示意圖。
具體實施方式在說明書及權(quán)利要求書當中使用了某些詞匯來指稱特定的組件。所屬領域中的技術(shù)人員應可理解，制造商可能會用不同的名詞來稱呼同樣的組件。本說明書及權(quán)利要求書并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的基準。在通篇說明書及權(quán)利要求書當中所提及的「包含」是開放式的用語，故應解釋成「包含但不限定于」。另外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。本發(fā)明的主要設想是通過圖像配準信息索引視頻流的每一視頻幀，通過利用圖像配準信息搜尋對應于選定場景的多個目標視頻幀，以及依據(jù)找到的目標視頻幀執(zhí)行播放操作。以這種方式，選定視角(viewing angle)的連續(xù)視頻巾貞的重疊區(qū)域被顯示出來。此夕卜，視頻巾貞的圖像配準結(jié)果用于交互式導航(interactive navigation)和視頻穩(wěn)定技術(shù)(video stabilization),而非用于縫合。裁剪操作就像是在做視頻穩(wěn)定，以便同一視角中的視頻序列在沒有全局運動信息的情況下能夠被穩(wěn)定的顯示。本發(fā)明的全景視頻系統(tǒng)能夠依據(jù)用戶的視角選擇視頻幀，并且在不發(fā)生圖像扭曲的情況下依據(jù)圖像配準結(jié)果裁剪視頻幀。由于不需要進行圖像縫合及扭曲操作，本發(fā)明的全景顯示方法保證輸出視頻質(zhì)量，本發(fā)明的全景顯示方法不會產(chǎn)生傳統(tǒng)全景顯示方法中存在的重影及圖像失真。同時，每一視頻幀的輸出分辨率高，并接近于原始(original)捕獲的分辨率。不同于僅支持不包含復雜移動對象的有限場景的傳統(tǒng)縫合算法，本發(fā)明的全景視頻系統(tǒng)能夠支持范圍廣泛的各種場景。此外，與傳統(tǒng)方法相比，由于不需要使用專業(yè)硬件或者多個攝像機，本發(fā)明的方案具有較低的系統(tǒng)要求。從而，普通用戶使用本發(fā)明的全景視頻系統(tǒng)可以更加容易的創(chuàng)建及瀏覽(navigate)全景視頻。此外，由于不采用高計算復雜度(computational complexity)的圖割算法，具有低計算復雜度的視頻配準預處理(registration pre-processing)也相對簡單。本發(fā)明的全景視頻系統(tǒng)通過僅選擇及裁剪視頻幀，而不對其進行復雜的扭曲操作具有低計算復雜度。因此，本發(fā)明的全景視頻系統(tǒng)也適用于低成本手持設備。盡管不產(chǎn)生真實的寬視場(wide-field)全景視頻巾貞,用戶仍然能夠擁有與全景顯示設備/系統(tǒng)交互的相同用戶體驗。本發(fā)明的全景視頻系統(tǒng)可包含視頻記錄階段及視頻觀看階段。本發(fā)明技術(shù)特征更進一步的細節(jié)詳述如下。圖1是依據(jù)本發(fā)明一個范例性實施例的記錄裝置的示意圖。范例性記錄裝置100包含但不限于視頻處理電路102及信息采集電路104。此外，視頻處理電路102耦接于圖像捕獲裝置101，圖像捕獲裝置101包含單個鏡頭(lens)112及多個傳感器113。舉例來說，傳感器113可以包含方向傳感器、多軸加速度計(multiple-axis accelerometer)、溫度傳感器、磁傳感器、光傳感器以及接近傳感器(proximity sensor)。應當注意的是,此處圖像捕獲裝置101中的傳感器的數(shù)量及類型僅用作說明之用，并非為本發(fā)明的限制。本領域技術(shù)人員應當了解，其他類型及數(shù)量的傳感器亦可以置于圖像捕獲裝置101中，此處不再贅述。圖像捕獲裝置101可置于手持設備中，例如數(shù)碼相機或手機中，并且使用單個鏡頭112捕獲視頻幀F(xiàn)1，在本實施例及本發(fā)明的其他實施例中，視頻幀F(xiàn)l可包含多個幀。舉例來說,用戶可以在希望的方向(例如，水平地從左到右)移動/搖攝(pan)圖像捕獲裝置101或者在希望的方向(例如，順時針或者逆時針)旋轉(zhuǎn)圖像捕獲裝置101來循序地捕獲視頻幀匕。舉例來說，圖像捕獲裝置101可以被旋轉(zhuǎn)來捕獲其周圍場景的視頻幀，或者繞目標對象旋轉(zhuǎn)以捕獲該目標對象周圍的視圖。視頻處理電路102依據(jù)視頻巾貞F1廣生視頻流VS。在一種實施方式中，視頻處理電路102可以是將視頻幀F(xiàn)1編碼為視頻流VS的視頻編碼器，其中視頻流VS包含編碼視頻幀F(xiàn)/。在另一實施方式中，視頻處理電路102可以循序輸出所接收的原圖像數(shù)據(jù)作為包含視頻幀F(xiàn)1的視頻流VS。換句話說，視頻幀F(xiàn)1沒有經(jīng)過壓縮/編碼。信息采集電路104是預處理電路，用于獲取視頻幀F(xiàn)1的圖像配準信息INF1,并且將圖像配準信息INF1記錄進視頻流VS。在本實施例中，圖像配準信息INF1可用于將不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)。信息采集電路104可采用一個或多個下述范例的信息采集設計來獲取視頻幀匕的期望的圖像配準信息INF115如圖1所示，在用視頻編碼器實現(xiàn)視頻處理電路102的情況下，視頻流VS將包含編碼視頻幀F(xiàn)/及相應于視頻幀匕的圖像配準信息INF10在視頻處理電路102不對視頻幀F(xiàn)1應用壓縮/編碼操作的情況下，視頻流VS將包含原圖像數(shù)據(jù)(亦即，視頻幀F(xiàn)1)以及相應圖像配準信息INF115關(guān)于信息采集設計的第一范例，信息采集電路104可給視頻幀F(xiàn)1的每一視頻幀分配場景編號，以由此獲取圖像配準信息INF115舉例來說，但并非本發(fā)明的限制，同一視角下捕獲的視頻幀(例如，包含物理環(huán)境中的相同對象的已記錄視頻幀)可被分配相同的場景編號。換句話說，每一視頻幀的圖像配準信息將記錄該視頻幀的場景編號。應當注意全景視頻中的每一可選場景具有唯一場景編號。關(guān)于信息采集設計的第二范例，信息采集電路104可給視頻幀F(xiàn)1的每一視頻幀分配坐標，以由此獲取期望的視頻幀F(xiàn)1的圖像配準信息INF115換句話說，每一視頻幀的圖像配準信息將記錄視頻幀的坐標。舉例來說，分配給視頻幀F(xiàn)1中的初始捕獲場景的起始視頻幀的坐標位于原點。從而，對于對應于偏離初始捕獲場景的捕獲場景的接下來的視頻幀，接下來的視頻幀的圖像配準信息將記錄不同于原點坐標的坐標。此外，基于實際設計考慮/要求，分配給各視頻幀的坐標可定義一維坐標系統(tǒng)、二維坐標系統(tǒng)、三維坐標系統(tǒng)或者更高維坐標系統(tǒng)中的位置。舉例來說，但并非本發(fā)明的限制，通過在兩個視頻幀之間使用下述具有最小強度誤差平方和(sum of squared intensity error)的成本函數(shù)(cost function),由信息采集電路104執(zhí)行的視頻配準預處理操作可將視頻幀對齊(align)到2D空間:E= Σ [I/ (X，，y，)-10(x, y)]2(I)其中IQ(x，y)和I1' (x’，y’ )對應于視頻幀I。及I/之間的重疊像素對，其中視頻幀I/是視頻幀I1的變形。視頻幀對齊處理是為了從一組不同變形中找出具有最小誤差的變形。對于全局圖像配準，變形可以從分層匹配(hierarchical matching)的二維平移而來。故本發(fā)明的全景視頻系統(tǒng)可簡單使用二維平移來對齊視頻幀。應當注意，上述描述僅用作說明之用，并非為本發(fā)明的限制。使用另一方法來分配坐標值作為每一視頻幀的圖像配準信息也是可行的。關(guān)于信息采集設計的第三范例，信息采集電路104可對視頻幀F(xiàn)1的每一鄰近視頻幀應用全局運動估計，并相應產(chǎn)生對應全局運動信息，從而獲取圖像配準信息INF115換句話說，每一視頻幀的圖像配準信息將記錄該視頻幀的全局運動信息。關(guān)于信息采集設計的第四范例，信息采集電路104可獲取由傳感器113中的至少一個傳感器提供的傳感器信息，從而獲取圖像配準信息INF1，其中傳感器位于產(chǎn)生視頻幀F(xiàn)1的圖像捕獲裝置101上。換句話說，，每一視頻幀的圖像配準信息將記錄該視頻幀的傳感器信息。因此，當圖像捕獲裝置101捕獲視頻幀時，由傳感器113提供的傳感器信息將指示圖像捕獲裝置101的狀態(tài)，其中傳感器信息包含一個或多個傳感器值。將傳感器信息作為圖像配準信息可降低計算復雜度。此外，在視頻幀的大部分區(qū)域被快速移動對象阻塞(occluded)的狀況下，傳感器信息很有幫助。關(guān)于信息采集設計的第五范例，信息采集電路104可獲取視頻幀F(xiàn)1中每一幀的平移信息(translate infomation)、旋轉(zhuǎn)信息以及尺度 信息中的至少一個,從而獲取圖像配準信息INF115從而，每一視頻幀的圖像配準信息將指示與視頻幀的產(chǎn)生相關(guān)的圖像處理狀態(tài)。
關(guān)于信息采集設計的第六范例，信息采集電路104可獲取視頻幀F(xiàn)1中的每一幀的攝像機捕獲狀況信息，從而獲取圖像配準信息INF115舉例來說，當視頻幀被圖像捕獲裝置101捕獲時，每一視頻幀的攝像機捕獲狀況信息將記錄聚焦信息、白平衡信息以及曝光信息中的至少一個。本發(fā)明的記錄裝置也可用于處理由具有多個鏡頭的圖像捕獲裝置產(chǎn)生的視頻幀。圖2是依據(jù)本發(fā)明另一范例性實施例的記錄裝置的示意圖。如圖所示，圖像捕獲裝置201包含多個鏡頭212_1-212_N，用于分別產(chǎn)生視頻幀F(xiàn)1-Fp關(guān)于由每一鏡頭所捕獲的視頻幀的處理,記錄裝置200中的視頻處理電路202及信息采集電路204的操作與視頻處理電路102及信息采集電路104的操作相同。從而，圖像配準信息INF1被記錄，用于由鏡頭212_1產(chǎn)生的視頻幀F(xiàn)1 ;圖像配準信息INF2被記錄，用于由鏡頭212_2產(chǎn)生的視頻幀F(xiàn)2 ；…圖像配準信息INFn被記錄，用于由鏡頭212_N產(chǎn)生的視頻幀F(xiàn)n。因此，在用視頻編碼器實現(xiàn)視頻處理電路202的情況下，視頻流VS將包含編碼視頻幀F(xiàn)/-F/及相應于視頻幀F(xiàn)1-Fn的圖像配準信息INF1-1NFnij然而，在視頻處理電路202不對視頻幀F(xiàn)1-Fn應用壓縮/編碼操作的情況下，視頻流VS將包含原圖像數(shù)據(jù)(亦即，視頻幀F(xiàn)1-Fn)以及相應圖像配準信息INF「INFn。如上所述，期望的圖像配準信息可通過參考傳感器信息來獲取。然而，其并非為本發(fā)明的限制。圖3是圖1所示的記錄裝置的替代設計，圖3中的圖像捕獲裝置1301、記錄裝置1300、信息采集電路1304的操作可分別參考圖1中的圖像捕獲裝置101、記錄裝置100、信息采集電路104的操作，此處不再贅述。如圖3所示，圖像捕獲裝置1301中沒有任何傳感器113。然而，通過采用前述的第一、第二、第三、第五以及第六范例性信息采集設計中的一種，信息采集電路1304仍可獲取期望的圖像配準信息INF115圖4是圖2所示的記錄裝置的替代設計，圖4中的圖像捕獲裝置1401、記錄裝置1400、信息采集電路1404的操作可分別參考圖2中的圖像捕獲裝置201、記錄裝置200、信息采集電路204的操作，此處不再贅述。如圖4所示，圖像捕獲裝置1401中沒有任何傳感器113。然而，通過采用前述的第一、第二、第三、第五以及第六范例性信息采集設計中的一種，信息采集電路1404仍可獲取期望的圖像配準信息INF1-1NFnq關(guān)于圖1/圖2/圖3 /圖4中所示的記錄裝置100/200/1300/1400，由記錄裝置100/200/1300/1400所接收的視頻幀F(xiàn)^F1-Fn直接由圖像捕獲裝置101/201/1301/1401產(chǎn)生。然而，其僅用作說明之用，并非為本發(fā)明的限制。亦即，本發(fā)明對將由記錄裝置100/200/1300/1400處理的視頻幀的來源并不加以限制。以輸入至記錄裝置100/1300的視頻幀F(xiàn)1為例，視頻幀F(xiàn)1可擷取自用戶手動編輯的視頻剪輯(video clip)。在一替代設計中，視頻幀F(xiàn)1可擷取自由不同視角捕獲的多個視頻剪輯中。請參考圖5，圖5為將被記錄裝置100/1300處理的視頻幀F(xiàn)1的范例性排布的示意圖。如圖5所示，視頻幀F(xiàn)1至少包含第一角度的視頻幀F(xiàn)m-F1,,(圖5中簡稱為第一幀(Θ P)、第二角度的視頻幀F(xiàn)y-Fw (圖5中簡稱為第二幀(θ2))以及第三角度的視頻幀F(xiàn)3，1-F3，K (圖5中簡稱為第三幀(Θ 3))。圖像捕獲裝置101/1301被適當移動/旋轉(zhuǎn)，以便所有第一角度的幀F(xiàn)1j1-FijN由鏡頭112在同一視角Θ:(例如，Θ 1=0° )產(chǎn)生，所有第二角度的幀F(xiàn)u-F2^由鏡頭112在同一視角θ2 (例如，θ2=5° )產(chǎn)生，所有第三角度的幀F(xiàn)3，1-F3，K由鏡頭112在同一視角θ3 (例如，θ3=10° )產(chǎn)生。視頻幀F(xiàn)u-F1^Fu-F2W及F^-F3, κ級聯(lián)形成待由記錄裝置100/1300處理的視頻幀匕。
另一替代設計中，較低分辨率視頻幀F(xiàn)1 (例如640*480視頻幀)可擷取自高分辨率視頻幀(例如1920*1080視頻幀)。請參考圖6，圖6為將被記錄裝置100/1300處理的視頻幀F(xiàn)1的另一范例性排布的示意圖。如圖6所示，參考視頻幀F(xiàn)kef的圖像分辨率高于視頻幀F(xiàn)1的每一幀的圖像分辨率，其中視頻幀F(xiàn)1包含F(xiàn)1,1、Flj2, F1j3等。由裁剪參考視頻幀F(xiàn)kef得到的視頻幀F(xiàn)1,!包含圖像區(qū)域ApA2及A3 ;由裁剪參考視頻幀F(xiàn)kef得到的視頻幀F(xiàn)li2包含圖像區(qū)域A2、A3及A4 ;由裁剪參考視頻幀F(xiàn)kef得到的視頻幀F(xiàn)li3包含圖像區(qū)域A3、A4及A5。換句話說，下一視頻幀相對當前視頻幀右移D1/D2像素，其中Dl及D2可為正整數(shù)，Dl可等于或者不同于D2。參考視頻幀F(xiàn)kef中的視頻幀F(xiàn)lil-Fli3的位置(亦即，坐標)可被記錄為相應圖像配準信息。關(guān)于分別顯示于圖2及圖4中的記錄裝置200及1400，信息采集電路204及1404記錄由各個鏡頭212_1-212_N分別產(chǎn)生的視頻幀F(xiàn)1-Fn的圖像配準信息INF1_INFn?？紤]圖像捕獲裝置201/1401僅有2個鏡頭，用于產(chǎn)生一個左眼視頻幀(例如，F(xiàn)1)以及一個右眼視頻幀(例如，F(xiàn)2)的特例。由于播放操作可能僅使用一個圖像配準信息來選擇一對左眼視頻幀及右眼視頻幀，信息采集電路204/1404可被配置為僅使用視頻幀F(xiàn)1及F2之一的圖像配準信息(例如，INF1ANF2)作為加入到視頻流的已記錄的圖像配準信息，或使用視頻幀F(xiàn)1及F2的圖像配準信息INF1及INF2的平均值作為加入到視頻流的已記錄圖像配準信息。圖7是依據(jù)范例性實施例的記錄多個視頻幀的方法流程圖。若結(jié)果實質(zhì)上相同，上述步驟并不要求完全依照圖7所示的順序執(zhí)行。上述方法由記錄裝置100/200/1300/1400執(zhí)行，并可簡要概述如下。步驟300:開始。步驟302:接收視頻巾貞。舉例來說，視頻巾貞可直接產(chǎn)生自向希望的方向移動/旋轉(zhuǎn)的圖像捕獲裝置，或者可獲取自其它可行裝置。步驟304:依據(jù)視頻幀產(chǎn)生視頻流。舉例來說，將視頻幀編碼為視頻流或?qū)⒁曨l幀直接作為視頻流輸出。步驟306:獲取視頻幀的圖像配準信息，其中圖像配準信息用于將不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)。步驟308:將圖像配準信息記錄入視頻流。步驟310:結(jié)束。
本領域技術(shù)人員在讀完上述說明記錄裝置100/200/1300/1400的段落后，能夠輕易地理解圖7中每一步驟的細節(jié)，為簡潔起見，此處不再詳述。圖像配準信息作為包含于視頻流中的視頻幀的索引值(index value)，用于指示哪些視頻幀應被歸類(group)為待由下一過程(例如，播放)處理的一個視頻剪輯。每一視頻剪輯具有特定的圖像配準信息，處理多個視頻幀時可以一個視頻剪輯作為一個單元。從而，用戶可觀看與通過用戶交互(user interaction)決定的選定視角相關(guān)的一個視頻剪輯(亦即，全景視頻內(nèi)的選定場景的視頻內(nèi)容)。請參考圖8，其為依據(jù)本發(fā)明的范例性實施例的播放裝置的示意圖。范例的播放裝置400包含，但不限于，接收電路402，搜尋電路404以及視頻處理電路406。接收電路402用于接收選定場景S的播放請求REQ_P，也用于接收視頻流VS1。在一范例性實施例中，視頻流VSl由上述圖像配準信息INF1及編碼視頻幀F(xiàn)1’組成，或者由上述圖像配準信息INF1及原視頻幀F(xiàn)1組成?？蛇x的，視頻流VSl可由上述圖像配準信息INF1-1NFn及編碼視頻幀F(xiàn)/ -F/組成，或者由上述圖像配準信息INF1-1NFn及原視頻幀F(xiàn)1-F1^i成。因此，搜尋電路404自接收電路402獲取多個視頻幀及相應圖像配準信息INF115由于圖像配準信息INF1由記錄裝置100/200/1300/1400加入到視頻流VSl中，當接收視頻流VSl時，播放裝置400獲取圖像配準信息INF115然而，上述說明并非本發(fā)明的限制。在另ー范例性實施例中，視頻流VSl僅由上述編碼視頻幀/原視頻幀組成，其中編碼視頻幀/原視頻幀及相應圖像配準信息被分別傳送。搜尋電路404耦接于接收電路402，用于搜尋對應于選定場景S的圖像配準信息的目標視頻幀F(xiàn)t的視頻流VSl (例如，編碼視頻幀F(xiàn)/或原視頻幀F(xiàn)1),其中選定場景S由播放請求REQ_P指示。視頻處理電路406耦接于搜尋電路404及顯示裝置401 (例如，手機或數(shù)碼相機的顯示屏)，用于依據(jù)目標視頻幀F(xiàn)t執(zhí)行播放操作。舉例來說，當目標視頻幀F(xiàn)t為編碼視頻幀吋，播放裝置將解碼目標視頻幀F(xiàn)t以產(chǎn)生對應解碼視頻幀，并依據(jù)解碼視頻幀產(chǎn)生視頻輸出信號Svideq至顯示裝置401。以此種方式，擷取自目標視頻幀F(xiàn)t的視頻信息傳送至顯示裝置401用于播放。應當注意，視頻處理電路406并不解碼用于全景視頻播放的所有編碼視頻幀F(xiàn)/，僅有由選定場景S的圖像配準信息所索引(indexed)的目標視頻幀F(xiàn)t被選定并解碼，從而降低了計算復雜度?？蛇x的，當目標視頻幀F(xiàn)t為原視頻幀時，播放操作將直接參考目標視頻幀ら產(chǎn)生視頻輸出信號Svi■至顯示裝置401。以此種方式，擷取自目標視頻幀F(xiàn)t的視頻信息傳送至顯示裝置401用于播放。類似的，視頻處理電路406并不處理用于全景視頻播放的所有原視頻幀F(xiàn)1，僅有由選定場景S的圖像配準信息所索引的目標視頻幀F(xiàn)t被選定并處理，從而降低了計算復雜度。請參考圖9，其為基于播放請求的范例性視頻幀選擇的示意圖。假設用戶從左至右地水平移動/搖攝圖像捕獲裝置101/201/1301/1401，隨后從右至左地水平移動/搖攝圖像捕獲裝置101/201/1301/1401，則多個視頻幀F(xiàn)1-F18經(jīng)由ー個鏡頭被順序捕獲。假設播放請求REQ_P指示用戶期望觀看選定場景S (例如，圖像捕獲裝置101/201/131/1401的選定視角的視頻內(nèi)容)。如圖9所示，視頻幀F(xiàn)4-F6及F13-F15包含選定場景S的信息，亦即，視頻幀F(xiàn)4-F6及F13-F15對應于選定場景S的視角?；谝曨l幀F(xiàn)1-F18的每ー個的圖像配準信息，由于視頻幀F(xiàn)4-F6及F13-F15的各圖像配準信息對應于選定場景S，視頻幀F(xiàn)4-F6及F13-F15將被選擇。 隨后，視頻處理電路406參考選定視頻幀F(xiàn)4-F6及F13-F15控制顯示裝置401顯示選定場景S的視頻內(nèi)容(亦即，圖9對應陰影區(qū)所指示的視頻片段(video segments))。由于視頻幀F(xiàn)4-F6及F13-F15記錄于不同的時間，重復順序從視頻幀F(xiàn)4-F6及F13-F15中選出的視頻片段的播放操作可能導致不連續(xù)的無限視頻(infinite video)。為減少當依據(jù)重復播放方案相同視角的無限視頻被顯示時用戶感受到的間斷，可在選取自視頻幀F(xiàn)15的視頻片段及選取自視頻幀F(xiàn)4的視頻片段之間的過渡中引入交叉淡化效果(cross-fadeeffect)。此外，調(diào)整從視頻幀F(xiàn)4-F6及F13-F15中選出的視頻片段的重復順序亦可能減少用戶感受到的間斷。舉例來說，可采用反向播放方案，這樣，按正常次序順序選取自視頻幀F(xiàn)4-F6及F13-F15的視頻片段被顯示，隨后按反向次序順序選取自視頻幀F(xiàn)15-F13及F6-F4的視頻片段被顯示。用戶可瀏覽全景視頻內(nèi)的任意場景。舉例來說，當播放請求REQ_P指示用戶期望觀看另ー選定場景S-1時，依據(jù)視頻幀F(xiàn)8-F11的圖像配準信息，包含選定場景S-1的信息的視頻幀F(xiàn)8-F11被選定，亦即，視頻幀F(xiàn)8-F11對應于選定場景S-1的視角。隨后，視頻處理電路406參考選定視頻幀F(xiàn)8-F11來控制顯示裝置401顯示選定場景S-1的視頻內(nèi)容(亦即，圖9對應陰影區(qū)所指示的視頻片段)。在圖9所示的范例中，場景選擇及播放操作應用于包含視頻幀F(xiàn)1-F18的全景視頻，其中視頻幀F(xiàn)1-F18是由從左至右地水平移動/搖攝圖像捕獲裝置101/201/1301/1401，隨后從右至左地水平移動/搖攝圖像捕獲裝置101/201/1301/1401順序得到的。然而，如圖10所示，本發(fā)明的場景選擇及播放操作也可以應用在僅包含視頻幀F(xiàn)l-FlO的全景視頻上，其中視頻幀F(xiàn)l-FlO是在ー個方向(例如，從左至右)水平移動/搖攝圖像捕獲裝置101/201/1301/1401順序得到的。如圖10所示，視頻幀F(xiàn)4-F6包含選定場景S的信息，基于視頻幀F(xiàn)l-FlO的每ー個的圖像配準信息，由于視頻幀F(xiàn)4-F6的各圖像配準信息對應于選定場景S，視頻幀F(xiàn)4-F6將被選擇。視頻幀F(xiàn)8-F10包含選定場景S-1的信息，由于視頻幀F(xiàn)8-F10的各圖像配準信息對應于選定場景S-1，視頻幀F(xiàn)8-F10將被選擇。為簡潔起見，此處不再詳述。此外，如圖11所示，本發(fā)明的場景選擇及播放操作也可以應用在另ー僅包含視頻幀F(xiàn)9-F18的全景視頻上，其中視頻幀F(xiàn)9-F18是在ー個方向(例如，從右至左)水平移動/搖攝圖像捕獲裝置101/201/1301/1401順序得到的。如圖11所示，視頻幀F(xiàn)13-F15包含選定場景S的信息，基于視頻幀F(xiàn)9-F18的每ー個的圖像配準信息，由于視頻幀F(xiàn)13-F15的各圖像配準信息對應于選定場景S，視頻幀F(xiàn)13-F15將被選擇。視頻幀F(xiàn)9-F11包含選定場景S-1的信息，由于視頻幀F(xiàn)9-F11的各圖像配準信息對應于選定場景S-1，視頻幀F(xiàn)9-F11將被選擇。為簡潔起見，此處不再詳述。除了控制無限視頻的播放外，視頻處理電路406亦可對由搜尋電路404選定的目標視頻幀F(xiàn)t執(zhí)行ー個或多個圖像處理操作。舉例來說，視頻處理電路406依據(jù)相關(guān)圖像配準信息INFt對擷取自目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行對齊操作，并對應產(chǎn)生對齊視頻幀。從而，依據(jù)對齊視頻幀，播放操作產(chǎn)生視頻輸出信號Svideq至顯示裝置401。舉例來說，但并非本發(fā)明的限制，對齊操作包含視頻捕獲狀況歸ー化、觀看幀尺寸歸ー化(viewing frame size norma丄ization)及/或中貝對丹處理。當目標視頻幀F(xiàn)t的圖像配準信息INFt包含攝像機捕獲狀況信息，例如聚焦信息、白平衡信息及/或曝光信息吋，依據(jù)目標視頻幀F(xiàn)t的攝像機捕獲狀況信息，視頻處理電路406對目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行視頻捕獲狀況歸ー化操作。以此種方式，對目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行聚焦歸ー化、曝光歸ー化及/或白平衡歸ー化以移除/最小化攝像機捕獲狀況差異。當目標視頻幀F(xiàn)t的圖像配準信息INFt包含平移信息、旋轉(zhuǎn)信息及/或尺度信息時，依據(jù)目標視頻幀F(xiàn)t的平移信息、旋轉(zhuǎn)信息及尺度信息中的至少ー個，視頻處理電路406對目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行觀看幀尺寸歸ー化操作。舉例來說，觀看幀尺寸歸ー化操作可裁剪目標視頻幀F(xiàn)t的至少ー個解碼視頻幀/原視頻幀，以產(chǎn)生裁剪的視頻幀，其中裁剪前的視頻幀具有第一分辨率，而裁剪的視頻幀具有低于第一分辨率的第二分辨率。圖12為觀看幀尺寸歸ー化操作的范例示意圖。如圖12所示，如果有必要，裁剪的視頻幀可以被放大。由視頻處理電路406執(zhí)行的巾貞對齊處理可通過特征點匹配(feature pointmatching)及/或圖像扭曲來對齊巾貞?？蛇x的，當全局運動信息記錄于圖像配準信息INFt中吋，由視頻處理電路406執(zhí)行的幀對齊處理可參考全局運動信息來對齊幀。請參考圖13，其為范例性幀對齊處理的示意圖。以圖9中的視頻幀F(xiàn)4及F5為例，由于圖像捕獲裝置101/201/1301/1401的移動，視頻幀F(xiàn)4及F5有位于不同位置的共同對象(例如，房屋)。幀對齊處理執(zhí)行后，視頻幀F(xiàn)4中的共同對象與視頻幀F(xiàn)5中的同一共同對象對齊。應當注意，關(guān)于視頻幀F(xiàn)4及F5的每ー個，在此僅有對應于選定場景視角的裁剪視頻片段將被顯示在顯示屏上。圖14為依據(jù)一范例性實施例的視頻流播放方法的流程圖。若結(jié)果實質(zhì)上相同，上述步驟并不要求完全依照圖14所示的順序執(zhí)行。上述方法應用于播放裝置400，并可簡要概述如下。步驟800:開始。步驟802:檢查選定場景的播放請求是否接收到。若是，轉(zhuǎn)至步驟804 ;否則，執(zhí)行步驟802以持續(xù)監(jiān)測播放請求的接收。步驟804:搜尋用于目標視頻幀(例如，編碼視頻幀或原視頻幀)的視頻流，其中目標視頻幀對應于選定場景的圖像配準信息，圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)。步驟806:對擷取自目標視頻流的解碼視頻幀/原視頻幀執(zhí)行對齊操作，并相應產(chǎn)生多個對齊視頻幀。舉例來說，對齊操作可包含視頻捕獲狀況歸ー化、觀看幀尺寸歸ー化及/或幀對齊處理。步驟808:依據(jù)選定場景的對齊視頻幀執(zhí)行播放操作。步驟810:檢查用于另ー選定場景的播放請求是否接收到。若是，轉(zhuǎn)至步驟804 ;否貝U，執(zhí)行步驟808以持續(xù)執(zhí)行對選定場景的播放操作。本領域技術(shù)人員在讀完上述說明播放裝置400的段落后，能夠輕易地理解圖14中每ー步驟的細節(jié)，例如，當目標視頻幀為編碼視頻幀時，則對該編碼視頻幀解碼后再對解碼視頻幀執(zhí)行對齊操作。為簡潔起見，此處不再詳述。除了對齊操作外，視頻處理電路406亦可對擷取自目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀執(zhí)行其他圖像處理操作。請參考圖15，其為依據(jù)本發(fā)明的另ー范例性實施例的播放裝置的示意圖。接收電路902的操作幾乎與接收電路402的操作相同，視頻處理電路906的操作幾乎與視頻處理電路406的操作相同。播放裝置400與播放裝置900的主要不同在于接收電路902更接收圖形數(shù)據(jù)(graphic data)D_IN,以及視頻處理電路906更依據(jù)圖形數(shù)據(jù)D_IN處理擷取自目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀。舉例來說，但并非本發(fā)明的限制，圖形數(shù)據(jù)0_爪是用戶界面(user interface)數(shù)據(jù)，視頻處理電路906利用擷取自目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀(例如,對齊視頻幀)覆蓋圖形數(shù)據(jù)D_IN，以產(chǎn)生混合視頻幀，以及依據(jù)混合視頻幀執(zhí)行選定場景的播放操作。在本實施例中，視頻處理電路906經(jīng)由視頻輸出信號Svmro將混合視頻幀傳送至顯示裝置401，以使選定場景的視頻內(nèi)容及圖形數(shù)據(jù)D_IN可顯示于顯示裝置401上。圖16為依據(jù)另ー范例性實施例的視頻流播放方法的流程圖。若結(jié)果實質(zhì)上相同，上述步驟并不要求完全依照圖16所示的順序執(zhí)行。上述方法應用于播放裝置900，并可簡要概述如下。步驟1000:開始。
步驟1002:檢查選定場景的播放請求是否接收到。若是，轉(zhuǎn)至步驟1004 ;否則，執(zhí)行步驟1002以持續(xù)監(jiān)測播放請求的接收。步驟1004:搜尋用于目標視頻幀(例如，編碼視頻幀或原視頻幀)的視頻流，其中目標視頻幀對應于選定場景的圖像配準信息，圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)。步驟1006:對擷取自目標視頻幀的解碼視頻幀/原視頻幀執(zhí)行對齊操作，并相應產(chǎn)生多個對齊的視頻幀。舉例來說，對齊操作可包含視頻捕獲狀況歸ー化、觀看幀尺寸歸ー化及/或幀對齊處理。步驟1008:利用對齊視頻幀覆蓋圖形數(shù)據(jù)，以產(chǎn)生混合視頻幀。步驟1010:依據(jù)選定場景的混合視頻幀執(zhí)行播放操作。步驟1012:檢查用于另ー選定場景的播放請求是否接收到。若是，轉(zhuǎn)至步驟1004 ；否則，執(zhí)行步驟1010以持續(xù)執(zhí)行對選定場景的播放操作。本領域技術(shù)人員在讀完上述說明播放裝置900的段落后，能夠輕易地理解圖16中每ー步驟的細節(jié)，例如，當目標視頻幀為編碼視頻幀時，則對該編碼視頻幀解碼后再對解碼視頻幀執(zhí)行對齊操作。為簡潔起見，此處不再詳述。在圖15所示的實施例中，重疊操作由播放裝置900執(zhí)行。在另一可選設計中，重疊操作可由顯示裝置401執(zhí)行。舉例來說，圖8所示的播放裝置400產(chǎn)生擷取自目標視頻幀F(xiàn)t的解碼視頻幀/原視頻幀(例如，對齊視頻幀)，并通過視頻輸出信號Svmro傳至顯示裝置401。隨后，顯示裝置401利用接收到的視頻幀覆蓋圖形數(shù)據(jù)0_爪，以產(chǎn)生混合視頻幀，井隨后通過顯示混合視頻幀執(zhí)行選定場景的播放操作。為更好理解上述響應用戶互動而執(zhí)行的場景選擇及播放操作，下文將描述ー實施范例。假設圖像配準信息包含 每ー視頻幀的ニ維坐標。因此，基于每ー視頻幀的2維坐標，用戶可改變視角以瀏覽全景ニ維空間的所有視頻幀。當在某一瀏覽視角停下時，用戶將觀看裁剪之后連續(xù)的對齊視頻幀。特別是，當用戶選擇一個新的水平視角來瀏覽時，系統(tǒng)將找到在X軸上有最小距離的視頻幀:Dist=MinlP-Xi(2)其中P是來自于用戶輸入的累積移動像素，Xi是i巾貞的X坐標，Dist是所有視頻幀中距離P的最小距離。具有Dist值的視頻幀被選定播放。當用戶在某ー視角停下時，為對齊輸出幀與連續(xù)視頻幀，需要在顯示前裁剪幀。特別是，對齊是基于來自于記錄階段的每一視頻幀的(x，y)坐標。因此，僅有連續(xù)視頻幀的重疊區(qū)域可被顯示。故視頻幀需要根據(jù)其相應坐標值進行裁剪。在Y軸，裁剪是基于全局空間內(nèi)的相對坐標(relative coordinate)進行的。在X軸，裁剪區(qū)域是基于當前顯示幀F(xiàn)B及連續(xù)視頻幀的第一幀F(xiàn)A之間的相對坐標值:Cropx=In itx+FBx_FAx(3)其中Cropx是FB在X軸的裁剪像素，F(xiàn)Ax是FA的X坐標，F(xiàn)Bx是FB的X坐標，Initx是FA在X軸的裁剪像素。Initx可由下列方程定義:Initx=O,若 C=O,(4)Initx=Fff-Off,若 C=I(5)其中Fw是輸入視頻幀的寬度，Ow是輸出裁剪寬度，C是攝像機搖攝/移動方向。攝像機搖攝/移動方向被定義為整個視頻的最后ー幀及第一幀之間的X坐標差。因此，當攝像機向右搖攝/移動時，上述C值等于I ;當攝像機向左搖攝/移動時，上述C值等于O。給定視角的連續(xù)視頻幀的定義為幀是連續(xù)的，并且滿足下列條件:FBx-FAx<Fff-0ff(6)亦即，F(xiàn)A的連續(xù)幀是與FA的裁剪區(qū)域重疊的幀。連續(xù)視頻幀的數(shù)量也可以由Ow控制。換句話說，可減少輸出視場(field-of view)以對應增加連續(xù)視頻巾貞的時間。舉例來說，Ow的值為0.8xFff^0.9xFw，該值也取決于用于保持輸出高寬比(aspect ratio)的Y軸的裁剪像素。與需要依據(jù)用戶交互解碼寬場視頻幀及裁剪和扭曲選定區(qū)域的傳統(tǒng)系統(tǒng)相反，本發(fā)明的全景視頻系統(tǒng)不需要大寬場緩沖器做視頻解碼，而是使用具有原始捕獲尺寸的幀緩沖器做視頻解碼(如果視頻觀看階段執(zhí)行視頻解碼的話)。此外，本發(fā)明的全景視頻系統(tǒng)也并不需要耗時的圖像扭曲操作。原始輸入視頻通常在被捕獲時就已經(jīng)被很好的校準過，而沒有任何失真。因此，本發(fā)明的全景視頻系統(tǒng)的全景圖像保證不存在任何傳統(tǒng)的縫合視頻全景中經(jīng)常存在的重影及圖像失真。如上所述，圖像處理操作，包括對齊操作、裁剪操作、歸ー化操作等，由播放裝置400/900中的視頻處理電路406/906執(zhí)行?？蛇x的，上述圖像處理操作可由記錄裝置100/200/1300/1400的視頻處理電路102/202執(zhí)行，而不是由播放裝置400/900中的視頻處理電路406/906執(zhí)行，這樣視頻處理電路406/906不執(zhí)行任何上述圖像處理操作(例如，對齊操作、裁剪操作及/或歸ー化操作)，而僅依據(jù)視頻幀(例如，解碼視頻幀或原視頻幀)簡單產(chǎn)生視頻輸出信號Svideq至顯示裝置401。此外，圖8所示的播放裝置40`0可用于控制電子設備(例如，手機)中用戶界面的桌面。請結(jié)合圖18參考圖17。圖17是顯示于電子設備1100的顯示屏(例如，觸摸屏)1102上的動態(tài)壁紙的示意圖。圖18是由于桌面滾動命令(desktop scrolling command)顯示于顯示屏1102上的另ー動態(tài)壁紙的示意圖。如圖17所示，桌面使用通過顯示視頻片段產(chǎn)生的無限視頻作為動態(tài)壁紙1104，其中視頻片段對應于圖9所示的選定場景S-1的視角，一些圖標1101重疊于動態(tài)壁紙1104上。當用戶輸入桌面滾動命令1106時,舉例來說,通過在顯示屏1102上移動他/她的手指,另ー選定場景S的播放請求REQ_P響應于桌面滾動命令1106生成。依據(jù)對應于另ー選定場景S找到的目標視頻幀執(zhí)行播放操作，顯示動態(tài)壁紙1204。從而，如圖18所示，桌面現(xiàn)在使用通過顯示視頻片段產(chǎn)生的無限視頻作為動態(tài)壁紙1204，其中視頻片段對應于圖9所示的選定場景S的視角。以上所述僅為本發(fā)明的較佳實施例，本領域相關(guān)的技術(shù)人員依據(jù)本發(fā)明的精神所做的等效變化與修改，都應當涵蓋在權(quán)利要求書內(nèi)。
權(quán)利要求
1.一種處理多個視頻幀的方法，其特征在于，包含: 獲取多個視頻幀的圖像配準信息，其中所述圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)；以及 使用所述圖像配準信息，在所述多個視頻幀中搜尋對應于選定場景的多個目標視頻幀。
2.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，更包含: 接收具有所述多個視頻幀以及所述圖像配準信息的視頻流； 其中獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 從接收的所述視頻流獲取所述多個視頻幀的所述圖像配準信息。
3.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 獲取分配給至少一視頻幀的場景編號。
4.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 獲取分配給至少一視頻幀的坐標。
5.根據(jù)權(quán)利要求4所述的處理 多個視頻幀的方法，其特征在于，分配給所述多個視頻中貞中的起始視頻巾貞的坐標位于原點。
6.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 獲取全局運動信息。
7.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 獲取至少一傳感器的傳感器信息，其中所述傳感器位于產(chǎn)生所述多個視頻幀的圖像捕獲裝置上。
8.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 獲取至少一視頻幀的平移信息、旋轉(zhuǎn)信息以及尺度信息中的至少一個。
9.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，獲取所述多個視頻幀的所述圖像配準信息的步驟包含: 獲取至少一視頻幀的攝像機捕獲狀況信息。
10.根據(jù)權(quán)利要求9所述的處理多個視頻幀的方法，其特征在于，所述攝像機捕獲狀況信息包含聚焦信息、白平衡信息以及曝光信息中的至少一個。
11.根據(jù)權(quán)利要求1所述的處理多個視頻幀的方法，其特征在于，所述多個視頻幀組成多個視頻剪輯，每一視頻剪輯具有特定的圖像配準信息，以及處理所述多個視頻幀時以一個視頻剪輯作為一個單元。
12.一種視頻流播放方法，其特征在于，包含: 接收選定場景的播放請求； 搜尋用于多個目標視頻幀的視頻流，其特征在于，所述多個目標視頻幀對應于所述選定場景的圖像配準信息，所述圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)；以及 依據(jù)在所述視頻流中找到的所述多個目標視頻幀執(zhí)行播放操作。
13.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，依據(jù)在所述視頻流中找到的所述多個目標視頻幀執(zhí)行所述播放操作的步驟包含: 對擷取自所述多個目標視頻流的多個視頻幀執(zhí)行對齊操作，并相應產(chǎn)生多個對齊的視頻幀。
14.根據(jù)權(quán)利要求13所述的視頻流播放方法，其特征在于，依據(jù)在所述視頻流中找到的所述多個目標視頻幀執(zhí)行所述播放操作的步驟包含: 依據(jù)所述多個對齊的視頻幀執(zhí)行所述播放操作。
15.根據(jù)權(quán)利要求13所述的視頻流播放方法，其特征在于，對擷取自所述多個目標視頻流的所述多個視頻幀執(zhí)行所述對齊操作，并相應產(chǎn)生所述多個對齊的視頻幀的步驟包含: 依據(jù)所述多個目標視頻幀的攝像機捕獲狀況信息，對所述多個視頻幀執(zhí)行視頻捕獲狀況歸一化操作。
16.根據(jù)權(quán)利要求15所述的視頻流播放方法，其特征在于，所述攝像機捕獲狀況信息包含聚焦信息、白平衡信息以及曝光 信息中的至少一個。
17.根據(jù)權(quán)利要求13所述的視頻流播放方法，其特征在于，對擷取自所述多個目標視頻流的所述多個視頻幀執(zhí)行所述對齊操作，并相應產(chǎn)生所述多個對齊的視頻幀的步驟包含: 依據(jù)所述多個目標視頻幀的平移信息、旋轉(zhuǎn)信息以及尺度信息中的至少一個對所述多個視頻幀執(zhí)行觀看幀尺寸歸一化操作。
18.根據(jù)權(quán)利要求17所述的視頻流播放方法，其特征在于，依據(jù)所述多個目標視頻幀的所述平移信息、所述旋轉(zhuǎn)信息以及所述尺度信息中的至少一個對所述多個視頻幀執(zhí)行所述觀看幀尺寸歸一化操作的步驟包含: 裁剪擷取自所述多個目標視頻幀其中之一的視頻幀以產(chǎn)生裁剪的視頻幀，其中所述視頻幀具有第一分辨率，而所述裁剪的視頻幀具有低于所述第一分辨率的第二分辨率。
19.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，所述播放請求響應于桌面滾動命令而產(chǎn)生，并且依據(jù)在所述視頻流中找到的所述多個目標視頻幀執(zhí)行所述播放操作的步驟包含: 依據(jù)所述多個目標視頻巾貞顯示動態(tài)壁紙。
20.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，依據(jù)在所述視頻流中找到的所述多個目標視頻幀執(zhí)行所述播放操作的步驟包含: 通過利用擷取自所述多個目標視頻幀的多個視頻幀覆蓋圖形數(shù)據(jù)產(chǎn)生多個混合視頻幀； 依據(jù)所述多個混合視頻幀執(zhí)行所述播放操作。
21.根據(jù)權(quán)利要求20所述的視頻流播放方法，其特征在于，所述圖形數(shù)據(jù)是用戶界面數(shù)據(jù)。
22.根據(jù)權(quán)利要求12所述的視頻流播放方法，其特征在于，所述視頻流傳輸多個視頻幀，所述多個視頻幀形成多個視頻剪輯，每一視頻剪輯具有特定的圖像配準信息，以及播放所述視頻流時以一個視頻剪輯作為一個單元。
23.一種用于記錄多個視頻幀的裝置，其特征在于，包含: 視頻處理電路，依據(jù)所述多個視頻幀產(chǎn)生視頻流；以及 信息采集電路，獲取所述多個視頻幀的圖像配準信息，以及將所述圖像配準信息記錄入所述視頻流中，其中所述圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)。
24.根據(jù)權(quán)利要求23所述的記錄多個視頻幀的裝置，其特征在于，所述信息采集電路給至少一視頻幀分配場景編號以獲取所述圖像配準信息。
25.根據(jù)權(quán)利要求23所述的記錄多個視頻幀的裝置，其特征在于，所述信息采集電路給至少一視頻幀分配 坐標以獲取所述圖像配準信息。
26.根據(jù)權(quán)利要求25所述的記錄多個視頻幀的裝置，其特征在于，分配給所述多個視頻中貞中的起始視頻巾貞的坐標位于原點。
27.根據(jù)權(quán)利要求23所述的記錄多個視頻幀的裝置，其特征在于，所述信息采集電路對多個鄰近視頻幀應用全局運動估計，并相應產(chǎn)生全局運動信息以獲取所述圖像配準信肩、O
28.根據(jù)權(quán)利要求23所述的記錄多個視頻幀的裝置，其特征在于，所述信息采集電路獲取由至少一傳感器提供的傳感器信息以獲取所述圖像配準信息，其中所述傳感器位于產(chǎn)生所述多個視頻幀的圖像捕獲裝置上。
29.根據(jù)權(quán)利要求23所述的記錄多個視頻幀的裝置，其特征在于，所述信息采集電路獲取至少一視頻幀的平移信息、旋轉(zhuǎn)信息以及尺度信息中的至少一個以獲取所述圖像配準信息。
30.根據(jù)權(quán)利要求23所述的記錄多個視頻幀的裝置，其特征在于，所述信息采集電路獲取至少一視頻幀的攝像機捕獲狀況信息以獲取所述圖像配準信息。
31.根據(jù)權(quán)利要求30所述的記錄多個視頻幀的裝置，其特征在于，所述攝像機捕獲狀況信息包含聚焦信息、白平衡信息以及曝光信息中的至少一個。
全文摘要
本發(fā)明提供一種視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置。記錄多個視頻幀的裝置包含視頻處理電路及信息采集電路，視頻處理電路依據(jù)多個視頻幀產(chǎn)生視頻流；信息采集電路獲取多個視頻幀的圖像配準信息，以及將圖像配準信息記錄入視頻流中，其中圖像配準信息用于將多個不同視頻幀轉(zhuǎn)換為同一坐標系統(tǒng)。以上所述的視頻幀處理方法，視頻流播放方法及視頻幀記錄裝置能夠保證輸出視頻質(zhì)量，并且具有較低的計算復雜度。
文檔編號H04N5/91GK103096008SQ20121037477
公開日2013年5月8日 申請日期2012年9月29日 優(yōu)先權(quán)日2011年10月6日
發(fā)明者朱啟誠, 陳鼎勻, 何鎮(zhèn)在 申請人:聯(lián)發(fā)科技股份有限公司