用于校正視頻幀的旋轉(zhuǎn)的方法和設(shè)備的制作方法
【專利摘要】本發(fā)明描述一種用于校正視頻幀的旋轉(zhuǎn)的方法和設(shè)備。根據(jù)一種方法，確定所述視頻幀相對于參考的旋轉(zhuǎn)量。至少部分基于所述視頻幀的所述檢測到的旋轉(zhuǎn)量校正所述視頻幀的所述旋轉(zhuǎn)。
【專利說明】用于校正視頻幀的旋轉(zhuǎn)的方法和設(shè)備
[0001]相關(guān)申請的交叉參考
[0002]本申請要求2011年11月28日申請的美國非臨時申請第13/304，929號的權(quán)益，所述申請的內(nèi)容如其全部陳述于本文中般以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明大致涉及圖像處理且更特定來說涉及校正視頻幀的旋轉(zhuǎn)。
發(fā)明背景
[0004]攝像機用戶在拍攝視頻時可以移動，手可以搖晃或以一個或多個不同角度握住攝像機。因此，錄制的視頻可以包括相對于參考以不同角度(例如，水平或垂直)旋轉(zhuǎn)的一個或多個相同場景幀。旋轉(zhuǎn)的幀可以使得錄制的視頻難以觀看或編輯。
發(fā)明概要
[0005]本發(fā)明描述了一種用于校正視頻幀的旋轉(zhuǎn)的方法和設(shè)備。根據(jù)一種方法，確定視頻幀相對于參考的旋轉(zhuǎn)量。視頻幀的旋轉(zhuǎn)至少部分基于視頻幀的檢測到的旋轉(zhuǎn)量而進行校正。
[0006]附圖簡述
[0007]可以根據(jù)下文結(jié)合附圖以舉例的方式給出的描述獲得更詳細(xì)的理解，其中:
[0008]圖1是用于校正視頻幀的旋轉(zhuǎn)的系統(tǒng)的實施方案的方框圖；
[0009]圖2是不例性視頻/[目號的圖表；
[0010]圖3是示出校正視頻幀的旋轉(zhuǎn)的示例性方法的流程圖；
[0011]圖4A是示出校正幀的實例的圖表；和
[0012]圖4B是示出校正幀的另一實例的圖表。
【具體實施方式】
[0013]視頻編輯軟件可以使用戶能夠手動校正視頻幀的所要旋轉(zhuǎn)(例如，逐幀)。這類手動校正可能是單調(diào)的，特別是在許多幀以不同角度旋轉(zhuǎn)的情況下。因此，下文描述的實施方案可以提供視頻幀的自動旋轉(zhuǎn)校正。此外，實施方案提供場景變化檢測，其可以啟用旋轉(zhuǎn)校正功能以區(qū)分幀旋轉(zhuǎn)和場景變化來防止在場景變化時將幀錯誤地識別為在旋轉(zhuǎn)。
[0014]圖1是用于校正視頻幀的旋轉(zhuǎn)的系統(tǒng)100的實施方案的方框圖。所示系統(tǒng)100包括旋轉(zhuǎn)檢測單元104、場景變化檢測單元106、變化積分器單元110、用戶界面114和顯示單元116。所示系統(tǒng)100也可以被配置來接收視頻輸入102和用戶輸入108且提供校正視頻輸出112以顯示在顯示單元116上。包括在系統(tǒng)100中的個別元件可以全部包括在單個設(shè)備中或可以是一個或多個單獨設(shè)備的部件。舉例來說，全部元件可以實施在芯片和相關(guān)處理器上、多個芯片上或軟件或硬件中(整體或部分)。舉例來說，芯片和相關(guān)處理器、軟件或硬件還可以包括在個人計算機(PC)、攝像機、照相手機、攝像錄像機、DVD播放器等等的一個或多個中。
[0015]系統(tǒng)100還可以包括用戶界面114，用戶輸入108可以經(jīng)由用戶界面114通過變化積分器單元110考慮而鍵入。用戶界面114可以是例如圖形用戶界面、手動用戶界面(包括，例如一個或多個按鈕、開關(guān)等等)或其組合。用戶輸入108可以包括例如除任何檢測到的旋轉(zhuǎn)以外用來旋轉(zhuǎn)每個幀的若干度數(shù)(例如，22度、37度等等)或可以選自若干預(yù)定選擇(例如，將每個幀額外旋轉(zhuǎn)90度、180度、270度等等)以補償例如橫向捕捉的視頻。用戶輸入也可以包括啟用和停用旋轉(zhuǎn)校正功能。
[0016]旋轉(zhuǎn)檢測單元104可以被配置來獲得視頻輸入102。通過非限制性實例，旋轉(zhuǎn)檢測單元104可以從視頻制作、捕捉、復(fù)制和/或存儲裝置(諸如攝像機、攝像手機、DVD播放器、PC或存儲單元或設(shè)備)接收或取得視頻信號的視頻幀。示例性視頻信號200示于圖2中且在下文示例性實施方案中將被用作示例性視頻輸入102。示例性視頻信號200包括幀202、204、206、208、210和212，其中每個可以由旋轉(zhuǎn)檢測單元104連續(xù)獲得。
[0017]再次參考圖1，旋轉(zhuǎn)檢測單元104可以分析視頻輸入102且確定包括在視頻輸入102中的任何或全部巾貞的旋轉(zhuǎn)量。巾貞的旋轉(zhuǎn)量可以相對于參考(例如，參考巾貞，諸如先前從視頻信號獲得的幀)確定。
[0018]場景變化檢測單元106也可以獲得視頻輸入102。場景變化檢測單元106可以分析視頻輸入102且確定場景是否已在特定幀處改變。場景變化檢測單元106可以使用本領(lǐng)域中已知的任何場景變化檢測技術(shù)。舉例來說，場景變化檢測單元106可以通過執(zhí)行幀與幀比較(例如，使用柱狀圖或邊緣檢測方法)來檢測場景變化。舉另一實例，場景變化檢測單元106可以通過分析壓縮視頻信號(例如，分析運動圖形專家組(MPEG)信號的運動向量)而檢測場景變化。
[0019]變化積分器單元110可以接收來自旋轉(zhuǎn)檢測單元104的每個幀的旋轉(zhuǎn)量、場景已在特定幀處改變的任何指示和任何用戶輸入108且確定是否基于所接收的信息校正每個幀的旋轉(zhuǎn)且校正多少。如果變化積分器單元110確定幀旋轉(zhuǎn)的校正是必需的，那么變化積分器單元110可以以所確定量校正其旋轉(zhuǎn)(例如，校正動作)校正其旋轉(zhuǎn)且提供視頻輸出112。在一實施方案中,變化積分器單兀110可以將所接收的巾貞旋轉(zhuǎn)量與閾值(例如,5度)進行比較且在所接收的旋轉(zhuǎn)量小于閾值量的情況下確定不校正幀。
[0020]圖3是示出校正視頻幀的旋轉(zhuǎn)的示例性方法的流程圖，所述方法可以例如通過圖1的系統(tǒng)100實施。根據(jù)示例性方法，可以確定是否啟用旋轉(zhuǎn)功能(步驟300)。舉例來說，用戶可以通過經(jīng)由用戶界面114將旋轉(zhuǎn)功能打開而手動啟用旋轉(zhuǎn)功能，當(dāng)系統(tǒng)100(或包括系統(tǒng)100的一個或多個設(shè)備)打開時可以自動啟用旋轉(zhuǎn)功能或可以響應(yīng)于另一功能被啟用(例如，當(dāng)設(shè)備鍵入視頻回放或編輯模式時)而自動啟用旋轉(zhuǎn)功能。如果確定旋轉(zhuǎn)功能未啟用，那么可以重復(fù)步驟300直到確定旋轉(zhuǎn)功能已經(jīng)啟用或系統(tǒng)關(guān)閉。示例性方法可以實時應(yīng)用到非實時視頻流(例如，被回放的錄制視頻流的實時補償)或非實時應(yīng)用到實時(或接近實時)視頻流(例如，實時-非基本上預(yù)錄制-視頻流(諸如用戶(預(yù))覽或錄制現(xiàn)場事件時捕捉的視頻流的實時補償)。
[0021]如果啟用了旋轉(zhuǎn)功能(步驟300)，那么可以獲得視頻幀(步驟302)。關(guān)于圖2的信號200，例如，可以獲得信號200的第一幀202或可以獲得接下去的連續(xù)幀204、206、208、210和212中的任何一個。[0022]如果獲得了視頻幀(步驟302)，那么步驟304、306和308可以發(fā)生。步驟304、306和308在圖3中被示為平行發(fā)生。然而，這些步驟可以同時或以任何順序發(fā)生。
[0023]可以檢測到所獲得的視頻幀的旋轉(zhuǎn)量(步驟304)。如上文關(guān)于圖1所述，當(dāng)前獲得的幀可以與先前獲得的幀進行比較，且可以確定所述兩個幀之間的旋轉(zhuǎn)差。舉例來說，當(dāng)前獲得的幀的一個或多個區(qū)域可以與先前獲得的幀的一個或多個類似區(qū)域進行比較。當(dāng)前獲得的幀相對于先前獲得的幀的旋轉(zhuǎn)變化量可以通過確定先前獲得的幀的一個或多個區(qū)域相對于當(dāng)前獲得的幀的一個或多個類似區(qū)域的旋轉(zhuǎn)量。
[0024]關(guān)于圖2的示例性信號200，幀204可以是當(dāng)前獲得的幀且?guī)?02可以是先前獲得的中貞。幀202的區(qū)域A1和幀204的區(qū)域A2可以進行比較，且區(qū)域A2相對于區(qū)域A1的旋轉(zhuǎn)量可以被確定為例如-15度(或+345度)。旋轉(zhuǎn)變化量(例如，-15度或+345度)可以被提供到圖1的變化積分器單元110。在接下去的方法重復(fù)中，幀206可以是當(dāng)前獲得的幀且?guī)?04可以先前獲得的幀?？梢员容^幀206的區(qū)域A3和幀204的區(qū)域A2，且區(qū)域A3相對于區(qū)域A2的旋轉(zhuǎn)量可以被確定為例如+22度。旋轉(zhuǎn)變化量(例如，+22度)可以被提供到圖1的變化積分器單元110。
[0025]在一實施方案中，當(dāng)前獲得的幀的一個以上區(qū)域可以與先前獲得的幀的一個以上區(qū)域進行比較(例如，幀204的區(qū)域A2和C2可以分別與幀202的區(qū)域A1和C1進行比較)。此處，圖1的旋轉(zhuǎn)檢測單元104可以分析比較結(jié)果且提供基于比較結(jié)果的旋轉(zhuǎn)量給變化積分器單元110。
[0026]可以檢測到場景變化(步驟306)。關(guān)于圖2的信號200，例如，當(dāng)幀210是當(dāng)前獲得的幀時，檢測到場景變化。如果檢測到場景變化，那么圖1的場景變化檢測單元106可以將這變化用信號發(fā)送到圖1的變化積分器單元110，如上文關(guān)于圖1所述。
[0027]可以獲得已經(jīng)鍵入 的任何用戶輸入(例如，圖1的用戶輸入108)(步驟308)。舉例來說，可以獲得指示除檢測到的旋轉(zhuǎn)以外用于旋轉(zhuǎn)視頻幀的量的用戶輸入。
[0028]可以確定用來校正所獲得的視頻幀(如果有)的旋轉(zhuǎn)的量(步驟310)。校正量可以等于例如步驟304中檢測到的旋轉(zhuǎn)量與作為用戶輸入108鍵入且在步驟308中獲得的任何額外旋轉(zhuǎn)校正量的總和。如果在步驟306中檢測到場景變化，那么應(yīng)用到所獲得的視頻幀的校正量可以不包括步驟304中檢測到的旋轉(zhuǎn)量。在一實施方案中，如果在步驟306中檢測到場景變化，那么校正量可以等于作為用戶輸入鍵入且在步驟308中獲得(如果有)的額外校正量。這可以防止其中發(fā)生場景變化的幀因旋轉(zhuǎn)檢測單元104識別例如類似于幀202,204和306的區(qū)域A1^A2和A3的幀210的區(qū)域(例如，區(qū)域B1)且基于所識別區(qū)域的旋轉(zhuǎn)錯誤地檢測到幀的旋轉(zhuǎn)而被過度旋轉(zhuǎn)或欠旋轉(zhuǎn)。如果在步驟304中未檢測到旋轉(zhuǎn)量且無額外旋轉(zhuǎn)校正量輸入，那么可以確定不需要對幀作出校正。
[0029]當(dāng)前獲得的幀的旋轉(zhuǎn)可以以所確定量校正(如果有)(步驟312)且可以重復(fù)步驟300。可以重復(fù)示例性方法直到旋轉(zhuǎn)功能停用或無法獲得更多的視頻幀(例如，視頻回放結(jié)束)為止。
[0030]圖4A和圖4B中示出校正幀的實例。圖4A和圖4B的左側(cè)示出未校正幀402a、404a、412a和414a，其可以由旋轉(zhuǎn)檢測單元104在步驟302中獲得。圖4A和圖4B的右側(cè)示出校正幀402b、404b、412b和414b，其可以提供為來自圖1的變化積分器單元110的輸出112。在圖4A中，幀404a中捕捉的圖像相對于幀402a中捕捉的相同圖像旋轉(zhuǎn)。幀404a的旋轉(zhuǎn)以所檢測數(shù)量的度數(shù)校正，如校正幀404b所反映。在圖4A中，無額外旋轉(zhuǎn)度數(shù)被鍵入為用戶輸入108。在圖4B中，幀414a中捕捉的圖像也相對于幀412a中捕捉的圖像旋轉(zhuǎn)。然而，在圖4B中，+90度已經(jīng)被鍵入為額外旋轉(zhuǎn)度數(shù)。因此，用被旋轉(zhuǎn)-90度(或+270度)的攝像機捕捉且包括相對于彼此旋轉(zhuǎn)的幀的視頻可以經(jīng)過校正使得視頻可以以適當(dāng)觀看方位顯示，其中全部幀方位相同。因此，上述實施方案可以用來校正相對于彼此旋轉(zhuǎn)任何旋轉(zhuǎn)度數(shù)的幀且也可以用來校正在放映期間有意旋轉(zhuǎn)90度、180度或270度的攝像機。
[0031]雖然上文以特定組合描述了特征和元件，但是每個特征或元件可以單獨使用而不具有其它特征和元件，或呈各種組合，具有或不具有其它特征和元件。本文提供的方法或流程圖可以以合并在由通用計算機或處理器執(zhí)行的計算機可讀存儲媒介中的計算機程序、軟件或硬件中實施。
[0032]舉例來說，合適的處理器包括通用處理器、專用處理器、常規(guī)處理器、數(shù)字信號處理器(DSP)、多個處理器、與DSP芯相關(guān)的一個或多個處理器、控制器、微控制器、特定應(yīng)用集成電路(ASIC)、場可編程門陣列(FPGA)電路、任何其它類型的集成電路(IC)，和/或狀態(tài)機。
[0033]本發(fā)明的實施方案可以表示為存儲在計算機可讀存儲媒介中的指令和數(shù)據(jù)。例如，本發(fā)明的方面可以使用Verilog實施,其是硬件描述語言(HDL)。當(dāng)處理時,Verilog數(shù)據(jù)指令可以生成其它中間數(shù)據(jù)(例如，網(wǎng)表、GDS數(shù)據(jù)等等)，其可以用來執(zhí)行在半導(dǎo)體制造工廠中實施的制造程序。制造程序可以適于制造并測試體現(xiàn)本發(fā)明的各個方面的半導(dǎo)體裝置(例如，處理器)。
【權(quán)利要求】
1.一種校正視頻幀的旋轉(zhuǎn)的方法，所述方法包括: 檢測視頻幀相對于參考的旋轉(zhuǎn)量；和 至少部分基于所述視頻幀的所述檢測到的旋轉(zhuǎn)量校正所述視頻幀的所述旋轉(zhuǎn)。
2.根據(jù)權(quán)利要求1所述的方法，其中所述獲得的視頻幀是當(dāng)前從包括多個連續(xù)視頻幀的視頻信號獲得的幀。
3.根據(jù)權(quán)利要求2所述的方法，其中所述參考是先前從所述視頻信號獲得的視頻幀。
4.根據(jù)權(quán)利要求3所述的方法，其中所述檢測到的旋轉(zhuǎn)量是從先前從所述視頻信號獲得的到所述當(dāng)前從所述視頻信號獲得的幀的旋轉(zhuǎn)改變量。
5.根據(jù)權(quán)利要求4所述的方法，其中所述檢測包括: 將先前從所述視頻信號獲得的所述視頻幀的至少一個區(qū)域與所述當(dāng)前從所述視頻信號獲得的幀的至少一個類似區(qū)域進行比較；和 確定先前從所述視頻信號獲得的所述視頻幀的所述至少一個區(qū)域與所述當(dāng)前從所述視頻信號獲得的幀的所述至少一個類似區(qū)域之間的旋轉(zhuǎn)量。
6.根據(jù)權(quán)利要求1所述的方法，其中: 所述方法還包括確定所述視頻幀是否表示場景變化，和 如果確定所述視頻幀表示所述場景變化，那么用來校正所述視頻幀的所述旋轉(zhuǎn)的所述確定量是零度。
7.根據(jù)權(quán)利要求1所述的方法，其中: 所述方法還包括接收額外量來旋轉(zhuǎn)所述視頻幀，和 確定用來校正所述視頻幀的所述旋轉(zhuǎn)的所述量是基于所述視頻幀的所述檢測到的旋轉(zhuǎn)量和用來旋轉(zhuǎn)所述視頻幀的所述接收到的額外量。
8.根據(jù)權(quán)利要求7所述的方法，其中: 所述方法還包括確定所述視頻幀是否表示場景變化，和 如果確定所述視頻幀表示所述場景變化，那么用來旋轉(zhuǎn)所述視頻幀的所述確定量等于用來旋轉(zhuǎn)所述視頻幀的所述接收的額外量。
9.根據(jù)權(quán)利要求7所述的方法，其中用來旋轉(zhuǎn)所述視頻幀的所述額外量是作為用戶輸入鍵入的特定數(shù)量的度數(shù)。
10.根據(jù)權(quán)利要求7所述的方法，其中用來旋轉(zhuǎn)所述視頻幀的所述額外量選自由90度、180度和270度組成的一組預(yù)設(shè)旋轉(zhuǎn)度數(shù)。
11.根據(jù)權(quán)利要求1所述的方法，其中用來校正所述視頻幀的所述旋轉(zhuǎn)的所述確定量是介于所述參考與所述獲得的視頻幀之間的任何數(shù)量的旋轉(zhuǎn)度數(shù)。
12.根據(jù)權(quán)利要求1所述的方法，其還包括顯示所述校正的視頻幀。
13.—種設(shè)備,其包括: 旋轉(zhuǎn)檢測單元，其被配置來檢測視頻幀相對于參考的旋轉(zhuǎn)量；和 變化積分器單元，其被配置來至少部分基于所述視頻幀的所述檢測到的旋轉(zhuǎn)量校正所述視頻幀的所述旋轉(zhuǎn)。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述獲得的視頻幀是當(dāng)前從包括多個連續(xù)視頻幀的視頻信號獲得的幀。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述參考是先前從所述視頻信號獲得的視頻幀。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述檢測到的旋轉(zhuǎn)量是從先前從所述視頻信號獲得的所述視頻幀到所述當(dāng)前從所述視頻信號獲得的幀的旋轉(zhuǎn)變化量。
17.根據(jù)權(quán)利要求13所述的設(shè)備，其中: 所述設(shè)備還包括被配置來確定所述視頻幀是否表示場景變化的場景變化檢測單元，且所述變化積分器單元還被配置來在所述場景變化檢測單元確定所述視頻幀表示所述場景變化的情況下確定用來將所述視頻幀的所述旋轉(zhuǎn)校正為零度的所述量。
18.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述變化積分器單元還被配置來接收用來旋轉(zhuǎn)所述視頻幀的額外量且基于所述視頻幀的所述檢測到的旋轉(zhuǎn)量和用來旋轉(zhuǎn)所述視頻幀的所述接收的額外量來確定用來校正所述視頻幀的所述旋轉(zhuǎn)的所述量。
19.根據(jù)權(quán) 利要求18所述的設(shè)備，其中: 所述設(shè)備還包括被配置來確定所述視頻幀是否表示場景變化的場景變化檢測單元，和所述變化積分器單元還被配置來在所述場景變化檢測單元確定所述視頻幀表示所述場景變化的情況下，確定用來校正所述視頻幀的所述旋轉(zhuǎn)的所述量等于用來旋轉(zhuǎn)所述視頻幀的所述接收的額外量。
20.根據(jù)權(quán)利要求18所述的設(shè)備，其中用來旋轉(zhuǎn)所述視頻幀的所述額外量是作為用戶輸入鍵入的特定數(shù)量的度數(shù)。
21.根據(jù)權(quán)利要求18所述的設(shè)備，其中用來旋轉(zhuǎn)所述視頻幀的所述額外量選自由90度、180度和270度組成的一組預(yù)設(shè)旋轉(zhuǎn)度數(shù)。
22.根據(jù)權(quán)利要求13所述的設(shè)備，其中用來校正所述視頻幀的所述旋轉(zhuǎn)的所述確定量是介于所述參考與所述獲得的視頻幀之間的任何數(shù)量的旋轉(zhuǎn)度數(shù)。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其還包括被配置來顯示所述校正的視頻幀的顯示單J Li ο
24.一種計算機可讀存儲媒介，其存儲由通用計算機執(zhí)行來校正視頻幀的旋轉(zhuǎn)的一組指令，所述組的指令包括: 獲得視頻幀; 檢測所述視頻幀相對于參考的旋轉(zhuǎn)量； 至少部分基于所述視頻幀的所述檢測到的旋轉(zhuǎn)量確定用來校正所述視頻幀的所述旋轉(zhuǎn)的量；和 以所述確定量校正所述視頻幀的所述旋轉(zhuǎn)。
【文檔編號】H04N5/335GK103999448SQ201280062966
【公開日】2014年8月20日 申請日期:2012年11月27日 優(yōu)先權(quán)日:2011年11月28日
【發(fā)明者】鄭宇保, 菲利普·L·斯萬 申請人:Ati科技無限責(zé)任公司