本實施例涉及用于管理視頻內(nèi)容的技術(shù),并涉及視頻剪輯的創(chuàng)建和分發(fā)。
背景技術(shù):
視頻內(nèi)容記錄是無處不在的,因為配備具有視頻錄制能力的設(shè)備的擴(kuò)散擴(kuò)展為包括便攜式計算機(jī)、上網(wǎng)本、平板計算機(jī)、蜂窩電話、智能電話、平板電話(phablet)、穿戴式設(shè)備,如手表、眼鏡,和可安裝視頻記錄設(shè)備。由于記錄介質(zhì)的密度增加以及在設(shè)備之間有效地流式傳輸視頻的能力,甚至可以配備相對小的設(shè)備來記錄可能消耗幾分鐘時間或者更長時間的較大視頻。
然而,由于編輯視頻內(nèi)容的相對麻煩的任務(wù),這樣記錄的視頻在記錄之后可能經(jīng)常保持未處理,這可能耗時并且不能在許多設(shè)備上方便地執(zhí)行。雖然可以執(zhí)行專業(yè)編輯以基于用戶記錄的視頻來產(chǎn)生更喜歡的視頻內(nèi)容,但是由業(yè)余用戶記錄的視頻的數(shù)量和與專業(yè)編輯相關(guān)聯(lián)的費用可能排除這種選擇,除非在非常特殊的情況下。
結(jié)果是,在大量的情況下,記錄在各種設(shè)置中未編輯的業(yè)余視頻,如體育賽事、節(jié)假日、集會、會議等,可能累積并可能在記錄后很少被欣賞。關(guān)于這些和其他考慮,可能需要本改進(jìn)。
附圖說明
圖1a示出了根據(jù)各種實施例的自動視頻編輯系統(tǒng)的框圖。
圖1b描繪了根據(jù)各種附加實施例的自動視頻編輯系統(tǒng)的框圖。
圖1c描繪了根據(jù)各種附加實施例的自動視頻編輯系統(tǒng)的框圖。
圖1d描繪了根據(jù)另外的實施例布置的另一種自動視頻編輯系統(tǒng)的操作的框圖。
圖2a描繪了視頻編輯系統(tǒng)的一個附加實施例。
圖2b描繪了視頻編輯系統(tǒng)的另一個實施例。
圖3示出了記錄的活動的示例。
圖4描繪了用戶設(shè)備的一個變體。
圖5描繪了根據(jù)另外的實施例的自動視頻編輯系統(tǒng)的框圖。
圖6描繪了當(dāng)基于圖5所示的架構(gòu)檢測到傳感器事件時涉及用于視頻剪輯生成的操作的序列。
圖7示出了示例性第一邏輯流程。
圖8示出了示例性第二邏輯流程。
圖9示出了示例性第三邏輯流程。
圖10示出了示例性系統(tǒng)架構(gòu)。
具體實施方式
實施例提供了用于視頻的編輯的增強。根據(jù)各種實施例,提供了通過采用可以與視頻的記錄同時收集的傳感器數(shù)據(jù)來增強視頻的編輯的系統(tǒng)、技術(shù)和裝置。傳感器數(shù)據(jù)可以用于識別形成生成視頻剪輯或多個視頻剪輯的基礎(chǔ)的傳感器事件或多個傳感器事件。
各種實施例利用可以橫跨可穿戴和不可穿戴的各種組件部署的傳感器技術(shù)的能力,以便于實施自動視頻編輯。具體地,各種實施例提供了利用傳感器信息的系統(tǒng)和方法,傳感器信息可以被記錄、收集并與同時記錄的視頻同步以幫助編輯該視頻。如本文所使用的,術(shù)語“視頻”可以指包含視頻軌道的數(shù)字記錄,并且可以可選地包括其他記錄數(shù)據(jù)(例如,音軌)或與其相關(guān)聯(lián)。除非另有說明,否則如本文中所使用的術(shù)語“視頻”(也稱為“記錄的視頻”)還可指代使用相機(jī)、傳感器或其它檢測器記錄實況活動的記錄視頻,而不是計算機(jī)生成的視頻或動畫。在本實施例的上下文中,可以通過任何合適的記錄設(shè)備以任何合適的設(shè)置來對視頻進(jìn)行記錄,所述記錄設(shè)備包括相機(jī)、專用攝像機(jī)、計算機(jī)、便攜式計算機(jī)、平板計算機(jī)、蜂窩電話、智能電話、平板電話、可穿戴照相機(jī)、其他可穿戴設(shè)備,諸如頭戴式設(shè)備、數(shù)字手表設(shè)備,或其他設(shè)備。實施例不限于此上下文。
本實施例可以提供視頻剪輯創(chuàng)建模塊,其使用與視頻同時收集的傳感器信息,以標(biāo)識視頻中的示例,從該視頻中生成視頻剪輯或多個視頻剪輯。本文所使用的術(shù)語“視頻剪輯”可以指記錄的視頻中小于整個視頻的一部分,其持續(xù)時間可以是固定持續(xù)時間或可以是可變的。在一些示例中,視頻剪輯的持續(xù)時間可以是幾秒或幾十秒的量級。然而,本實施例不限于此上下文。
本實施例還提供實施有效計算以生成視頻剪輯的系統(tǒng)和架構(gòu)。在一些示例中,傳感器信息可以構(gòu)成與要從中創(chuàng)建視頻剪輯的視頻同時收集的未分析的傳感器數(shù)據(jù)。未分析的傳感器數(shù)據(jù)可以由記錄視頻的設(shè)備接收,使得記錄設(shè)備可以實時地或者在記錄視頻之后從所記錄的視頻生成視頻剪輯。在其他示例中,傳感器信息可以構(gòu)成與視頻同時收集并且由諸如服務(wù)器的遠(yuǎn)程設(shè)備接收和分析的傳感器數(shù)據(jù)。所分析的數(shù)據(jù)可以被發(fā)送到用戶設(shè)備,例如,記錄視頻的設(shè)備或其他用戶設(shè)備,或由用戶設(shè)備恢復(fù)。傳感器信息可以包括至少一組傳感器信息,其中一組傳感器信息包括傳感器信息的一個或多個項。例如,可以與視頻記錄同時地從多個傳感器收集多組傳感器信息。例如可以從給定傳感器隨時間輸出的數(shù)據(jù)的多個項組成的數(shù)據(jù)流中導(dǎo)出給定的一組傳感器信息。
在各種實施例中,視頻剪輯創(chuàng)建模塊可以嵌入在任何方便的設(shè)備中,諸如記錄視頻的用戶設(shè)備。視頻剪輯創(chuàng)建模塊可以用于從由用戶設(shè)備接收的一組傳感器信息中識別傳感器事件,并且基于該傳感器事件生成視頻剪輯。
在一些實施例中,可以在視頻記錄期間實時識別觸發(fā)視頻剪輯的生成的傳感器事件。在其他實施例中,可以基于記錄的視頻和傳感器信息,事后識別出傳感器事件。在其他實施例中,傳感器事件的發(fā)生可用于實時地指導(dǎo)視頻的記錄。如本文所使用的那樣,術(shù)語“傳感器事件”是指基于除視頻之外的傳感器數(shù)據(jù)檢測到的活動。根據(jù)本實施例可以采用的傳感器的示例包括加速度計、陀螺儀、位置檢測器、高度計、音頻檢測器、接近傳感器,例如射頻或紅外接近傳感器、濕度傳感器、或可以檢測環(huán)境、附近的人、人員記錄和設(shè)備的特性的其他傳感器。本實施例不限于此上下文。傳感器事件的示例包括作為時間函數(shù)的加速度計讀數(shù)的快速變化,其可以指示傳感器經(jīng)受的力。其他傳感器事件可以包括作為時間函數(shù)的由高度計檢測的高度的快速變化、作為時間函數(shù)的音頻強度的快速變化等等。在各種實施例中,傳感器事件可以由多個變化組成,這些變化由多個不同的傳感器同時或時間上間隔緊密地檢測到,例如彼此的幾秒內(nèi)發(fā)生的兩個事件。另外,傳感器事件可以具有與傳感器事件相關(guān)聯(lián)的其他信息,諸如時間戳和關(guān)于觸發(fā)傳感器事件的對象或?qū)嶓w的信息。
傳感器事件可以在視頻的并發(fā)記錄期間發(fā)生,使得傳感器事件可以與視頻在時間上相關(guān)或同步。例如,可以借助于提供有記錄的傳感器數(shù)據(jù)和記錄的視頻的時間戳來實現(xiàn)同步。例如,傳感器數(shù)據(jù)可以與記錄的傳感器數(shù)據(jù)的每個項目的時間戳一起進(jìn)行記錄和存儲。與給定傳感器事件相關(guān)聯(lián)的時間戳然后可以用于與可以利用其自己的時間戳進(jìn)行記錄的視頻進(jìn)行同步,使得可以識別在給定傳感器事件期間記錄的視頻的一部分。在各種實施例中,來自用于記錄視頻和傳感器數(shù)據(jù)的不同組件的傳感器數(shù)據(jù)和視頻可以根據(jù)諸如網(wǎng)絡(luò)時間協(xié)議(ntp)的已知協(xié)議來同步。
如下面詳細(xì)描述的那樣,根據(jù)各種實施例,可以確定是否以及如何基于傳感器事件來根據(jù)所記錄的視頻生成視頻剪輯。
圖1a示出了根據(jù)各種實施例的自動視頻編輯系統(tǒng)100的框圖。自動視頻編輯系統(tǒng)100提供可以以不同方式實現(xiàn)的一般架構(gòu),以根據(jù)記錄的視頻自動生成視頻剪輯。如圖所示,視頻剪輯創(chuàng)建模塊108可以從各種組件接收輸入。視頻源102可以實時地或在視頻記錄之后向視頻剪輯創(chuàng)建模塊提供視頻。在一些實現(xiàn)中,視頻源102可以是視頻記錄設(shè)備,但是也可以是存儲由單獨的設(shè)備記錄的視頻的設(shè)備。傳感器104可以包括不是如上所述的視頻記錄設(shè)備的至少一個傳感器。傳感器104可以向視頻剪輯創(chuàng)建模塊108提供傳感器信息,所述傳感器信息用于幫助對給定視頻的自動視頻編輯,諸如根據(jù)由視頻源102提供的視頻生成至少一個視頻剪輯。用戶界面輸入106還可以被提供給視頻剪輯創(chuàng)建模塊108以輔助如下所述的視頻編輯。
應(yīng)當(dāng)注意,視頻剪輯創(chuàng)建模塊108和如下面公開的其他類似組件可以包括各種硬件元件、軟件元件或兩者的組合。硬件元件的示例可以包括設(shè)備、組件、處理器、微處理器,電路,電路元件(例如晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(asic)、可編程邏輯器件(pld)、數(shù)字信號處理器(dsp)、現(xiàn)場可編程門陣列(fpga)、存儲器單元、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片組等等。軟件元件的示例可以包括軟件組件、程序、應(yīng)用、計算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子程序、功能、方法,程序、軟件接口、應(yīng)用程序接口(api)、指令集、計算代碼、計算機(jī)代碼、代碼段、計算機(jī)代碼段、字、值、符號或其任何組合。確定實施例是否是使用硬件元件和/或軟件元件來實現(xiàn)的可以根據(jù)任何數(shù)量的因素而變化,諸如期望的計算速率、功率水平、熱容限、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度和其他設(shè)計或性能約束,如給定實現(xiàn)所期望的那樣。
視頻剪輯創(chuàng)建模塊108可以耦合到通信系統(tǒng)110。如下面詳細(xì)描述的那樣,視頻剪輯創(chuàng)建模塊108的輸出可以是從由視頻源102提供的視頻中摘錄的至少一個視頻剪輯。如下面詳細(xì)描述的那樣,可以經(jīng)由通信系統(tǒng)110將由視頻剪輯創(chuàng)建模塊108生成的視頻剪輯發(fā)送到各個目的地。這些目的地可以包括記錄根據(jù)其創(chuàng)建視頻剪輯的視頻的用戶設(shè)備、一個或多個特定外部設(shè)備,或者可以是云存儲目的地,其中云存儲表示可以跨越一個或多個位置的用戶數(shù)據(jù)的存儲,并且可以由經(jīng)由第三方托管并且可經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)對用戶可訪問的一個或多個計算機(jī)控制。在一些示例中,可以根據(jù)用戶接口輸入106確定用于接收視頻剪輯的一個或多個目的地。
在一些實施例中,可以提供耦合到傳感器的云/服務(wù)器基礎(chǔ)設(shè)施,所述傳感器的傳感器數(shù)據(jù)將被用于根據(jù)視頻生成視頻剪輯。圖1b描繪了根據(jù)各種附加實施例的自動視頻編輯系統(tǒng)114的框圖。自動視頻編輯系統(tǒng)114提供了可以以不同方式實現(xiàn)的一般架構(gòu),以根據(jù)記錄的視頻自動生成視頻剪輯。如圖所示,自動視頻編輯系統(tǒng)114可以包括如上關(guān)于圖1a所描述的那些組件。然而,自動視頻編輯系統(tǒng)114的架構(gòu)還包括云/服務(wù)器系統(tǒng)116,其可以包括布置在云架構(gòu)中的各種存儲、通信和數(shù)據(jù)處理組件。如圖所示,傳感器104鏈接到云/服務(wù)器系統(tǒng)116。傳感器104可以向云/服務(wù)器系統(tǒng)116提供傳感器信息,所述傳感器信息用于在給定視頻的自動化視頻編輯中輔助視頻剪輯創(chuàng)建模塊108,如下文更詳細(xì)地描述的。云/服務(wù)器系統(tǒng)116可以輸出例如包括分析的傳感器數(shù)據(jù)的傳感器信息,以幫助視頻剪輯創(chuàng)建模塊108識別觸發(fā)視頻剪輯的創(chuàng)建的傳感器事件。
在圖1b的示例中,視頻剪輯創(chuàng)建模塊108例如被鏈接到云/服務(wù)器系統(tǒng)116以接收分析的傳感器信息,但不直接鏈接到傳感器104。然而,在其他示例中,視頻剪輯創(chuàng)建模塊108可以直接鏈接到云/服務(wù)器系統(tǒng)116和傳感器104。圖1c描繪了根據(jù)各種附加實施例的自動視頻編輯系統(tǒng)118的框圖。自動視頻編輯系統(tǒng)118提供了可以以不同方式實現(xiàn)的一般架構(gòu),以根據(jù)記錄的視頻自動生成視頻剪輯。如圖所示,自動視頻編輯系統(tǒng)118可以包括如上相對于圖1a和1b所述的那些組件。然而,在圖1c的實施例中,視頻剪輯創(chuàng)建模塊108鏈接到傳感器104和云/服務(wù)器系統(tǒng)116兩者。在該實現(xiàn)中,視頻剪輯創(chuàng)建模塊108可以直接從傳感器104接收傳感器數(shù)據(jù),并且還可以從云/服務(wù)器系統(tǒng)116接收包括經(jīng)分析的傳感器數(shù)據(jù)的傳感器信息。
在一些實施例中,向視頻剪輯創(chuàng)建模塊提供輸入的傳感器可以分布在多個可穿戴和不可穿戴部件上。例如,在記錄視頻的給定環(huán)境中,多個可佩戴和不可佩戴的傳感器可以鏈接到設(shè)備以接收將由視頻剪輯創(chuàng)建模塊利用的傳感器信息以創(chuàng)建視頻剪輯。圖1d描繪了根據(jù)另外的實施例布置的另一種自動化視頻編輯系統(tǒng)120的操作的框圖。如圖所示,記錄的活動122可以表示由諸如視頻記錄組件124的設(shè)備記錄的任何活動。記錄的活動122可以是體育賽事、音樂事件、休閑活動或其他活動。視頻記錄組件124可以記錄來自記錄的活動122的視頻內(nèi)容144,在一些實施例中,視頻內(nèi)容144可以由視頻軌道和音頻軌道組成??膳宕鱾鞲衅?26可以記錄可佩戴傳感器數(shù)據(jù)146,在一個示例中,可佩戴傳感器數(shù)據(jù)146可以是高度計數(shù)據(jù)。對象傳感器128可以記錄對象傳感器數(shù)據(jù)148,在一個示例中,對象傳感器數(shù)據(jù)148可以是加速度計數(shù)據(jù)。視頻記錄組件124可以輸出視頻154,視頻154例如包括視頻軌道和視頻軌道時間戳。在一個示例中,視頻軌道時間戳可以包括用于視頻軌道的每個視頻幀的時間條目??纱┐魇絺鞲衅?26可以輸出傳感器數(shù)據(jù)流156,傳感器數(shù)據(jù)流156可以包括由可穿戴式傳感器126記錄的作為時間的函數(shù)的高度數(shù)據(jù)以及時間戳,其中每個高度數(shù)據(jù)條目與時間戳的時間條目相關(guān)聯(lián)。對象傳感器128可以輸出傳感器數(shù)據(jù)流158,其可以包括由對象傳感器128記錄的作為時間的函數(shù)的加速度計數(shù)據(jù)以及時間戳,其中每個加速度計數(shù)據(jù)條目與時間戳的時間條目相關(guān)聯(lián)。
在操作中,視頻剪輯創(chuàng)建模塊108可以接收視頻154、傳感器數(shù)據(jù)流156和傳感器數(shù)據(jù)流158,并且可以生成由至少一個視頻剪輯組成的視頻剪輯輸出160。視頻剪輯輸出160可以特別地包括具有例如一秒、五秒、六秒或其他持續(xù)時間的持續(xù)時間的給定視頻剪輯。視頻剪輯生成模塊108可以基于根據(jù)傳感器數(shù)據(jù)流156、傳感器數(shù)據(jù)流158或傳感器數(shù)據(jù)流156和傳感器數(shù)據(jù)流158兩者確定的傳感器事件來選擇給定的視頻剪輯。傳感器事件的確定細(xì)節(jié)在下面的討論中提供。
在生成視頻剪輯輸出160之后,視頻剪輯創(chuàng)建模塊108可以將視頻剪輯輸出160發(fā)送到各個目的地,諸如,駐留在包含視頻剪輯創(chuàng)建模塊108的設(shè)備上的本地存儲器130、或云存儲132、或者到外部設(shè)備134。以下還更詳細(xì)地描述了用于接收視頻剪輯的目的地的確定。在各種實施例中,可以在記錄視頻154時實時生成視頻剪輯輸出160,而在其他實施例中,視頻154可以在視頻154被記錄之后的時間由視頻剪輯創(chuàng)建模塊108處理。
在一些實施例中,用于記錄視頻的設(shè)備還可以實時地或在記錄視頻之后根據(jù)所記錄的視頻生成視頻剪輯。圖2a描繪了視頻編輯系統(tǒng)200的一個實施例,視頻編輯系統(tǒng)200包括用作視頻記錄設(shè)備的用戶設(shè)備202。例如,用戶設(shè)備202可以是視頻攝像機(jī)、蜂窩電話、智能電話、平板計算機(jī)、可穿戴設(shè)備、平板電腦或其他設(shè)備。在圖2a的示例中,用戶設(shè)備202包括視頻記錄組件124,視頻記錄組件124用于記錄來自記錄的活動122的視頻內(nèi)容220。包括視頻內(nèi)容220和時間戳的視頻206可以本地存儲在例如存儲器212中。在與用戶設(shè)備202記錄視頻內(nèi)容220相同的時間段上,傳感器204可以記錄來自記錄的活動122的傳感器數(shù)據(jù)222。傳感器204可以輸出包括傳感器數(shù)據(jù)222的時間戳的傳感器信息208。用戶設(shè)備202可以包括通信組件214,其可操作以通過鏈路210接收傳感器信息208,在一些實施例中,鏈路210可采用已知的無線技術(shù)。傳感器信息208和視頻206可以被發(fā)送到視頻剪輯創(chuàng)建模塊108,視頻剪輯創(chuàng)建模塊108生成視頻剪輯輸出224。如圖所示,視頻剪輯輸出224可以存儲在存儲器212中。視頻剪輯輸出224也可以分布到其它目的地,例如,如圖1b所示。
在一些實施例中,諸如處理器216的單獨的邏輯或電路可以在視頻剪輯生成模塊108上操作以輔助視頻剪輯輸出224的產(chǎn)生以及視頻剪輯輸出224的分發(fā)。如圖2a的實施例所示,處理器216可以在用戶設(shè)備202內(nèi)本地操作。然而,在其他實施例中,例如,輔助視頻剪輯生成的處理器或其他邏輯可以位于遠(yuǎn)離用戶設(shè)備202,并且可以位于遠(yuǎn)離視頻剪輯生成模塊108。在這種情況下,處理器可以執(zhí)行幫助確定傳感器事件的某些任務(wù),如下面詳細(xì)描述的那樣。
如圖2a進(jìn)一步所示,用戶設(shè)備202包括用戶接口118,其可以包括鼠標(biāo)、鍵盤、小鍵盤、語音輸入/輸出、觸摸板或觸摸屏或其他已知組件。用戶接口118可以將輸入發(fā)送到視頻剪輯創(chuàng)建模塊,以幫助視頻剪輯輸出224的生成以及視頻剪輯輸出224的分發(fā)。
圖2b描繪了包括用戶設(shè)備252并且可以包括與用戶設(shè)備202的組件相似的組件的視頻編輯系統(tǒng)250的另一實施例。然而,在視頻編輯系統(tǒng)250中,傳感器204耦合到位于云/服務(wù)器系統(tǒng)116中的外部處理器254以發(fā)送由外部處理器254分析的傳感器數(shù)據(jù)208。外部處理器254然后可以通過鏈路257將傳感器信息256轉(zhuǎn)發(fā)到用戶設(shè)備202,其中傳感器信息256表示傳感器數(shù)據(jù)208的分析結(jié)果。傳感器信息256和傳感器數(shù)據(jù)208可以由視頻剪輯創(chuàng)建模塊108接收,視頻剪輯創(chuàng)建模塊108生成視頻剪輯輸出258。
為了說明的目的,在下面的圖中,示出了根據(jù)本公開的實施例的用于實現(xiàn)自動化視頻編輯的一個場景。現(xiàn)在轉(zhuǎn)到圖3,示出了記錄的活動302的示例。在所示的特定示例中,記錄的活動302構(gòu)成籃球比賽。在籃球比賽期間,多個用戶可以使用設(shè)備來記錄視頻。在一些情況下,用戶可記錄幾分鐘甚至數(shù)小時的視頻以記錄籃球比賽。為了幫助用戶生成短的摘錄或視頻剪輯,從而可以在記錄的視頻內(nèi)呈現(xiàn)更有趣的動作實例,可以在籃球場中部署傳感器陣列。例如,可穿戴傳感器可以由參與籃球比賽的籃球運動員佩戴,以便記錄諸如運動、加速度、引導(dǎo)、位置或聲音的特征。此外,固定對象或可移動對象可以配備有傳感器以記錄上述特征或其它特征。
在圖3所示的實例中,運動員304抓住籃球306,并且可以處于嘗試在籃筐308上得分的過程中。球傳感器310嵌入在籃球306中,并且可以記錄例如球運動、加速度或位置。環(huán)傳感器312固定到籃筐308,并且可記錄加速度或力。手腕傳感器314由運動員304佩戴,其可以檢測運動、加速度、方向或位置。類似地,鞋傳感器316嵌入在運動員304的一只或兩只鞋中,其也可以檢測運動、加速度、方向或位置。所有這些傳感器可以被配置為收集傳感器數(shù)據(jù)并且例如通過與相應(yīng)傳感器并置的無線發(fā)射器來發(fā)送該數(shù)據(jù)。在一個實施方式中,當(dāng)記錄傳感器數(shù)據(jù)時,可以實時發(fā)送從不同傳感器記錄的傳感器數(shù)據(jù)。
如圖3中進(jìn)一步所示,用戶設(shè)備318可以記錄來自籃球比賽的視頻。在一個實現(xiàn)中,用戶設(shè)備318還可以被配置為無線地接收由腕部傳感器314、鞋傳感器316、環(huán)傳感器312和球傳感器310產(chǎn)生的傳感器數(shù)據(jù)。在一個特定示例中,用戶設(shè)備318的用戶可以是運動員304的父母,并且可以將籃球比賽的一部分記錄為視頻。在圖3所示的實時示例中,運動員304可以完成特別好的上籃,其由手腕傳感器314、鞋傳感器316、環(huán)傳感器312和球傳感器310記錄為傳感器事件。例如,手腕傳感器314、鞋傳感器316、環(huán)傳感器312或球傳感器310中的至少一個可以在完成上籃時在傳感器數(shù)據(jù)中記錄大的變化。在一個示例中,嵌入在鞋傳感器316中的加速度計可以記錄表示在上籃期間的力的加速度中的尖峰,也就是,突然變化。在一個示例中,嵌入鞋傳感器316中的加速度計可以記錄尖峰,也就是突然變化,指示在上籃期間由鞋傳感器316經(jīng)受的增加的力。類似地,嵌入在球傳感器310中的加速度計還可以記錄當(dāng)球306擊中籃筐308或背板(未示出)時的加速度尖峰。此外,環(huán)傳感器312中的運動檢測器可以記錄球306撞擊籃框308時的尖峰。
因為每個傳感器可以被配置為發(fā)送具有時間戳的傳感器數(shù)據(jù),所以與由相應(yīng)傳感器記錄的每個傳感器事件相關(guān)聯(lián)的時刻可以被提供給與傳感器通信的設(shè)備。這些單獨的傳感器事件中的每一個可以被記錄和加時間戳,使得可以確定當(dāng)球傳感器310、環(huán)傳感器312、腕部傳感器314和鞋傳感器316檢測到相應(yīng)的傳感器事件時的實例。在一個實現(xiàn)中,用戶設(shè)備318可以被配置為與用戶設(shè)備202基本相同以包括視頻剪輯創(chuàng)建模塊108。因此,用戶設(shè)備318可以從球傳感器310、環(huán)傳感器312、腕部傳感器314和鞋傳感器316接收相關(guān)加時間戳的傳感器信息,并且可以分析所接收的加時間戳的傳感器信息。
另外,每個傳感器可以具有唯一的標(biāo)識,每個傳感器或與每個傳感器相關(guān)聯(lián)的對象或人的位置可以由傳感器本身或由諸如基于云的實體的其他實體來跟蹤。
在球傳感器310、環(huán)傳感器312、腕部傳感器314和鞋傳感器316各自生成傳感器數(shù)據(jù)尖峰(例如,指示所經(jīng)歷的力的加速度尖峰)的一個示例中,用戶設(shè)備318可以確定已經(jīng)發(fā)生了多個傳感器事件,并且可以確定多個傳感器事件在時間上緊密間隔。因此,用戶設(shè)備318可以確定要根據(jù)由用戶設(shè)備318同時記錄的視頻創(chuàng)建視頻剪輯,其中視頻剪輯是根據(jù)記錄的視頻生成的,記錄的視頻的時間戳與接收的傳感器事件嚴(yán)密同步。例如,如果傳感器事件在籃球比賽的第二節(jié)中2:15處給定的兩秒時間間隔內(nèi)發(fā)生,則用戶設(shè)備318可以生成從第二節(jié)的2:12開始,并且在第二節(jié)的2:18結(jié)束的六秒視頻剪輯,以便捕獲與所確定的傳感器事件一致的視頻。以這種方式,用戶設(shè)備318可以自動生成包含運動員304進(jìn)行上籃的發(fā)生的時間幀的視頻剪輯。
在其他實施例中,可以基于與傳感器事件的時間戳的任何預(yù)定關(guān)系來生成視頻剪輯。例如,視頻剪輯可以被配置為在對應(yīng)于傳感器事件的時間戳的時間開始,或者重疊該時間戳,使得傳感器事件時間戳位于視頻剪輯的中間。
在一個特定實施例中,用戶設(shè)備318可以被配置為自動發(fā)送創(chuàng)建到指定目標(biāo)的視頻剪輯。此外,用戶設(shè)備318還可以被配置為基于諸如用戶設(shè)備318中存儲的信息的預(yù)定標(biāo)準(zhǔn)或基于用戶設(shè)備318接收的用戶輸入來確定何時生成視頻剪輯。
在一個示例中,部署在籃球運動員上的每個可穿戴式傳感器可以具有與傳感器數(shù)據(jù)一起發(fā)送以識別傳感器的唯一標(biāo)識符,并且因此可以向接收設(shè)備標(biāo)識運動員304。因此,用戶設(shè)備318可以被配置為當(dāng)接收到與鞋傳感器316的腕部傳感器314相關(guān)聯(lián)的傳感器事件時生成視頻剪輯。例如,操作用戶設(shè)備318的運動員304的父母可以配置用戶設(shè)備318以生成視頻剪輯并且轉(zhuǎn)發(fā)到其他設(shè)備,諸如轉(zhuǎn)發(fā)到籃球比賽中缺席的父母的設(shè)備。
要注意的是,在圖3的場景中,多個用戶可以操作多個不同的視頻記錄設(shè)備以記錄相同的籃球比賽,諸如記錄設(shè)備320和記錄設(shè)備322。記錄設(shè)備320和記錄設(shè)備322還可以進(jìn)一步被配置為接收從部署在記錄活動322的場景中描述的籃球場地中的傳感器發(fā)送的傳感器信息。但是,記錄設(shè)備320可以被配置為不同于用戶設(shè)備318,使得當(dāng)記錄設(shè)備320接收到由用戶設(shè)備318接收的相同的一組傳感器事件時,記錄設(shè)備320可以或可以不生成視頻剪輯。例如,記錄設(shè)備320的操作者可以是與運動員304不同的運動員(未示出)的父母,并且可以配置操作設(shè)備320以在接收到由不同運動員佩戴的可穿戴傳感器相關(guān)聯(lián)的傳感器事件時生成視頻剪輯,而不是在接收到與腕部傳感器314或鞋傳感器316相關(guān)聯(lián)的傳感器事件時生成。因此,在第二節(jié)中的2:15時,如圖3所示的動作發(fā)生時,駐留在操作設(shè)備320上的視頻剪輯創(chuàng)建模塊324可以確定沒有視頻剪輯基于在第二節(jié)的2:15或其附近檢測到的傳感器事件而被生成。
要注意的是,在圖3的場景中,視頻記錄裝置可以安裝在通常在記錄的活動302中描繪的場所內(nèi)。以這種方式,視頻和傳感器數(shù)據(jù)可以存儲在服務(wù)器中,服務(wù)器隨后創(chuàng)建視頻剪輯并將其分發(fā)給感興趣的各方。例如,一個運動員的粉絲可以只請求描述該運動員何時得分的視頻剪輯。
在另外的實施例中,位于用戶設(shè)備上的用戶界面可以被配置為呈現(xiàn)傳感器事件的指示符。圖4描繪了用戶設(shè)備318的一個變體,其中用戶設(shè)備318是包括顯示器402的智能電話。在顯示器402內(nèi),可以呈現(xiàn)正被記錄的視頻的圖像以及呈現(xiàn)快照的視頻剪輯區(qū)域404,快照由表示針對其創(chuàng)建了視頻剪輯的時刻的視頻幀組成。當(dāng)創(chuàng)建了附加視頻剪輯時,可以實時地更新視頻剪輯區(qū)域404。
雖然前述情形涉及基于與單個運動員相關(guān)聯(lián)的傳感器的視頻剪輯的生成,但在其它實施例中,可監(jiān)視被部署在任何數(shù)量的運動員或?qū)ο笊系娜魏螖?shù)量或傳感器,以便自動編輯視頻。視頻剪輯的自動生成可以基于任何數(shù)量的傳感器事件以及可以與特定活動(例如籃球比賽)相關(guān)聯(lián)的啟發(fā)法。在各種實施例中,視頻剪輯生成模塊可以被配置為基于在不同傳感器事件之間是否滿足某些相關(guān)標(biāo)準(zhǔn)來生成視頻剪輯。例如,相關(guān)標(biāo)準(zhǔn)可以包括傳感器事件的時間相關(guān)性、傳感器事件的空間相關(guān)性或兩者,以及其他可能的相關(guān)性。傳感器事件的時間相關(guān)性可以指代傳感器事件之間的時間間隔。傳感器事件的空間相關(guān)性可以指代生成不同傳感器事件的傳感器之間的空間接近度。例如,在多個運動員配備有可穿戴傳感器的籃球比賽中,視頻剪輯生成模塊可以基于從不同運動員和對象(例如籃球)接收的不同傳感器事件的定時將動作歸屬于特定運動員。
圖5描繪了根據(jù)另外的實施例的自動視頻編輯系統(tǒng)500的框圖。在該示例中,示出了涉及具有可佩戴傳感器的多個不同運動員的體系結(jié)構(gòu),可佩戴傳感器的傳感器信息可以被監(jiān)視以輔助視頻剪輯創(chuàng)建。用戶環(huán)境502包括對象傳感器504,其可以包括嵌入或附接到可移動對象或固定對象的傳感器。在籃球比賽的示例中,對象傳感器可以包括嵌入籃球和籃筐中的傳感器。用戶環(huán)境504還包括第一運動員可佩戴傳感器506和第二運動員可佩戴傳感器508,其中每個可附接到相應(yīng)的第一和第二運動員。用戶環(huán)境502還可以包括環(huán)境傳感器510。所有這些傳感器可以向視頻剪輯創(chuàng)建模塊512提供傳感器數(shù)據(jù),視頻剪輯創(chuàng)建模塊512可以在一個示例中嵌入在用戶環(huán)境502中記錄視頻的視頻記錄設(shè)備中。
圖6描繪了當(dāng)基于圖5所示的架構(gòu)檢測到來自多個不同運動員的傳感器事件時生成視頻剪輯所涉及的操作序列。在操作602,監(jiān)視第一運動員上的可佩戴傳感器。傳感器可以生成作為時間的函數(shù)的指示與第一運動員相關(guān)聯(lián)的力或加速度的傳感器數(shù)據(jù)。在操作604,監(jiān)視第二運動員的可穿戴傳感器。在操作606,監(jiān)視對象傳感器,例如籃球傳感器?;@球傳感器可以生成作為時間的函數(shù)的指示籃球經(jīng)受的力的傳感器數(shù)據(jù)。在操作608,監(jiān)視籃筐傳感器?;@筐傳感器可能對事件敏感,例如當(dāng)籃球或球員接觸籃筐的邊緣時,這可以生成由籃筐傳感器記錄的力。
在操作610,接收得分的指示。例如,籃球傳感器、籃筐傳感器或這兩個傳感器可以生成傳感器數(shù)據(jù),該傳感器數(shù)據(jù)指示籃球與籃框或籃板接觸時的實例相關(guān)聯(lián)的力。
在操作612,檢測到的得分歸屬于第一運動員。例如,基于從第一運動員和第二運動員上的可穿戴傳感器記錄的不同傳感器事件測量的力的定時、以及由籃球和籃筐記錄的力,可以將評分歸屬于第一用戶。
在操作614,確定視頻剪輯時間范圍,其可以基于檢測到的得分的時間戳和將得分歸屬于第一用戶。還可以基于可以在與視頻剪輯生成模塊相關(guān)聯(lián)的用戶設(shè)備中輸入的用戶偏好來確定視頻剪輯時間范圍。
在操作616,生成視頻剪輯,其從在視頻剪輯時間范圍內(nèi)被記錄的視頻中摘錄。在操作618,在操作616中生成的視頻剪輯與其他目的地共享。
總之,與缺少用于編輯視頻的方便工具的當(dāng)前技術(shù)相比,本實施例提供了多種優(yōu)點。通過提供視頻剪輯的自動識別和生成,包括在記錄視頻期間實時生成視頻剪輯,能夠?qū)崿F(xiàn)許多附加場景和能力。例如,可以基于感測到的事件和啟發(fā)法來自動編輯視頻內(nèi)容,其中確定何時生成視頻剪輯的能力可以由視頻剪輯生成模塊隨時間改進(jìn)。
另外,各種實施例實施基于多個傳感器將傳感器事件歸屬于用戶(運動員)。在一個示例中,可以與未分配給單個用戶的傳感器嵌入式工具和對象(例如球中的嵌入式傳感器)一起分析可穿戴力傳感器。然后可以采用從球傳感器和用戶上的可穿戴傳感器檢測的傳感器事件的組合來確定該用戶何時接觸球。
在特定場景中,基于對象和第一運動員和第二運動員身上的可穿戴傳感器所經(jīng)歷的力(傳感器事件)的尖峰的定時,可將諸如球的對象的動作歸屬于第一運動員而不是第二運動員,如上關(guān)于圖6所述的那樣。
另外,本實施例實施視頻剪輯到目標(biāo)目的地的自動通信,目標(biāo)目的地可以包括除了生成視頻剪輯的用戶設(shè)備之外的各種其他人和系統(tǒng)。在一些實施例中,可以根據(jù)用戶設(shè)備中的用戶偏好來采用社交網(wǎng)絡(luò)或電子郵件應(yīng)用,以設(shè)置用于分發(fā)視頻剪輯的目的地。目的地可以包括如下的對象,諸如可穿戴顯示器、記分板或可用于呈現(xiàn)視頻剪輯的其他設(shè)備。在其他實施例中,自動生成的視頻剪輯還可以被自動發(fā)送到先前由傳感器佩戴者和/或由記錄從中創(chuàng)建視頻剪輯的視頻的人或系統(tǒng)選擇的社交網(wǎng)絡(luò)中的主機(jī)。例如,視頻剪輯創(chuàng)建模塊可以耦合到存儲用戶輸入并將視頻剪輯引導(dǎo)到包括社交媒體站點的一個或多個目的地的集合的存儲器或程序。在該上下文中,視頻剪輯的自動發(fā)布可以被引導(dǎo)到根據(jù)已知方法可公開訪問的托管的社交媒體站點,使得具有對社交媒體站點的訪問權(quán)的那些觀看者可以在創(chuàng)建之后立即觀看視頻剪輯。在一個示例中,社交媒體站點可以由可經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)(例如因特網(wǎng))訪問的服務(wù)器或服務(wù)器組來托管。
在一個實現(xiàn)中,自動視頻編輯系統(tǒng)可以指定可能對特定視頻剪輯感興趣的多個人,使得多個人可以自由地參與社交網(wǎng)絡(luò)以定義也由拍攝事件的人所跟蹤的對象或人的興趣。
在其他實現(xiàn)中,自動視頻編輯系統(tǒng)可以用于自動生成視頻剪輯,用于結(jié)合廣播體育賽事中的即時重放的呈現(xiàn)?;谂c給定運動員相關(guān)聯(lián)的各個傳感器,視頻剪輯生成可以針對該給定運動員。
在另外的實現(xiàn)中,可以執(zhí)行上下文分析,例如,以自動確定何時生成視頻剪輯并自動確定所生成的視頻剪輯的目的地。在各種實施例中,視頻剪輯生成模塊可以確定導(dǎo)致傳感器事件的傳感器信息的來源,該傳感器事件觸發(fā)視頻剪輯的創(chuàng)建,并且可以基于傳感器信息的源將視頻剪輯的傳輸調(diào)度到遠(yuǎn)程位置處的目標(biāo)目的地。例如,可以確定給定的傳感器佩戴者是傳感器事件的源。傳感器佩戴者的一個家長可以在比賽現(xiàn)場,其可以是與記錄視頻并生成視頻剪輯的用戶設(shè)備相關(guān)聯(lián)的用戶。用戶設(shè)備或服務(wù)器/云系統(tǒng)還可以使用已知技術(shù)來確定與傳感器佩戴者的第二個家長相關(guān)聯(lián)的第二用戶設(shè)備不在比賽現(xiàn)場。因此,當(dāng)基于傳感器佩戴者的動作生成視頻剪輯時,視頻剪輯可以被自動轉(zhuǎn)發(fā)到目標(biāo)目的地,例如與缺席家長相關(guān)聯(lián)的第二用戶設(shè)備。
上下文分析的另一示例是使用被記錄以便是否激活視頻剪輯生成的因素,所述因素諸如被記錄的一天中的時間或活動類型。例如,在被部署以記錄公共事件(例如運動競技場)的自動視頻編輯系統(tǒng)中,可以根據(jù)一天中的時間觸發(fā)視頻剪輯生成,該時間可以對應(yīng)于特定事件的時間,或者可以是基于正在記錄的活動的類型,例如與正在跑步活動相反的籃球比賽,觸發(fā)。
此外,本實施例可以利用大范圍的不同類型的傳感器事件,以自動生成除了上面突出的那些之外的視頻剪輯。在一些實施方式中,除了檢測諸如跳躍的身體活動之外,人與其他人的接近或與對象的接近可以被注冊為傳感器事件,并且用于自動地創(chuàng)建視頻剪輯。在另外的實施例中,可以監(jiān)視生物傳感器以測量例如生物傳感器的佩戴者的興奮水平,以便評估佩戴者在特定動作中的參與。如果在給定實例中興奮級別超過特定閾值,則可以生成從與該實例同步的視頻中摘錄的視頻剪輯。
此外,在一些實施方式中,基于傳感器位置、接近度或力的傳感器活動或檢測到的傳感器事件以及傳感器數(shù)據(jù)的先前歷史可以用于主動預(yù)測要在視頻中捕獲的活動。例如,視頻剪輯生成模塊或相關(guān)邏輯可以基于從接近傳感器和加速度計接收的傳感器數(shù)據(jù)來識別傳感器事件,并且可以確定某一事件序列正在進(jìn)行中。視頻剪輯生成模塊可以隨后生成信號以“推薦”給視頻記錄設(shè)備的用戶,以移動記錄設(shè)備以在視頻中捕獲預(yù)測的活動。例如,視頻剪輯生成模塊可以基于要在由視頻記錄設(shè)備記錄的場景中發(fā)生的預(yù)測踢球或投擲來生成用于將視頻記錄設(shè)備向右移動的信號,或者可以基于從多個不同傳感器,諸如在比賽場地或球場中的球員,記錄的傳感器事件來指導(dǎo)視頻記錄設(shè)備引導(dǎo)朝向發(fā)生更大動作的區(qū)域。在一些特定示例中,可以向記錄設(shè)備的用戶提供觸覺反饋,以主動地指示要由記錄設(shè)備執(zhí)行的動作。
本實施例提供的自動化視頻編輯系統(tǒng)還提供被需要來確定特定視頻剪輯的“興趣度”的實時信息。
在特定示例中,自動視頻編輯系統(tǒng)可以采用用戶偏好和啟發(fā)法來設(shè)置要存儲、呈現(xiàn)或分發(fā)到目的地的視頻剪輯或視頻剪輯集合的“興趣度”。用戶偏好或用戶準(zhǔn)則還可以用于設(shè)置視頻剪輯的持續(xù)時間以及使視頻剪輯與檢測到的傳感器事件同步。用戶標(biāo)準(zhǔn)的示例包括:提供在特定個人在投籃得分之前五秒以及在投籃得分后三秒的視頻剪輯。在該示例中,視頻剪輯生成模塊可以設(shè)置被識別為投籃的檢測到的傳感器事件的時間戳和將要從與檢測到的傳感器事件同時記錄的視頻生成的視頻剪輯之間的預(yù)定關(guān)系。因此,當(dāng)視頻與表示檢測到的傳感器事件的數(shù)據(jù)流同步時,可以生成視頻剪輯,該視頻剪輯跨越在對應(yīng)于傳感器事件的實例的視頻的時刻之前五秒和該時刻之后三秒之間的持續(xù)時間。
在其他示例中,用戶可以設(shè)置特定用戶準(zhǔn)則或標(biāo)準(zhǔn)以決定是保留所生成的視頻剪輯還是基于傳感器事件生成視頻剪輯。用戶準(zhǔn)則可以是例如僅基于個體與某些對象何時進(jìn)行交互,或何時傳感器事件對應(yīng)于何時傳感器佩戴者正在跳躍或快速跑動、或者興奮/壓力水平很高,從而保留視頻剪輯。
用于管理視頻剪輯的用戶偏好或用戶標(biāo)準(zhǔn)的接收可以在任何方便的用戶界面上進(jìn)行,在一些實施例中,用戶界面可以是語音激活界面或觸敏界面。例如,參考給定籃球運動員的視頻剪輯,用戶可以說“給我顯示dawn的五個最高跳躍的高亮剪輯”或“制作dawn的分?jǐn)?shù)的一分鐘高亮剪輯”。如果在一個場景中,dawn得分6次,則自動視頻編輯系統(tǒng)可以使用每個分?jǐn)?shù)的平均10秒來生成視頻剪輯高亮。一些視頻剪輯可以被設(shè)置成比其他視頻剪輯更長,例如,如果dawn在得分之前長時間持球。
應(yīng)當(dāng)注意,如上所述的各種實施例允許在自動視頻編輯中涉及的計算在不同實體之間分割,諸如在服務(wù)器/云系統(tǒng)和容納視頻剪輯創(chuàng)建模塊的移動設(shè)備之間。這提供了進(jìn)一步的優(yōu)點,即可以減少用戶設(shè)備執(zhí)行的用于生成給定視頻剪輯或多個視頻剪輯的計算,同時仍然保留用戶設(shè)備根據(jù)用戶偏好裁剪視頻剪輯生成的能力。例如,在其中采用多個記錄設(shè)備來記錄視頻的給定體育賽事的場景中,記錄設(shè)備中的至少一些可以配備有視頻剪輯創(chuàng)建模塊,以基于在體育賽事中記錄的視頻來自動創(chuàng)建視頻剪輯。在體育賽事期間,多個不同的記錄設(shè)備可以捕獲相同動作的記錄,但是從稍微不同的觀看方向。然而,由于其他原因,記錄體育賽事的其他觀眾可能對于第一設(shè)備的用戶(投籃得分或其他動作中涉及其親屬)感興趣的動作是不感興趣的。另外,第二用戶可能對來自第一用戶的記錄的素材感興趣,使得來自第一用戶的內(nèi)容的共享可以幫助第二用戶獲得期望的視頻剪輯。因此,諸如在自動視頻編輯系統(tǒng)114或自動視頻編輯系統(tǒng)118中呈現(xiàn)的架構(gòu)可以用于在服務(wù)器/云系統(tǒng)和容納視頻剪輯創(chuàng)建模塊的用戶設(shè)備之間分割生成視頻剪輯所涉及的計算。
在一個實現(xiàn)中,服務(wù)器/云系統(tǒng)可以集中對于生成視頻剪輯有用的普通能力。例如,服務(wù)器/云系統(tǒng)可以用于從部署在記錄的活動中的至少一個傳感器接收傳感器數(shù)據(jù),并且可以執(zhí)行計算以進(jìn)行初始推斷,例如什么人正在執(zhí)行給定動作、涉及了什么對象等等。這些初始推斷可以作為分析的數(shù)據(jù)被轉(zhuǎn)發(fā)到進(jìn)行接收的用戶設(shè)備。然后,分析的數(shù)據(jù)可以由各個用戶設(shè)備使用以基于用戶特定推斷和由用戶設(shè)備上的視頻剪輯創(chuàng)建模塊采用的算法來確定是否以及如何創(chuàng)建視頻剪輯。
因此,在體育賽事的多個不同的用戶設(shè)備可以記錄捕獲投籃得分的第一運動員的視頻。該動作可以由服務(wù)器/云基礎(chǔ)設(shè)施分析為可能的傳感器事件,根據(jù)所述傳感器事件來生成視頻剪輯,使得分析的數(shù)據(jù)被傳送到耦合到服務(wù)器/云系統(tǒng)的用戶設(shè)備。在一個示例中,所分析的數(shù)據(jù)可以包括指示投籃得分涉及的第一運動員的身份的標(biāo)記。第一運動員的親屬的用戶設(shè)備可以被配置為基于檢測到的與第一運動員相關(guān)聯(lián)的傳感器事件來自動生成視頻剪輯,而當(dāng)滿足其他標(biāo)準(zhǔn)時,其他用戶設(shè)備可以被配置為基于檢測到的事件來創(chuàng)建視頻剪輯。因此,第一運動員得分的相同的實例可以觸發(fā)在一些用戶設(shè)備中而不是其他用戶設(shè)備中視頻的自動創(chuàng)建,所有這些用戶設(shè)備可以記錄相同或相似的視頻。同時,可以減少在用戶設(shè)備上本地執(zhí)行的計算量,因為用戶設(shè)備不需要進(jìn)行初始確定,例如關(guān)于傳感器事件的發(fā)生或者與傳感器事件關(guān)聯(lián)的人的身份。
在各種附加實施例中,可以改變在本地用戶設(shè)備和服務(wù)器/云系統(tǒng)之間的視頻剪輯的自動生成所涉及的計算的劃分。在一個示例中,可以在云/服務(wù)器系統(tǒng)中執(zhí)行用于視頻剪輯的自動生成的完整計算,而在另一示例中,可以在用戶設(shè)備中執(zhí)行用于視頻剪輯的自動生成的完整計算。
這里包括表示用于執(zhí)行所公開的體系結(jié)構(gòu)的新穎性方面的示例性方法的一組流程圖。雖然為了簡化說明的目的,本文所示的一個或多個方法,例如以一個流程圖或多個流程圖的形式,被示出并被描述為一系列動作,但是應(yīng)當(dāng)理解并認(rèn)識到,方法不受動作順序的限制,因為一些動作可以根據(jù)本文所示和所描述的內(nèi)容以不同的順序發(fā)生和/或與其它動作同時發(fā)生。例如,本領(lǐng)域技術(shù)人員將理解并明白,方法可以替代地表示為例如在狀態(tài)圖中的一系列相關(guān)的狀態(tài)或事件。此外,對于新穎性實現(xiàn),可能不需要方法中所示的所有動作。
圖7示出了示例性第一邏輯流700。在一些示例中,邏輯流700可以在配置為記錄視頻的用戶設(shè)備中實現(xiàn)。在方框702,接收所記錄的視頻。可以實時地接收所記錄的視頻,使得正在記錄的視頻的第一部分被接收,同時第二部分被記錄或者已經(jīng)被記錄。
在方框704,接收基于與對記錄的視頻進(jìn)行記錄的同時測量的傳感器數(shù)據(jù)的傳感器信息。在一個示例中,傳感器信息可以是在測量傳感器數(shù)據(jù)時實時地從傳感器接收的傳感器數(shù)據(jù)流。
在方框706,從所接收的傳感器信息識別傳感器事件。傳感器事件的識別可以基于與傳感器信息相關(guān)的任何合適的標(biāo)準(zhǔn),諸如作為時間函數(shù)的傳感器數(shù)據(jù)的值的變化。可以對傳感器事件加時間戳,使得在傳感器信息中提供指示傳感器事件發(fā)生時間的傳感器事件時間戳。
在方框708,傳感器事件與記錄的視頻同步。例如,記錄的視頻可以包括視頻軌道時間戳,其用于通過識別視頻中對應(yīng)于傳感器事件時間戳的實例以將視頻與傳感器事件同步。
在方框710,基于傳感器事件生成視頻剪輯。例如,可以根據(jù)所記錄的視頻中與傳感器事件時間戳重疊的部分創(chuàng)建視頻剪輯。
圖8示出了示例性第二邏輯流程800。在一些示例中,邏輯流程800可以在配置為記錄視頻的用戶設(shè)備中實現(xiàn)。在方框802,在對記錄的視頻的記錄期間監(jiān)視傳感器數(shù)據(jù)流。被監(jiān)視的傳感器數(shù)據(jù)流可以由諸如可穿戴傳感器或?qū)ο髠鞲衅骰颦h(huán)境傳感器的傳感器產(chǎn)生,以列出幾個示例。
在方框804,基于所監(jiān)視的傳感器數(shù)據(jù)流接收傳感器事件的指示。傳感器事件的指示可以從諸如云服務(wù)器的外部設(shè)備接收,或者可以由記錄視頻的用戶設(shè)備生成。
在方框806,取得與傳感器事件相關(guān)聯(lián)的用戶準(zhǔn)則。例如,可以從由已知人所佩戴的可佩戴傳感器產(chǎn)生的數(shù)據(jù)流來確定傳感器事件。用戶準(zhǔn)則可以基于已知人的動作(諸如在傳感器事件中確定的運動速度或興奮水平)來設(shè)置用于傳感器事件的閾值。
在確定框808,確定是否滿足用戶準(zhǔn)則。如果不是,則流程返回到方框802。如果是,則流程進(jìn)行到方框810。在方框810,傳感器事件與記錄的視頻同步,以確定對應(yīng)于傳感器事件的視頻軌道時間戳。流程然后進(jìn)行到方框812,在方框812中,基于視頻軌道時間戳生成視頻剪輯。流程隨后移動到確定框814。
在方框814,確定視頻是否完整,諸如記錄是否已停止。如果不是,則流程返回到方框802。如果是,則流程結(jié)束。
圖9示出了示例性第三邏輯流程900。在框902,在視頻的記錄期間監(jiān)視多個傳感器數(shù)據(jù)流。
在方框904,接收對應(yīng)于第一傳感器的第一傳感器事件的指示。在方框906,接收對應(yīng)于不同于第一傳感器的第二傳感器的第二傳感器事件的指示。第一和第二傳感器可以位于至少在視頻的記錄的多個部分期間在視頻中記錄的視場內(nèi)。然后,流程進(jìn)行到確定方框908。
在確定方框908,確定是否滿足一組相關(guān)標(biāo)準(zhǔn)。該組相關(guān)標(biāo)準(zhǔn)可以包括至少一個相關(guān)標(biāo)準(zhǔn),諸如與第一傳感器事件和第二傳感器事件之間的時間相關(guān)性相關(guān)的標(biāo)準(zhǔn)。相關(guān)性標(biāo)準(zhǔn)的一個特定示例可以是第一傳感器事件和第二傳感器事件之間所經(jīng)過的時間的閾值。如果第一傳感器事件和第二傳感器事件之間經(jīng)過的時間下降到閾值以下,則可以認(rèn)為滿足相關(guān)標(biāo)準(zhǔn)。另外,相關(guān)標(biāo)準(zhǔn)可以由數(shù)據(jù)集之間的計算出的相關(guān)系數(shù)組成,或者由從兩個或更多個傳感器的數(shù)據(jù)集導(dǎo)出的數(shù)值組成??梢赃x擇相關(guān)系數(shù)值的所選級別作為閾值。在各種附加實施例中,可以使用各種數(shù)學(xué)處理來形成相關(guān)標(biāo)準(zhǔn)的基礎(chǔ),諸如部分相關(guān)、半部分相關(guān)和多元回歸分析。在一些情況下,來自一個或多個傳感器的數(shù)據(jù)可以用作協(xié)變量,作為分析的一部分。
如果否,則流程返回到方框902。如果是,則流程進(jìn)行到方框910。在方框910,基于第一傳感器事件和第二傳感器事件生成視頻剪輯。在一個示例中,視頻剪輯可以被同步以在時間上與第一傳感器事件和第二傳感器事件重疊。
然后,流程進(jìn)行到確定框912,其中確定視頻的記錄是否完成。如果否,則流程返回到方框902。如果是,則流程結(jié)束。
圖10是示例性系統(tǒng)實施例的圖示,并且特別地,圖10是示出可以包括各種元件的系統(tǒng)1000的圖示。例如,圖10示出了系統(tǒng)(平臺)1000可以包括在此被稱為處理器1002的處理器/圖形核心、在此被稱為芯片組1004的芯片組/平臺控制中心(pch)、輸入/輸出(i/o)設(shè)備1006、隨機(jī)存取存儲器(ram)(諸如動態(tài)ram(dram))1008和只讀存儲器(rom)1010、顯示電子器件1020、顯示器背光1022和各種其它平臺組件1014(例如,風(fēng)扇、交錯式送風(fēng)機(jī)、散熱器、dtm系統(tǒng)、冷卻系統(tǒng)、殼體、通風(fēng)口等)。系統(tǒng)1000還可以包括無線通信芯片1016和圖形設(shè)備1018、非易失性存儲器端口(nvmp)1024和天線1026。然而,實施例不限于這些元件。
如圖所示,在圖10中,i/o設(shè)備1006、ram1008和rom1010通過芯片組1004耦合到處理器1002。芯片組1004可以通過總線1012耦合到處理器1002。因此,總線1012可以包括多條線。
處理器1002可以是包括一個或多個處理器核心的中央處理單元,并且可以包括具有任何數(shù)量的處理器核心的任何數(shù)量的處理器。處理器1002可以包括任何類型的處理單元,諸如例如cpu、多處理單元、精簡指令集計算機(jī)(risc)、具有流水線的處理器、復(fù)雜指令集計算機(jī)(cisc)、數(shù)字信號處理器(dsp)等。在一些實施例中,處理器1002可以是位于分離的集成電路芯片上的多個單獨的處理器。在一些實施例中,處理器1002可以是具有集成圖形處理的處理器,而在其他實施例中,處理器1002可以是一個或多個核心??梢岳缤ㄟ^鍵盤、觸摸屏交互、手勢、面部表情和聲音將命令提供給處理器1002。
以下示例涉及進(jìn)一步的實施例。在示例1中,一種裝置可以包括:存儲器,用于存儲記錄的視頻;接口,用于基于與記錄的視頻同時記錄的傳感器數(shù)據(jù)來接收至少一組傳感器信息;以及視頻剪輯創(chuàng)建模塊,用于根據(jù)所述至少一組傳感器信息來識別傳感器事件,并且基于所述傳感器事件來生成視頻剪輯,其中所述視頻剪輯包括來自記錄的視頻中的與所述傳感器事件同步的視頻內(nèi)容。
在示例2中,示例1的傳感器信息可以包括根據(jù)傳感器數(shù)據(jù)計算出的經(jīng)分析的傳感器數(shù)據(jù)。
在示例3中,示例1至2中任一個所述的視頻剪輯創(chuàng)建模塊可以用于根據(jù)傳感器信息來識別多個傳感器事件,并且根據(jù)記錄的視頻生成與相應(yīng)的多個傳感器事件同步的相應(yīng)多個視頻剪輯。
在示例4中,示例1至3中任一個所述的視頻剪輯創(chuàng)建模塊可以用于標(biāo)識與傳感器事件相關(guān)聯(lián)的傳感器數(shù)據(jù)的第一時間戳,并且根據(jù)記錄的視頻的第二時間戳生成視頻剪輯,其中第一時間戳和第二時間戳對應(yīng)于同一實例。
在示例5中,示例1至4中任一個所述的傳感器信息可以包括與對記錄的視頻進(jìn)行記錄同時從多個源記錄的多個傳感器數(shù)據(jù)流。
在示例6中,示例1至5中任一個所述的至少一組傳感器信息可以包括可佩戴傳感器數(shù)據(jù)。
在示例7中,示例1至6中任一個所述的視頻剪輯創(chuàng)建模塊可以用于接收傳感器信息,并且當(dāng)傳感器信息匹配預(yù)定標(biāo)準(zhǔn)時基于傳感器事件生成視頻剪輯。
在示例8中,示例1至7中任一個所述的視頻剪輯創(chuàng)建模塊可以基于與傳感器事件的時間戳的預(yù)定關(guān)系來生成視頻剪輯。
在示例9中,示例1至8中任一個所述的視頻剪輯創(chuàng)建模塊可以在視頻的記錄期間基于傳感器事件預(yù)測活動,并且基于預(yù)測的活動來生成用于調(diào)整對記錄的視頻的記錄的信號。
在示例10中,示例1至9中任一個所述的視頻剪輯創(chuàng)建模塊可以根據(jù)在記錄的視頻中記錄的一天的時間或用戶活動來激活視頻剪輯生成。
在示例11中,示例1至10中任一個所述的視頻剪輯創(chuàng)建模塊可以自動地將視頻剪輯直接傳輸?shù)娇晒苍L問的外部社交媒體網(wǎng)站。
在示例12中,示例1至11中任一個所述的視頻剪輯創(chuàng)建模塊可以確定傳感器信息的源,并且基于傳感器信息的源來調(diào)度視頻剪輯到遠(yuǎn)程位置處的目標(biāo)目的地的傳輸。
示例13包括至少一個機(jī)器可讀存儲介質(zhì),其包括指令,當(dāng)指令在由計算設(shè)備執(zhí)行時使得計算設(shè)備:存儲記錄的視頻;基于與記錄的視頻同時記錄的傳感器數(shù)據(jù)來接收至少一組傳感器信息;以及根據(jù)所述至少一組傳感器信息來識別傳感器事件,并且基于所述傳感器事件來生成視頻剪輯,所述視頻剪輯包括來自記錄的視頻中的與所述傳感器事件同步的視頻內(nèi)容。
在示例14中,示例13的至少一個機(jī)器可讀存儲介質(zhì)可以包括指令,在由計算設(shè)備執(zhí)行時使計算設(shè)備根據(jù)傳感器信息來識別多個傳感器事件并且根據(jù)記錄的視頻生成與所述相應(yīng)多個傳感器事件同步的相應(yīng)的多個視頻剪輯。
在示例15中,示例13至14中任一個所述的至少一個機(jī)器可讀存儲介質(zhì)可以包括指令,在由計算設(shè)備執(zhí)行時使得計算設(shè)備識別與傳感器事件相關(guān)聯(lián)的傳感器數(shù)據(jù)的第一時間戳,以及根據(jù)記錄的視頻的第二時間戳生成所述視頻剪輯,其中所述第一時間戳和第二時間戳對應(yīng)于同一實例。
在示例16中,示例13至15中任一個所述的至少一個機(jī)器可讀存儲介質(zhì)可以包括指令,在由計算設(shè)備執(zhí)行時使得計算設(shè)備接收傳感器信息,并且當(dāng)傳感器信息與預(yù)定標(biāo)準(zhǔn)匹配時基于傳感器事件生成視頻剪輯。
在示例17中,示例13至16中任一個所述的至少一個機(jī)器可讀存儲介質(zhì)可以包括指令,在由計算設(shè)備執(zhí)行時使計算設(shè)備基于與傳感器事件的時間戳的預(yù)定關(guān)系生成視頻剪輯。
在示例18中,示例13至17中任一個所述的至少一個機(jī)器可讀存儲介質(zhì)可以包括指令,在由計算設(shè)備執(zhí)行時使得計算設(shè)備基于在記錄的視頻的記錄期間的傳感器事件來預(yù)測活動,并且基于所預(yù)測的活動來生成用于調(diào)整對記錄的視頻的記錄的信號。
在示例19中,示例13至18中任一個所述的至少一個機(jī)器可讀存儲介質(zhì)可以包括指令,在由計算設(shè)備執(zhí)行時使得計算設(shè)備確定傳感器信息的源并且基于所述傳感器信息的源來調(diào)度視頻剪輯到遠(yuǎn)程位置處的目標(biāo)目的地的傳輸。
示例20是一種計算機(jī)實現(xiàn)的方法,其可以包括:存儲記錄的視頻;接收包括與記錄的視頻同時記錄的傳感器數(shù)據(jù)的至少一組傳感器信息;根據(jù)所述至少一組傳感器信息來識別傳感器事件;以及基于所述傳感器事件來生成視頻剪輯,所述視頻剪輯包括來自記錄的視頻中的與所述傳感器事件同步的視頻內(nèi)容。
在示例21中,示例20的計算機(jī)實現(xiàn)的方法可以包括:根據(jù)傳感器信息來識別多個傳感器事件,并且根據(jù)記錄的視頻生成與相應(yīng)的多個傳感器事件同步的相應(yīng)多個視頻剪輯。
在示例22中,示例20至21中任一個所述的計算機(jī)實現(xiàn)的方法可以包括識別與傳感器事件相關(guān)聯(lián)的傳感器數(shù)據(jù)的第一時間戳,并且根據(jù)記錄的視頻的第二時間戳生成視頻剪輯,其中第一時間戳和第二時間戳對應(yīng)于同一實例。
在示例23中,示例20至22中任一個所述的計算機(jī)實現(xiàn)的方法可以包括接收傳感器信息,以及當(dāng)傳感器信息匹配預(yù)定標(biāo)準(zhǔn)時,基于傳感器事件生成視頻剪輯。
在示例24中,示例20至23中任一個所述的計算機(jī)實現(xiàn)的方法可以包括基于在記錄的視頻的記錄期間的傳感器事件來預(yù)測活動,以及基于預(yù)測的活動生成用于調(diào)整對記錄的視頻的記錄的信號。
在示例25中,示例20至24中任一個所述的計算機(jī)實現(xiàn)的方法可以包括確定傳感器信息的源,并且基于傳感器信息的源來調(diào)度視頻剪輯到遠(yuǎn)程位置處的目標(biāo)目的地的傳輸。
示例26包括用于自動生成視頻剪輯的用戶設(shè)備,其包括用于執(zhí)行示例20-25中任一個所述方法的單元。
示例27包括用于自動生成視頻剪輯的裝置,其包括用于執(zhí)行示例20-25中任一個所述方法的單元。
在示例28中,一種用于自動生成視頻剪輯的系統(tǒng)包括:視頻記錄組件,用于記錄視頻;存儲器,用于存儲記錄的視頻;接口,用于基于與記錄的視頻同時記錄的傳感器數(shù)據(jù)來接收至少一組傳感器信息;以及視頻剪輯創(chuàng)建模塊,用于根據(jù)所述至少一組傳感器信息來識別傳感器事件,并且基于所述傳感器事件生成視頻剪輯,其中所述視頻剪輯包括來自記錄的視頻中的與所述傳感器事件同步的視頻內(nèi)容。
在示例29中,示例28的視頻剪輯創(chuàng)建模塊可以根據(jù)傳感器信息來識別多個傳感器事件,并且根據(jù)記錄的視頻生成與相應(yīng)多個傳感器事件同步的相應(yīng)多個視頻剪輯。
在示例30中,示例28至29中任一個所述的視頻剪輯創(chuàng)建模塊可以識別與傳感器事件相關(guān)聯(lián)的傳感器數(shù)據(jù)的第一時間戳,并且根據(jù)記錄的視頻的第二時間戳生成視頻剪輯,其中第一時間戳和第二時間戳對應(yīng)于同一實例。
在示例31中,示例28至30中任一個所述的視頻剪輯創(chuàng)建模塊可以用于接收傳感器信息,并且當(dāng)傳感器信息匹配預(yù)定標(biāo)準(zhǔn)時基于傳感器事件生成視頻剪輯。
在示例32中,示例28至31中任一個所述的視頻剪輯創(chuàng)建模塊可以基于與傳感器事件的時間戳的預(yù)定關(guān)系來生成視頻剪輯。
在示例33中,示例28至32中任一個所述的視頻剪輯創(chuàng)建模塊可以在視頻的記錄期間基于傳感器事件預(yù)測活動,并且基于預(yù)測的活動生成用于調(diào)整對記錄的視頻的記錄的信號。
在示例34中,示例28至33中任一個所述的視頻剪輯創(chuàng)建模塊可以根據(jù)在記錄的視頻中記錄的時間或用戶活動來激活視頻剪輯生成。
在示例35中,示例28至34中任一個所述的視頻剪輯創(chuàng)建模塊可以用于自動地將視頻剪輯的傳輸引導(dǎo)到可公共訪問的外部社交媒體主機(jī)。
在示例36中,示例28至35中任一個所述的視頻剪輯創(chuàng)建模塊可以確定傳感器信息的源,并且基于傳感器信息的源來調(diào)度視頻剪輯到遠(yuǎn)程位置處的目標(biāo)目的地的傳輸。
如前所述,實施例可以使用各種硬件元件、軟件元件或兩者的組合來實現(xiàn)。硬件元件的示例可以包括設(shè)備、邏輯設(shè)備、組件、處理器、微處理器、電路、處理器電路、電路元件(例如晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路、可編程邏輯器件(pld)、數(shù)字信號處理器(dsp)、現(xiàn)場可編程門陣列(fpga)、存儲器單元、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片組等等。軟件元件的示例可包括軟件組件、程序、應(yīng)用、計算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、軟件開發(fā)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、函數(shù)、方法、過程、軟件接口、應(yīng)用程序接口(api)、指令集、計算代碼、計算機(jī)代碼、代碼段、計算機(jī)代碼段、字、值、符號或其任何組合。確定實施例是否使用硬件元件和/或軟件元件來實現(xiàn)可以根據(jù)任何數(shù)量的因素而變化,諸如期望的計算速率、功率水平、熱容限、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度和其他設(shè)計或性能約束,如給定實現(xiàn)所期望的那樣。
在一些實施例中,元件被定義為執(zhí)行一個或多個操作的特定結(jié)構(gòu)。然而,可以理解,定義為執(zhí)行特定功能的特定結(jié)構(gòu)的任何元件可以被表示為用于執(zhí)行指定功能的單元或步驟,而沒有詳述對其進(jìn)行支持的結(jié)構(gòu)、材料或動作,并且這種單元或步驟旨在覆蓋具體實施方式中描述的相應(yīng)結(jié)構(gòu)、材料或動作及其等同物。實施例不限于此上下文。
可以使用表述“一個實施例”或“實施例”及其派生詞來描述一些實施例。這些術(shù)語意味著結(jié)合該實施例描述的特定特征、結(jié)構(gòu)或特性被包括在至少一個實施例中。在說明書中各處出現(xiàn)的短語“在一個實施例中”不一定都指代相同的實施例。此外,可以使用表述“耦合”和“連接”及其派生詞來描述一些實施例。這些術(shù)語不一定是彼此的同義詞。例如,一些實施例可以使用術(shù)語“連接”和/或“耦合”來描述,以指示兩個或更多個元件彼此直接物理或電氣接觸。然而,術(shù)語“耦合”還可以表示兩個或更多個元件彼此不直接接觸,但是仍然彼此協(xié)作或交互。
另外,在前面的詳細(xì)描述中,可以看出,出于使本公開流線化的目的,各種特征被組合在單個實施例中。本公開的方法不應(yīng)被解釋為反映所要求保護(hù)的實施例需要比每個權(quán)利要求中明確記載的特征更多的特征的意圖。相反,如以下權(quán)利要求所反映的那樣,發(fā)明主題在于少于單個公開的實施例的所有特征。因此,所附權(quán)利要求被并入具體實施方式中,其中每個權(quán)利要求自身作為單獨的實施例。在所附權(quán)利要求中,術(shù)語“包括”和“其中”分別用作相應(yīng)術(shù)語“包含”和“此處”的簡單英語等同物。此外,術(shù)語“第一”、“第二”、“第三”等僅用作標(biāo)記,并且不旨在對其對象強加數(shù)字要求。
上面描述了包括所公開的體系結(jié)構(gòu)的示例的內(nèi)容。當(dāng)然,不可能描述組件和/或方法的每個可想到的組合,但是本領(lǐng)域普通技術(shù)人員可以認(rèn)識到,許多進(jìn)一步的組合和置換是可能的。因此,新穎的架構(gòu)旨在包括落入所附權(quán)利要求的精神和范圍內(nèi)的所有這樣的改變、修改和變化。