本技術(shù)實(shí)施例涉及計(jì)算機(jī)視覺(jué),尤其涉及一種視頻處理方法、電子設(shè)備、芯片系統(tǒng)及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、在現(xiàn)如今的電子化社會(huì),人們習(xí)慣使用電子設(shè)備拍攝視頻進(jìn)行記錄留存。比如,使用電子設(shè)備拍攝視頻,以記錄重要的畫(huà)面或者重要時(shí)刻。
2、隨著計(jì)算機(jī)視覺(jué)技術(shù)的進(jìn)一步發(fā)展,電子設(shè)備的錄像功能越來(lái)越優(yōu)化,人們使用電子設(shè)備拍攝視頻不僅僅為了簡(jiǎn)單地記錄事件,而是會(huì)利用電子設(shè)備進(jìn)行較為專業(yè)的拍攝。比如,會(huì)利用電子設(shè)備拍攝升格視頻(即具有慢動(dòng)作效果的視頻)。
3、一些傳統(tǒng)方法在拍攝升格視頻時(shí),是先采用低幀率攝像頭拍攝視頻,然后,再采用插幀的方式實(shí)現(xiàn)視頻升格效果。但是這種插幀方式實(shí)現(xiàn)的視頻升格效果,往往會(huì)導(dǎo)致視頻的畫(huà)面清晰度較低,升格視頻的質(zhì)量較差。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供一種視頻處理方法、電子設(shè)備、芯片系統(tǒng)及存儲(chǔ)介質(zhì),相較于通過(guò)插幀方式生成的升格視頻,能夠自動(dòng)拍攝圖像質(zhì)量較高的升格視頻。
2、為達(dá)到上述目的,本技術(shù)的實(shí)施例采用如下技術(shù)方案:
3、第一方面,本技術(shù)提供了一種視頻處理方法,應(yīng)用于電子設(shè)備,所述電子設(shè)備包括第一攝像頭和第二攝像頭;所述第一攝像頭和所述第二攝像頭的鏡頭朝向相同。電子設(shè)備可以控制第一攝像頭和第二攝像頭使用不同幀率同時(shí)拍攝視頻,得到對(duì)應(yīng)于第一幀率的第一視頻和對(duì)應(yīng)于第二幀率的第二視頻,第一幀率低于第二幀率。在拍攝完畢后可以保存第三視頻,第三視頻是將第一視頻中的第一視頻片段替換為第三視頻片段后得到的視頻;第三視頻片段是對(duì)第二視頻中的第二視頻片段慢速處理后得到的;第二視頻片段與第一視頻片段對(duì)應(yīng)于時(shí)間軸上的同一時(shí)間段,也相當(dāng)于對(duì)應(yīng)于同一場(chǎng)景。即,同一場(chǎng)景在第一視頻和第二視頻中分別對(duì)應(yīng)于第一視頻片段和第二視頻片段。
4、上述方案中,控制不同幀率的攝像頭同時(shí)拍攝視頻,針對(duì)同一場(chǎng)景,將該場(chǎng)景在高幀率視頻中對(duì)應(yīng)的視頻片段慢速處理,即可以實(shí)現(xiàn)延長(zhǎng)該場(chǎng)景的播放時(shí)長(zhǎng),然后,用慢速處理后的視頻片段替換掉該場(chǎng)景在低幀率視頻中對(duì)應(yīng)的視頻片段,則可以自動(dòng)升格視頻(即第三視頻)。該場(chǎng)景在升格視頻中對(duì)應(yīng)的視頻幀即為升格幀,由于升格幀是攝像頭真實(shí)采集的視頻幀,所以,相比較插幀而言,升格幀的畫(huà)面清晰度更高,因而提升了升格視頻的畫(huà)面質(zhì)量。
5、此外,本技術(shù)的方案不僅能自動(dòng)生成高質(zhì)量的升格視頻,而且,還能針對(duì)性地對(duì)一段視頻片段進(jìn)行升格,而不需要對(duì)整個(gè)視頻進(jìn)行慢速播放,更加的靈活,適用性更強(qiáng)。而且,最終生成的升格視頻也是低幀率視頻,相當(dāng)于后續(xù)在低幀率播放的情況下即可實(shí)現(xiàn)升格效果,大大降低了對(duì)電子設(shè)備的硬件性能的要求,提升了穩(wěn)定性。
6、在第一方面的一種可能的實(shí)現(xiàn)方式中,第一攝像頭的視場(chǎng)角大于所述第二攝像頭的視場(chǎng)角;同一拍攝對(duì)象在所述第三視頻片段中的畫(huà)面區(qū)域大于在所述第一視頻片段中的畫(huà)面區(qū)域。
7、上述方案中,由于第三視頻片段中的畫(huà)面區(qū)域是直接由第二攝像頭拍攝的,并不用經(jīng)過(guò)額外的放大處理,在升格視頻播放到該第三視頻片段后即可自動(dòng)實(shí)現(xiàn)升格+放大的效果,避免了額外對(duì)圖像進(jìn)行放大處理導(dǎo)致圖像清晰度惡化的問(wèn)題,因而能夠得到高質(zhì)量的自動(dòng)升格放大視頻,提高用戶體驗(yàn)。此外,不需要額外的自動(dòng)放大處理,還能節(jié)省計(jì)算處理資源。
8、在第一方面的一種可能的實(shí)現(xiàn)方式中,電子設(shè)備的拍攝界面的畫(huà)面預(yù)覽區(qū)中可以實(shí)時(shí)顯示第一攝像頭使用第一幀率實(shí)時(shí)采集的畫(huà)面,在畫(huà)面預(yù)覽區(qū)中還可以標(biāo)示所述第二攝像頭的視野范圍,即顯示視野標(biāo)示信息?;谠撆臄z界面則可以觸發(fā)同時(shí)控制第一攝像頭和第二攝像頭拍攝視頻。
9、上述方案中,在拍攝界面的畫(huà)面預(yù)覽區(qū)中做視野標(biāo)示,可以供用戶在拍攝時(shí)作了解第二攝像頭的視野范圍,調(diào)整好拍攝角度,使得第一攝像頭和第二攝像頭拍攝的畫(huà)面都更加的準(zhǔn)確,便于后續(xù)自動(dòng)生成效果更好的、畫(huà)面更完整的升格視頻。
10、在第一方面的一種可能的實(shí)現(xiàn)方式中,所述拍攝界面中包括目標(biāo)錄像模式的入口;所述目標(biāo)錄像模式是用于錄制自動(dòng)升格視頻的特定錄像模式。該入口被觸發(fā)后,即可進(jìn)入或啟動(dòng)該目標(biāo)錄像模式,并在拍攝界面的畫(huà)面預(yù)覽區(qū)中顯示視野標(biāo)示信息。
11、上述方案中,提出了一種專有錄像模式(即目標(biāo)錄像模式),進(jìn)入該專有錄像模式后即可在拍攝界面中預(yù)覽顯示視場(chǎng)角大的攝像頭采集的實(shí)時(shí)畫(huà)面,并同時(shí)標(biāo)示視場(chǎng)角較小的攝像頭的視野范圍,以便于后續(xù)更準(zhǔn)確的拍攝視頻,以及生成更準(zhǔn)確的升格視頻。
12、在第一方面的一種可能的實(shí)現(xiàn)方式中,所述第一視頻是采用第一3a控制信息對(duì)所述第一攝像頭進(jìn)行3a控制的情況下拍攝得到的;所述第二視頻是參考所述第一攝像頭對(duì)應(yīng)的所述第一3a控制信息對(duì)所述第二攝像頭進(jìn)行3a控制的情況下拍攝得到的。
13、上述方案中,對(duì)于高幀率攝像頭的3a控制可以參考低幀率攝像頭的3a控制信息,從而使得兩個(gè)攝像頭采集的畫(huà)面圖像效果更接近,以使得后續(xù)拼接得到的升格視頻在播放到升格片段(即第三視頻片段)時(shí),畫(huà)面切換過(guò)渡更加的自然,在用戶的視覺(jué)感知層面,看起來(lái)就像是由一個(gè)攝像頭實(shí)現(xiàn)的自動(dòng)升格的效果。
14、在第一方面的一種可能的實(shí)現(xiàn)方式中,所述第一3a控制信息是基于所述第一攝像頭所采集的視頻幀對(duì)應(yīng)的第一圖像統(tǒng)計(jì)參數(shù)計(jì)算得到。電子設(shè)備可以控制所述第二攝像頭使用第二幀率進(jìn)行視頻拍攝,并在視頻拍攝過(guò)程中基于第三3a控制信息進(jìn)行3a控制,得到拍攝的第二視頻;其中,所述第三3a控制信息比第二3a控制信息更接近于所述第一3a控制信息;所述第二3a控制信息是基于所述第二攝像頭所采集的視頻幀對(duì)應(yīng)的第二圖像統(tǒng)計(jì)參數(shù)計(jì)算得到。
15、上述方案中,電子設(shè)備可以根據(jù)每個(gè)攝像頭自身采集的圖像的圖像統(tǒng)計(jì)參數(shù)分別算出各自對(duì)應(yīng)的3a控制信息,然后,可以根據(jù)由圖像統(tǒng)計(jì)參數(shù)計(jì)算的各自對(duì)應(yīng)的3a控制信息,共同確定最終用于控制高幀率攝像頭(即第二攝像頭)的3a控制信息。由于最終用于控制高幀率攝像頭的3a控制信息參考了兩個(gè)攝像頭采集的圖像的圖像參數(shù)的統(tǒng)計(jì)特征,所以,既能保持與低幀率攝像頭的3a控制接近,又能考慮到高幀率攝像頭自身的3a控制需求,是更加適用的、更加準(zhǔn)確的3a控制信息。
16、在第一方面的一種可能的實(shí)現(xiàn)方式中,所述電子設(shè)備中具有第一3a模塊和第二3a模塊;所述第一3a控制信息是所述第一3a模塊基于所述第一圖像統(tǒng)計(jì)參數(shù)計(jì)算得到;所述第二3a控制信息是第二3a模塊基于所述第二圖像統(tǒng)計(jì)參數(shù)計(jì)算得到。電子設(shè)備可以將所述第一3a模塊計(jì)算得到的所述第一3a控制信息同步至所述第二3a模塊;通過(guò)所述第二3a模塊根據(jù)所述第二3a控制信息和同步至的所述第一3a控制信息,確定所述第三3a控制信息。
17、上述方案中,電子設(shè)備賦予了3a模塊的3a同步功能,可以在各個(gè)攝像頭各自的3a控制模塊計(jì)算出3a控制信息后,便可以由3a模塊進(jìn)行3a控制信息同步,更加的便捷、高效。
18、在第一方面的一種可能的實(shí)現(xiàn)方式中,所述第一視頻片段是所述第一視頻中的高光片段;所述高光片段在所述第一視頻的時(shí)間軸上對(duì)應(yīng)于目標(biāo)時(shí)間段;所述第二視頻片段是所述第二視頻中位于所述目標(biāo)時(shí)間段內(nèi)的視頻片段。
19、上述方案中,電子設(shè)備能針對(duì)性地對(duì)拍攝的視頻中的高光片段實(shí)現(xiàn)自動(dòng)升格,更加的靈活。而且,一般情況下,高光片段才是更符合用戶升格需求的視頻片段,因此,能夠更加準(zhǔn)確地生成符合用戶需求的升格視頻。此外,不需要針對(duì)整個(gè)視頻進(jìn)行升格處理,大大節(jié)省了系統(tǒng)資源。
20、在第一方面的一種可能的實(shí)現(xiàn)方式中,所述第一視頻具有攜帶高光動(dòng)作標(biāo)簽的元數(shù)據(jù);所述元數(shù)據(jù)中的高光動(dòng)作標(biāo)簽具有對(duì)應(yīng)的時(shí)間戳;所述目標(biāo)時(shí)間段是在所述時(shí)間戳的基礎(chǔ)上外擴(kuò)預(yù)設(shè)時(shí)間范圍后得到的時(shí)間段。
21、上述方案中,通過(guò)以時(shí)間線打高光動(dòng)作標(biāo)簽的元數(shù)據(jù),不需要復(fù)雜的分析處理,即可以更加便捷、準(zhǔn)確地從不同幀率拍攝的視頻中截取高光片段進(jìn)行升格處理,并更加快速、準(zhǔn)確地進(jìn)行視頻拼接,形成升格視頻。
22、在第一方面的一種可能的實(shí)現(xiàn)方式中,電子設(shè)備可以基于所述第一攝像頭采集的視頻幀進(jìn)行高光動(dòng)作識(shí)別處理;針對(duì)識(shí)別到高光動(dòng)作的視頻幀的時(shí)間戳,對(duì)應(yīng)添加高光動(dòng)作標(biāo)簽,得到所述第一視頻的攜帶高光動(dòng)作標(biāo)簽的元數(shù)據(jù)。
23、上述方案中,能夠自動(dòng)識(shí)別具有高光動(dòng)作的視頻幀,并對(duì)應(yīng)于其時(shí)間戳添加高光動(dòng)作標(biāo)簽得到元數(shù)據(jù),后續(xù)基于該元數(shù)據(jù)則可以快速實(shí)現(xiàn)高光片段的自動(dòng)升格處理。
24、在第一方面的一種可能的實(shí)現(xiàn)方式中,電子設(shè)備可以將所述第一視頻中的第一視頻片段丟棄;將所述第三視頻片段插入至所述第一視頻中的目標(biāo)位置,并將插入的所述第三視頻片段與所述第一視頻中剩余的視頻幀進(jìn)行拼接,得到所述第三視頻;所述目標(biāo)位置是所述第一視頻片段在所述第一視頻中所處的位置。
25、上述方案中,通過(guò)將高幀率視頻片段慢速處理后的第三視頻片段,按照合理的位置有序地與低幀率視頻中的剩余視頻幀拼接,能夠得到播放順滑、時(shí)間線正常、且畫(huà)面質(zhì)量高的升格視頻。
26、第二方面,本技術(shù)提供了一種電子設(shè)備,該電子設(shè)備至少包括:第一攝像頭和第二攝像頭、存儲(chǔ)器以及一個(gè)或多個(gè)處理器;該第一攝像頭和第二攝像頭用于采集圖像,該存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)指令,當(dāng)該一個(gè)或多個(gè)處理器執(zhí)行該計(jì)算機(jī)指令時(shí),使得該電子設(shè)備執(zhí)行如上述第一方面中任意一項(xiàng)的方法。
27、第三方面,本技術(shù)提供了一種芯片系統(tǒng),該芯片系統(tǒng)應(yīng)用于電子設(shè)備,該芯片系統(tǒng)包括一個(gè)或多個(gè)處理器,該處理器用于調(diào)用計(jì)算機(jī)指令,以使得該電子設(shè)備執(zhí)行上述第一方面任意一項(xiàng)的方法。
28、第四方面,本技術(shù)提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),該計(jì)算機(jī)存儲(chǔ)介質(zhì)包括計(jì)算機(jī)指令,當(dāng)計(jì)算機(jī)指令在電子設(shè)備上運(yùn)行時(shí),使得該電子設(shè)備執(zhí)行上述第一方面任意一項(xiàng)的方法。
29、第五方面,本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí),使得計(jì)算機(jī)執(zhí)行上述第一方面任意一項(xiàng)的方法。