本發(fā)明涉及視頻剪輯，具體涉及一種基于人物追蹤的橫屏轉(zhuǎn)豎屏播出方法。

背景技術(shù)：

1、現(xiàn)在電視節(jié)目的終端播出設(shè)備中，將手機(jī)作為顯示終端的比例越來(lái)越大。這緣于智能手機(jī)已越來(lái)越成為大眾必備的通信設(shè)備，隨著智能手機(jī)功能越來(lái)越強(qiáng)大，網(wǎng)絡(luò)通信速度和方式越來(lái)越普及，便于攜帶和隨時(shí)移動(dòng)等諸多優(yōu)點(diǎn)，會(huì)引導(dǎo)著很多人用手機(jī)直接看電視節(jié)目。

2、通常的電視節(jié)目一般為16：9或4：3，而目前手機(jī)的顯示屏幕比例常見的是9：16、9：18、9：19等。通常情況下，如果一個(gè)手機(jī)要播放電視節(jié)目，只要以橫屏的方式展示，則無(wú)論是上述哪個(gè)比例，即使是經(jīng)過(guò)縮放，所產(chǎn)生的誤差都可以忽略不計(jì)。然而現(xiàn)實(shí)中，絕大多數(shù)人并沒有橫屏看電視的習(xí)慣。這或是緣于橫屏?xí)r攜帶不方便，或是橫屏?xí)r難以擺放，這時(shí)的觀眾在收看電視節(jié)目的時(shí)候，寧愿豎屏觀看。要觀看同樣的節(jié)目，豎屏?xí)r，播放器只能在屏幕正中間開辟一個(gè)以屏幕寬度為寬，以該寬度的9/16為高的區(qū)域作為播放區(qū)，其它區(qū)域?yàn)楹谏尘盎蝻@示其它內(nèi)容的“遮幅式”(masked?wide-screen?film)效果，或者只能播放整個(gè)電視節(jié)目畫面中的其中一部分。這很顯然不太符合一些喜歡豎屏看電視的觀眾的習(xí)慣。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的上述問(wèn)題，現(xiàn)提供一種基于人物追蹤的橫屏轉(zhuǎn)豎屏播出方法。

2、具體技術(shù)方案如下：

3、一種基于人物追蹤的橫屏轉(zhuǎn)豎屏播出方法，包括：

4、步驟s1：針對(duì)待裁剪視頻，依次識(shí)別每一幀的單幀圖像中的待判別人物，并對(duì)所述待判別人物分配說(shuō)話計(jì)數(shù)參數(shù)；

5、步驟s2：在每幀所述單幀圖像中，分別對(duì)每個(gè)所述待判別人物的口型長(zhǎng)寬比進(jìn)行判斷，隨后依照判斷結(jié)果對(duì)所述待判別人物的所述說(shuō)話計(jì)數(shù)參數(shù)進(jìn)行更新；

6、步驟s3：依照所述說(shuō)話計(jì)數(shù)參數(shù)確定所述單幀圖像中的裁剪對(duì)象人物，針對(duì)所述裁剪對(duì)象人物進(jìn)行裁剪。

7、另一方面，所述步驟s1包括：

8、步驟s11：自所述待裁剪視頻中依次提取一幀所述單幀圖像；

9、步驟s12：采用人臉識(shí)別模型對(duì)所述待判別人物進(jìn)行識(shí)別并添加標(biāo)注框；

10、于開始識(shí)別前，預(yù)先對(duì)所述待判別人物分配標(biāo)注編號(hào)，并生成對(duì)應(yīng)的所述說(shuō)話計(jì)數(shù)參數(shù)；

11、步驟s13：返回所述步驟s11，直至遍歷了所有的所述單幀圖像后轉(zhuǎn)向所述步驟s2。

12、另一方面，針對(duì)每個(gè)所述待判別人物，還分別創(chuàng)建有丟失計(jì)數(shù)參數(shù)；

13、所述步驟s12包括：

14、步驟s121：采用人臉識(shí)別模型對(duì)所述單幀圖像中出現(xiàn)的臉部區(qū)域進(jìn)行識(shí)別；

15、步驟s122：將所述臉部區(qū)域分別與所述待判別人物進(jìn)行匹配，并對(duì)匹配到的所述待判別人物的所述丟失計(jì)數(shù)參數(shù)進(jìn)行清零；

16、步驟s123：判斷所述待判別人物中是否存在所述單幀圖像中未匹配到的丟失人物；

17、若是，對(duì)所述丟失人物所對(duì)應(yīng)的丟失計(jì)數(shù)參數(shù)加一，隨后轉(zhuǎn)向所述步驟s13；

18、若否，轉(zhuǎn)向所述步驟s13；

19、在執(zhí)行所述步驟s13后，執(zhí)行所述步驟s2之前，將所述丟失計(jì)數(shù)參數(shù)達(dá)到丟失閾值的所述待判別人物去除。

20、另一方面，所述步驟s122包括：

21、步驟s1221：對(duì)每個(gè)所述臉部區(qū)域分別與所述待判別人物進(jìn)行首次匹配，并將未匹配成功的所述臉部區(qū)域標(biāo)記為未匹配臉部區(qū)域，將未匹配成功的所述待判別人物標(biāo)記為未匹配人物；

22、步驟s1222：針對(duì)所述未匹配人物，自之前的所述單幀圖像中提取所述未匹配人物的人物位置坐標(biāo)，將最近的所述未匹配臉部區(qū)域指向所述人物位置坐標(biāo)以進(jìn)行匹配。

23、另一方面，所述步驟s2包括：

24、步驟s21：分別對(duì)所述單幀圖像中識(shí)別到的所述待判別人物計(jì)算所述口型長(zhǎng)寬比；

25、步驟s22：依照所述口型長(zhǎng)寬比確定所述待判別人物是否張嘴；

26、若是，對(duì)所述說(shuō)話計(jì)數(shù)參數(shù)的數(shù)值加一，然后轉(zhuǎn)向步驟s23；

27、若否，對(duì)所述說(shuō)話計(jì)數(shù)參數(shù)的數(shù)值加一，然后轉(zhuǎn)向步驟s23；

28、步驟s23：返回所述步驟s21，以遍歷所有的所述單幀圖像后轉(zhuǎn)型所述步驟s3。

29、另一方面，所述步驟s21包括：

30、步驟s211：針對(duì)當(dāng)前的所述單幀圖像，分別對(duì)每個(gè)所述待判別人物識(shí)別得到嘴部輪廓點(diǎn)；

31、步驟s212：自所述嘴部輪廓點(diǎn)中提取兩側(cè)嘴角頂點(diǎn)位置、上下嘴唇的頂點(diǎn)位置作為輪廓信息；

32、步驟s213：依照所述輪廓信息計(jì)算所述口型長(zhǎng)寬比。

33、另一方面，所述步驟s3包括：

34、步驟s31：依照所述說(shuō)話計(jì)數(shù)參數(shù)確定所述待裁剪視頻中的多個(gè)時(shí)間區(qū)間，以及所述時(shí)間區(qū)間中的說(shuō)話主體；

35、步驟s32：分別在所述時(shí)間區(qū)間中，將所述說(shuō)話主體作為裁剪對(duì)象人物；

36、步驟s33：依照所述裁剪對(duì)象人物作為畫面中心對(duì)所述待裁剪視頻進(jìn)行裁剪。

37、另一方面，所述步驟s31中，當(dāng)首次識(shí)別到所述說(shuō)話主體時(shí)，將所述說(shuō)話主體在所述單幀圖像中消失的時(shí)間點(diǎn)作為所述時(shí)間區(qū)間的結(jié)束點(diǎn)。

38、上述技術(shù)方案具有如下優(yōu)點(diǎn)或有益效果：

39、針對(duì)現(xiàn)有技術(shù)中的手機(jī)豎屏場(chǎng)景在觀看橫屏類的訪談內(nèi)容效果不佳的問(wèn)題，本方案中，引入了針對(duì)畫面中出現(xiàn)的待判別人物進(jìn)行識(shí)別的過(guò)程，通過(guò)識(shí)別訪談?lì)惤缑嬷?，?shí)際說(shuō)話的主體并作為裁剪對(duì)象人物，隨后對(duì)視頻進(jìn)行二次構(gòu)圖、裁剪，使得橫屏視頻內(nèi)容能夠被重新構(gòu)圖成適合豎屏觀看的內(nèi)容，且有效保留了觀看過(guò)程中的主體，提升用戶體驗(yàn)。

技術(shù)特征：

1.一種基于人物追蹤的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，所述步驟s1包括：

3.根據(jù)權(quán)利要求1所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，針對(duì)每個(gè)所述待判別人物，還分別創(chuàng)建有丟失計(jì)數(shù)參數(shù)；

4.根據(jù)權(quán)利要求3所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，所述步驟s122包括：

5.根據(jù)權(quán)利要求1所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，所述步驟s2包括：

6.根據(jù)權(quán)利要求5所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，所述步驟s21包括：

7.根據(jù)權(quán)利要求1所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，所述步驟s3包括：

8.根據(jù)權(quán)利要求7所述的橫屏轉(zhuǎn)豎屏播出方法，其特征在于，所述步驟s31中，當(dāng)首次識(shí)別到所述說(shuō)話主體時(shí)，將所述說(shuō)話主體在所述單幀圖像中消失的時(shí)間點(diǎn)作為所述時(shí)間區(qū)間的結(jié)束點(diǎn)。

技術(shù)總結(jié)
本發(fā)明涉及視頻剪輯技術(shù)領(lǐng)域，具體涉及一種基于人物追蹤的橫屏轉(zhuǎn)豎屏播出方法，包括：針對(duì)待裁剪視頻，依次識(shí)別每一幀的單幀圖像中的待判別人物，并對(duì)待判別人物分配說(shuō)話計(jì)數(shù)參數(shù)；在每幀單幀圖像中，分別對(duì)每個(gè)待判別人物的口型長(zhǎng)寬比進(jìn)行判斷，隨后依照判斷結(jié)果對(duì)待判別人物的說(shuō)話計(jì)數(shù)參數(shù)進(jìn)行更新；依照說(shuō)話計(jì)數(shù)參數(shù)確定單幀圖像中的裁剪對(duì)象人物，針對(duì)裁剪對(duì)象人物進(jìn)行裁剪。針對(duì)手機(jī)豎屏場(chǎng)景在觀看橫屏類的訪談內(nèi)容效果不佳的問(wèn)題，通過(guò)識(shí)別訪談?lì)惤缑嬷?，?shí)際說(shuō)話的主體并作為裁剪對(duì)象人物，隨后對(duì)視頻進(jìn)行二次構(gòu)圖、裁剪，使得橫屏視頻內(nèi)容能夠被重新構(gòu)圖成適合豎屏觀看的內(nèi)容，且有效保留了觀看過(guò)程中的主體，提升用戶體驗(yàn)。

技術(shù)研發(fā)人員：金逸樂(lè),李毓琪,蔣曉峰,周鑫
受保護(hù)的技術(shù)使用者：上海東方傳媒技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10