本發(fā)明涉及視頻播放的，具體為基于數(shù)字音頻的視頻播放方法。

背景技術(shù)：

1、隨著數(shù)字音頻和視頻技術(shù)的快速發(fā)展，基于數(shù)字音頻的視頻播放方法已成為多媒體應(yīng)用中的重要組成部分。然而，在實(shí)際應(yīng)用中，該方法仍面臨多種技術(shù)難題，包括：

2、在網(wǎng)絡(luò)環(huán)境不穩(wěn)定或延遲較高的情況下，數(shù)字音頻與視頻之間的同步性往往受到影響，導(dǎo)致用戶體驗(yàn)不佳，這種音視頻不同步現(xiàn)象尤其在直播和實(shí)時(shí)播放中表現(xiàn)明顯；

3、數(shù)字音頻的壓縮過(guò)程常常會(huì)導(dǎo)致音質(zhì)下降，尤其是在采用低比特率編碼時(shí)，音頻的細(xì)節(jié)和動(dòng)態(tài)范圍可能被削弱，影響用戶的聽(tīng)覺(jué)體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述存在的問(wèn)題，提出了基于數(shù)字音頻的視頻播放方法，主要解決了在網(wǎng)絡(luò)波動(dòng)條件下視頻音畫(huà)不同步以及音視頻質(zhì)量低下的問(wèn)題。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：基于數(shù)字音頻的視頻播放方法，包括以下步驟，

3、校準(zhǔn)音視頻播放起始點(diǎn)，并啟動(dòng)同步監(jiān)測(cè)，包括，

4、對(duì)音頻和視頻的起始播放點(diǎn)進(jìn)行校準(zhǔn)，以及根據(jù)校準(zhǔn)結(jié)果進(jìn)行同步監(jiān)測(cè)，具體為：

5、利用時(shí)間戳進(jìn)行音頻和視頻的起始播放點(diǎn)的校準(zhǔn)，并利用實(shí)時(shí)播放進(jìn)度進(jìn)行同步狀態(tài)分析，然后利用音頻特征分析算法進(jìn)行音頻狀態(tài)分析，并根據(jù)音頻狀態(tài)分析結(jié)果動(dòng)態(tài)調(diào)整音頻與視頻的同步；

6、根據(jù)網(wǎng)絡(luò)條件自適應(yīng)調(diào)整音視頻質(zhì)量，包括，

7、收集網(wǎng)絡(luò)數(shù)據(jù)預(yù)測(cè)未來(lái)時(shí)間段內(nèi)的帶寬波動(dòng)，以及根據(jù)預(yù)測(cè)結(jié)果進(jìn)行自適應(yīng)調(diào)整音視頻質(zhì)量，具體為：

8、利用網(wǎng)絡(luò)采集設(shè)備實(shí)時(shí)采集網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，并通過(guò)時(shí)間序列模型進(jìn)行帶寬預(yù)測(cè)，根據(jù)帶寬預(yù)測(cè)結(jié)果進(jìn)行自適應(yīng)調(diào)整音視頻質(zhì)量，通過(guò)用戶偏好進(jìn)行音視頻調(diào)整；

9、根據(jù)用戶評(píng)價(jià)對(duì)同步和質(zhì)量調(diào)整效果進(jìn)行動(dòng)態(tài)優(yōu)化，包括，

10、構(gòu)建用戶評(píng)分模型對(duì)同步效果以及質(zhì)量調(diào)整效果進(jìn)行評(píng)分，以及根據(jù)評(píng)分結(jié)果進(jìn)行同步和質(zhì)量調(diào)整效果的動(dòng)態(tài)優(yōu)化。

11、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述利用時(shí)間戳進(jìn)行音頻和視頻的起始播放點(diǎn)的校準(zhǔn)具體如下：

12、利用服務(wù)器獲取音頻流初始時(shí)間戳和視頻流的初始時(shí)間戳，同時(shí)設(shè)置本地時(shí)刻偏差；

13、計(jì)算視頻播放地的音頻播放與視頻播放的時(shí)刻，則有，

14、音頻播放時(shí)間，;

15、視頻播放時(shí)間，其中，表示音頻流初始時(shí)間戳，表示視頻流的初始時(shí)間戳，表示本地時(shí)刻偏差，表示音頻播放時(shí)間戳，表示視頻播放時(shí)間戳；

16、利用計(jì)算的播放時(shí)間戳進(jìn)行校準(zhǔn)，則有，

17、其中，表示音頻播放時(shí)間戳，表示視頻播放時(shí)間戳，表示音頻播放與視頻播放的時(shí)間差，通過(guò)調(diào)整時(shí)間差的值實(shí)現(xiàn)音頻與視頻播放起始點(diǎn)的校準(zhǔn)，則有，

18、若計(jì)算的音頻播放與視頻播放的時(shí)間差滿足公式，表示音頻與視頻播放的起始點(diǎn)校準(zhǔn)完成，反之則調(diào)整服務(wù)器發(fā)送音頻與視頻的時(shí)間戳，直到滿足校準(zhǔn)條件為止。

19、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述利用實(shí)時(shí)播放進(jìn)度進(jìn)行同步狀態(tài)分析具體如下：

20、其中，表示音頻的實(shí)時(shí)播放進(jìn)度，表示視頻的實(shí)時(shí)播放進(jìn)度，表示音頻播放進(jìn)度與視頻播放進(jìn)度之間的差異，用于判斷是否需要?jiǎng)討B(tài)調(diào)整音頻與視頻的同步，則有，

21、若計(jì)算的音頻播放進(jìn)度與視頻播放進(jìn)度之間的差異滿足公式時(shí)，表示當(dāng)前音頻播放與視頻播放同步；

22、若計(jì)算的音頻播放進(jìn)度與視頻播放進(jìn)度之間的差異滿足公式時(shí)，表示當(dāng)前音頻播放與視頻播放不同步。

23、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述根據(jù)音頻狀態(tài)分析結(jié)果動(dòng)態(tài)調(diào)整音頻與視頻的同步具體如下：

24、當(dāng)音視頻播放進(jìn)度差值滿足公式且音頻狀態(tài)分析結(jié)果為靜音狀態(tài)時(shí)，對(duì)當(dāng)期音頻進(jìn)行插入延遲操作，以實(shí)現(xiàn)音視頻的同步；

25、當(dāng)音視頻播放進(jìn)度差值滿足公式且音頻狀態(tài)分析結(jié)果為正常狀態(tài)時(shí)，對(duì)當(dāng)前音頻進(jìn)行播放速度的調(diào)整操作，以實(shí)現(xiàn)音視頻的同步；

26、當(dāng)音視頻播放進(jìn)度差值滿足公式且音頻狀態(tài)分析結(jié)果為噪聲狀態(tài)時(shí)，對(duì)當(dāng)前音頻進(jìn)行能量的調(diào)整，直到當(dāng)前的視頻狀態(tài)為正常狀態(tài)為止，然后對(duì)當(dāng)前音頻進(jìn)行播放速度的調(diào)整，以實(shí)現(xiàn)音視頻的同步；

27、所述插入延遲操作是在靜音狀態(tài)下的音頻，插入無(wú)聲延遲，以調(diào)整音頻的播放時(shí)間戳，具體實(shí)現(xiàn)如下：

28、

29、其中，表示插入的無(wú)聲延遲時(shí)間，表示最大允許插入的無(wú)聲延遲時(shí)間，表示音頻的當(dāng)前播放速率，表示調(diào)整后的音頻播放進(jìn)度，

30、所述播放速度的調(diào)整是在正常的狀態(tài)下的音頻，通過(guò)調(diào)整音頻播放速率來(lái)改變音頻的播放時(shí)間戳，具體如下：

31、

32、其中，表示音頻的當(dāng)前播放速率，表示速率調(diào)整系數(shù)，表示音視頻播放的時(shí)間差，表示音頻當(dāng)前的時(shí)間戳，表示調(diào)整后的音頻播放進(jìn)度。

33、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述通過(guò)時(shí)間序列模型對(duì)進(jìn)行帶寬預(yù)測(cè)具體如下：

34、構(gòu)建時(shí)間序列模型，進(jìn)行帶寬預(yù)測(cè)，則有，

35、其中，表示預(yù)測(cè)時(shí)刻的網(wǎng)絡(luò)帶寬，表示自回歸系數(shù)，為歷史帶寬數(shù)據(jù)對(duì)帶寬預(yù)測(cè)的影響權(quán)重，表示初始自回歸系數(shù)，由實(shí)施人員根據(jù)實(shí)際應(yīng)用場(chǎng)景自行設(shè)定，表示自回歸項(xiàng)的階數(shù)，表示移動(dòng)平均系數(shù)，為誤差項(xiàng)對(duì)帶寬預(yù)測(cè)的影響權(quán)重，表示移動(dòng)平均的階數(shù)，表示誤差項(xiàng)；

36、預(yù)測(cè)帶寬變化率，則有，

37、其中，表示帶寬在未來(lái)時(shí)間內(nèi)的變化率，表示預(yù)測(cè)時(shí)刻的網(wǎng)絡(luò)帶寬，表示平滑處理后的網(wǎng)絡(luò)帶寬數(shù)據(jù)；

38、利用歷史數(shù)據(jù)判斷帶寬波動(dòng)狀態(tài)，則有，

39、將預(yù)測(cè)時(shí)間節(jié)點(diǎn)的前一天的網(wǎng)絡(luò)帶寬歷史數(shù)據(jù)，作為時(shí)間序列模型的輸入量，并將模型的輸出結(jié)果作為帶寬波動(dòng)狀態(tài)判斷閾值，具體判斷如下：

40、當(dāng)預(yù)測(cè)的帶寬變化率與判斷閾值對(duì)比結(jié)果滿足公式時(shí)，表示當(dāng)前帶寬波動(dòng)狀態(tài)為上升狀態(tài)；

41、當(dāng)預(yù)測(cè)的帶寬變化率與判斷閾值對(duì)比結(jié)果滿足公式時(shí)，表示當(dāng)前帶寬波動(dòng)狀態(tài)為下降狀態(tài)。

42、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述通過(guò)用戶偏好進(jìn)行音視頻調(diào)整具體如下：

43、當(dāng)帶寬波動(dòng)狀態(tài)處于上升狀態(tài)時(shí)，根據(jù)用戶偏好降低音視頻質(zhì)量，則有，

44、當(dāng)用戶偏好音頻質(zhì)量時(shí)，通過(guò)降低視頻質(zhì)量參數(shù)實(shí)現(xiàn)音視頻質(zhì)量的自適應(yīng)調(diào)整，具體為：

45、；

46、自適應(yīng)調(diào)整后的音視頻則為，

47、其中，表示當(dāng)前時(shí)刻的視頻質(zhì)量，表示調(diào)整后的視頻質(zhì)量，表示視頻質(zhì)量的調(diào)節(jié)參數(shù)，表示帶寬變化比例，表示視頻偏好權(quán)重，表示音頻偏好權(quán)重，表示當(dāng)前時(shí)刻的音頻質(zhì)量，表示調(diào)整后的音視頻質(zhì)量；

48、當(dāng)用戶偏好視頻質(zhì)量時(shí)，通過(guò)降低音頻質(zhì)量參數(shù)實(shí)現(xiàn)對(duì)音視頻質(zhì)量的自適應(yīng)調(diào)整，具體為：

49、；

50、自適應(yīng)調(diào)整后的音視頻則為，

51、其中，表示當(dāng)前時(shí)刻的音頻質(zhì)量，表示調(diào)整后的音頻質(zhì)量，表示音頻質(zhì)量的調(diào)節(jié)參數(shù)，表示帶寬變化比例，表示視頻偏好權(quán)重，表示音頻偏好權(quán)重，表示當(dāng)前時(shí)刻的視頻質(zhì)量，表示調(diào)整后的音視頻質(zhì)量；表示當(dāng)前時(shí)刻的實(shí)際帶寬，表示第?時(shí)刻的實(shí)際帶寬；

52、當(dāng)帶寬波動(dòng)狀態(tài)處于下降狀態(tài)時(shí)，根據(jù)用戶偏好提高視頻質(zhì)量，則有，

53、根據(jù)用戶偏好權(quán)重綜合調(diào)整音視頻質(zhì)量，具體為：

54、其中，表示調(diào)整后的視頻質(zhì)量，表示調(diào)整后的音頻質(zhì)量，表示視頻偏好權(quán)重，表示音頻偏好權(quán)重，表示調(diào)整后的音視頻質(zhì)量。

55、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述構(gòu)建用戶評(píng)分模型對(duì)同步效果以及質(zhì)量調(diào)整效果進(jìn)行評(píng)分具體如下：

56、利用同步效果的用戶評(píng)分、視頻質(zhì)量的用戶評(píng)分以及客觀觀測(cè)結(jié)果進(jìn)行綜合評(píng)分，則有，

57、對(duì)同步效果的評(píng)分，

58、其中，表示第個(gè)用戶對(duì)同步效果的評(píng)分，表示參與評(píng)分的用戶總?cè)藬?shù)，表示對(duì)同步效果的客觀觀測(cè)結(jié)果，表示對(duì)同步效果的用戶評(píng)分，分別表示用戶評(píng)分和客觀觀測(cè)結(jié)果的權(quán)重系數(shù)；

59、對(duì)視頻質(zhì)量的評(píng)分，

60、其中，表示第個(gè)用戶對(duì)視頻質(zhì)量的評(píng)分，表示參與評(píng)分的用戶總?cè)藬?shù)，表示對(duì)視頻質(zhì)量的客觀觀測(cè)結(jié)果，表示對(duì)視頻質(zhì)量的用戶評(píng)分，分別表示用戶評(píng)分和客觀觀測(cè)結(jié)果的權(quán)重系數(shù)；

61、根據(jù)同步效果以及視頻質(zhì)量進(jìn)行綜合評(píng)分，則有，

62、其中，表示對(duì)同步效果的用戶評(píng)分，表示對(duì)視頻質(zhì)量的用戶評(píng)分，分別表示同步效果和視頻質(zhì)量的權(quán)重系數(shù)。

63、作為本發(fā)明所述基于數(shù)字音頻的視頻播放方法的一種優(yōu)選方案，其中：所述根據(jù)評(píng)分結(jié)果進(jìn)行同步和質(zhì)量調(diào)整效果的動(dòng)態(tài)優(yōu)化具體如下：

64、設(shè)定同步效果以及視頻質(zhì)量的評(píng)分閾值以及；

65、根據(jù)用戶評(píng)分與評(píng)分閾值的對(duì)比結(jié)果進(jìn)行動(dòng)態(tài)優(yōu)化，則有，

66、當(dāng)同步效果與評(píng)分閾值的對(duì)比結(jié)果滿足公式時(shí)，維持當(dāng)期的同步調(diào)整；

67、當(dāng)同步效果與評(píng)分閾值的對(duì)比結(jié)果滿足公式時(shí)，重新進(jìn)行音視頻音畫(huà)同步的調(diào)整；

68、當(dāng)視頻質(zhì)量與評(píng)分閾值的對(duì)比結(jié)果滿足公式時(shí)，維持當(dāng)期的視頻質(zhì)量進(jìn)行播放；

69、當(dāng)視頻質(zhì)量與評(píng)分閾值的對(duì)比結(jié)果滿足公式時(shí)，重新進(jìn)行視頻的音視頻質(zhì)量調(diào)整。

70、本發(fā)明的有益效果：本發(fā)明通過(guò)時(shí)間戳校準(zhǔn)音頻和視頻的起始播放點(diǎn)，并在播放過(guò)程中利用實(shí)時(shí)同步監(jiān)測(cè)動(dòng)態(tài)調(diào)整音視頻播放的進(jìn)度，確保音視頻同步播放；減少了音畫(huà)不同步的現(xiàn)象，提升了用戶的觀看體驗(yàn)；根據(jù)網(wǎng)絡(luò)條件的變化，采用帶寬預(yù)測(cè)技術(shù)，結(jié)合時(shí)間序列模型對(duì)網(wǎng)絡(luò)帶寬波動(dòng)進(jìn)行預(yù)測(cè)，確保了音視頻播放的流暢性和穩(wěn)定性；通過(guò)用戶對(duì)音視頻同步效果和質(zhì)量調(diào)整效果的評(píng)分，動(dòng)態(tài)優(yōu)化播放策略，確保能夠根據(jù)用戶反饋?zhàn)詣?dòng)調(diào)整音視頻同步和質(zhì)量；通過(guò)音頻特征分析算法，能夠動(dòng)態(tài)分析音頻的狀態(tài)，根據(jù)分析結(jié)果自適應(yīng)調(diào)整音頻的播放速度或延遲，使得音頻與視頻的同步更加智能和精準(zhǔn)。