两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

一種音視頻匹配方法及裝置的制作方法

文檔序號(hào):6754414閱讀:360來(lái)源:國(guó)知局
專利名稱:一種音視頻匹配方法及裝置的制作方法
技術(shù)領(lǐng)域
本發(fā)明涉及信號(hào)處理領(lǐng)域,尤指一種基于現(xiàn)有4見頻資源對(duì)音視頻進(jìn)行匹配 的方法及裝置。
背景技術(shù)
20世紀(jì)80年代初,美國(guó)有線電視網(wǎng)開辦了一個(gè)新欄目MTV (Music Television),內(nèi)容都是通俗歌曲,然后再配以精致畫面。這種音樂(lè)可視化形式 迅速為人們所接受,各國(guó)的電視臺(tái)也爭(zhēng)相效仿。隨著MTV的普及,其僅局限 于電^f見播放這一狹窄范疇已無(wú)法滿足需求,單獨(dú)發(fā)行影碟、或者通過(guò)手機(jī)、網(wǎng) 絡(luò)的方式發(fā)布成為必然的要求,因此,MTV進(jìn)一步演變成了 MV( Music Video) 這一特定的音樂(lè)可視化形式,即用歌曲配以精美的畫面,使原本只是聽覺(jué)藝術(shù) 的歌曲,變成視覺(jué)和聽覺(jué)結(jié)合的一種嶄新的藝術(shù)樣式;在欣賞音樂(lè)的同時(shí),也 能得到很好的視覺(jué)享受。
音頻可視化,在PC版本的播放器中已有較為廣泛的應(yīng)用。例如Windows MediaPlayer, Winamp等常用的音頻播放軟件都可以支持音頻可視化功能。且 隨著技術(shù)的發(fā)展,便攜式音視頻播放設(shè)備(如mp4播放器)大有取代之前的純 音頻播放器(如mp3播放器)的趨勢(shì),而MV這種音樂(lè)形式也隨之有了更廣 泛的受眾群體。
雖然隨著MV的盛行,現(xiàn)有MV資源中也已經(jīng)包含有大量的帶視頻的音頻 文件,種類也已經(jīng)很豐富。但是,純音頻文件仍然大量存在。目前音頻可視化 功能的實(shí)現(xiàn)都是基于參數(shù)模式的,也就是在播放純音頻文件時(shí),實(shí)時(shí)提取音頻 信號(hào)的特征參數(shù),根據(jù)音頻信號(hào)的能量變化,利用固定的視頻生成模型,生成 能體現(xiàn)某些音頻特征的視頻文件。使得在欣賞音樂(lè)的同時(shí),也能得到一定的視覺(jué)享受。但是,由于生成模型的固定性,使這種基于參數(shù)模型生成的視頻效果較為單調(diào),且由于大量純音頻的存在,也不可能逐一為其生成相匹配的視頻文件。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種音視頻匹配方法及裝置,解決現(xiàn)有音樂(lè)視頻(MusicVision, MV)資源與純音頻文件的匹配使用問(wèn)題,獲得了良好的音頻可一見化效果。
一種音一見頻匹配方法,包括
確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ)的與所述音頻類別相匹配音樂(lè)視頻MV文件;
將所述待匹配音頻文件劃分為若干音頻部分,確定出所述MV文件中與每個(gè)所述音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)纟見頻,度;
根據(jù)所述音頻部分和所述對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)^見頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)i見頻段;以及
根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與所述4寺匹配音頻文件相匹配的^L頻文件。
根據(jù)本發(fā)明的上述方法,所述確定待匹配音頻文件所屬的音頻類別,具體包括
對(duì)所述待匹配音頻文件進(jìn)行節(jié)拍和能量分析,4艮據(jù)其節(jié)拍信息和能量信息確定所屬的音頻類別;
所述選M儲(chǔ)的與所述音頻類別相匹配音樂(lè)視頻MV文件,具體包括
根據(jù)確定出的所述音頻類別,選取存儲(chǔ)的相同音頻類別的MV文件;其中,所述相同音頻類別的MV文件,是指所述MV文件中包含的音頻文件與所述待匹配音頻文件的節(jié)拍信息和能量信息均相同或相近。
根據(jù)本發(fā)明的上述方法,所述確定出所述MV文件中與每個(gè)所述音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)一見頻段,包括
確定所述MV文件中包含的音頻文件中與所述待匹配音頻文件的若干音頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)音頻部分;
才艮據(jù)確定出的所述對(duì)應(yīng)音頻部分,將所述MV文件中包含的^L頻文件劃分為對(duì)應(yīng)的若干-見頻^:,得到與所述待匹配音頻文件的每個(gè)音頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)^見頻段。
根據(jù)本發(fā)明的上述方法,所述音頻部分包括橋段部分、主歌部分和副歌部分;
所述橋段部分,具體包括序唱、過(guò)門、間奏。
根據(jù)本發(fā)明的上述方法,所述根據(jù)所述音頻部分和對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)視頻段的視頻播放幀率,具體包括
根據(jù)所述對(duì)應(yīng)音頻部分的節(jié)拍速率和對(duì)應(yīng)視頻段的原視頻播放幀率,計(jì)算得到所述對(duì)應(yīng)音頻部分每拍所對(duì)應(yīng)播放的視頻幀數(shù);
根據(jù)所述每拍所對(duì)應(yīng)播放的視頻幀數(shù)和所述音頻部分的節(jié)拍速率,計(jì)算每幀視頻的匹配播放時(shí)間,確定出匹配視頻播放幀率,調(diào)整所述對(duì)應(yīng)視頻段的禍L頻播放幀率為所述匹配視頻播放幀率。
本發(fā)明的上述方法,當(dāng)所述音頻部分節(jié)拍速率或所述對(duì)應(yīng)音頻部分的節(jié)拍速率有多個(gè)時(shí),根據(jù)多個(gè)所述節(jié)拍速率分別對(duì)應(yīng)的音頻部分和對(duì)應(yīng)音頻部分的范圍,對(duì)所述對(duì)應(yīng)視頻段的視頻播放幀率分段進(jìn)行調(diào)整。
根據(jù)本發(fā)明的上述方法,所述根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,具體包括
若所述音頻部分的播放時(shí)長(zhǎng)小于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng),對(duì)所述調(diào)整后的對(duì)應(yīng)視頻段進(jìn)行截取,使截取后的視頻段的播放時(shí)長(zhǎng)與所述音頻部分的播放時(shí)長(zhǎng)相等;
若所述音頻部分的播放時(shí)長(zhǎng)大于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng),則循環(huán)使用所述對(duì)應(yīng)視頻段,循環(huán)使用的部分視頻段的播放時(shí)長(zhǎng) 所迷調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)之和等于所述音頻部分的播放時(shí)長(zhǎng)。
一種音視頻匹配裝置,包括
類別匹配模塊,用于確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ)的與所述音頻類別相匹配音樂(lè):現(xiàn)頻MV文件;
能量匹配模塊,用于將所述待匹配音頻文件劃分為若干音頻部分,確定出
節(jié)拍匹配模塊,用于根據(jù)所述音頻部分和所述對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段;
長(zhǎng)度調(diào)整模塊,用于根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與所述待匹配音頻文件相匹配的視頻文件。
本發(fā)明的上述裝置,所述類別匹配模塊,具體包括
類別確定單元,用于對(duì)所述待匹配音頻文件進(jìn)行節(jié)拍和能量分析,根據(jù)其節(jié)拍信息和能量信息確定所屬的音頻類別;
匹配選取單元,用于根據(jù)確定出的所述音頻類別,選取存儲(chǔ)的相同音頻類別的MV文件;其中,所述相同音頻類別的MV文件,是指所述MV文件中包含的音頻文件與所述待匹配音頻文件的節(jié)拍信息和能量信息均相同或相近。
本發(fā)明的上述裝置,所述能量匹配模塊,具體包括
劃分單元,用于將所述待匹配音頻文件劃分為若千音頻部分;
確定單元,用于確定所述MV文件中包含的音頻文件中與所述待匹配音頻文件的若干音頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)音頻部分;
匹配單元,用于根據(jù)確定出的所述對(duì)應(yīng)音頻部分,將所述MV文件中包含的視頻文件劃分為對(duì)應(yīng)的若干^L頻段,得到與所述待匹配音頻文件的每個(gè)音頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)纟見頻^:。
本發(fā)明的上述裝置,所述節(jié)拍匹配4莫塊,具體包括
幀率計(jì)算單元,用于根據(jù)所述對(duì)應(yīng)音頻部分的節(jié)拍速率和對(duì)應(yīng)視頻段的原視頻播放幀率,計(jì)算得到所述對(duì)應(yīng)音頻部分每拍所對(duì)應(yīng)播放的視頻幀數(shù);
幀率調(diào)整單元,用于根據(jù)所述每拍所對(duì)應(yīng)播放的視頻幀數(shù)和所述音頻部分
的節(jié)拍速率,計(jì)算每幀視頻的匹配播放時(shí)間,確定出匹配視頻播放幀率,調(diào)整
所述對(duì)應(yīng)視頻段的視頻播放幀率為所述匹配視頻播放幀率。本發(fā)明的上述裝置,所述節(jié)拍匹配模塊,還包括
分段匹配單元,用于當(dāng)所述音頻部分節(jié)拍速率或所述對(duì)應(yīng)音頻部分的節(jié)拍速率有多個(gè)時(shí),才艮據(jù)多個(gè)所述節(jié)拍速率分別對(duì)應(yīng)的音頻部分和對(duì)應(yīng)音頻部分的范圍,對(duì)所述對(duì)應(yīng)視頻段的視頻播放幀率分段進(jìn)行調(diào)整。
本發(fā)明的上述裝置,所述長(zhǎng)度調(diào)整模塊,具體包括
比較單元,用于對(duì)所述音頻部分的播放時(shí)長(zhǎng)和所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)進(jìn)行比較;
長(zhǎng)度調(diào)整單元,用于當(dāng)所述比較單元確定出所述音頻部分的播放時(shí)長(zhǎng)小于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)時(shí),對(duì)所述調(diào)整后的對(duì)應(yīng)視頻段進(jìn)行截取,使截取后的視頻段的播放時(shí)長(zhǎng)與所述音頻部分的播放時(shí)長(zhǎng)相等;當(dāng)所述比較單元確定出所述音頻部分的播放時(shí)長(zhǎng)大于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)時(shí),則循環(huán)使用所述對(duì)應(yīng)視頻段,循環(huán)使用的部分視頻段的播放時(shí)長(zhǎng)與所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)之和等于所述音頻部分的播放時(shí)長(zhǎng)。
本發(fā)明實(shí)施例提供的音視頻匹配方法及裝置,通過(guò)確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ)的與所述音頻類別相匹配的音樂(lè)視頻MV文件;將所述待匹配音頻文件劃分為若干音頻部分,并確定出MV文件中與每個(gè)音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段;根據(jù)所述音頻部分和對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與其對(duì)應(yīng)的所述對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段;以及根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與所述待匹配音頻文件相匹配的視頻文件。上述方法能夠?qū)崿F(xiàn)待匹配音頻文件預(yù)選取得MV文件中包含的視頻文件在節(jié)拍、能量以及各音頻部分和對(duì)應(yīng)視頻部分的播;故時(shí)間長(zhǎng)度等各個(gè)方面的完美匹配,使選取的視頻的畫面切換、變化等能夠體現(xiàn)音樂(lè)的節(jié)拍、能量變化情況,同時(shí)充分利用了現(xiàn)有MV資源解決了純音頻文件的可視化問(wèn)題,實(shí)現(xiàn)了良好的音頻可一見化效果。


圖1為本發(fā)明實(shí)施例中音視頻匹配方法的原理示意圖;圖2為本發(fā)明實(shí)施例中音視頻匹配方法的流程圖;圖3為本發(fā)明實(shí)施例中進(jìn)行音頻類別匹配的原理示意圖;圖4為本發(fā)明實(shí)施例中進(jìn)行能量匹配的原理示意圖;圖5為本發(fā)明實(shí)施例中進(jìn)行節(jié)拍匹配的原理示意圖;圖6為本發(fā)明實(shí)施例中播放時(shí)間長(zhǎng)度調(diào)整的原理示意圖;圖7為本發(fā)明實(shí)施例中音視頻匹配裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
由于現(xiàn)有MV資源庫(kù)中已具有各種各樣、種類繁多的視頻文件,而有些視頻文件與某些純音頻文件是可以匹配使用的,因此,充分利用現(xiàn)有視頻資源,實(shí)現(xiàn)現(xiàn)有視頻資源中包含的視頻文件與純音頻文件的匹配,從而實(shí)現(xiàn)在欣賞音樂(lè)時(shí),能夠欣賞到與之相匹配的視頻文件,獲得良好視覺(jué)享受的目的。
因此,本發(fā)明實(shí)施例提供的音視頻匹配方法,利用現(xiàn)有MV資源,為純音頻文件配置與其相匹配的視頻文件。其原理如圖l所示,通過(guò)對(duì)待匹配的音頻文件和存儲(chǔ)的MV文件進(jìn)行類別匹配,選取與待匹配的音頻文件相同類別的MV文件;再進(jìn)行能量匹配,并確定MV文件中分別與待匹配音頻文件各音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段;然后將待匹配的音頻文件的各音頻部分與選取的MV文件中對(duì)應(yīng)的視頻段進(jìn)行節(jié)拍匹配和播放時(shí)間長(zhǎng)度的匹配,得到與待匹配的音頻文件相匹配的視頻文件。其中,MV文件包含一個(gè)音頻文件和為該音頻文件配制的3見頻文件。
本發(fā)明實(shí)施例提供的音視頻匹配方法,其流程如圖2所示,執(zhí)行步驟如下
ii步驟S101:確定待匹配音頻文件(音樂(lè))所屬的音頻類別。具體通過(guò)對(duì)獲 取到的待匹配(視頻的)音頻文件進(jìn)行節(jié)拍和能量分析,根據(jù)其節(jié)拍信息(快 慢)和能量信息(強(qiáng)弱)等確定待匹配音頻文件所屬的音頻類別。
音樂(lè)作為人類共通的情感語(yǔ)言,只所以能撥動(dòng)人的心弦,生物物理解釋是
聲音由耳神經(jīng)觸傳到大腦中樞神經(jīng)中心,從而產(chǎn)生人與音樂(lè)聲響的共鳴和共 振,并不斷的合上節(jié)拍,表現(xiàn)出情感的訴說(shuō)與付出。通過(guò)音樂(lè)的節(jié)拍信息(即 節(jié)奏的快慢)和音樂(lè)的能量信息(即能量的強(qiáng)弱及其變化來(lái)反映音樂(lè)為高亢, 還是低沉的音樂(lè))可以體現(xiàn)或反映不同的人類情感。例如"迪廳"的音樂(lè)是 快節(jié)奏高音量表現(xiàn)的;而交響樂(lè)經(jīng)常是快慢、高低都包容進(jìn)去的;哀樂(lè)則是慢
節(jié)奏、音量低沉渾厚;等等。也就是說(shuō),根據(jù)音頻文件的節(jié)拍信息和能量信息 不同,能夠反映的人類不同的情感,而根據(jù)音頻文件反映的人類情感的不同, 可以將音頻文件劃分為不同的音頻類別。
因此,確定音頻文件的音頻類別的過(guò)程也就是對(duì)音頻文件進(jìn)行情感分析的 過(guò)程。而對(duì)音頻文件進(jìn)行情感分析實(shí)質(zhì)上也就是對(duì)音頻文件的節(jié)拍和能量進(jìn)行 進(jìn)行分析。
例如根據(jù)音頻文件(音樂(lè))所具有的節(jié)拍信息,可以將音樂(lè)分為"勁歌" "慢歌"等音頻類別。其中節(jié)奏較快的Disco、 Hip-Hop舞曲音樂(lè)就屬于"勁 歌,,;而節(jié)奏比較慢的浪漫情歌等則屬于"慢歌"。在進(jìn)行劃分時(shí),以節(jié)拍信息 為例,例如可以i殳定若干節(jié)拍速率范圍,以一個(gè)音頻文件的平均節(jié)拍速率在 哪個(gè)節(jié)拍速率范圍內(nèi)來(lái)確定該音頻文件所屬的音頻類型。比如平均節(jié)拍速率 處于a-b范圍內(nèi)的音頻文件屬于"慢歌",平均節(jié)拍速率處于b-c范圍內(nèi)的音頻 文件屬于"勁歌"等等。當(dāng)然也可以設(shè)定若干能量的范圍,對(duì)音頻文件進(jìn)行劃 分,以一個(gè)音頻文件的能量在哪個(gè)節(jié)拍范圍內(nèi)來(lái)確定該音頻文件所屬的音頻類 型。也可以綜合考慮節(jié)拍和能量信息共同確定。
步驟S102:根據(jù)確定出的音頻類別,選取存儲(chǔ)的該音頻類別的MV文件。 根據(jù)確定出的待匹配音頻文件所屬的音頻類別,從MV資源庫(kù)中選取一個(gè)相同音頻類別的MV文件。其中,相同音頻類別的MV文件,是指MV文件 中包含的音頻文件與待匹配音頻文件的節(jié)拍信息和能量信息均相同或相近。
MV資源庫(kù)中存儲(chǔ)的MV文件的音頻類別的劃分,可以預(yù)先通過(guò)對(duì)MV文 件中包含的音頻文件進(jìn)行節(jié)拍和能量分析來(lái)實(shí)現(xiàn)。
為一個(gè)音頻文件配置的視頻文件,其畫面表現(xiàn)的情感一定是與音樂(lè)(音頻 文件)所表現(xiàn)的情感相一致的。因此,需要為一個(gè)音頻文件匹配視頻文件時(shí), 也需要根據(jù)音頻文件所屬的音頻類別,選取相同類別的MV文件,以使音頻文 件和為其選擇的MV文件中包含的視頻文件所表現(xiàn)的情感一致。即為音頻文件 選擇情感相匹配的視頻文件。 一般而言,相匹配是指音頻文件和為其選擇的 MV文件中包含的音頻文件的節(jié)拍快慢和能量強(qiáng)弱及其變化情況相同或相近, 即也就是屬于相同的音頻類型。其中,節(jié)拍快慢和能量強(qiáng)弱及其變化情況相近 是指待匹配音頻文件與選取的MV文件中的音頻文件的節(jié)拍快慢之差小于設(shè) 定的節(jié)拍閾值,且能量強(qiáng)弱也小于設(shè)定的能量閾值。
上述步驟S101和S102對(duì)待匹配音頻文件進(jìn)行情感分析,選取相匹配的 MV文件的原理具體如圖3所示。
步驟S103:確定出選取的MV文件中分別與待匹配音頻文件中每個(gè)音頻 部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段。其原理如圖4所示,具體包括
首先,將待匹配音頻文件劃分為若干音頻部分。
如上所述,節(jié)拍和能量是體現(xiàn)情感的重要因素。視頻和音樂(lè)的匹配需要體 現(xiàn)節(jié)拍的匹配和能量的匹配。因此,才艮據(jù)音頻文件的能量信息,將其劃分為不 同的音頻部分,并為各音頻部分匹配對(duì)應(yīng)的視頻段,將會(huì)使音視頻的配合更力口 完美,在情感上更加貼合。
其中,劃分的音頻部分可以包括橋^a部分(可以包括序唱、過(guò)門、間奏 等)、主歌部分和副歌(高潮)部分等等。 一般而言,音頻的橋段、主歌和副 歌部分的劃分是從結(jié)構(gòu)組成上對(duì)音頻文件進(jìn)行的劃分,其分別表征了音樂(lè)的不 同組成部分,且上述各部分的能量是依次增大,所配的^L頻畫面的藝術(shù)張力也應(yīng)該依次增大。需要說(shuō)明的是,音頻文件的劃分并不僅限于劃分為上述列出的 三個(gè)音頻部分。
然后,確定選取的MV文件中包含的音頻文件中與待匹配音頻文件的若干 音頻部分分別對(duì)應(yīng)的各對(duì)應(yīng)音頻部分。
根據(jù)上述對(duì)待匹配音頻文件的音頻部分的劃分結(jié)果,將選取的MV文件中 包含的音頻文件也劃分為相應(yīng)的音頻部分。例如待匹配音頻文件劃分為橋段
部分、主歌部分和副歌部分三個(gè)部分時(shí),將選取的MV文件中包含的音頻文件 也相應(yīng)劃分為對(duì)應(yīng)的橋l殳部分、主歌部分和副歌部分三個(gè)部分。對(duì)待匹配音頻 文件進(jìn)行音頻部分的劃分時(shí),可以根據(jù)設(shè)定的規(guī)則劃分,例如設(shè)定的規(guī)則可 以為能量范圍,也可以是節(jié)拍速率范圍,還可以是其他的參數(shù)指標(biāo)等。在劃分 時(shí),考察音頻文件中的數(shù)據(jù)幀能量,根據(jù)音頻文件中的能量變化和設(shè)定的規(guī)則 將音頻文件劃分為不同的部分。
最后,根據(jù)確定出的MV文件中包含的音頻文件中與待匹配音頻文件的若 干音頻部分分別對(duì)應(yīng)的各對(duì)應(yīng)音頻部分,將MV文件中所包含的視頻文件劃分 為對(duì)應(yīng)的若干視頻段,得到與待匹配音頻文件的每個(gè)音頻部分分別對(duì)應(yīng)的各個(gè) 對(duì)應(yīng)一見頻段。
例如將MV文件中包含的音頻文件也相應(yīng)劃分為對(duì)應(yīng)的橋)殳部分、主歌 部分和副歌部分三個(gè)部分時(shí),才艮據(jù)劃分的三個(gè)部分,確定各自對(duì)應(yīng)的纟見頻范圍, 將選取的MV文件中包含的視頻文件劃分為對(duì)應(yīng)的三個(gè)視頻段。從而建立起待 匹配音頻文件的各音頻部分與選取的MV文件中包含的視頻文件的各視頻段 的對(duì)應(yīng)關(guān)系,得到與待匹配音頻文件的各音頻部分對(duì)應(yīng)的視頻段。
需要說(shuō)明的是在劃分時(shí),可以如上述對(duì)待匹配音頻文件進(jìn)行劃分,再對(duì) MV中包含的音、 一見頻文件進(jìn)行相應(yīng)的劃分,并建立待匹配音頻文件的各音頻 部分和選取的MV文件中劃分出的各視頻段的對(duì)應(yīng)關(guān)系。也可以先對(duì)MV中包 含的音、視頻文件進(jìn)行劃分,再對(duì)待匹配音頻文件進(jìn)行相應(yīng)的音頻部分的劃分, 并建立待匹配音頻文件的各音頻部分和選取的MV文件中劃分出的各視頻段
14的對(duì)應(yīng)關(guān)系。
步驟S104:根據(jù)待匹配音頻文件的各音頻部分的節(jié)拍信息和MV文件中 包含的音頻文件中各對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整MV文件中包含的視頻文 件中的對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段。
該步驟在上述能量匹配的基礎(chǔ)上,進(jìn)一步實(shí)現(xiàn)畫面切換與音樂(lè)節(jié)拍同步 的。也就是,通過(guò)對(duì)選取的MV文件中的各對(duì)應(yīng)視頻段的視頻切換頻率(也稱 視頻播放幀率)的調(diào)整,使其與待匹配音頻文件的中各相應(yīng)音頻部分的節(jié)拍一 致,從而獲取更好的匹配效果。其中,視頻播放幀率代表了視頻的播放速率, 也就是每秒鐘播放的視頻幀數(shù)。當(dāng)增大視頻播放幀率時(shí),視頻的播放速率加快; 當(dāng)視頻播放幀率減小時(shí),視頻的播放速率變慢。因此,可以通過(guò)改變視頻播放 幀率,改變纟見頻畫面的切換速率。
由于MV文件中包含的視頻文件的視頻播放幀率,與其包含的音頻文件的 節(jié)拍是相匹配的。因此,在實(shí)際進(jìn)行:現(xiàn)頻切換頻率匹配時(shí),可以通過(guò)對(duì)待匹配 音頻文件的某一音頻部分與MV文件中包含的音頻文件的對(duì)應(yīng)音頻部分進(jìn)行 節(jié)拍匹配來(lái)實(shí)現(xiàn)。也就是說(shuō)以選取的MV文件中各對(duì)應(yīng)音頻部分的音頻節(jié)拍 和待匹配音頻文件各音頻部分的音頻節(jié)拍為參數(shù),調(diào)整選取的MV文件中包含 的視頻文件各對(duì)應(yīng)視頻段的視頻播放幀率,得到視頻播放幀率與待匹配音頻文 件對(duì)應(yīng)音頻部分的節(jié)拍相匹配的視頻段。節(jié)拍匹配的原理如圖5所示。針對(duì)待 匹配音頻文件的每一個(gè)音頻部分具體執(zhí)行下列過(guò)程
(1)提取上述待匹配音頻文件中音頻部分的節(jié)拍信息,以及選取的MV 文件中包含的對(duì)應(yīng)音頻部分的節(jié)拍信息和對(duì)應(yīng)視頻段的原視頻播放幀率。節(jié)拍 信息可以是節(jié)拍速率、也可以是規(guī)定時(shí)間內(nèi)的節(jié)拍數(shù)(例如一分鐘)或每拍的 持續(xù)時(shí)間。
提取音頻文件的節(jié)拍信息,在現(xiàn)有技術(shù)中有^f艮多中實(shí)現(xiàn)方式。而且,現(xiàn)有 提取節(jié)拍信息的方法,既能分析出音樂(lè)的行進(jìn)速度以及每一拍出現(xiàn)的時(shí)刻,還 能夠分辨出其中的強(qiáng)拍和弱拍。例如采用共振器的方法分析出音樂(lè)中可能存在的多個(gè)節(jié)拍速率和每個(gè)節(jié)拍速率所出現(xiàn)的時(shí)刻,然后結(jié)合音樂(lè)知識(shí),最終確 定出可能的節(jié)拍,并分辨出其中的強(qiáng)拍和弱拍。
(2)根據(jù)上述MV文件中包含的對(duì)應(yīng)音頻部分的節(jié)拍速率和對(duì)應(yīng)^L頻段 的原始播放幀率,計(jì)算得到上述MV文件中包含的對(duì)應(yīng)音頻部分的每拍所播i文 的視頻幀數(shù)。也就是確定出MV文件中各對(duì)應(yīng)音頻部分的節(jié)拍和對(duì)應(yīng)3見頻部分 相應(yīng)的幀率的關(guān)系。
上述(l)中對(duì)應(yīng)音頻部分的節(jié)拍信息提取,可以是直接提取節(jié)拍速率; 也可以是提取規(guī)定時(shí)間內(nèi)的節(jié)拍數(shù)(例如一分鐘)或每拍的持續(xù)時(shí)間,并計(jì)算 得到節(jié)拍速率。
例如MV文件中對(duì)應(yīng)音頻部分的節(jié)拍速率為^拍/分鐘(或說(shuō)每拍的持續(xù) 60/
時(shí)間是/B), MV文件中對(duì)應(yīng)視頻段的視頻播放幀率為i (即每秒鐘播放/ 幀
的視頻文件),則每幀視頻的持續(xù)時(shí)間為X秒。因此,對(duì)應(yīng)音頻部分每一拍所 播放的視頻幀數(shù)x為
(3 )根據(jù)上述待匹配音頻文件與各音頻部分的節(jié)拍速率和上述確定出的 MV文件的音頻文件中對(duì)應(yīng)音頻部分每拍所對(duì)應(yīng)播放的視頻幀數(shù),計(jì)算每一幀 視頻的匹配播放時(shí)間,確定出相應(yīng)的匹配視頻播放幀率。并調(diào)整上述對(duì)應(yīng)視頻 段的視頻播放幀率為該匹配視頻播放幀率。其中,每一幀視頻的匹配播放時(shí)間 即為其在進(jìn)行調(diào)整后的播放時(shí)間,匹配視頻播放幀率即為進(jìn)行視頻播放幀率調(diào) 整后的視頻播放幀率。
例如上述確定出的對(duì)應(yīng)音頻部分每一拍所對(duì)應(yīng)播-;故的3見頻幀數(shù)為x,待 匹配音頻文件相應(yīng)音頻部分的節(jié)拍速率為"'拍/分鐘(即每拍的持續(xù)時(shí)間是
/B'),為了實(shí)現(xiàn)音視頻的同步,使待匹配音頻文件的該音頻部分與選取的MV 文件的對(duì)應(yīng)視頻段的是音頻播放能夠同步,則待匹配音頻文件的該音頻部分和 MV文件中的對(duì)應(yīng)音頻部分,每拍所播放的的視頻幀數(shù)應(yīng)該相同,所以 每一幀視頻在進(jìn)行調(diào)整后的播放時(shí)間71 (即匹配播放時(shí)間)為:
則調(diào)整后的i見頻播i文幀率及'(即匹配^L頻播;改幀率)應(yīng)該為
r 丑
對(duì)上述對(duì)應(yīng)視頻段的視頻播放幀率進(jìn)行調(diào)整后,得到調(diào)整后的對(duì)應(yīng)視頻 段。對(duì)所有對(duì)應(yīng)視頻段進(jìn)行調(diào)整后,由調(diào)整后的各對(duì)應(yīng)視頻段組成調(diào)整后的視 頻文件。經(jīng)上述調(diào)整得到的調(diào)整后的對(duì)應(yīng)視頻段,由于其視頻播放幀率發(fā)生了 變化,所以其播放時(shí)的播放時(shí)長(zhǎng)發(fā)生了變化。
需要說(shuō)明的是當(dāng)一個(gè)音頻部分節(jié)拍速率或其對(duì)應(yīng)音頻部分的節(jié)拍速率有 多個(gè)時(shí),根據(jù)多個(gè)節(jié)拍速率分別對(duì)應(yīng)的音頻部分和對(duì)應(yīng)音頻部分的范圍,對(duì)對(duì) 應(yīng)視頻段的播放幀率分段進(jìn)行調(diào)整。
步驟S105:根據(jù)待匹配音頻文件各音頻部分的播放時(shí)長(zhǎng),分別對(duì)調(diào)整后的 各對(duì)應(yīng)視頻段的長(zhǎng)度進(jìn)行調(diào)整。針對(duì)每一個(gè)音頻部分和調(diào)整后的對(duì)應(yīng)視頻段執(zhí) 行下列過(guò)程
(a) 比較上述音頻部分的播放時(shí)長(zhǎng)和對(duì)應(yīng)的調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)。
(b) 根據(jù)比較結(jié)果,對(duì)調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度進(jìn)行調(diào)整。具體包括 若音頻部分的播放時(shí)長(zhǎng)小于調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng),對(duì)調(diào)整后的
對(duì)應(yīng)視頻段進(jìn)行截取,使截取后的視頻段的播放時(shí)長(zhǎng)與所述音頻部分的播放時(shí) 長(zhǎng)相等。
若音頻部分的播放時(shí)長(zhǎng)大于調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng),則循環(huán)使用 對(duì)應(yīng)視頻段,循環(huán)使用的部分視頻段的播放時(shí)長(zhǎng)與調(diào)整后的對(duì)應(yīng)視頻段的播放 時(shí)長(zhǎng)之和等于音頻部分的播放時(shí)長(zhǎng)。
若音頻部分的播放時(shí)長(zhǎng)等于調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng),則不需要進(jìn) 行調(diào)整。例如圖6所示的待匹配音頻文件和調(diào)整后(節(jié)拍匹配后)的^L頻文件。 待匹配音頻文件橋段部分和副歌部分的播放時(shí)長(zhǎng)均小于調(diào)整后的視頻文件的 橋段部分和副歌部分的播放時(shí)長(zhǎng);待匹配音頻文件主歌部分的播放時(shí)長(zhǎng)大于調(diào) 整后的視頻文件主歌部分的播放時(shí)長(zhǎng)。
則根據(jù)待匹配音頻文件橋段部分和副歌部分的播放時(shí)長(zhǎng),分別對(duì)調(diào)整后的 視頻文件橋段部分和副歌部分進(jìn)行截?。徊⒏鶕?jù)待匹配音頻文件主歌部分的播 放時(shí)長(zhǎng),對(duì)調(diào)整后的視頻文件主歌部分進(jìn)行循環(huán)播放。
步驟S106:得到與待匹配音頻文件相匹配的視頻文件。
在播放待匹配音頻文件時(shí),按照調(diào)整后的浮見頻插。改幀率和調(diào)整后的各對(duì)應(yīng) 視頻段的長(zhǎng)度,播放調(diào)整后的視頻文件,就能實(shí)現(xiàn)待匹配音頻文件與調(diào)整后的 視頻文件的同步播放,獲取良好的音頻可視化效果。
根據(jù)本發(fā)明的上述音視頻匹配方法,可以構(gòu)建一種音視頻匹配裝置,如圖 7所示,包括類別匹配模塊101、能量匹配模塊102、節(jié)拍匹配模塊103和長(zhǎng) 度調(diào)整模塊104。
類別匹配模塊101,用于確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ) 的與該音頻類別相匹配音樂(lè)一見頻MV文件。
較佳的,類別匹配才莫塊101,進(jìn)一步可以包括類別確定單元1011和匹配 選取單元1012。
類別確定單元1011,用于對(duì)待匹配音頻文件進(jìn)行節(jié)拍和能量分析,根據(jù)其 節(jié)拍信息和能量信息確定所屬的音頻類別。
匹配選取單元1012,用于根據(jù)類別確定單元1011確定出的音頻類別,選 取存儲(chǔ)的相同音頻類別的MV文件。其中,相同音頻類別的MV文件,是指 MV文件中包含的音頻文件與待匹配音頻文件的節(jié)拍信息和能量信息均相同或 相近。
能量匹配模塊102,用于將所述待匹配音頻文件劃分為若干音頻部分,確 定出選取的MV文件中與每個(gè)音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)^L頻段。較佳的,能量匹配模塊102,進(jìn)一步可以包括劃分單元1021、確定單元 1022和匹配單元1023。
劃分單元1021,用于將待匹配音頻文件劃分為若干音頻部分。
確定單元1022,用于確定選取的MV文件中包含的音頻文件中與所述待 匹配音頻文件的若干音頻部分分別對(duì)應(yīng)的對(duì)應(yīng)音頻部分。
匹配單元1023,用于根據(jù)確定單元1022確定出的對(duì)應(yīng)音頻部分,將選取 的MV文件中包含的視頻文件劃分為對(duì)應(yīng)的若干視頻段,得到與待匹配音頻文 件的每個(gè)音頻部分分別對(duì)應(yīng)的對(duì)應(yīng)視頻段。
節(jié)拍匹配模塊103,用于根據(jù)能量匹配模塊102確定出的音頻部分和MV 文件中包含的音頻文件的對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與上述音頻部分對(duì)應(yīng) 的對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段。
較佳的,節(jié)拍匹配模塊103,進(jìn)一步可以包括幀率計(jì)算單元1031和幀率 調(diào)整單元1032。
幀率計(jì)算單元1031,用于根據(jù)能量匹配模塊102確定出的對(duì)應(yīng)音頻部分的 節(jié)拍速率和對(duì)應(yīng)視頻段的原視頻播放幀率,計(jì)算得到上迷對(duì)應(yīng)音頻部分每一拍 所對(duì)應(yīng)播方文的一見頻幀數(shù)。
幀率調(diào)整單元1032,用于根據(jù)每一拍所對(duì)應(yīng)播放的視頻幀數(shù)和音頻部分的 節(jié)拍速率,計(jì)算每一幀視頻的匹配播放時(shí)間,確定出匹配的視頻播放幀率,調(diào) 整對(duì)應(yīng)視頻段的視頻播放幀率為確定出的匹配視頻播放幀率。
節(jié)拍匹配模塊103,還包括分段匹配單元1033,用于當(dāng)能量匹配模塊102 劃分出的音頻部分節(jié)拍速率或能量匹配模塊102確定出的對(duì)應(yīng)音頻部分的節(jié)拍 速率有多個(gè)時(shí),根據(jù)多個(gè)節(jié)拍速率分別對(duì)應(yīng)的音頻部分和對(duì)應(yīng)音頻部分的范 圍,對(duì)能量匹配模塊102確定出的對(duì)應(yīng)視頻段的視頻播放幀率分段進(jìn)行調(diào)整。
長(zhǎng)度調(diào)整模塊104,用于根據(jù)音頻部分的播放時(shí)長(zhǎng),調(diào)整節(jié)拍匹配模塊103 調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與待匹配音頻文件相匹配的視頻文件。
較佳的,長(zhǎng)度調(diào)整模塊104,進(jìn)一步可以包括比較單元1041和長(zhǎng)度調(diào)整單元1042。
比較單元1041,用于對(duì)音頻部分的播放時(shí)長(zhǎng)和節(jié)拍匹配模塊103調(diào)整后的 對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)進(jìn)行比較。
長(zhǎng)度調(diào)整單元1042,用于當(dāng)比較單元1041確定出音頻部分的播放時(shí)長(zhǎng)小 于調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)時(shí),對(duì)調(diào)整后的對(duì)應(yīng)視頻段進(jìn)行截取,使截 取后的視頻段的播放時(shí)長(zhǎng)與音頻部分的播放時(shí)長(zhǎng)相等;當(dāng)比較單元1041確定 出音頻部分的播放時(shí)長(zhǎng)大于調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)時(shí),則循環(huán)使用對(duì) 應(yīng)視頻段,循環(huán)使用的部分視頻段的播放時(shí)長(zhǎng)與調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí) 長(zhǎng)之和等于音頻部分的播放時(shí)長(zhǎng)。
本發(fā)明的上述音^L頻匹配方法及裝置,通過(guò)對(duì)待匹配音頻文件進(jìn)行分類, 確定所屬的音頻類別,實(shí)現(xiàn)選取存儲(chǔ)的相同音頻類別的音樂(lè)視頻MV文件。使 得選取的MV文件與待匹配音頻文件能夠在所表達(dá)的感情上相一致。然后確定
部分和對(duì)應(yīng)視頻段,以便分段進(jìn)行節(jié)拍和播放時(shí)間的匹配,提高了匹配的合理 性和準(zhǔn)確性。
根據(jù)各音頻部分和對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與其對(duì)應(yīng)的對(duì)應(yīng)—見頻段 的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段;以及根據(jù)各音頻部分的播放時(shí)長(zhǎng), 調(diào)整調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與待匹配音頻文件相匹配的視頻文件。 從而實(shí)現(xiàn)節(jié)拍與畫面切換頻率的一致,以及各音頻部分與對(duì)應(yīng)各視頻段的播放 時(shí)間一致。
上述方法能夠?qū)崿F(xiàn)待匹配音頻文件預(yù)選取得MV文件中包含的視頻文件 在節(jié)拍、能量以及各音頻部分和對(duì)應(yīng)視頻部分的播放時(shí)間長(zhǎng)度等各個(gè)方面的完 美匹配,使選取的視頻的畫面切換、變化等能夠很好的反映音樂(lè)的節(jié)拍快慢、 能量強(qiáng)弱等變化情況,且上述方法充分利用了現(xiàn)有MV資源與純音頻文件進(jìn)行 匹配使用,解決了純音頻文件的可視化問(wèn)題,達(dá)到音4見頻的完美結(jié)合,實(shí)現(xiàn)了 良好的音頻可視化效果。
20上迷方法,不僅實(shí)現(xiàn)了使用戶能夠在欣賞音樂(lè)的同時(shí)觀看相匹s己的視頻,
還可以利用視頻素材方便、快捷的制作各種個(gè)性化的MV;從而更大范圍的提 高音視頻播放設(shè)備的利用率,讓使用者獲得更多的音樂(lè)和視頻相結(jié)合的藝術(shù)享 受。
以上所述,僅為本發(fā)明較佳的具體實(shí)施方式
,但本發(fā)明的保護(hù)范圍并不局 限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易 想到的變化、替換或應(yīng)用到其他類似的裝置,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之 內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1、一種音視頻匹配方法,其特征在于,包括確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ)的與所述音頻類別相匹配音樂(lè)視頻MV文件;將所述待匹配音頻文件劃分為若干音頻部分,確定出所述MV文件中與每個(gè)所述音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段;根據(jù)所述音頻部分和所述對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段;以及根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與所述待匹配音頻文件相匹配的視頻文件。
2、 如權(quán)利要求1所述的方法,其特征在于,所述確定待匹配音頻文件所 屬的音頻類別,具體包括對(duì)所述待匹配音頻文件進(jìn)行節(jié)拍和能量分析,根據(jù)其節(jié)拍信息和能量信息確定所屬的音頻類別;所述選取存儲(chǔ)的與所述音頻類別相匹配音樂(lè)視頻MV文件,具體包括 根據(jù)確定出的所述音頻類別,選取存儲(chǔ)的相同音頻類別的MV文件;其中,所述相同音頻類別的MV文件,是指所述MV文件中包含的音頻文件與所述待匹配音頻文件的節(jié)拍信息和能量信息均相同或相近。
3、 如權(quán)利要求l所述的方法,其特征在于,所述確定出所述MV文件中 與每個(gè)所述音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段,包括確定所述MV文件中包含的音頻文件中與所述待匹配音頻文件的若干音 頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)音頻部分;根據(jù)確定出的所述對(duì)應(yīng)音頻部分,將所述MV文件中包含的^L頻文件劃分 為對(duì)應(yīng)的若干視頻段,得到與所述待匹配音頻文件的每個(gè)音頻部分分別對(duì)應(yīng)的 所述對(duì)應(yīng)一見頻^殳。
4、 如權(quán)利要求3所述的方法,其特征在于,所述音頻部分包括橋段部 分、主歌部分和副歌部分;所述橋段部分,具體包括序唱、過(guò)門、間奏。
5、 如權(quán)利要求1-4任一所述的方法,其特征在于,所述根據(jù)所述音頻部 分和對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)^L頻^險(xiǎn)的 視頻播放幀率,具體包括根據(jù)所述對(duì)應(yīng)音頻部分的節(jié)拍速率和對(duì)應(yīng)視頻段的原視頻播放幀率,計(jì)算 得到所述對(duì)應(yīng)音頻部分每拍所對(duì)應(yīng)播放的視頻幀數(shù);根據(jù)所述每拍所對(duì)應(yīng)播放的^f見頻幀數(shù)和所述音頻部分的節(jié)拍速率,計(jì)算每 幀視頻的匹配播放時(shí)間,確定出匹配視頻播放幀率,調(diào)整所述對(duì)應(yīng)視頻段的視 頻播放幀率為所述匹配視頻播放幀率。
6、 如權(quán)利要求5所述的方法,其特征在于,當(dāng)所述音頻部分節(jié)拍速率或 所述對(duì)應(yīng)音頻部分的節(jié)拍速率有多個(gè)時(shí),根據(jù)多個(gè)所述節(jié)拍速率分別對(duì)應(yīng)的音 頻部分和對(duì)應(yīng)音頻部分的范圍,對(duì)所述對(duì)應(yīng)視頻段的視頻播放幀率分段進(jìn)行調(diào) 整。
7、 如權(quán)利要求5所述的方法,其特征在于,所述根據(jù)所述音頻部分的播 放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,具體包括若所述音頻部分的播放時(shí)長(zhǎng)小于所述調(diào)整后的對(duì)應(yīng)#見頻段的播;改時(shí)長(zhǎng),對(duì) 所述調(diào)整后的對(duì)應(yīng)視頻段進(jìn)行截取,使截取后的視頻段的播放時(shí)長(zhǎng)與所述音頻 部分的播放時(shí)長(zhǎng)相等;若所迷音頻部分的播放時(shí)長(zhǎng)大于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng),則 循環(huán)使用所述對(duì)應(yīng)一見頻段,循環(huán)使用的部分視頻段的播放時(shí)長(zhǎng)與所述調(diào)整后的 對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)之和等于所述音頻部分的播放時(shí)長(zhǎng)。
8、 一種音^L頻匹配裝置,其特征在于,包括類別匹配模塊,用于確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ)的與 所述音頻類別相匹配音樂(lè)4見頻MV文件;能量匹配模塊,用于將所述待匹配音頻文件劃分為若干音頻部分,確定出所述MV文件中與每個(gè)所述音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段;節(jié)拍匹配模塊,用于根據(jù)所述音頻部分和所述對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)4見頻段;長(zhǎng)度調(diào)整模塊,用于根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與所述待匹配音頻文件相匹配的^L頻文件。
9、 如權(quán)利要求8所述的裝置,其特征在于,所述類別匹配模塊,具體包括類別確定單元,用于對(duì)所述待匹配音頻文件進(jìn)行節(jié)拍和能量分析,根據(jù)其節(jié)拍信息和能量信息確定所屬的音頻類別;匹配選取單元,用于根據(jù)確定出的所述音頻類別,選取存儲(chǔ)的相同音頻類別的MV文件;其中,所述相同音頻類別的MV文件,是指所述MV文件中包含的音頻文件與所述待匹配音頻文件的節(jié)拍信息和能量信息均相同或相近。
10、 如權(quán)利要求8所述的裝置,其特征在于,所述能量匹配模塊,具體包括劃分單元,用于將所述待匹配音頻文件劃分為若干音頻部分;確定單元,用于確定所述MV文件中包含的音頻文件中與所述待匹配音頻文件的若干音頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)音頻部分;匹配單元,用于根據(jù)確定出的所述對(duì)應(yīng)音頻部分,將所述MV文件中包含的視頻文件劃分為對(duì)應(yīng)的若干視頻段,得到與所述待匹配音頻文件的每個(gè)音頻部分分別對(duì)應(yīng)的所述對(duì)應(yīng)纟見頻段。
11、 如權(quán)利要求8-10任一所述的裝置,其特征在于,所述節(jié)拍匹配模塊,具體包括幀率計(jì)算單元,用于根據(jù)所述對(duì)應(yīng)音頻部分的節(jié)拍速率和對(duì)應(yīng)視頻段的原視頻播放幀率,計(jì)算得到所述對(duì)應(yīng)音頻部分每拍所對(duì)應(yīng)播放的視頻幀數(shù);幀率調(diào)整單元,用于根據(jù)所述每拍所對(duì)應(yīng)播放的視頻幀數(shù)和所述音頻部分的節(jié)拍速率,計(jì)算每幀視頻的匹配播放時(shí)間,確定出匹配視頻播放幀率,調(diào)整所述對(duì)應(yīng)視頻段的視頻播放幀率為所述匹配視頻播放幀率。
12、 如權(quán)利要求11所述的裝置,其特征在于,所述節(jié)拍匹配模塊,還包括分段匹配單元,用于當(dāng)所述音頻部分節(jié)拍速率或所述對(duì)應(yīng)音頻部分的節(jié)拍速率有多個(gè)時(shí),才艮據(jù)多個(gè)所述節(jié)拍速率分別對(duì)應(yīng)的音頻部分和對(duì)應(yīng)音頻部分的范圍,對(duì)所述對(duì)應(yīng)視頻段的視頻播放幀率分段進(jìn)行調(diào)整。
13、 如權(quán)利要求11所述的裝置,其特征在于,所述長(zhǎng)度調(diào)整模塊,具體包括比較單元,用于對(duì)所述音頻部分的播放時(shí)長(zhǎng)和所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)進(jìn)行比較;長(zhǎng)度調(diào)整單元,用于當(dāng)所述比較單元確定出所述音頻部分的播放時(shí)長(zhǎng)小于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)時(shí),對(duì)所述調(diào)整后的對(duì)應(yīng)視頻段進(jìn)行截取,使截取后的視頻段的播放時(shí)長(zhǎng)與所述音頻部分的播放時(shí)長(zhǎng)相等;當(dāng)所述比較單元確定出所述音頻部分的播放時(shí)長(zhǎng)大于所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)時(shí),則循環(huán)使用所述對(duì)應(yīng)視頻段,循環(huán)使用的部分纟見頻段的播放時(shí)長(zhǎng)與所述調(diào)整后的對(duì)應(yīng)視頻段的播放時(shí)長(zhǎng)之和等于所述音頻部分的播放時(shí)長(zhǎng)。
全文摘要
本發(fā)明公開了一種音視頻匹配方法及裝置,該方法包括確定待匹配音頻文件所屬的音頻類別,選取存儲(chǔ)的與所述音頻類別相匹配音樂(lè)視頻MV文件;將所述待匹配音頻文件劃分為若干音頻部分,確定出所述MV文件中與每個(gè)所述音頻部分對(duì)應(yīng)的對(duì)應(yīng)音頻部分和對(duì)應(yīng)視頻段;根據(jù)所述音頻部分和所述對(duì)應(yīng)音頻部分的節(jié)拍信息,調(diào)整與所述音頻部分對(duì)應(yīng)的所述對(duì)應(yīng)視頻段的視頻播放幀率,得到調(diào)整后的對(duì)應(yīng)視頻段;以及根據(jù)所述音頻部分的播放時(shí)長(zhǎng),調(diào)整所述調(diào)整后的對(duì)應(yīng)視頻段的長(zhǎng)度,得到與所述待匹配音頻文件相匹配的視頻文件。上述方法能夠?qū)崿F(xiàn)純音頻文件與現(xiàn)有MV資源中視頻文件的完美匹配,實(shí)現(xiàn)了良好的音頻可視化效果。
文檔編號(hào)G11B27/00GK101640057SQ20091008577
公開日2010年2月3日 申請(qǐng)日期2009年5月31日 優(yōu)先權(quán)日2009年5月31日
發(fā)明者磊 徐, 律 謝 申請(qǐng)人:北京中星微電子有限公司
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
纳雍县| 永年县| 平果县| 诸暨市| 宜君县| 泗阳县| 尚志市| 兰坪| 庆云县| 平江县| 赤城县| 阿克| 南充市| 昔阳县| 蓬莱市| 屯昌县| 横山县| 深州市| 合川市| 柳河县| 隆昌县| 虹口区| 瑞昌市| 涟源市| 贺州市| 萍乡市| 驻马店市| 沂南县| 黑龙江省| 崇州市| 芦溪县| 保定市| 治县。| 岫岩| 民丰县| 旌德县| 丽水市| 沙雅县| 安徽省| 松滋市| 嘉定区|