專利名稱：一種voip服務(wù)器端同步混音轉(zhuǎn)發(fā)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于語音信號(hào)處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，VOIP (Voice over Internet Protocol)由于其低 廉的通話費(fèi)用和良好的網(wǎng)絡(luò)融合性，越來越有取代傳統(tǒng)PSTN電話的趨 勢(shì)?；贗P網(wǎng)絡(luò)的電話會(huì)議系統(tǒng)利用企業(yè)原有的網(wǎng)絡(luò)線路和設(shè)備進(jìn)行多 方通話會(huì)議，將為企業(yè)節(jié)省巨額的電話費(fèi)用。通話者只要通過PC終端 或VoIP電話終端就可以進(jìn)行會(huì)議，非常方便。
現(xiàn)有網(wǎng)絡(luò)設(shè)備的速度和帶寬完全可以進(jìn)行基于IP網(wǎng)絡(luò)的電話會(huì)議。 隨著芯片廠家的推動(dòng)，基于WI-FI的各種移動(dòng)VOIP終端和其它固定的 VoIP終端的價(jià)格將不斷下降，這將大大方便企業(yè)召開會(huì)議，增強(qiáng)企業(yè)內(nèi) 部的事務(wù)傳達(dá)和交流。
實(shí)現(xiàn)IP網(wǎng)絡(luò)的電話會(huì)議系統(tǒng)的關(guān)鍵是服務(wù)器的同步混音算法，它需 要克服網(wǎng)絡(luò)之間的抖動(dòng)(networkjitter)及延時(shí)，多路語音信號(hào)與服務(wù)器 之間的時(shí)鐘傾斜(clock skew),輸入語音的活動(dòng)情況所造成的不同步問 題。此外，混音算法的高效性也非常重要。

發(fā)明內(nèi)容
針對(duì)后前面所述三個(gè)方面即網(wǎng)絡(luò)之間的抖動(dòng)(networkjitter)及延時(shí)， 終端與服務(wù)器之間的時(shí)鐘偏差造成的時(shí)鐘傾斜(clock skew)和輸入語音 的活動(dòng)情況，本發(fā)明提出了一種更加高效的VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā) 方法，它的主要步驟包括
1) 從RTP端口取出的語音幀通過信道被解碼，再進(jìn)行信源解碼得 到原始語音波形；
2) 結(jié)合語音幀的時(shí)間信息和Playout Calc計(jì)算出延遲時(shí)間Playout time;
3) 結(jié)合信源解碼的語音波形和Playout time,通過Clock Skew Calc 計(jì)算出clock skew的當(dāng)前狀態(tài)Skew status;
4) 設(shè)計(jì)循環(huán)緩沖器來處理混音數(shù)據(jù)；
5) 最后混音器Mixer利用skew status和playout time來控制多個(gè)循 環(huán)緩沖器的標(biāo)志位，把當(dāng)前要的語音波形累加到標(biāo)志位限定的區(qū)間，完 成混音，輸出的多路混音幀分別被轉(zhuǎn)發(fā)到相應(yīng)的終端。
所述步驟2) Playout Calc模塊針對(duì)網(wǎng)絡(luò)抖動(dòng)，采用延時(shí)的估計(jì)和補(bǔ) 償機(jī)制，通過對(duì)一幀內(nèi)的最先和最后一個(gè)數(shù)據(jù)包的延時(shí)估計(jì)，收到任何 錯(cuò)誤糾錯(cuò)包之前的延時(shí)估計(jì)和網(wǎng)絡(luò)隊(duì)列的抖動(dòng)和路由器的改變所引起的 包間變化估計(jì)，采用分類補(bǔ)償，算出Playout time,消除以上網(wǎng)絡(luò)因素對(duì) 混音處理的影響。
所述步驟3)中Clock Skew Calc采用時(shí)鐘傾斜的估計(jì)和補(bǔ)償機(jī)制， 通過利用指數(shù)滑動(dòng)平均估計(jì)，算出時(shí)鐘傾斜的狀態(tài)，消除其對(duì)混音處理的影響。所述步驟4)中的循環(huán)緩沖器包括公共循環(huán)緩沖器和分別給每路終端 建立的循環(huán)緩沖器。所述步驟5)建立公共循環(huán)緩沖器標(biāo)志位與各個(gè)終端循環(huán)緩沖器標(biāo)志 位之間的同步更新機(jī)制來保持各個(gè)循環(huán)緩沖器之間的同步。本發(fā)明的有益效果為通過同步機(jī)制的使用，使得服務(wù)器能夠?qū)Χ?路語音數(shù)據(jù)進(jìn)行同步混音，并同步被轉(zhuǎn)發(fā)到各個(gè)與會(huì)終端，使得IP網(wǎng) 絡(luò)語音會(huì)議在實(shí)際應(yīng)用中更加廣泛。


圖1為VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法示意圖； 圖2為Mixer模塊中的循環(huán)緩沖器結(jié)構(gòu)。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步闡述。如圖1所示，從RTP端口取出的語音幀一方面被進(jìn)行信道解碼，然 后再進(jìn)行信源解碼得到原始語音波形，另一方面用語音幀的時(shí)間信息用 來計(jì)算playout time。用信源解碼的語音波形和playout time計(jì)算出clock skew的當(dāng)前狀態(tài)，最后混音器Mixer利用skew status和playout time來控 制多個(gè)循環(huán)緩沖器的標(biāo)志位，把當(dāng)前要的語音波形累加到標(biāo)志位限定的 區(qū)間，完成混音，輸出的多路混音幀分別被轉(zhuǎn)發(fā)到各自的終端。Playout Calc模塊主要計(jì)算出由于網(wǎng)絡(luò)抖動(dòng)和延時(shí)等因素造成的滯后 播放時(shí)間。Clock Skew Calc模塊則依據(jù)終端與服務(wù)器端中，每兩幀數(shù)據(jù)的時(shí)間 戳差來判斷skew狀態(tài)(fast, slow, none)。 Mixer模塊中的循環(huán)緩沖器如圖2所示。 本發(fā)明主要采用以下技術(shù)來實(shí)現(xiàn)多路語音的混音及發(fā)送
1. 網(wǎng)絡(luò)抖動(dòng)(networkjitter)延時(shí)的估計(jì)，監(jiān)控和分類補(bǔ)償機(jī)制；
2. 采用時(shí)鐘傾斜(clockskew)的監(jiān)控和補(bǔ)償機(jī)制；
3. 設(shè)計(jì)循環(huán)緩沖區(qū)來處理存放混音數(shù)據(jù)；
4. 保持各個(gè)循環(huán)緩沖區(qū)之間的同步。
(1) 網(wǎng)絡(luò)的抖動(dòng)，延時(shí)的估計(jì)和分類補(bǔ)償機(jī)制； 考慮如下三個(gè)方面
一幀內(nèi)的最先和最后一個(gè)數(shù)據(jù)包的延時(shí)；
網(wǎng)絡(luò)隊(duì)列的抖動(dòng)和路由器的改變所引起的包間變化；
收到任何錯(cuò)誤糾錯(cuò)包之前的延時(shí)；
(2) 采用時(shí)鐘傾斜(clockskew)的估計(jì)和補(bǔ)償機(jī)制；
《乂(")-7^) (1) ^ )和、 )是分別是第n個(gè)幀的當(dāng)前到達(dá)時(shí)間和時(shí)間戳，
<formula>formula see original document page 7</formula>
化和^是分別是平均延時(shí)估計(jì)值和活動(dòng)延時(shí)。
再利用以上status進(jìn)行補(bǔ)償操作。
(3) 設(shè)計(jì)多循環(huán)緩沖器來存放各路混音數(shù)據(jù)；
Mixer模塊中除了有公共循環(huán)緩沖器外，還分別給每路終端建立循環(huán) 緩沖器。(4)保持各個(gè)循環(huán)緩沖器之間的同步； 混音處理用減法實(shí)現(xiàn)。公共循環(huán)緩沖器存放所有活動(dòng)終端的混合語 音數(shù)據(jù)(m/xtoto,)，這些數(shù)據(jù)被后繼處理后發(fā)送到非活動(dòng)的終端。第i個(gè)活 動(dòng)終端循環(huán)緩沖器存放自己的語音數(shù)據(jù)附、，在發(fā)送時(shí)，再用m/x,。,。,減去 m 的值，后繼處理后發(fā)送回自己。
(4)
而各個(gè)終端循環(huán)緩沖器的同步標(biāo)志位"head"和"tail"都跟著公共 循環(huán)緩沖器同步更新。
tail在每幀時(shí)間內(nèi)都同步增加一個(gè)單位，而各個(gè)"head,中的最大值 賦給"headmix":
headmix = arg max(headj) ( 5 )
基于對(duì)網(wǎng)絡(luò)抖動(dòng)延時(shí)，時(shí)鐘傾斜和輸入語音信號(hào)的活動(dòng)情況的綜合 分析及對(duì)資源的高效利用的要求，提出一種高效的VOIP服務(wù)器端同步混
音轉(zhuǎn)發(fā)方法。
權(quán)利要求
1. 一種VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法，它包括1)從RTP端口取出的語音幀通過信道被解碼，再進(jìn)行信源解碼得到原始語音波形；2)結(jié)合語音幀的時(shí)間信息和Playout Calc計(jì)算出延遲時(shí)間Playouttime；3)結(jié)合信源解碼的語音波形和Playout time，通過Clock Skew Calc計(jì)算出clock skew的當(dāng)前狀態(tài)Skew status；4)設(shè)計(jì)循環(huán)緩沖器來處理混音數(shù)據(jù)；5)最后混音器Mixer利用skew status和playout time來控制多個(gè)循環(huán)緩沖器的標(biāo)志位，把當(dāng)前要的語音波形累加到標(biāo)志位限定的區(qū)間，完成混音，輸出的多路混音幀分別被轉(zhuǎn)發(fā)到相應(yīng)的終端。
2、 根據(jù)權(quán)利要求l所述的VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法，其特 征在于，所述步驟2) Playout Calc模塊針對(duì)網(wǎng)絡(luò)抖動(dòng)，采用延時(shí)的估計(jì) 和補(bǔ)償機(jī)制，通過對(duì)一幀內(nèi)的最先和最后一個(gè)數(shù)據(jù)包的延時(shí)估計(jì)，收到 任何錯(cuò)誤糾錯(cuò)包之前的延時(shí)估計(jì)和網(wǎng)絡(luò)隊(duì)列的抖動(dòng)和路由器的改變所引 起的包間變化估計(jì)，采用分類補(bǔ)償，算出Playout time,消除以上網(wǎng)絡(luò)因 素對(duì)混音處理的影響。
3、 根據(jù)權(quán)利要求l所述的VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法，其特 征在于，所述步驟3)中Clock Skew Calc采用時(shí)鐘傾斜的估計(jì)和補(bǔ)償機(jī) 制，通過利用指數(shù)滑動(dòng)平均估計(jì)，算出時(shí)鐘傾斜的狀態(tài)，消除其對(duì)混音 處理的影響。
4、 根據(jù)權(quán)利要求l所述的VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法，其特 征在于，所述步驟4)中的循環(huán)緩沖器包括公共循環(huán)緩沖器和分別給每路 終端建立的循環(huán)緩沖器。
5、 根據(jù)權(quán)利要求l所述的VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法，其特 征在于，所述步驟5)建立公共循環(huán)緩沖器標(biāo)志位與各個(gè)終端循環(huán)緩沖器 標(biāo)志位之間的同步更新機(jī)制來保持各個(gè)循環(huán)緩沖器之間的同步。
全文摘要
本發(fā)明公開了一種VOIP服務(wù)器端同步混音轉(zhuǎn)發(fā)方法，屬于語音信號(hào)處理技術(shù)領(lǐng)域。它針對(duì)網(wǎng)絡(luò)抖動(dòng)和延時(shí)，采用延時(shí)的估計(jì)和補(bǔ)償機(jī)制；針對(duì)終端和服務(wù)器之間的時(shí)鐘偏差造成的時(shí)鐘傾斜，采用針對(duì)時(shí)鐘傾斜的估計(jì)和補(bǔ)償機(jī)制；再就是通過設(shè)計(jì)循環(huán)緩沖器來處理混音數(shù)據(jù)，并且通過公共循環(huán)緩沖器標(biāo)志位與各個(gè)終端循環(huán)緩沖器標(biāo)志位之間的同步更新機(jī)制來保持各個(gè)循環(huán)緩沖器之間的同步。本發(fā)明通過同步機(jī)制的使用，使得服務(wù)器能夠?qū)Χ嗦氛Z音數(shù)據(jù)進(jìn)行同步混音，并同步被轉(zhuǎn)發(fā)到各個(gè)與會(huì)終端，使得IP網(wǎng)絡(luò)語音會(huì)議在實(shí)際應(yīng)用中更加廣泛。
文檔編號(hào)H04L29/06GK101282386SQ20081002822
公開日2008年10月8日 申請(qǐng)日期2008年5月22日 優(yōu)先權(quán)日2008年5月22日
發(fā)明者宇 李, 李中華, 譚洪舟, 陳建銘 申請(qǐng)人:中山大學(xué)