專利名稱：網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法
網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法 技術(shù)領(lǐng)域-本發(fā)明涉及一種將控制代碼插入流媒體通過計算機網(wǎng)絡(luò)進行交互控制對 方硬件或設(shè)備，實現(xiàn)視頻、音頻與控制同步的基于網(wǎng)絡(luò)視頻交互環(huán)境下控制 對方硬件或設(shè)備的方法。
背景技術(shù)：
現(xiàn)有技術(shù)大都采用WINDOWS XP提供的單向遠程協(xié)助功能或其它單向 遠程控制軟件，上述方法對系統(tǒng)外硬件和設(shè)備進行控制比較困難，無法實現(xiàn) 交互雙方視頻、音頻和硬件控制的同步，其他遠程控制方式需要計算機硬件 和軟件資源；即系統(tǒng)驅(qū)動、接口驅(qū)動、應(yīng)用程序等和I/O接口硬件和其它相 關(guān)硬件，對于一般專業(yè)人員安裝、調(diào)試比較麻煩、開發(fā)周期長、系統(tǒng)的通用 性差，系統(tǒng)的造價高，普通用戶實現(xiàn)和使用比較困難。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于網(wǎng)絡(luò)視頻交互環(huán)境下將控制代碼插入流媒 體的方式，同步控制交互對方硬件或設(shè)備，實現(xiàn)視頻、音頻和控制同步的方法。上述的目的通過以下的技術(shù)方案實現(xiàn)-一種網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法，在網(wǎng)絡(luò)視頻交互狀 態(tài)下雙方計算機通過聲卡的輸入或輸出端分別與各自的控制板連接，由控制 板內(nèi)按鍵、開關(guān)量輸入控制電路、模擬轉(zhuǎn)換電路接收通過按鍵輸入或由模擬、 開關(guān)量傳感器產(chǎn)生控制對方的信息，經(jīng)控制板處理轉(zhuǎn)換成DTMF控制代碼， 通過模擬開關(guān)插入音頻的R聲道或L聲道中與USB攝象頭獲得的視頻信號一 起同步轉(zhuǎn)換成流媒體即控制代碼插入流媒體方式，經(jīng)計算機網(wǎng)絡(luò)接 INTERNET傳輸，控制對方與控制板連接的各類繼電器、可控硅和各類模擬 量執(zhí)行元件，或通過紅外線輸出電路遙控外部設(shè)備。這個技術(shù)方案有以下有益效果l.本發(fā)明的技術(shù)方案硬件結(jié)構(gòu)簡單造價低廉；應(yīng)用軟件開發(fā)簡單方便、周 期短；不占用系統(tǒng)接口資源，無需驅(qū)動；同步性優(yōu)于現(xiàn)有技術(shù)。
2.本發(fā)明技術(shù)一般人員便可安裝、調(diào)試、使用；通用性強，只需開發(fā)簡單 的應(yīng)用軟件便可方便地在移動領(lǐng)域中的手機、PDA(掌上電腦)中應(yīng)用；或通過對硬件的一些小改動在有線電話通訊系統(tǒng)的可視電話領(lǐng)域應(yīng)用。


附圖1是本發(fā)明控制代碼時序圖；附圖2是本發(fā)明交互雙方系統(tǒng)連接示意圖；附圖3是本發(fā)明各部分結(jié)構(gòu)連接圖；附圖4是本發(fā)明方法的控制卡1的電路結(jié)構(gòu)示意圖；附圖5是發(fā)明方法的工作流程圖。附圖中各部分說明1控制板1. 1單片機系統(tǒng)1. 2控制數(shù)據(jù)存儲1.3狀態(tài)顯示電路(LED)1.4紅外線輸出電路(38k載波的紅外線遙控信號驅(qū)動、輸出電路)1.5 DTMF編譯碼電路 1. 5-1 DTMF編譯碼器 1.5-2 DTMF碼輸出1.5- 3 DTMF碼輸入1.6 DTMF/音頻切換電路1.6- 1音頻R信號輸出(接喇叭) 1.6-2音頻R信號輸入/DTLM信號輸入 1.6-3音頻L信號輸出(接喇叭) 1.6-4音頻L信號輸入1.6-5音頻L信號輸出 1.6-6話筒R信號輸出/DTMF輸出 1.6-7話筒R信號輸入(接話筒) 1.6-8話筒L信號輸入(接話筒) 2輸入/輸出電路
2.1 A/D轉(zhuǎn)換、預(yù)處理電路(溫度/壓力…等模擬量傳感器的控制電路) 2.2按鍵、開關(guān)量輸入控制電路(連接各類開關(guān)、按鍵、開關(guān)量傳感器) 2.3開關(guān)量隔離、驅(qū)動電路(接連各類繼電器、可控硅等驅(qū)動元件) 2.4 D/A隔離、驅(qū)動電路(接連各類模擬量執(zhí)行元件) 3計算機 3. 1 USB接口 3. 2接INTERNET 3.3聲卡喇叭R信號輸出 3.4聲卡喇叭L信號輸出 3. 5聲卡立體聲話筒R信號輸入 3. 6聲卡立體聲話筒L信號輸入 4喇叭或耳機 5立體聲話筒 6 USB攝像頭 本發(fā)明的
具體實施例方式
實施例l:網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法，(網(wǎng)絡(luò)視頻交互環(huán)境是指網(wǎng)絡(luò)視頻聊天、交互式網(wǎng)絡(luò)課程、網(wǎng)絡(luò)視頻會議等狀態(tài))如圖1、 2、 3、 4、 5 所示。交互雙方控制板1的控制信號\音頻信號R 1.6-6與計算機3聲卡的 立體聲話筒輸入R 3.5連接，控制信號通過聲卡輸出R 3.3 (喇叭R聲道/或 L聲道或線路輸出R聲道/或L聲道)；聲卡喇叭輸出L 3. 4進入控制板1的音 頻R信號輸入端1. 6-2，在網(wǎng)絡(luò)視頻交互狀態(tài)下，交互一方計算機3連接的控 制板1由輸入/輸出電路2的A/D轉(zhuǎn)換、預(yù)處理電路2. 1，通過模擬傳感器獲 取的模擬量信息，和開關(guān)量輸入控制電路2.2通過按鍵或開關(guān)量傳感器獲取 的開關(guān)量信息，通過單片機系統(tǒng)1. 1控制下的DTMF編譯碼電路1. 5轉(zhuǎn)換成4 位DTMF編碼信號,通過DTMF/音頻切換電路1. 6切換,經(jīng)話筒R信號輸出/DTMF 輸出1. 6-6插入與計算機話筒輸入端3. 5連接的R (右)聲道，同時將話筒R (右)聲道話筒R信號輸入端1.6-7輸出信號切換至L (左)聲道(保證在控 制信號傳輸過程中本地聲音信號的正常輸出)，當這一過程結(jié)束，控制板l回
到初試狀態(tài)。這樣控制信號與本機的音頻信號及USB攝象機獲得的視頻信號 經(jīng)計算機3處理轉(zhuǎn)換為同步的流媒體信號，通過網(wǎng)絡(luò)同步傳送至交互的另一 方，實現(xiàn)視頻信號、音頻信號、控制信號的同步。由交互另一方計算機3收 到通過網(wǎng)絡(luò)傳入的流媒體信號，分離出包含有控制代碼的音頻信號，通過計 算機3聲卡喇叭輸出R 3.3進入控制板1的音頻R聲道輸入/DTLM信號輸入 端1.6-2，由單片機系統(tǒng)1.1控制下的DTMF編譯碼電路1.5譯碼和單片機系 統(tǒng)1.1的處理轉(zhuǎn)換成控制信號，通過與輸入/輸出電路2連接的開關(guān)量隔離、 驅(qū)動電路2.3接連放各類繼電器、可控硅等驅(qū)動各類開關(guān)量執(zhí)行元件和D/A 隔離、驅(qū)動電路2. 4接連各類模擬量執(zhí)行元件或通過紅外線輸出電路1.4用紅 外線方式控制具有紅外遙控功能的電器設(shè)備。同時將音頻R信號輸出1.6-1 信號切換至音頻L (左)信號輸出端1.6-3，保證在控制信號接收過程中二個 喇叭輸出音頻信號，當這一過程結(jié)束，控制板1系統(tǒng)回到初始狀態(tài)。 實施例2:
網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法，如圖l、 2、 3、 4、 5所示， 網(wǎng)絡(luò)視頻交互雙方計算機3聲卡喇叭的R、 L輸出端3.3、 3.4 (或線路輸出端) 通過連接電纜分別與控制板1的音頻R信號輸入/DTLM信號輸入1.6-2、音頻L 信號輸入1.6-4連接，立體聲話筒R聲道輸入端3.5/L聲道輸入端3.6分別與控 制板1話筒L信號輸出1.6-5、話筒R信號輸出1.6-6連接，外接喇叭或耳機4的 R聲道/L聲道輸入端和外接立體聲話筒R聲道/L聲道輸出端分別與控制板1的 音頻R信號輸出端1.6-1、音頻L信號輸出端1.6-3和話筒R信號輸入端1.6-7、 話筒L信號輸入端1.6-8連接。
網(wǎng)絡(luò)視頻交互環(huán)境下控制交互對方硬件和電器設(shè)備的控制板有3種狀態(tài)， 即初始狀態(tài)、主控狀態(tài)、被控狀態(tài)。
初始狀態(tài)，從計算機3聲卡喇叭輸出端R聲道3.3/和輸出端L聲道3.4輸 出的音頻信號進入控制板1 DTMF/音頻切換電路1.6的音頻R信號輸入端1.6-2 和音頻L信號輸入端1.6-4，在單片機系統(tǒng)1.1 P1.6端口控制下DTMF/音頻切換 電路1.6的SW1的狀態(tài)為保持音頻R信號輸出端1.6-1與音頻R信號輸入1.6-2 連接；音頻L信號輸入端1.6-4與音頻L信號輸出端1.6-3直接連接；計算機3 的R聲道/L聲道音頻信號通過音頻R信號輸出端1.6-1/音頻L信號輸出端1.6-
進入外接喇叭或耳機4。立體聲話筒5的R聲道/L聲道輸出信號進入DTMF/ 音頻信號切換電路1.6的話筒5的R信號輸入端1.6-7/話筒L信號輸入端1.6-8, 在單片機系統(tǒng)1. 1的P1.5控制下DTMF/音頻信號切換電路1.6 SW2的初始化 狀態(tài)為保持1.6-5與話筒R信號輸入端1.6-7連接，話筒L信號輸入端1.6-5 與話筒L信號輸入端1.6-8直接連接，即立體聲話筒5輸出的音頻信號通過上 述連接進入計算機聲卡的話筒輸入R端3.5/聲卡立體聲話筒輸入L端3.6，既計 算機音頻系統(tǒng)功能不變。
主控狀態(tài)，控制板l內(nèi)單片機系統(tǒng)l.l的P0 口 (定義為輸入端口)及相關(guān) 電路與輸入/輸出電路2的模擬量采樣和預(yù)處理電路2.1連接，該電路與溫度/ 壓力…等模擬量傳感器連接；連接有按鍵、開關(guān)量傳感器的開關(guān)量輸入控制電 路2，2也與單片機系統(tǒng)U的P0 口及相關(guān)電路連接；同時P0 口 、 INTO (注 中斷接口)等相關(guān)電路與DTMF編譯碼器1.5-1的D0 D3端及其它相關(guān)電路 連接。單片機系統(tǒng)1.1初始化后進入等待中斷申請和對P0 口和相關(guān)接口掃描狀 態(tài)，在單片機系統(tǒng)l. l相關(guān)電路控制下，DTMF編譯碼電路1.5交替進入編碼 和譯碼狀態(tài)。在編碼狀態(tài)，從P0 口獲得來至A/D轉(zhuǎn)換、預(yù)處理電路2. 1的模擬 量信號和按鍵、開關(guān)量輸入控制電路2. 2的開關(guān)量輸入信號后，進行處理和A/D 轉(zhuǎn)換；調(diào)用存儲器1.2中預(yù)先設(shè)定的控制程序，處理結(jié)果經(jīng)過DTMF編譯碼電路 1. 5的編碼轉(zhuǎn)換成4位DTMF碼，通過DTMF編譯碼電路1. 5的DTMF碼輸出端 1. 5-2輸出。(這里一位DTMF代碼構(gòu)成一位16進制數(shù)，其中4位DTMF碼的第1 位為識別碼，即16進制數(shù)A-D中一個，第2位是控制地址碼即卜F，最多可控 制16種設(shè)備；第3、 4位是控制量碼，控制分辨率精度為00-FF。 1位指令占 100ms時間段，在100ms時間片，DTMF信號持續(xù)50ms，間隔50ms為0電平， 即1條完整控制指令占用400ms，見圖一，如果交互雙方僅為開關(guān)量控制，控 制指令為3位DTMF碼，控制量碼為1位這樣1條完整控制指令占用300ms時間。) 在單片機系統(tǒng)1. 1的Pl. 6 口控制下，模擬開關(guān)1. 6的SW2切換與立體聲話筒5 連接的R聲道信號1. 6-7至話筒L信號輸出端1. 6-5，使DTMF信號通過DTMF 碼輸出端1. 5-2和話筒R信號輸出/DTMF輸出端1. 6-6直接進入計算機3立體 聲話筒輸入R端3. 5，話筒L信號通過話筒L信號輸出端1. 6-5與話筒L信號 輸入端1.6-8連接直接進入立體聲話筒輸入端3.6。這樣來自聲卡話筒輸入L
端3. 6的音頻信號和話筒輸入R端3. 5的控制信號與USB接口 3. 1連接的攝像 頭6獲得的視頻信號一起，經(jīng)計算機的處理轉(zhuǎn)換成流媒體信號，通過網(wǎng)絡(luò)傳送 給另一方計算機3。當這一過程結(jié)束控制板1回到初始狀態(tài)。
被控狀態(tài)，計算機3通過網(wǎng)絡(luò)收到對方的流媒體信號(即視頻+音頻+控制 代碼)，經(jīng)過計算機處理分成視頻和音頻2個部分，其中音頻部分(即音頻信號 +控制代碼)通過計算機3聲卡喇叭輸出L端3. 3/和聲卡喇叭輸出R端3. 4至 控制板1的音頻R信號輸入端1. 6-2/音頻L信號輸入端1. 6-4 (這時音頻信號 和控制信號分別占用R聲道和L聲道)，當DTMF編譯碼電路1. 5為譯碼狀態(tài)， DTMF信號通過音頻R信號輸入端1. 6-2進入DTMF碼輸入端1. 5-3,在收到第1 位DTMF信號時，DTMF編譯碼1.5-1的IRQ/CF端產(chǎn)生一個中斷申請信號，這個 信號被單片機系統(tǒng)1. 1的INTO端接收，判斷有效后讀P0 口，確定為識別碼后， 單片機系統(tǒng)1. 1通過Pl. 5端口控制DTMF/音頻信號切換電路1. 6中模擬開關(guān)的 SW1將1. 6-4音頻L輸入切換至音頻L信號輸出端1. 6-3，保證R聲道/L聲道 喇叭輸出為音頻信號(這時為單聲道)。后3位控制碼通過音頻/DTMF碼控制電 路1. 6-2的SW1直接進入DTMF編碼電路1. 5的DTMF碼輸入端1. 5-3。上述信 號在IRQ/CF端產(chǎn)生3個中斷申請信號，單片機系統(tǒng)1. 1在接到3個中斷申請信 號后，從P0 口讀取這3位信號進行處理；調(diào)用控制數(shù)據(jù)存儲器1. 2中預(yù)先設(shè)定 的控制程序；產(chǎn)生控制指令；通過單片機系統(tǒng)1. 1的P2 口 (定義為輸出控制端 口)經(jīng)隔離、驅(qū)動電路2.3驅(qū)動與其連接的各類繼電器、可控硅等開關(guān)量元件; 或通過P2 口連接的D/A隔離驅(qū)動電路2. 4驅(qū)動各類模擬執(zhí)行元件；或通過單片 機系統(tǒng)的Pl. 7輸出控制基波，經(jīng)紅外線輸出電路1.4內(nèi)的38k載波調(diào)制驅(qū)動以 紅外方式遙控具有紅外遙控功能的外部電器設(shè)備，當這一過程結(jié)束系統(tǒng)回到初 始狀態(tài)。
權(quán)利要求
1.一種網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法，其特征是在網(wǎng)絡(luò)視頻交互狀態(tài)下雙方計算機通過聲卡的輸入或輸出端分別與各自的控制板連接，由控制板內(nèi)按鍵、開關(guān)量輸入控制電路、模擬轉(zhuǎn)換電路接收通過按鍵輸入或由模擬、開關(guān)量傳感器產(chǎn)生控制對方的信息，經(jīng)控制板處理轉(zhuǎn)換成DTMF控制代碼，通過模擬開關(guān)插入音頻的R聲道或L聲道中與USB攝象頭獲得的視頻信號一起同步轉(zhuǎn)換成流媒體即控制代碼插入流媒體方式，經(jīng)計算機網(wǎng)絡(luò)接INTERNET傳輸，控制對方與控制板連接的各類繼電器、可控硅和各類模擬量執(zhí)行元件，或通過紅外線輸出電路遙控外部設(shè)備。
全文摘要
網(wǎng)絡(luò)交互環(huán)境下視頻、音頻、控制同步的方法。在網(wǎng)絡(luò)視頻交互狀態(tài)下雙方計算機通過聲卡的輸入或輸出端分別與各自的控制板連接，由控制板內(nèi)按鍵、開關(guān)量輸入控制電路、模擬轉(zhuǎn)換電路接收通過按鍵輸入或由模擬、開關(guān)量傳感器產(chǎn)生控制對方的信息，經(jīng)控制板處理轉(zhuǎn)換成DTMF控制代碼，通過模擬開關(guān)插入音頻的R聲道或L聲道中與USB攝象頭獲得的視頻信號一起同步轉(zhuǎn)換成流媒體即控制代碼插入流媒體方式，經(jīng)計算機網(wǎng)絡(luò)接INTERNET傳輸，控制對方與控制板連接的各類繼電器、可控硅和各類模擬量執(zhí)行元件，或通過紅外線輸出電路遙控外部設(shè)備。本發(fā)明可廣泛運用在網(wǎng)絡(luò)游戲、中低速遠程控制領(lǐng)域、遠程家庭醫(yī)療監(jiān)控、遠程交互教學(xué)等領(lǐng)域。
文檔編號H04N7/52GK101166278SQ20061015092
公開日2008年4月23日 申請日期2006年10月20日 優(yōu)先權(quán)日2006年10月20日
發(fā)明者嚴復(fù)鐵, 張?zhí)烊A, 張金傲 申請人:黑龍江大學(xué);黑龍江黑大高新科技產(chǎn)業(yè)有限公司