專(zhuān)利名稱(chēng)：發(fā)送設(shè)備、發(fā)送方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及一種發(fā)送設(shè)備、發(fā)送方法和程序，并且更具體地，涉及一種不論例如網(wǎng)絡(luò)之類(lèi)的數(shù)據(jù)信道的狀態(tài)如何都使得數(shù)據(jù)能夠以低延遲被發(fā)送的發(fā)送設(shè)備、發(fā)送方法和程序。
背景技術(shù)：
近年來(lái)，例如，已經(jīng)實(shí)施遠(yuǎn)程手術(shù)，其中醫(yī)生通過(guò)從遠(yuǎn)程位置操作機(jī)器人手臂來(lái)對(duì)病人執(zhí)行手術(shù)。在此遠(yuǎn)程手術(shù)中，因?yàn)獒t(yī)生在觀察通過(guò)捕獲病人的圖像獲得的運(yùn)動(dòng)圖像的同時(shí)操作機(jī)器人手臂，所以期望運(yùn)動(dòng)圖像以幾幀或更少的低延遲(基本上實(shí)時(shí)地)傳輸。為了經(jīng)由諸如因特網(wǎng)之類(lèi)的數(shù)據(jù)信道來(lái)以幾幀或更少的低延遲發(fā)送(傳送)運(yùn)動(dòng)圖像等，已經(jīng)提議了一種用于對(duì)構(gòu)成運(yùn)動(dòng)圖像的每個(gè)圖片中的每個(gè)若干行的塊執(zhí)行小波變換編碼(壓縮)的編碼技術(shù)(例如參見(jiàn)日本未審查專(zhuān)利申請(qǐng)公開(kāi)No. 2007-3119M)。利用此編碼技術(shù)，發(fā)送設(shè)備可以在不必等待圖片的全體數(shù)據(jù)的輸入的情況下開(kāi)始編碼并發(fā)送作為結(jié)果的編碼數(shù)據(jù)。此外，接收設(shè)備可以在接收到來(lái)自發(fā)送設(shè)備的全體編碼數(shù)據(jù)之前開(kāi)始解碼(解壓)。因此，當(dāng)網(wǎng)絡(luò)中沒(méi)有引發(fā)擁塞(交通阻塞)時(shí)，不發(fā)生由于網(wǎng)絡(luò)擁塞引起的延遲。 結(jié)果，編碼數(shù)據(jù)的傳輸時(shí)間(編碼數(shù)據(jù)從發(fā)送設(shè)備經(jīng)由網(wǎng)絡(luò)到達(dá)接收設(shè)備的時(shí)間)變得充分短從而發(fā)送設(shè)備可以以低延遲發(fā)送運(yùn)動(dòng)圖像。然而，當(dāng)網(wǎng)絡(luò)中引發(fā)了擁塞時(shí)，發(fā)生由于網(wǎng)絡(luò)擁塞引起的延遲。結(jié)果，編碼數(shù)據(jù)的傳輸時(shí)間增加從而發(fā)送設(shè)備不再能夠以低延遲發(fā)送運(yùn)動(dòng)圖像。因此，存在用于根據(jù)網(wǎng)絡(luò)的擁塞狀態(tài)來(lái)調(diào)節(jié)表示每單位時(shí)間發(fā)送的編碼數(shù)據(jù)量的傳輸速率以便不論網(wǎng)絡(luò)的擁塞狀態(tài)如何都充分地縮短傳輸時(shí)間的速率控制處理。在此速率控制處理中，發(fā)送設(shè)備將編碼數(shù)據(jù)暫時(shí)存儲(chǔ)在其發(fā)送緩沖區(qū)中，從而以已被速率控制處理調(diào)節(jié)了的傳輸速率來(lái)將編碼數(shù)據(jù)發(fā)送給接收設(shè)備。

發(fā)明內(nèi)容
當(dāng)傳輸速率高于表示發(fā)送設(shè)備中每單位時(shí)間生成的編碼數(shù)據(jù)量時(shí)，從發(fā)送緩沖區(qū)輸出和發(fā)送的編碼數(shù)據(jù)量大于被生成并被存儲(chǔ)在發(fā)送緩沖區(qū)中的編碼數(shù)據(jù)量。在此情況中，因?yàn)榫幋a數(shù)據(jù)在發(fā)送緩沖區(qū)中停留的時(shí)間充分短，所以運(yùn)動(dòng)圖像可以被以低延遲發(fā)送。然而，當(dāng)傳輸速率低于發(fā)送設(shè)備中的編碼數(shù)據(jù)的數(shù)據(jù)生成速率時(shí)，被生成并被存儲(chǔ)在發(fā)送緩沖區(qū)中的編碼數(shù)據(jù)量大于從發(fā)送緩沖區(qū)輸出和發(fā)送的編碼數(shù)據(jù)量。在此情況中，因?yàn)榫幋a數(shù)據(jù)停留在發(fā)送緩沖區(qū)中的時(shí)間增加，所以運(yùn)動(dòng)圖像可能不再被以低延遲發(fā)送。如上所述，由網(wǎng)絡(luò)擁塞引起的延遲可以通過(guò)根據(jù)網(wǎng)絡(luò)擁塞調(diào)節(jié)傳輸速率而被避免，但是依賴(lài)于傳輸速率，運(yùn)動(dòng)圖像可能不再被以低延遲發(fā)送。
4
期望不論例如網(wǎng)絡(luò)的數(shù)據(jù)信道的狀態(tài)如何都以低延遲發(fā)送數(shù)據(jù)。根據(jù)本公開(kāi)的一個(gè)實(shí)施例的一種發(fā)送設(shè)備是一種發(fā)送設(shè)備，包括速率調(diào)節(jié)單元， 該速率調(diào)節(jié)單元被配置為調(diào)節(jié)發(fā)送數(shù)據(jù)的傳輸速率；改變單元，該改變單元被配置為基于所述傳輸速率來(lái)改變用于暫時(shí)存儲(chǔ)所述數(shù)據(jù)的緩沖區(qū)的大??；輸出單元，該輸出單元被配置為讀出所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)并將所述數(shù)據(jù)輸出給發(fā)送單元；以及該發(fā)送單元，被配置為發(fā)送由所述輸出單元輸出的數(shù)據(jù)。改變單元可以基于預(yù)定傳輸緩沖區(qū)時(shí)間來(lái)改變所述緩沖區(qū)的大小。輸出單元可以在從所述數(shù)據(jù)被存儲(chǔ)到所述緩沖區(qū)中起的所述傳輸緩沖區(qū)時(shí)間內(nèi)，讀出所述數(shù)據(jù)并將所述數(shù)據(jù)輸出給所述發(fā)送單元。當(dāng)所述緩沖區(qū)的大小被變得小于所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)的大小時(shí)，所述輸出單元丟棄所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)，直到所述數(shù)據(jù)的大小變得小于或等于所述緩沖區(qū)的大小為止。當(dāng)所述緩沖區(qū)的大小被變得小于所述數(shù)據(jù)的大小時(shí)，所述輸出單元可以按照預(yù)定優(yōu)先級(jí)來(lái)丟棄所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)，直到所述數(shù)據(jù)的大小變得小于或等于所述緩沖區(qū)的大小為止。該發(fā)送設(shè)備，還可以包括參數(shù)調(diào)節(jié)單元，該參數(shù)調(diào)節(jié)單元被配置為基于所述傳輸速率來(lái)調(diào)節(jié)在生成通過(guò)對(duì)所述數(shù)據(jù)進(jìn)行編碼獲得的編碼數(shù)據(jù)時(shí)使用的編碼參數(shù)；以及編碼單元，該編碼單元被配置為基于所述編碼參數(shù)來(lái)對(duì)所述數(shù)據(jù)執(zhí)行編碼處理。所述輸出單元可以讀出所述緩沖區(qū)中所存儲(chǔ)的編碼數(shù)據(jù)并將所述編碼數(shù)據(jù)輸出給所述發(fā)送單元。所述參數(shù)調(diào)節(jié)單元可以基于所述傳輸速率來(lái)調(diào)節(jié)充當(dāng)所述編碼參數(shù)的數(shù)據(jù)生成速率。所述數(shù)據(jù)生成速率表示在預(yù)定時(shí)間上生成的編碼數(shù)據(jù)量。所述速率調(diào)節(jié)單元基于傳輸質(zhì)量信息來(lái)調(diào)節(jié)所述傳輸速率，所述傳輸質(zhì)量信息表示用于所述數(shù)據(jù)的傳輸?shù)臄?shù)據(jù)信道的狀態(tài)。所述速率調(diào)節(jié)單元可以基于包括所述數(shù)據(jù)的誤比特率、丟失率、往返時(shí)間、抖動(dòng)和信噪比中的至少一者的傳輸質(zhì)量信息來(lái)調(diào)節(jié)所述傳輸速率。根據(jù)本發(fā)明的另一實(shí)施例的一種發(fā)送方法是一種用于發(fā)送數(shù)據(jù)的發(fā)送裝置的發(fā)送方法。該發(fā)送方法包括調(diào)節(jié)發(fā)送數(shù)據(jù)的傳輸速率；基于所述傳輸速率來(lái)改變用于暫時(shí)存儲(chǔ)所述數(shù)據(jù)的緩沖區(qū)的大??；讀出并輸出所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)；以及發(fā)送輸出的數(shù)據(jù)。根據(jù)本發(fā)明的另一實(shí)施例的一種程序是一種程序，使得計(jì)算機(jī)用作速率調(diào)節(jié)單元，該速率調(diào)節(jié)單元被配置為調(diào)節(jié)發(fā)送數(shù)據(jù)的傳輸速率；改變單元，該改變單元被配置為基于所述傳輸速率來(lái)改變用于暫時(shí)存儲(chǔ)所述數(shù)據(jù)的緩沖區(qū)的大??；輸出單元，該輸出單元被配置為讀出所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)該將所述數(shù)據(jù)輸出給發(fā)送單元；以及該發(fā)送單元， 被配置為發(fā)送由所述輸出單元輸出的數(shù)據(jù)。根據(jù)本公開(kāi)的實(shí)施例，發(fā)送數(shù)據(jù)的傳輸速率被調(diào)節(jié)。用于暫時(shí)存儲(chǔ)數(shù)據(jù)的緩沖區(qū)的大小基于傳輸速率被調(diào)節(jié)。存儲(chǔ)在所述緩沖區(qū)中的數(shù)據(jù)被讀出并被輸出。輸出的數(shù)據(jù)被發(fā)送。根據(jù)本公開(kāi)的實(shí)施例，不論諸如網(wǎng)絡(luò)之類(lèi)的數(shù)據(jù)信道的狀態(tài)如何，都可以以低延遲發(fā)送數(shù)據(jù)。


圖1是圖示出根據(jù)第一實(shí)施例的第一發(fā)送/接收系統(tǒng)的配置示例的框圖；圖2是主要圖示出改變可存儲(chǔ)緩沖區(qū)大小的處理的示例的示圖；圖3A和圖;3B是主要圖示出其中當(dāng)可存儲(chǔ)緩沖區(qū)大小被改變時(shí)發(fā)送緩沖區(qū)中的數(shù)據(jù)被丟棄的示例的示圖；圖4是用于圖示由圖1的發(fā)送設(shè)備執(zhí)行的發(fā)送處理的流程圖；圖5是用于圖示出在圖4的步驟S9中的第一速率控制處理的細(xì)節(jié)的流程圖；圖6是用于圖示出由圖1的接收設(shè)備執(zhí)行的接收處理的流程圖；圖7A和圖7B是圖示出其中當(dāng)可存儲(chǔ)緩沖區(qū)大小被改變時(shí)按照優(yōu)先級(jí)丟棄發(fā)送緩沖區(qū)中的數(shù)據(jù)的示例的示圖；圖8是圖示出根據(jù)第二實(shí)施例的NIC的配置示例的框圖；圖9是圖示出由圖8的緩沖區(qū)控制單元執(zhí)行的處理的示例的示圖；圖10是用于圖示出由圖8的NIC執(zhí)行的發(fā)送處理的流程圖；圖11是用于圖示出圖10的步驟S77中的第二速率控制處理的細(xì)節(jié)的流程圖；圖12是用于圖示出由圖8的NIC執(zhí)行的接收處理的流程圖；圖13是圖示出根據(jù)第三實(shí)施例的無(wú)線(xiàn)中繼設(shè)備的配置示例的框圖；圖14是圖示出根據(jù)第四實(shí)施例的第二發(fā)送/接收系統(tǒng)的配置示例的框圖；圖15A和圖15B是圖示出由圖14的緩沖區(qū)控制單元執(zhí)行的處理的示例的示圖；圖16是用于圖示出由圖14的緩沖區(qū)控制單元和速率控制單元執(zhí)行的處理的示例的示圖；圖17是用于圖示出由圖14的發(fā)送設(shè)備執(zhí)行的發(fā)送處理的流程圖；圖18是用于圖示出在圖17的步驟S139中的第三速率控制處理的細(xì)節(jié)的流程圖； 以及圖19是圖示出計(jì)算機(jī)的配置示例的框圖。
具體實(shí)施例方式以下將描述用于實(shí)施本公開(kāi)的實(shí)施例(以下稱(chēng)為實(shí)施例)。描述將按照如下順序進(jìn)行。1.第一實(shí)施例(通過(guò)調(diào)節(jié)發(fā)送緩沖區(qū)的可存儲(chǔ)緩沖大小來(lái)執(zhí)行低延遲數(shù)據(jù)傳輸?shù)氖纠?2.第二實(shí)施例(使用NIC來(lái)執(zhí)行低延遲數(shù)據(jù)傳輸?shù)氖纠?3.第三實(shí)施例(在無(wú)線(xiàn)中繼設(shè)備中執(zhí)行低延遲數(shù)據(jù)傳輸?shù)氖纠?4.第四實(shí)施例(在不丟棄發(fā)送緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)的情況下執(zhí)行低延遲數(shù)據(jù)傳輸?shù)氖纠?1.第一實(shí)施例發(fā)送/接收系統(tǒng)100的配置示例圖1圖示出根據(jù)第一實(shí)施例的發(fā)送/接收系統(tǒng)100。該發(fā)送/接收系統(tǒng)100包括發(fā)送設(shè)備101、接收設(shè)備102和諸如因特網(wǎng)之類(lèi)的網(wǎng)絡(luò)103。發(fā)送/接收系統(tǒng)100控制發(fā)送緩沖區(qū)112a (稍后描述)的發(fā)送緩沖區(qū)時(shí)間以使得不論發(fā)送設(shè)備101的傳輸速率R如何都維持某一時(shí)間T (下文中也稱(chēng)為發(fā)送緩沖區(qū)時(shí)間T)， 從而使得數(shù)據(jù)能夠以低延遲被發(fā)送。這里，發(fā)送緩沖區(qū)時(shí)間T表示從數(shù)據(jù)被存儲(chǔ)在發(fā)送緩沖區(qū)11 中到數(shù)據(jù)被輸出的最大時(shí)間。發(fā)送緩沖區(qū)時(shí)間T是由用戶(hù)、制造發(fā)送設(shè)備101的公司等預(yù)先確定的。發(fā)送緩沖區(qū)時(shí)間T越短，就可以以越低的延遲發(fā)送數(shù)據(jù)。另外，在發(fā)送/接收系統(tǒng)100中，從發(fā)送設(shè)備101到接收設(shè)備102的數(shù)據(jù)傳輸以及網(wǎng)絡(luò)狀態(tài)等的收集例如是使用IETF(互聯(lián)網(wǎng)工程任務(wù)組)RFC(請(qǐng)求注解)3550中記載的 RTP(實(shí)時(shí)傳輸協(xié)議)/RTCP(實(shí)時(shí)傳輸控制協(xié)議)來(lái)執(zhí)行的。雖然以下在第一實(shí)施例中將描述以低延遲從發(fā)送設(shè)備101向接收設(shè)備102發(fā)送圖像數(shù)據(jù)的情況，但是以低延遲發(fā)送的數(shù)據(jù)不限于圖像數(shù)據(jù)并且可以是任何數(shù)據(jù)，只要該數(shù)據(jù)被以低延遲發(fā)送即可。發(fā)送設(shè)備101的配置示例發(fā)送設(shè)備101包括編碼單元111、包括發(fā)送緩沖區(qū)11 的緩沖區(qū)控制單元112、 RTP發(fā)送單元113、RTCP單元114、速率控制單元115、控制單元116和操作單元117。編碼單元111執(zhí)行用于對(duì)從外部輸入的圖像數(shù)據(jù)(對(duì)應(yīng)于視頻輸入)進(jìn)行編碼的編碼處理。作為編碼處理，例如可以采用小波編碼，小波編碼使用小波變換來(lái)對(duì)圖像數(shù)據(jù)執(zhí)行編碼以壓縮圖像數(shù)據(jù)。在ITU-T(國(guó)際電信聯(lián)盟-電信標(biāo)準(zhǔn)化部)H. 264,日本未審查專(zhuān)利申請(qǐng)公開(kāi)No. 2007-311924等中詳細(xì)描述了該小波編碼。這里，小波變換是指通過(guò)對(duì)通過(guò)將圖像數(shù)據(jù)分割成具有高空間頻率的分量(高頻分量)和具有低空間頻率的分量(低頻分量)獲得的低頻分量遞歸地重復(fù)執(zhí)行所述分割的分析濾波來(lái)將圖像數(shù)據(jù)變換成每個(gè)空間分量的系數(shù)數(shù)據(jù)的處理。同時(shí)，例如，如果編碼單元111將較高頻率的分量的系數(shù)數(shù)據(jù)的壓縮比設(shè)置得較小并且將較低頻率的分量的系數(shù)數(shù)據(jù)的壓縮比設(shè)置得較大，則引起圖像數(shù)據(jù)中較少圖像質(zhì)量劣化的編碼處理可以被執(zhí)行。編碼單元111還將通過(guò)編碼處理獲得的編碼數(shù)據(jù)打包(轉(zhuǎn)換)成多個(gè)RTP分組， 并且將RTP分組輸出給緩沖區(qū)控制單元112。RTP分組是指具有基于IETF RFC 3550所記載的RTP的格式的分組。此外，編碼單元111基于表示能夠存儲(chǔ)RTP分組的剩余發(fā)送緩沖區(qū)112a(圖2)的大小的剩余緩沖區(qū)大小\和從速率控制單元115饋送的傳輸速率R來(lái)調(diào)節(jié)編碼處理中使用的編碼參數(shù)。編碼單元111使用已調(diào)節(jié)的編碼參數(shù)來(lái)執(zhí)行前述編碼處理。這里，編碼參數(shù)包括編碼處理中的數(shù)據(jù)壓縮比和表示每單位時(shí)間生成的RTP分組的數(shù)量的數(shù)據(jù)生成速率。緩沖區(qū)控制單元112將從編碼單元111饋送的RTP分組供應(yīng)給發(fā)送緩沖區(qū)11 來(lái)使得發(fā)送緩沖區(qū)11 存儲(chǔ)RTP分組并基于FIFO (先進(jìn)先出)輸出RTP分組。緩沖區(qū)控制單元112還根據(jù)從速率控制單元115饋送的傳輸速率R來(lái)改變可存儲(chǔ)緩沖區(qū)大小B以使得RTP分組在從RTP分組被存儲(chǔ)到發(fā)送緩沖區(qū)11 中開(kāi)始的發(fā)送緩沖區(qū)時(shí)間T內(nèi)被輸出?？纱鎯?chǔ)緩沖區(qū)大小B表示能夠存儲(chǔ)RTP分組的數(shù)據(jù)的發(fā)送緩沖區(qū)11
7的大小。因?yàn)橛糜诟淖兛纱鎯?chǔ)緩沖區(qū)大小B的方法是本公開(kāi)所公開(kāi)的技術(shù)的要點(diǎn)，所以將參考圖2、圖3A和圖;3B來(lái)詳細(xì)描述該方法。此外，緩沖區(qū)控制單元112執(zhí)行平滑化發(fā)送，其中發(fā)送緩沖區(qū)11 中的RTP分組以從速率控制單元115饋送的傳輸速率R被傳送(輸出)給RTP發(fā)送單元113。這允許RTP 發(fā)送單元113以被速率控制單元115調(diào)節(jié)了的傳輸速率R發(fā)送RTP分組。作為平滑化發(fā)送，可采用例如使用ITU-T Y. 1221中所記載的漏桶行為或令牌桶行為的平滑化發(fā)送。例如，發(fā)送緩沖區(qū)11 根據(jù)緩沖區(qū)控制單元112的控制執(zhí)行平滑化的發(fā)送。更具體地，發(fā)送緩沖區(qū)11 充當(dāng)平滑化緩沖區(qū)以用于執(zhí)行平滑化和發(fā)送以使得輸出RTP分組的輸出速率與從速率控制單元115饋送的傳輸速率R相匹配。發(fā)送緩沖區(qū)11 利用被緩沖區(qū)控制單元112調(diào)節(jié)了的可存儲(chǔ)緩沖區(qū)大小B來(lái)存儲(chǔ)從編碼單元111饋送的RTP分組并基于FIFO輸出RTP分組。同時(shí)，假定發(fā)送緩沖區(qū)11 具有充分大的存儲(chǔ)容量，該存儲(chǔ)容量大于或等于可以被調(diào)節(jié)的最大可存儲(chǔ)緩沖區(qū)大小B。根據(jù)RTP，RTP發(fā)送單元113將例如RTP分組被發(fā)往接收設(shè)備102的發(fā)送時(shí)間作為時(shí)間戳附加到從緩沖區(qū)控制單元112饋送的RTP分組。RTP發(fā)送單元113隨后以從速率控制單元115通知的傳輸速率R將附加了時(shí)間戳的RTP分組經(jīng)由網(wǎng)絡(luò)103發(fā)送給接收設(shè)備 102。因?yàn)镽TP發(fā)送單元113發(fā)送附加了時(shí)間戳的RTP分組，所以接收設(shè)備102可以掌握從發(fā)送設(shè)備101發(fā)送的RTP分組的時(shí)間關(guān)系(例如發(fā)送順序)。相應(yīng)地，接收設(shè)備102可以同步地正確地再現(xiàn)圖像數(shù)據(jù)，而不會(huì)受RTP分組的延遲變化(抖動(dòng))等的影響。這里，RTP不保證RTP分組的實(shí)時(shí)發(fā)送。另外，由RTP提供的傳輸服務(wù)不包括RTP 分組的發(fā)送中的優(yōu)先級(jí)、設(shè)置、管理等。相應(yīng)地，對(duì)于RTP分組可能發(fā)生傳輸延遲或分組丟失，傳輸延遲指示RTP分組將不會(huì)在從RTP分組的發(fā)送開(kāi)始的預(yù)定時(shí)間內(nèi)到達(dá)接收設(shè)備102，分組丟失指示在RTP分組中發(fā)生了錯(cuò)誤。接收設(shè)備102丟棄已經(jīng)發(fā)生了傳輸延遲或分組丟失的RTP分組。接收設(shè)備102對(duì)既沒(méi)有發(fā)生傳輸延遲也沒(méi)有發(fā)生分組丟失的RTP分組執(zhí)行諸如再現(xiàn)之類(lèi)的處理。同時(shí)，經(jīng)歷了傳輸延遲或分組丟失的RTP分組被丟棄以便實(shí)現(xiàn)RTP分組的圖像數(shù)據(jù)(運(yùn)動(dòng)圖像)的實(shí)時(shí)再現(xiàn)。RTP分組的傳輸延遲或分組丟失常常是由網(wǎng)絡(luò)103的擁塞引起的。更具體地，例如，即使發(fā)送設(shè)備101發(fā)送高質(zhì)量圖像數(shù)據(jù)的RTP分組，依賴(lài)于網(wǎng)絡(luò)103的擁塞程度，對(duì)于 RTP分組仍然可能發(fā)生不可忽略的傳輸延遲或不可忽略的分組丟失。在此情況中，因?yàn)樵S多RTP分組在接收設(shè)備102中由于RTP分組發(fā)生了傳輸延遲或分組丟失而被丟棄，所以接收設(shè)備102可能無(wú)法再現(xiàn)高質(zhì)量圖像數(shù)據(jù)。相應(yīng)地，速率控制單元115(稍后描述)根據(jù)網(wǎng)絡(luò)103的狀態(tài)(例如擁塞程度)來(lái)調(diào)節(jié)傳輸速率R，從而抑制針對(duì)RTP分組造成的傳輸延遲或分組丟失。這允許不論網(wǎng)絡(luò)103 的狀態(tài)如何，接收設(shè)備102都可以在維持從發(fā)送設(shè)備101發(fā)送的圖像數(shù)據(jù)的質(zhì)量的同時(shí)再現(xiàn)圖像數(shù)據(jù)。RTP發(fā)送單元113還基于RTP分組發(fā)送狀態(tài)等來(lái)生成表示RTP分組的傳輸狀態(tài)的RTP分組傳輸信息，并將RTP分組傳輸信息供應(yīng)給RTCP單元114。基于從RTP發(fā)送單元113饋送的RTP分組傳輸信息，RTCP單元114生成表示發(fā)送設(shè)備101和接收設(shè)備102之間的數(shù)據(jù)信道(例如網(wǎng)絡(luò)10 的狀態(tài)的傳輸質(zhì)量信息。RTCP 單元114將傳輸質(zhì)量信息供應(yīng)給速率控制單元115。這里，傳輸質(zhì)量信息包括用于確定數(shù)據(jù)信道的狀態(tài)的信息。更具體地，傳輸質(zhì)量信息包括例如RTT (往返時(shí)間)、傳輸抖動(dòng)、分組丟失率、S/N比 (信噪比)和BER(誤比特率)中的至少一個(gè)。當(dāng)傳輸是經(jīng)由無(wú)線(xiàn)通信執(zhí)行的，則傳輸質(zhì)量信息可以包括無(wú)線(xiàn)通信中的無(wú)線(xiàn)電場(chǎng)強(qiáng)。另外，RTCP單元114根據(jù)RTCP經(jīng)由網(wǎng)絡(luò)103執(zhí)行與接收設(shè)備102的RTCP單元IM 的通信，收集發(fā)送設(shè)備101與接收設(shè)備102之間的數(shù)據(jù)信道中的傳輸質(zhì)量信息，并將傳輸質(zhì)量信息供應(yīng)給速率控制單元115。同時(shí)，IETF RFC 3550中記載的RTCP接收器報(bào)告(receiver report, RR)分組和 RTCP發(fā)送器報(bào)告(sender report, SR)在接收設(shè)備102(稍后描述)的RTCP單元114與 RTCP單元IM之間被發(fā)送和接收，從而傳輸質(zhì)量信息被收集。速率控制單元115基于從RTCP單元114饋送的傳輸質(zhì)量信息來(lái)調(diào)節(jié)從發(fā)送設(shè)備 101發(fā)送RTP分組的傳輸速率R，并將調(diào)節(jié)后的傳輸速率R通知編碼單元111、緩沖區(qū)控制單元112和RTP發(fā)送單元113。傳輸速率R的調(diào)節(jié)是由速率控制單元115例如根據(jù)IETF RFC 3448中記載的“TCP 友好速率控制(TFRC)協(xié)議規(guī)范”即所謂的TFRC來(lái)執(zhí)行的。如上所述，因?yàn)樗俾士刂茊卧?15根據(jù)網(wǎng)絡(luò)103的狀態(tài)來(lái)調(diào)節(jié)傳輸速率R，所以由網(wǎng)絡(luò)103的擁塞引起的延遲可以被避免?？刂茊卧?16例如基于從操作單元117饋送的操作信號(hào)來(lái)控制編碼單元111、緩沖區(qū)控制單元112、RTP發(fā)送單元113、RTCP單元114和速率控制單元115中的每一個(gè)。操作單元117包括由用戶(hù)操作的操作按鈕等并向控制單元116供應(yīng)與用戶(hù)操作對(duì)應(yīng)的操作信號(hào)。接收設(shè)備102的配置示例接收設(shè)備102包括RTP接收單元121、接收緩沖區(qū)122、解碼單元123、RTCP單元 124、控制單元125和操作單元126。RTP接收單元121經(jīng)由網(wǎng)絡(luò)103接收從RTP發(fā)送單元113發(fā)送的RTP分組。RTP 接收單元121將RTP分組供應(yīng)給接收緩沖區(qū)122以供存儲(chǔ)。RTP接收單元121還基于RTP 分組接收狀態(tài)等生成表示RTP分組的傳輸狀態(tài)的RTP分組傳輸信息，并將RTP分組傳輸信息供應(yīng)給RTCP單元124。接收緩沖區(qū)122暫時(shí)存儲(chǔ)從RTP接收單元121饋送的RTP分組。同時(shí)，假定接收緩沖區(qū)122具有充分大的存儲(chǔ)容量以使得上溢被避免。解碼單元123從接收緩沖區(qū)122讀出RTP分組并組裝讀出的RTP分組，從而生成將被解碼的編碼數(shù)據(jù)。解碼單元123隨后對(duì)所生成的編碼數(shù)據(jù)執(zhí)行與編碼單元111中所執(zhí)行的編碼處理對(duì)應(yīng)的解碼處理。解碼單元123向監(jiān)視器等(未被示出)輸出作為結(jié)果的圖像數(shù)據(jù)。這里，作為解碼處理，例如采用用于使用基于逆小波變換的解碼來(lái)對(duì)編碼數(shù)據(jù)進(jìn)行解壓的解碼處理。RTCP單元IM基于從RTP接收單元121饋送的RTP分組傳輸信息來(lái)生成傳輸質(zhì)量信息，并且將傳輸質(zhì)量信息經(jīng)由網(wǎng)絡(luò)103發(fā)送給發(fā)送設(shè)備101的RTCP單元114。控制單元125例如基于從操作單元1 饋送的操作信號(hào)來(lái)控制RTP接收單元121、 接收緩沖區(qū)122、解碼單元123和RTCP單元124中的每一個(gè)。操作單元1 包括由用戶(hù)操作的操作按鈕等，并向控制單元125供應(yīng)與用戶(hù)操作對(duì)應(yīng)的操作信號(hào)。用于調(diào)節(jié)可存儲(chǔ)緩沖區(qū)大小的方法接著將參考圖2、圖3A和圖:3B描述主要由緩沖區(qū)控制單元112執(zhí)行的處理。圖2圖示出主要由緩沖區(qū)控制單元112執(zhí)行的處理的示例。緩沖區(qū)控制單元112使用下式(1)基于從速率控制單元115饋送的傳輸速率R和預(yù)定的發(fā)送緩沖區(qū)時(shí)間T來(lái)改變可存儲(chǔ)緩沖區(qū)大小B。B(比特)=R(bps) XT(秒)(1)更具體地，例如，假定當(dāng)前傳輸速率R被表示為并且當(dāng)前可存儲(chǔ)緩沖區(qū)大小B被表示為Bn( = I nXT)。在將傳輸速率Ι η調(diào)節(jié)為了傳輸速率Rn+1時(shí)，速率控制單元115向編碼單元111、緩沖區(qū)控制單元112和RTP發(fā)送單元113通知傳輸速率Rn+1。此時(shí)，緩沖區(qū)控制單元112使用式(1)基于從速率控制單元115通知的傳輸速率 Rn+1和發(fā)送緩沖區(qū)時(shí)間T來(lái)計(jì)算可存儲(chǔ)緩沖區(qū)大小Bn+1( = Rn+1XT)。緩沖區(qū)控制單元112 隨后將發(fā)送緩沖區(qū)11 的可存儲(chǔ)緩沖區(qū)大小&變?yōu)榭纱鎯?chǔ)緩沖區(qū)大小Bn+1。另外，編碼單元111基于從速率控制單元115饋送的傳輸速率R和從緩沖區(qū)控制單元112饋送的剩余緩沖區(qū)大小Iv調(diào)節(jié)編碼參數(shù)，例如RTP分組的數(shù)據(jù)生成速率，并且使用已調(diào)節(jié)的數(shù)據(jù)生成速率來(lái)執(zhí)行編碼處理。以這種方式，防止發(fā)送緩沖區(qū)11 的剩余緩沖區(qū)大小b,由于從編碼單元111饋送的RTP分組而超過(guò)可存儲(chǔ)緩沖區(qū)大小B。只要將緩沖區(qū)數(shù)據(jù)大小bi保持為小于等于發(fā)送緩沖區(qū)11 中的可存儲(chǔ)緩沖區(qū)大小B，就可以保證低延遲數(shù)據(jù)傳輸。同時(shí)，編碼單元111基于從速率控制單元115饋送的傳輸速率R和從緩沖區(qū)控制單元112饋送的剩余緩沖區(qū)大小\來(lái)調(diào)節(jié)數(shù)生成速率。然而，如果編碼單元111能夠響應(yīng)于速率控制單元115對(duì)傳輸速率R的調(diào)節(jié)而迅速調(diào)節(jié)數(shù)據(jù)生成速率，則編碼單元111可以只使用從速率控制單元115饋送的傳輸速率R來(lái)針對(duì)從速率控制單元115饋送的傳輸速率 R調(diào)節(jié)數(shù)據(jù)生成速率。另外，雖然編碼單元111基于從速率控制單元115饋送的傳輸速率R和從緩沖區(qū)控制單元112饋送的剩余緩沖區(qū)大小\來(lái)調(diào)節(jié)數(shù)據(jù)生成速率，但是速率控制單元115可以計(jì)算數(shù)據(jù)生成速率并且可以向編碼單元111通知數(shù)據(jù)生成速率。更具體地，例如，速率控制單元115可以從緩沖區(qū)控制單元112獲得剩余緩沖區(qū)大小札，可以基于獲得的剩余緩沖區(qū)大小\和所計(jì)算出的傳輸速率R來(lái)計(jì)算數(shù)據(jù)生成速率， 并且可以向編碼單元111通知所計(jì)算出的數(shù)據(jù)生成速率。同時(shí)，響應(yīng)于從傳輸速率到傳輸速率Rn+1的調(diào)節(jié)，可存儲(chǔ)緩沖區(qū)大小Bn可以被調(diào)節(jié)為比緩沖區(qū)數(shù)據(jù)大小h小的可存儲(chǔ)緩沖區(qū)大小Bn+1。
10
在此情況下，發(fā)送緩沖區(qū)11 的緩沖區(qū)數(shù)據(jù)大小h超過(guò)可存儲(chǔ)緩沖區(qū)大小Bn+1， 并且因此，低延遲數(shù)據(jù)傳輸不再能夠被執(zhí)行。相應(yīng)地，在第一實(shí)施例中，如果緩沖區(qū)數(shù)據(jù)大小h超過(guò)可存儲(chǔ)緩沖區(qū)大小Bn+1，則發(fā)送緩沖區(qū)11 中的RTP分組被丟棄直到緩沖區(qū)數(shù)據(jù)大小bi變得小于或等于可存儲(chǔ)緩沖區(qū)大小Blri為止。以這種方式，保證低延遲數(shù)據(jù)傳輸。當(dāng)編碼單元111不論傳輸速率R如何都以固定數(shù)據(jù)生成速率執(zhí)行編碼處理時(shí)，當(dāng)編碼單元111不能根據(jù)傳輸速率Rn+1等迅速調(diào)節(jié)數(shù)據(jù)生成速率時(shí)，許多RTP分組會(huì)從編碼單元111被輸出給發(fā)送緩沖區(qū)11加。在此情況下，發(fā)送緩沖區(qū)11 的緩沖區(qū)數(shù)據(jù)大小bi同樣超過(guò)了可存儲(chǔ)緩沖區(qū)大小民+1。然而，如上所述，在第一實(shí)施例中，因?yàn)榘l(fā)送緩沖區(qū)11 中的RTP分組被丟棄直到緩沖區(qū)數(shù)據(jù)大小bi變得小于或等于可存儲(chǔ)緩沖區(qū)大小Bn+1為止，所以也保證了低延遲數(shù)據(jù)傳輸。丟棄發(fā)送緩沖區(qū)11 中的數(shù)據(jù)的示例圖3A和圖;3B圖示出當(dāng)可存儲(chǔ)緩沖區(qū)大小Bn被變?yōu)楸染彌_區(qū)數(shù)據(jù)大小bi小的可存儲(chǔ)緩沖區(qū)大小Bn+1時(shí)丟棄發(fā)送緩沖區(qū)11 中所存儲(chǔ)的RTP分組中的一些的示例。例如，在被從速率控制單元115供應(yīng)了傳輸速率Rn+1( = Rn/2)時(shí)，緩沖區(qū)控制單元 112基于式(1)將圖3A中所示的當(dāng)前可存儲(chǔ)緩沖區(qū)大小Bn變?yōu)閳D;3B中所示的可存儲(chǔ)緩沖區(qū)大小 Bn+1 ( = Rn/2)。在此情況下，發(fā)送緩沖區(qū)11 的緩沖區(qū)數(shù)據(jù)大小h超過(guò)可存儲(chǔ)緩沖區(qū)大小Bn+1。 相應(yīng)地，如圖3B中所示，緩沖區(qū)控制單元112丟棄發(fā)送緩沖區(qū)11 中所存儲(chǔ)的RTP分組中的一些(由陰影部分指示)來(lái)調(diào)節(jié)緩沖區(qū)數(shù)據(jù)大小、以使得緩沖區(qū)數(shù)據(jù)大小、變得小于或等于可存儲(chǔ)緩沖區(qū)大小Bn+1。當(dāng)發(fā)送緩沖區(qū)11 中的RTP分組被丟棄時(shí)，給定RTP分組可以被丟棄或者丟棄優(yōu)先級(jí)可以被附加到RTP分組并且RTP分組可以按照優(yōu)先級(jí)的降序被丟棄。更具體地，例如，關(guān)于包括通過(guò)小波變換獲得的每個(gè)頻率分量的系數(shù)數(shù)據(jù)的RTP 分組，較高的優(yōu)先級(jí)可以被附加到包括較高頻率分量的系數(shù)數(shù)據(jù)的RTP分組并且RTP分組可以被丟棄。將參考圖7A和圖7B來(lái)詳細(xì)描述用于根據(jù)優(yōu)先級(jí)丟棄RTP分組的方法。發(fā)送設(shè)備101的操作的描述接著，將參考圖4的流程圖來(lái)描述由發(fā)送設(shè)備101執(zhí)行的發(fā)送處理(下文中稱(chēng)為第一發(fā)送處理)。在步驟Sl中，編碼單元111以基于從速率控制單元115饋送的傳輸速率R和從緩沖區(qū)控制單元112饋送的剩余緩沖區(qū)大小\計(jì)算出的數(shù)據(jù)生成速率，對(duì)從外面饋送來(lái)的圖像數(shù)據(jù)執(zhí)行編碼處理。在步驟S2中，編碼單元111將通過(guò)編碼處理獲得的編碼數(shù)據(jù)打包(轉(zhuǎn)換)成多個(gè) RTP分組。編碼單元111隨后將通過(guò)打包獲得的多個(gè)RTP分組輸出給緩沖區(qū)控制單元112。在步驟S3中，緩沖區(qū)控制單元112將從編碼單元111饋送的RTP分組供應(yīng)給其發(fā)送緩沖區(qū)11 以供存儲(chǔ)。緩沖區(qū)控制單元112隨后以與從速率控制單元115通知的傳輸速率R相同的輸出速率將RTP分組從發(fā)送緩沖區(qū)11 輸出給RTP發(fā)送單元113。在步驟S4中，緩沖區(qū)控制單元112判斷發(fā)送緩沖區(qū)11 的可存儲(chǔ)緩沖區(qū)大小B是否大于或等于緩沖區(qū)數(shù)據(jù)大小b”如果緩沖區(qū)控制單元112在步驟S4中判定可存儲(chǔ)緩沖區(qū)大小B不是大于或等于緩沖區(qū)數(shù)據(jù)大小即，緩沖區(qū)數(shù)據(jù)大小h大于可存儲(chǔ)緩沖區(qū)大小B，如圖;3B中所示，則處理繼續(xù)進(jìn)行到步驟S5。在步驟S5中，緩沖區(qū)控制單元112丟棄發(fā)送緩沖區(qū)11 中所存儲(chǔ)的分組直到RTP 緩沖區(qū)數(shù)據(jù)大小h變得小于或等于可存儲(chǔ)緩沖區(qū)大小B為止。該處理隨后返回到步驟Sl 并且之后類(lèi)似的處理被執(zhí)行。同時(shí)，在步驟S5中，丟棄優(yōu)先級(jí)可以被附加到RTP分組并且RTP分組可以按照優(yōu)先級(jí)被丟棄。稍后將參考圖7A和圖7B來(lái)詳細(xì)描述按照優(yōu)先級(jí)丟棄RTP分組的處理的細(xì)節(jié)。如果緩沖區(qū)控制單元112在步驟S4中判定可存儲(chǔ)緩沖區(qū)大小B大于或等于緩沖區(qū)數(shù)據(jù)大小bi;如圖3A中所示，則處理進(jìn)行到步驟S6。在步驟S6中，RTP發(fā)送單元113基于RTP分組發(fā)送狀態(tài)等來(lái)判斷從緩沖區(qū)控制單元112饋送的RTP分組是否是可發(fā)送的。在判定分組是可發(fā)送的之后，處理進(jìn)行到步驟S7。在步驟S7中，根據(jù)RTP，RTP發(fā)送單元113以從速率控制單元115饋送的傳輸速率 R將從緩沖區(qū)控制單元112饋送的RTP分組經(jīng)由網(wǎng)絡(luò)103發(fā)送給接收設(shè)備102。在步驟S8中，根據(jù)RTCP，RTCP單元114經(jīng)由網(wǎng)絡(luò)103執(zhí)行與接收設(shè)備102的RTCP 單元124的通信，收集發(fā)送設(shè)備101與接收設(shè)備102之間的數(shù)據(jù)信道的傳輸質(zhì)量信息，并且將傳輸質(zhì)量信息供應(yīng)給速率控制單元115。在步驟S9中，執(zhí)行第一速率控制處理，其中編碼單元111調(diào)節(jié)數(shù)據(jù)生成速率，緩沖區(qū)控制單元112調(diào)節(jié)可存儲(chǔ)緩沖區(qū)大小B并且速率控制單元115調(diào)節(jié)傳輸速率R。稍后將參考圖5的流程圖來(lái)描述該第一速率控制處理的細(xì)節(jié)。在步驟SlO中，控制單元116基于從操作單元117等饋送的操作信號(hào)來(lái)判斷是否結(jié)束第一發(fā)送處理。如果控制單元116判定不結(jié)束第一發(fā)送處理，則處理返回到步驟Sl并且之后類(lèi)似的處理被執(zhí)行。如果控制單元116在步驟SlO中判定結(jié)束第一發(fā)送處理，則第一發(fā)送處理結(jié)束。如上所述，因?yàn)閭鬏斔俾蔙在第一發(fā)送處理中是根據(jù)網(wǎng)絡(luò)103的狀態(tài)來(lái)調(diào)節(jié)的，所以，不論網(wǎng)絡(luò)103的狀態(tài)如何，RTP分組的傳輸延遲或分組丟失都可以被抑制。相應(yīng)地，由 RTP分組的傳輸延遲或分組丟失引起的圖像數(shù)據(jù)的圖像質(zhì)量劣化可以被抑制。另外，可存儲(chǔ)緩沖區(qū)大小B在第一發(fā)送處理中是響應(yīng)于傳輸速率R的調(diào)節(jié)而改變的，使得發(fā)送緩沖區(qū)11 的發(fā)送緩沖區(qū)時(shí)間被維持在某一時(shí)間T。相應(yīng)地，不論網(wǎng)絡(luò)103的狀態(tài)如何，都可以以低延遲發(fā)送圖像數(shù)據(jù)。第一速率控制處理的細(xì)節(jié)接著，將參考圖5的流程圖來(lái)描述圖4的步驟S9中的第一速率控制處理的細(xì)節(jié)。在步驟S31中，速率控制單元115從RTCP單元114獲取傳輸質(zhì)量信息。在步驟 S32中，速率控制單元115基于從RTCP單元114獲得的傳輸質(zhì)量信息來(lái)調(diào)節(jié)傳輸速率R，并且將調(diào)節(jié)后的傳輸速率R供應(yīng)給編碼單元111、緩沖區(qū)控制單元112和RTP發(fā)送單元113。在步驟S33中，緩沖區(qū)控制單元112基于從速率控制單元115饋送的傳輸速率R 和預(yù)定的發(fā)送緩沖區(qū)時(shí)間τ來(lái)計(jì)算和改變其發(fā)送緩沖區(qū)11 的可存儲(chǔ)緩沖區(qū)大小B。緩沖區(qū)控制單元112還向編碼單元111供應(yīng)通過(guò)從計(jì)算出的可存儲(chǔ)緩沖區(qū)大小B中減去發(fā)送緩沖區(qū)11 的緩沖區(qū)數(shù)據(jù)大小h獲得的剩余緩沖區(qū)大小札。在步驟S34中，基于從速率控制單元115饋送的傳輸速率R和從緩沖區(qū)控制單元 112饋送的剩余緩沖區(qū)大小Iv編碼單元111計(jì)算圖4的步驟Sl中執(zhí)行的編碼處理的數(shù)據(jù)生成速率。第一速率控制處理在此結(jié)束并且處理返回到圖4的步驟S9。處理隨后進(jìn)行到步驟 S10。接收設(shè)備102的操作的描述接著，將參考圖6的流程圖來(lái)描述由接收設(shè)備102執(zhí)行的接收處理(下文中稱(chēng)為第一接收處理)。在步驟S51中，RTP接收單元121經(jīng)由網(wǎng)絡(luò)103接收從RTP發(fā)送單元113發(fā)送的 RTP分組，并將接收的RTP分組供應(yīng)給接收緩沖區(qū)122以供存儲(chǔ)。在步驟S52中，解碼單元123從接收緩沖區(qū)122讀出RTP分組并組裝讀出的RTP 分組，從而生成將被解碼的編碼數(shù)據(jù)。在步驟S53中，解碼單元123對(duì)生成的編碼數(shù)據(jù)執(zhí)行與編碼單元111中執(zhí)行的編碼處理對(duì)應(yīng)的解碼處理。解碼單元123將作為結(jié)果的圖像數(shù)據(jù)輸出給監(jiān)視器等(未被示出)。在步驟SM中，RTCP單元IM根據(jù)RTCP經(jīng)由網(wǎng)絡(luò)103執(zhí)行與發(fā)送設(shè)備101的RTCP 單元114的通信。以這種方式，RTCP單元114收集發(fā)送設(shè)備101與接收設(shè)備102之間的數(shù)
據(jù)信道的傳輸質(zhì)量信息。在步驟S55中，控制單元125基于從操作單元1 饋送的操作信號(hào)等來(lái)判斷是否結(jié)束第一接收處理。如果控制單元125判定不結(jié)束第一接收處理，則處理返回到步驟S51。 之后類(lèi)似的處理被執(zhí)行。如果控制單元125在步驟S55中判定結(jié)束第一接收處理，則第一接收處理結(jié)束。如上所述，在第一接收處理中，發(fā)送設(shè)備101用來(lái)調(diào)節(jié)傳輸速率R所使用的傳輸質(zhì)量信息根據(jù)RTCP被供應(yīng)給發(fā)送設(shè)備101。因?yàn)檫@允許發(fā)送設(shè)備101基于從接收設(shè)備102饋送的傳輸質(zhì)量信息來(lái)調(diào)節(jié)傳輸速率R，所以由諸如網(wǎng)絡(luò)103之類(lèi)的數(shù)據(jù)信道的狀態(tài)引起的延遲被使得小以使得延遲是可忽略的。按優(yōu)先級(jí)丟棄RTP分組圖7A和圖7B圖示出其中優(yōu)先級(jí)被附加到RTP分組并且RTP分組按照基于附加的優(yōu)先級(jí)的順序被丟棄的示例情況。在圖7A和圖7B中，RTP分組Ll表示已被編碼的圖像數(shù)據(jù)的已打包高頻分量(的系數(shù)數(shù)據(jù))。另外，RTP分組L3表示已被編碼的圖像數(shù)據(jù)的已打包低頻分量。此外，RTP分組L2表示已被編碼的圖像數(shù)據(jù)的已打包中頻分量(在高頻分量和低頻分量之間)。例如，在被供應(yīng)來(lái)自速率控制單元115的傳輸速率Rn+1( = 2/3XRn)時(shí)，緩沖區(qū)控制單元112基于式(1)將圖7A中所示的當(dāng)前可存儲(chǔ)緩沖區(qū)大小Bn調(diào)節(jié)為可存儲(chǔ)緩沖區(qū)大小 Bn+1( = 2/3 X Bn)。在此情況下，如圖7B中所示，發(fā)送緩沖區(qū)11 的緩沖區(qū)數(shù)據(jù)大小h超過(guò)了已調(diào)節(jié)的可存儲(chǔ)緩沖區(qū)大小Bn+1。相應(yīng)地，緩沖區(qū)控制單元112優(yōu)先丟棄例如發(fā)送緩沖區(qū)11 中所存儲(chǔ)的數(shù)據(jù)中的高頻分量的RTP分組直到緩沖區(qū)數(shù)據(jù)大小h變得小于或等于可存儲(chǔ)緩沖區(qū)大小Bn+1為止。更具體地，例如，緩沖區(qū)控制單元112丟棄高頻分量的RTP分組Li，從而將緩沖區(qū)數(shù)據(jù)大小h調(diào)節(jié)成小于或等于可存儲(chǔ)緩沖區(qū)大小Bn+1，如圖7B中所示。這里，高頻分量的RTP分組優(yōu)先被丟棄，這是因?yàn)椋趫D像數(shù)據(jù)中，低頻分量是用于構(gòu)建粗略圖像(例如，其中該圖像中顯示的人物可以被粗略地識(shí)別為人像的圖像)的元
ο同時(shí)，高頻分量被用來(lái)將圖像質(zhì)量從粗略圖像增至詳細(xì)圖像(例如，其中圖像中顯示的人物可以被細(xì)致地識(shí)別的圖像)。作為RTP分組的優(yōu)先級(jí)，例如，還可以使用被寫(xiě)入 IETF RFC M74的“IPv4和IPv6報(bào)頭中的差分服務(wù)字段(DS字段)的定義”中記載的IP 報(bào)頭中的“Tos (服務(wù)類(lèi)型)，，或“DSCP (差分服務(wù)代碼點(diǎn))，，中的優(yōu)先級(jí)，或者被寫(xiě)入IEEE802. IQ標(biāo)簽中的“Cos (服務(wù)類(lèi))”中的優(yōu)先級(jí)。雖然已經(jīng)在第一實(shí)施例中描述了以低延遲發(fā)送RTP分組的發(fā)送設(shè)備101，但是通過(guò)本公開(kāi)公開(kāi)的技術(shù)適用于例如具有發(fā)送設(shè)備101和接收設(shè)備102的功能的發(fā)送/接收設(shè)備。另外，不具有編碼單元111和解碼單元123的功能的發(fā)送/接收設(shè)備，例如NIC(網(wǎng)絡(luò)接口卡)或諸如無(wú)線(xiàn)LAN(局域網(wǎng))接入點(diǎn)之類(lèi)的無(wú)線(xiàn)中繼設(shè)備，可以被用作使能低延遲數(shù)據(jù)傳輸?shù)陌l(fā)送/接收設(shè)備。接著，作為第二實(shí)施例，將參考圖8至圖12來(lái)描述使能低延遲數(shù)據(jù)傳輸?shù)腘IC。另外，作為第三實(shí)施例，將參考圖13來(lái)描述使能低延遲數(shù)據(jù)傳輸?shù)臒o(wú)線(xiàn)中繼設(shè)備。2.第二實(shí)施例圖8圖示出被插入并被連接到個(gè)人計(jì)算機(jī)141 (下文中稱(chēng)為PC 141)的NIC 142 的示例。PC 141主要包括編碼單元151和解碼單元152。PC 141經(jīng)由NIC 142發(fā)送和接收分組。編碼單元151執(zhí)行與圖1的編碼單元111的處理類(lèi)似的處理。更具體地，編碼單元151基于從NIC 142饋送的傳輸速率R和剩余緩沖區(qū)大小b,來(lái)計(jì)算數(shù)據(jù)生成速率。編碼單元151以計(jì)算出的數(shù)據(jù)生成速率來(lái)對(duì)從外部輸入的圖像數(shù)據(jù)(視頻輸入) 執(zhí)行編碼處理，并且打包作為結(jié)果的編碼數(shù)據(jù)。編碼單元151將通過(guò)打包獲得的分組輸出給 NIC 142。解碼單元152執(zhí)行與圖1的解碼單元123的處理類(lèi)似的處理。更具體地，解碼單元152組裝從NIC 142饋送的分組來(lái)生成編碼數(shù)據(jù)，對(duì)所生成的編碼數(shù)據(jù)執(zhí)行解碼處理，并且將作為結(jié)果的圖像數(shù)據(jù)輸出給監(jiān)視器等(未被示出)。NIC 142包括接收單元161、接收緩沖區(qū)162、速率控制單元163、包括發(fā)送緩沖區(qū) 164a的緩沖區(qū)控制單元164、調(diào)制單元165和發(fā)送單元166。接收單元161接收從外部發(fā)送的分組并將接收的分組供應(yīng)給接收緩沖區(qū)162以供存儲(chǔ)。接收單元161還基于分組接收狀態(tài)等來(lái)生成傳輸質(zhì)量信息并將傳輸質(zhì)量信息供應(yīng)給速率控制單元163。接收緩沖區(qū)162暫時(shí)存儲(chǔ)從接收單元161饋送的分組并將分組輸出給PC 141的解碼單元152。速率控制單元163基于從接收單元161和發(fā)送單元166饋送的傳輸質(zhì)量信息來(lái)調(diào)節(jié)OTC 142的調(diào)制方法和傳輸速率R。速率控制單元163將調(diào)節(jié)后的傳輸速率R供應(yīng)給緩沖區(qū)控制單元164和發(fā)送單元166。速率控制單元163還將已調(diào)節(jié)的調(diào)制方法供應(yīng)給調(diào)制單元165。緩沖區(qū)控制單元164執(zhí)行與圖1的緩沖區(qū)控制單元112的處理類(lèi)似的處理。更具體地，如圖9中所示，緩沖區(qū)控制單元164使用式(1)基于從速率控制單元163饋送的傳輸速率R和預(yù)定的發(fā)送緩沖區(qū)時(shí)間T來(lái)改變可存儲(chǔ)緩沖區(qū)大小B。緩沖區(qū)控制單元164還生成通過(guò)從可存儲(chǔ)緩沖區(qū)大小B減去發(fā)送緩沖區(qū)16 的緩沖區(qū)數(shù)據(jù)大小h獲得的剩余緩沖區(qū)大小Iv緩沖區(qū)控制單元164隨后將生成的剩余緩沖區(qū)大小\和從速率控制單元163饋送的傳輸速率R供應(yīng)給編碼單元151，如圖9中所示。此外，如圖9中所示，緩沖區(qū)控制單元164將從編碼單元151饋送的分組供應(yīng)給其發(fā)送緩沖區(qū)16 以供存儲(chǔ)。緩沖區(qū)控制單元164執(zhí)行平滑化發(fā)送，其中分組被以從速率控制單元163饋送的傳輸速率R從發(fā)送緩沖區(qū)16 發(fā)送(輸出)給調(diào)制單元165。發(fā)送緩沖區(qū)16 執(zhí)行與圖1的發(fā)送緩沖區(qū)11 的處理類(lèi)似的處理。更具體地， 例如，發(fā)送緩沖區(qū)16 根據(jù)緩沖區(qū)控制單元164的控制來(lái)執(zhí)行平滑化發(fā)送。即，發(fā)送緩沖區(qū)16 充當(dāng)執(zhí)行平滑以使得輸出分組的輸出速率與從速率控制單元163饋送的傳輸速率 R相匹配的平滑化緩沖區(qū)。發(fā)送緩沖區(qū)16 利用被緩沖區(qū)控制單元164調(diào)節(jié)后的可存儲(chǔ)緩沖區(qū)大小B來(lái)存儲(chǔ)從編碼單元151饋送的分組并基于FIFO輸出分組。假定發(fā)送緩沖區(qū)16 具有充分大的存儲(chǔ)容量，該存儲(chǔ)容量大于或等于可被調(diào)節(jié)的最大可存儲(chǔ)緩沖區(qū)大小B。調(diào)制單元165使用從速率控制單元163通知的調(diào)制方法來(lái)對(duì)從緩沖區(qū)控制單元 164饋送的分組進(jìn)行調(diào)制并將已調(diào)制的分組供應(yīng)給發(fā)送單元166。發(fā)送單元166以從速率控制單元163通知的傳輸速率R來(lái)發(fā)送從調(diào)制單元165饋送的分組。發(fā)送單元166還基于分組發(fā)送狀態(tài)等來(lái)生成傳輸質(zhì)量信息并將傳輸質(zhì)量信息供應(yīng)給速率控制單元163。NIC 142的操作的描述接著，將參考圖10的流程圖來(lái)描述由NIC 142執(zhí)行的發(fā)送處理(下文中，稱(chēng)為第二發(fā)送處理)。在步驟S71中，緩沖區(qū)控制單元164從編碼單元151獲取分組。在步驟S72中，緩沖區(qū)控制單元164將從編碼單元151饋送的分組供應(yīng)給其發(fā)送緩沖區(qū)16 以供存儲(chǔ)。緩沖區(qū)控制單元164以與從速率控制單元163通知的傳輸速率R 相同的輸出速率將來(lái)自發(fā)送緩沖區(qū)16 的分組輸出給調(diào)制單元165。在步驟S73中，緩沖區(qū)控制單元164判斷發(fā)送緩沖區(qū)16 的可存儲(chǔ)緩沖區(qū)大小B 是否大于或等于發(fā)送緩沖區(qū)16 的緩沖區(qū)數(shù)據(jù)大小Iv如果緩沖區(qū)控制單元164在步驟S73中判定可存儲(chǔ)緩沖區(qū)大小B不是大于或等于緩沖區(qū)數(shù)據(jù)大小bi;則處理進(jìn)行到步驟S74。在步驟S74中，緩沖區(qū)控制單元164丟棄發(fā)送緩沖區(qū)16 中所存儲(chǔ)的分組以使得緩沖區(qū)數(shù)據(jù)大小h變得小于或等于可存儲(chǔ)緩沖區(qū)大小B。處理隨后返回到步驟S71并且之后類(lèi)似的處理被執(zhí)行。在步驟S74中，如圖7A和圖7B中所示，丟棄優(yōu)先級(jí)可以被附加到分組并且丟棄分組的順序可以根據(jù)優(yōu)先級(jí)來(lái)確定。如果在步驟S73中判定可存儲(chǔ)緩沖區(qū)大小B大于或等于緩沖區(qū)數(shù)據(jù)大小b”則處理進(jìn)行到步驟S75。在步驟S75中，調(diào)制單元165使用從速率控制單元163通知的調(diào)制方法來(lái)調(diào)制從緩沖區(qū)控制單元164饋送的分組并將已調(diào)制的分組供應(yīng)給發(fā)送單元166。在步驟S76中，發(fā)送單元166以從速率控制單元163通知的傳輸速率R來(lái)發(fā)送從調(diào)制單元165饋送的分組。在步驟S77中，執(zhí)行第二速率控制處理，其中，速率控制單元163調(diào)節(jié)傳輸速率R 并且緩沖區(qū)控制單元164調(diào)節(jié)可存儲(chǔ)緩沖區(qū)大小B。稍后將參考圖11的流程圖來(lái)描述第二速率控制處理的細(xì)節(jié)。在步驟S78中，NIC 142的控制單元(未被示出)基于從PC 141等饋送的控制信號(hào)來(lái)判斷是否結(jié)束第二發(fā)送處理。如果控制單元判定不結(jié)束第二發(fā)送處理，則處理返回到步驟S71并且之后類(lèi)似的處理被執(zhí)行。如果NIC 142控制單元(未被示出)在步驟S78中判定結(jié)束第二發(fā)送處理，則第二發(fā)送處理結(jié)束。如上所述，以為內(nèi)傳輸速率R在第二發(fā)送處理中是根據(jù)用于發(fā)送和接收分組的數(shù)據(jù)信道的狀態(tài)來(lái)調(diào)節(jié)的，所以，不論數(shù)據(jù)信道的狀態(tài)如何，分組的傳輸延遲或分組丟失都可以被抑制。相應(yīng)地，由分組的傳輸延遲和分組丟失引起的圖像數(shù)據(jù)的圖像質(zhì)量劣化可以被抑制。另外，可存儲(chǔ)緩沖區(qū)大小B在第二發(fā)送處理中是響應(yīng)于傳輸速率R的調(diào)節(jié)而改變的，使得發(fā)送緩沖區(qū)16 的發(fā)送緩沖區(qū)時(shí)間被維持在某一時(shí)間T。相應(yīng)地，不論數(shù)據(jù)信道的狀態(tài)如何，都可以以低延遲發(fā)送圖像數(shù)據(jù)。接著，將參考圖11的流程圖來(lái)描述圖10的步驟S77中的第二速率控制處理的細(xì)節(jié)。在步驟S91中，速率控制單元163從接收單元161和發(fā)送單元166獲取傳輸質(zhì)量信息。接收單元161基于分組接收狀態(tài)等來(lái)生成傳輸質(zhì)量信息并將傳輸質(zhì)量信息供應(yīng)給速率控制單元163。發(fā)送單元166基于分組發(fā)送狀態(tài)等來(lái)生成傳輸質(zhì)量信息，并將傳輸質(zhì)量信息供應(yīng)給速率控制單元163。在步驟S92中，速率控制單元163基于從接收單元161和發(fā)送單元166饋送的傳輸質(zhì)量信息來(lái)調(diào)節(jié)傳輸速率R和調(diào)制方法。速率控制單元163隨后將調(diào)節(jié)后的傳輸速率R 供應(yīng)給緩沖區(qū)控制單元164和發(fā)送單元166并將已調(diào)節(jié)的調(diào)制方法供應(yīng)給調(diào)制單元165。在步驟S93中，緩沖區(qū)控制單元164使用式(1)基于從速率控制單元163饋送的傳輸速率R和預(yù)定的發(fā)送緩沖區(qū)時(shí)間T來(lái)計(jì)算和調(diào)節(jié)發(fā)送緩沖區(qū)16 的可存儲(chǔ)緩沖區(qū)大小B。在步驟S94中，緩沖區(qū)控制單元164向編碼單元151通知通過(guò)從計(jì)算出的可存儲(chǔ)緩沖區(qū)大小B減去發(fā)送緩沖區(qū)16 中存儲(chǔ)的數(shù)據(jù)的緩沖區(qū)數(shù)據(jù)大小h獲得的剩余緩沖區(qū)大小Iv緩沖區(qū)控制單元164還向編碼單元151通知從速率控制單元163饋送的傳輸速率 R0以這種方式，編碼單元151基于從緩沖區(qū)控制單元164通知的傳輸速率R和剩余緩沖區(qū)大小\來(lái)計(jì)算數(shù)據(jù)生成速率并以計(jì)算出的數(shù)據(jù)生成速率來(lái)執(zhí)行編碼處理。第二速率控制處理在此結(jié)束并且處理返回圖10的步驟S77。處理隨后進(jìn)行到步驟 S78。接著，將參考圖12的流程圖來(lái)描述由NIC 142執(zhí)行的接收處理(下文中稱(chēng)為第二接收處理)。在步驟Slll中，接收單元161接收從外部發(fā)送的分組。在步驟S112中，接收單元 161將接收的分組供應(yīng)給接收緩沖區(qū)162以供存儲(chǔ)。在步驟S113中，接收緩沖區(qū)162暫時(shí)存儲(chǔ)從接收單元161饋送的分組，并將分組輸出給PC 141的解碼單元152。在步驟Sl 14中，NIC 142的控制單元(未被示出)基于從PC 141等饋送的控制信號(hào)來(lái)判斷是否結(jié)束第二接收處理。如果控制單元判定不結(jié)束第二接收處理，則處理返回到步驟Slll并且之后類(lèi)似的處理被執(zhí)行。如果NIC 142的控制單元(未被示出)在步驟S114中判定結(jié)束第二接收處理，則第二接收處理結(jié)束。3.第三實(shí)施例圖13圖示出使能低延遲數(shù)據(jù)傳輸?shù)臒o(wú)線(xiàn)中繼設(shè)備的示例。該無(wú)線(xiàn)中繼設(shè)備181例如是中繼在網(wǎng)絡(luò)和PC之間發(fā)送和接收的圖像數(shù)據(jù)等的無(wú)線(xiàn)LAN接入點(diǎn)。無(wú)線(xiàn)中繼設(shè)備181包括目的地分析單元191、常規(guī)傳輸裝置19 至19 和低延遲傳輸裝置193。目的地分析單元191執(zhí)行對(duì)被寫(xiě)入從常規(guī)傳輸裝置19 至19 和低延遲傳輸裝置193的每一個(gè)饋送的分組中所包括的報(bào)頭中的目的地地址(例如MAC地址)的分析。目的地分析單元191將通過(guò)目的地地址分析獲得的分組的目的地(指示信息)返回給分組的源(常規(guī)傳輸裝置19 至19 和低延遲傳輸裝置193的任何一個(gè))。常規(guī)傳輸裝置19 接收分組并將分組供應(yīng)給目的地分析單元191。常規(guī)傳輸裝置 192!還將接收的分組發(fā)送給從目的地分析單元191饋送的目的地。因?yàn)槌Ｒ?guī)傳輸裝置1922 至19 被以與常規(guī)傳輸裝置19 相同的方式配置，因此對(duì)它們的描述被省略。低延遲傳輸裝置193接收分組并將分組供應(yīng)給目的地分析單元191。低延遲傳輸裝置193還將接收的分組發(fā)送給從目的地分析單元191饋送的目的地。因此低延遲傳輸裝置193被以與圖8的NIC 142類(lèi)似的方式配置，所以低延遲傳輸裝置193能夠以低延遲向從目的地分析單元191饋送的目的地發(fā)送分組。4.第四實(shí)施例發(fā)送/接收系統(tǒng)200的配置示例圖14圖示出根據(jù)第四實(shí)施例的發(fā)送/接收系統(tǒng)200的配置示例。因?yàn)樵摪l(fā)送/接收系統(tǒng)200中的被以與根據(jù)第一實(shí)施例的發(fā)送/接收系統(tǒng)100相同的方式配置的部分被指派了相同的標(biāo)號(hào)，所以將適當(dāng)?shù)厥÷詫?duì)它們的描述。更具體地，發(fā)送/接收系統(tǒng)200被以與根據(jù)第一實(shí)施例的發(fā)送/接收系統(tǒng)100相同的方式配置，不同在于，設(shè)置了發(fā)送設(shè)備201來(lái)替代圖1中的發(fā)送設(shè)備101。發(fā)送設(shè)備201被以與圖1的發(fā)送設(shè)備101相同的方式配置，不同在于，設(shè)置了速率控制單元212和包括發(fā)送緩沖區(qū)211a的緩沖區(qū)控制單元211來(lái)替代速率控制單元115和緩沖區(qū)控制單元112。這里，如圖15A中所示，在該發(fā)送/接收系統(tǒng)200中，數(shù)據(jù)(RTP分組)被存儲(chǔ)在發(fā)送緩沖區(qū)211a中，發(fā)送緩沖區(qū)211a具有小于或等于可添加的可添加緩沖區(qū)大小Bsn，可添加緩沖區(qū)大小Bsn小于發(fā)送緩沖區(qū)211a的可存儲(chǔ)緩沖區(qū)大小Bn。響應(yīng)于將傳輸速率調(diào)節(jié)為傳輸速率Rn+1，可存儲(chǔ)緩沖區(qū)大小Bn被變?yōu)榇笥诨虻扔诳商砑泳彌_區(qū)大小Bsn的可存儲(chǔ)緩沖區(qū)大小Bn+1，即大于或等于緩沖區(qū)數(shù)據(jù)大小h的可存儲(chǔ)緩沖區(qū)大小Bn+1，如圖15B中所示。在第四實(shí)施例中，通過(guò)以這種方式防止可存儲(chǔ)緩沖區(qū)大小Bn+1變得小于緩沖區(qū)數(shù)據(jù)大小h來(lái)在不丟棄發(fā)送緩沖區(qū)211a中存儲(chǔ)的數(shù)據(jù)的情況下實(shí)現(xiàn)低延遲數(shù)據(jù)傳輸。S卩，第四實(shí)施例與第一實(shí)施例的大不同在于可以防止丟棄發(fā)送緩沖區(qū)211a中存儲(chǔ)的數(shù)據(jù)。在第四實(shí)施例中，某些限制被應(yīng)用于傳輸速率R的調(diào)節(jié)以便使得可存儲(chǔ)緩沖區(qū)大小Bn+1大于或等于可添加緩沖區(qū)大小Bsn。在圖14中，緩沖區(qū)控制單元211在沒(méi)有超過(guò)可添加緩沖區(qū)大小Bs而不是可存儲(chǔ)緩沖區(qū)大小B的范圍內(nèi)，將從編碼單元111饋送的RTP分組存儲(chǔ)在發(fā)送緩沖區(qū)211a中，并基于FIFO輸出RTP分組。緩沖區(qū)控制單元211還基于從速率控制單元212饋送的傳輸速率R來(lái)改變可存儲(chǔ)緩沖區(qū)大小B和可添加緩沖區(qū)大小Bs。緩沖區(qū)控制單元211改變可存儲(chǔ)緩沖區(qū)大小B和可添加緩沖區(qū)大小Bs以使得RTP分組可以在從RTP分組被存儲(chǔ)在發(fā)送緩沖區(qū)211a中開(kāi)始的發(fā)送緩沖區(qū)時(shí)間T內(nèi)被輸出，而不丟棄發(fā)送緩沖區(qū)211a中所存儲(chǔ)的RTP分組。發(fā)送緩沖區(qū)211a在比可存儲(chǔ)緩沖區(qū)大小B小的可添加緩沖區(qū)大小Bs的范圍內(nèi)存儲(chǔ)從編碼單元111饋送的RTP分組，并基于FIFO將RTP分組輸出給RTP發(fā)送單元113。速率控制單元212在某一限制下基于從RTCP單元114饋送的傳輸質(zhì)量信息來(lái)調(diào)節(jié)傳輸速率R，并將傳輸速率R通知編碼單元111、RTP發(fā)送單元113和緩沖區(qū)控制單元211。這里，作為用于改變傳輸速率R的限制，速率控制單元212例如應(yīng)用這樣的限制 將傳輸速率&改變?yōu)閭鬏斔俾蔙n+1的速率改變比L( = Rn+1/Rn)大于或等于預(yù)定的下限^⑷另外，作為用于調(diào)節(jié)(改變)傳輸速率R的限制，例如，速率控制單元212在從傳輸速率R被變低時(shí)起的速率改變最小間隔Ti (秒)期間限制(禁止)傳輸速率R的改變。緩沖區(qū)控制單元211和速率控制單元212的細(xì)節(jié)圖16圖示出由緩沖區(qū)控制單元211和速率控制單元212執(zhí)行的處理的細(xì)節(jié)的示例。緩沖區(qū)控制單元211使用上述式(1)基于從速率控制單元212饋送的傳輸速率R 和預(yù)定的發(fā)送緩沖區(qū)時(shí)間T來(lái)改變可存儲(chǔ)緩沖區(qū)大小B。緩沖區(qū)控制單元211還使用下式( 根據(jù)發(fā)送緩沖區(qū)閾值時(shí)間Ts和從速率控制單元212饋送的傳輸速率R來(lái)改變可添加緩沖區(qū)大小Bs，以使得發(fā)送緩沖區(qū)閾值時(shí)間維持在某一預(yù)定時(shí)間Ts(下文中也稱(chēng)為發(fā)送緩沖區(qū)閾值時(shí)間Ts)。
18
Bs (比特)=R (bps) X Ts (秒)(2)這里，發(fā)送緩沖區(qū)閾值時(shí)間Ts表示在滿(mǎn)足小于或等于可添加緩沖區(qū)大小Bs的范圍內(nèi)從數(shù)據(jù)被存儲(chǔ)在發(fā)送緩沖區(qū)211a中到數(shù)據(jù)被輸出的最大時(shí)間。另外，假定發(fā)送緩沖區(qū)閾值時(shí)間Ts是小于發(fā)送緩沖區(qū)時(shí)間T的值。速率控制單元212在某一限制下基于從RTCP單元114饋送的傳輸質(zhì)量信息來(lái)調(diào)節(jié)傳輸速率R。更具體地，例如，速率控制單元212確定在滿(mǎn)足如下改變條件的范圍內(nèi)的傳輸速率Rn+1，該改變條件是將傳輸速率R改變(調(diào)節(jié))為傳輸速率Rlri的速率改變比L( = Rn+1/ Rn)變得大于或等于下限Lmin。這里，下限Lmin是使用式(3)基于發(fā)送緩沖區(qū)時(shí)間T和發(fā)送緩沖區(qū)閾值時(shí)間Ts確定的。TsSTXLmin(3)更具體地，例如，速率控制單元212以與圖1的速率控制單元115相同的方式基于從RTCP單元114饋送傳輸質(zhì)量信息來(lái)加算傳輸速率民。如果傳輸速率I 。滿(mǎn)足前述改變條件，則如下式(4)所示，速率控制單元212將傳輸速率I 。確定為已改變的傳輸速率Rn+1。如果RcAn 彡 Lmin, Rn+1 = Rc(4)在此情況下，速率改變比L大于或等于下限Lmin，因此滿(mǎn)足改變條件。如果不滿(mǎn)足前述改變條件，則如下式(5)所示，速率控制單元212修改傳輸速率R。 以使得滿(mǎn)足條件并確定已改變的傳輸速率Rn+1。如果RcAn < Lmin, Rn+1 = LminXRn(5)在此情況下，速率改變比L等于下限Lmin，因此滿(mǎn)足改變條件。當(dāng)傳輸速率R被調(diào)節(jié)得更低時(shí)，緩沖區(qū)數(shù)據(jù)大小h會(huì)超過(guò)可添加緩沖區(qū)大小Bsn+1， 如圖15B中所示。相應(yīng)地，在此情況下，速率控制單元212將傳輸速率R限制為在緩沖區(qū)數(shù)據(jù)大小h變得小于或等于可添加緩沖區(qū)大小Bsn+1之前不被調(diào)節(jié)。更具體地，例如，當(dāng)傳輸速率R被調(diào)節(jié)得更低時(shí)，速率控制單元212限制(禁止) 傳輸速率R的調(diào)節(jié)直到從傳輸速率R的調(diào)節(jié)起過(guò)去了由下式(6)指示的速率改變最小間隔 Ti(秒)為止。Ti = T-Ts(6)這里，速率改變最小間隔Ti表示從傳輸速率I^n被變?yōu)閭鬏斔俾蔙n+1到緩沖區(qū)數(shù)據(jù)大小h變得小于等于可添加緩沖區(qū)大小Bsn+1的最大時(shí)間。當(dāng)傳輸速率R被調(diào)節(jié)得更高時(shí)，緩沖區(qū)數(shù)據(jù)大小h不超過(guò)可添加緩沖區(qū)大小Bsn+1。 相應(yīng)地，速率控制單元212不必限制傳輸速率R的調(diào)節(jié)。在第一實(shí)施例中，編碼單元111調(diào)節(jié)編碼參數(shù)來(lái)防止緩沖區(qū)數(shù)據(jù)大小h變得大于可存儲(chǔ)緩沖區(qū)大小B。關(guān)于這一點(diǎn)，第四實(shí)施例不同在于編碼單元111調(diào)節(jié)編碼參數(shù)來(lái)防止緩沖區(qū)數(shù)據(jù)大小h變得大于可添加緩沖區(qū)大小Bs。另外，如以上圖15B中所示，基于從緩沖區(qū)控制單元211等饋送的剩余緩沖區(qū)大小Iv在緩沖區(qū)數(shù)據(jù)大小h變得小于或等于可添加緩沖區(qū)大小Bs之前，編碼單元111不將RTP分組輸出給緩沖區(qū)控制單元211 (發(fā)送緩沖區(qū)211a)。發(fā)送設(shè)備201的操作的描述接著，將參考圖17的流程圖來(lái)描述由發(fā)送設(shè)備201執(zhí)行的發(fā)送處理(下文中稱(chēng)為第三發(fā)送處理)。在步驟S131中，速率控制單元212根據(jù)用戶(hù)操作等來(lái)設(shè)置發(fā)送緩沖區(qū)時(shí)間T和發(fā)送緩沖區(qū)閾值時(shí)間Ts。速率控制單元212還使用式C3)基于所設(shè)置的發(fā)送緩沖區(qū)時(shí)間T和所設(shè)置的發(fā)送緩沖區(qū)閾值時(shí)間Ts來(lái)設(shè)置下限Lmin。此外，速率控制單元212還使用式(6)基于所設(shè)置的發(fā)送緩沖區(qū)時(shí)間T和所設(shè)置的發(fā)送緩沖區(qū)閾值時(shí)間Ts來(lái)設(shè)置速率改變最小間隔Ti。在步驟S132中，編碼單元111以根據(jù)從速率控制單元212饋送的傳輸速率R計(jì)算出的數(shù)據(jù)生成速率來(lái)對(duì)從外部饋送來(lái)的圖像數(shù)據(jù)執(zhí)行編碼處理。在步驟S133中，編碼單元111例如將通過(guò)編碼處理獲得的編碼數(shù)據(jù)打包(轉(zhuǎn)換) 成多個(gè)RTP分組，并將這多個(gè)作為結(jié)果的RTP分組輸出給緩沖區(qū)控制單元211。在步驟S134中，緩沖區(qū)控制單元211將從編碼單元111饋送的RTP分組供應(yīng)給其發(fā)送緩沖區(qū)211a以供存儲(chǔ)。緩沖區(qū)控制單元211以與從速率控制單元212通知的傳輸速率R相同的輸出速率基于FIFO將RTP分組從發(fā)送緩沖區(qū)211a輸出給RTP發(fā)送單元113。在步驟S135中，RTP發(fā)送單元113基于RTP分組發(fā)送狀態(tài)等來(lái)判斷從緩沖區(qū)控制單元211饋送的RTP分組是否是可發(fā)送的。在判定分組是可發(fā)送的之后，處理進(jìn)行到步驟 S136。在步驟S136中，根據(jù)RTP，RTP發(fā)送單元113以由速率控制單元212通知的傳輸速率R經(jīng)由網(wǎng)絡(luò)103將從緩沖區(qū)控制單元211饋送的RTP分組發(fā)送給接收設(shè)備102。在步驟S137，RTCP單元114根據(jù)RTCP經(jīng)由網(wǎng)絡(luò)103執(zhí)行與接收設(shè)備102的RTCP 單元1 的通信，收集發(fā)送設(shè)備201與接收設(shè)備102之間的數(shù)據(jù)信道中的傳輸質(zhì)量信息，并將傳輸質(zhì)量信息供應(yīng)給速率控制單元212。在步驟S138，速率控制單元212判斷是否已經(jīng)從傳輸速率R的最后一次改變起過(guò)去了速率改變最小間隔Ti或更長(zhǎng)。如果判定已經(jīng)過(guò)去了速率改變最小間隔Ti或更長(zhǎng)，則處理返回到步驟S135并且之后類(lèi)似的處理被執(zhí)行。如果速率控制單元212在步驟S138中判定從從傳輸速率R的最后一次改變起還沒(méi)有過(guò)去速率改變最小間隔Ti或更長(zhǎng)，則處理進(jìn)行到步驟S139。當(dāng)在傳輸速率R的最后一次改變中傳輸速率被設(shè)置得更高時(shí)，不必等待速率改變最小間隔1\。相應(yīng)地，可以跳過(guò)步驟S138的處理。在步驟S139中，執(zhí)行第三速率控制處理，其中，編碼單元111調(diào)節(jié)數(shù)據(jù)生成速率， 緩沖區(qū)控制單元211調(diào)節(jié)可存儲(chǔ)緩沖區(qū)大小B和可添加緩沖區(qū)大小Bs，并且速率控制單元 212調(diào)節(jié)傳輸速率R。將參考圖18的流程圖來(lái)米啊搜狐第三速率控制處理的細(xì)節(jié)。在步驟S140中，控制單元116基于從操作單元117等饋送的操作信號(hào)來(lái)判斷是否結(jié)束第三發(fā)送處理。如果控制單元116判定不結(jié)束第三發(fā)送處理，則處理返回到步驟S132 并且之后類(lèi)似的處理被執(zhí)行。如果控制單元116在步驟S140中基于從操作單元117等饋送的操作信號(hào)判定結(jié)束第三發(fā)送處理，則第三發(fā)送處理結(jié)束。如上所述，在第三發(fā)送處理中，即使傳輸速率R在發(fā)送設(shè)備201中被變得更低，也可以在不丟棄發(fā)送緩沖區(qū)211a中所存儲(chǔ)的數(shù)據(jù)的情況下執(zhí)行低延遲數(shù)據(jù)傳輸。相應(yīng)地，可以防止如下情形因?yàn)閬G棄發(fā)送緩沖區(qū)211a中所存儲(chǔ)的數(shù)據(jù)，由發(fā)送設(shè)備201發(fā)送的圖像數(shù)據(jù)的質(zhì)量因?yàn)橐欢康膩G棄數(shù)據(jù)而被劣化。因此，例如，接收設(shè)備102可以以低延遲接收來(lái)自發(fā)送設(shè)備201的RTP分組并且可以再現(xiàn)通過(guò)組裝接收的RTP分組并對(duì)其解碼獲得的相對(duì)較高質(zhì)量的圖像數(shù)據(jù)。第三速率控制處理的細(xì)節(jié)接著，將參考圖18的流程圖來(lái)描述圖17的步驟S139中的第三速率控制處理的細(xì)節(jié)。在步驟S161中，速率控制單元212從RTCP單元114獲取傳輸質(zhì)量信息。RTCP單元114根據(jù)RTCP經(jīng)由網(wǎng)絡(luò)103執(zhí)行與接收設(shè)備102的RTCP單元124的通信，收集發(fā)送設(shè)備201與接收設(shè)備102之間的數(shù)據(jù)信道的傳輸質(zhì)量信息，并將傳輸質(zhì)量信息供應(yīng)給速率控制單元212。在步驟S162中，速率控制單元212基于從RTCP單元114饋送的傳輸質(zhì)量信息來(lái)計(jì)算傳輸速率R。。在步驟S163中，速率控制單元212基于原傳輸速率和計(jì)算出的傳輸速率I 。來(lái)判斷是否滿(mǎn)足速率改變比L( = R。/Rn)是否大于或等于下限Lmin的條件。如果速率控制單元212在步驟S163中判定速率改變比L大于或等于下限Lmin，則處理進(jìn)行到步驟S164。速率控制單元212將已改變的傳輸速率Rn+1設(shè)置成傳輸速率R。，并且向編碼單元111、RTP發(fā)送單元113和緩沖區(qū)控制單元211供應(yīng)已改變的傳輸率。如果在步驟S163中，速率改變比L不是大于或等于下限Lmin，則處理進(jìn)行到步驟 S165。速率控制單元212將傳輸速率Rn+1設(shè)置成傳輸速率LminXI n，并向編碼單元111、RTP 發(fā)送單元113和緩沖區(qū)控制單元211供應(yīng)此傳輸速率。在步驟S166中，緩沖區(qū)控制單元211使用式(1)基于從速率控制單元212饋送的傳輸速率R和發(fā)送緩沖區(qū)時(shí)間T來(lái)計(jì)算和改變發(fā)送緩沖區(qū)211a的可存儲(chǔ)緩沖區(qū)大小B。緩沖區(qū)控制單元211使用式( 基于從速率控制單元212饋送的傳輸速率R和發(fā)送緩沖區(qū)閾值時(shí)間Ts來(lái)計(jì)算和改變可添加緩沖區(qū)大小Bs。此外，緩沖區(qū)控制單元211向編碼單元111供應(yīng)通過(guò)從計(jì)算出的可存儲(chǔ)緩沖區(qū)大小B減去發(fā)送緩沖區(qū)211a中所存儲(chǔ)的數(shù)據(jù)的緩沖區(qū)數(shù)據(jù)大小h獲得的剩余緩沖區(qū)大小札。在步驟S167中，編碼單元111基于從速率控制單元212饋送的傳輸速率R和從緩沖區(qū)控制單元211饋送的剩余緩沖區(qū)大小&來(lái)計(jì)算數(shù)據(jù)生成速率。第三速率控制處理在此結(jié)束并且處理返回到圖17的步驟S139。處理隨后進(jìn)行到步驟S140。前述處理序列可以由硬件執(zhí)行或可以由軟件執(zhí)行。當(dāng)處理序列由軟件執(zhí)行時(shí)，構(gòu)成軟件的程序被從程序記錄介質(zhì)安裝到嵌入在專(zhuān)用硬件中的計(jì)算機(jī)或者例如能夠通過(guò)安裝各種程序來(lái)執(zhí)行各種功能的通用計(jì)算機(jī)中。計(jì)算機(jī)配置示例圖19是圖示出利用程序來(lái)執(zhí)行前述處理序列的計(jì)算機(jī)的硬件配置的示例的框圖。CPU(中央處理單元)301根據(jù)R0M(只讀存儲(chǔ)器)302或存儲(chǔ)單元308中所存儲(chǔ)的程序來(lái)執(zhí)行各種處理。RAM(隨機(jī)存取存儲(chǔ)器)303適當(dāng)?shù)卮鎯?chǔ)由CPU 301執(zhí)行的程序、數(shù)據(jù)等。CPU 301、ROM 302和RAM 303經(jīng)由總線(xiàn)304相互連接。
CPU 301還經(jīng)由總線(xiàn)304連接至輸入/輸出接口 305。輸入/輸出接口 305被連接至包括鍵盤(pán)、鼠標(biāo)和麥克風(fēng)的輸入單元306并被連接至包括顯示器和揚(yáng)聲器的輸出單元 307。CPU 301根據(jù)從輸入單元306輸入的指令來(lái)執(zhí)行各種處理。CPU 301將處理結(jié)果輸出給輸出單元307。被連接至輸入/輸出接口 305的存儲(chǔ)單元308包括例如硬盤(pán)并且存儲(chǔ)由CPU 301 執(zhí)行的程序以及各種數(shù)據(jù)。通信單元309經(jīng)由諸如因特網(wǎng)或局域網(wǎng)之類(lèi)的網(wǎng)絡(luò)與外部設(shè)備
ififn。另外，程序可以經(jīng)由通信單元309被獲得并被存儲(chǔ)在存儲(chǔ)單元308中。當(dāng)諸如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器之類(lèi)的可移除介質(zhì)311被安裝時(shí)，連接至輸入/輸出接口 305的驅(qū)動(dòng)器310驅(qū)動(dòng)可移除介質(zhì)311并獲取其上所記錄的程序和數(shù)據(jù)。 獲得的程序和數(shù)據(jù)必要時(shí)被傳送給或存儲(chǔ)在存儲(chǔ)單元308。如圖19中所思，記錄(存儲(chǔ))了將被安裝到計(jì)算機(jī)中的程序并將被計(jì)算機(jī)代入可執(zhí)行狀態(tài)的記錄介質(zhì)包括可移除介質(zhì)311，暫時(shí)或永久存儲(chǔ)程序的ROM 302以及構(gòu)成存儲(chǔ)單元308的硬盤(pán)，可移除介質(zhì)311是封裝介質(zhì)，諸如磁盤(pán)(包括軟盤(pán))、光盤(pán)(包括 ⑶-ROM(致密盤(pán)-只讀存儲(chǔ)器)和DVD(數(shù)字通用盤(pán)))、磁光盤(pán)(包括MD(迷你盤(pán)))或半導(dǎo)體存儲(chǔ)器。將程序記錄在記錄介質(zhì)上是使用有線(xiàn)或無(wú)線(xiàn)通信媒體(諸如局域網(wǎng)、因特網(wǎng)或衛(wèi)星數(shù)字廣播)經(jīng)由諸如必要的路由器或調(diào)制解調(diào)器之類(lèi)的充當(dāng)接口的通信單元309來(lái)執(zhí)行的。在本說(shuō)明書(shū)中，描述前述處理序列的步驟包括按照所描述的順序時(shí)間順序地執(zhí)行的處理和不必時(shí)間順序地執(zhí)行而是可以并行或單獨(dú)執(zhí)行的處理。另外，在本說(shuō)明書(shū)中，系統(tǒng)是指包括多個(gè)裝置的整個(gè)設(shè)備。本公開(kāi)的實(shí)施例不限于上述第一至第四實(shí)施例并且在不偏離本公開(kāi)的要旨的范圍的情況下可以被不同地修改。本申請(qǐng)包含與2010年12月28日于日本專(zhuān)利局提交的日本在先專(zhuān)利申請(qǐng)JP 2010-292617中所公開(kāi)的主題有關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其它因素可以進(jìn)行各種修改、組合、子組合和更改，只要它們?cè)谒綑?quán)利要求及其等同物的范圍內(nèi)即可。
權(quán)利要求
1. 一種發(fā)送設(shè)備，包括速率調(diào)節(jié)單元，被配置為調(diào)節(jié)發(fā)送數(shù)據(jù)的傳輸速率；改變單元，被配置為基于所述傳輸速率來(lái)改變用于暫時(shí)存儲(chǔ)所述數(shù)據(jù)的緩沖區(qū)的大輸出單元，被配置為讀出所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)并將所述數(shù)據(jù)輸出給發(fā)送單元;以及所述發(fā)送單元，被配置為發(fā)送由所述輸出單元輸出的數(shù)據(jù)。
2.如權(quán)利要求1所述的發(fā)送設(shè)備，其中，所述改變單元基于預(yù)定傳輸緩沖區(qū)時(shí)間來(lái)改變所述緩沖區(qū)的大小，并且其中，所述輸出單元在從所述數(shù)據(jù)被存儲(chǔ)到所述緩沖區(qū)中起的所述傳輸緩沖區(qū)時(shí)間內(nèi)，讀出所述數(shù)據(jù)并將所述數(shù)據(jù)輸出給所述發(fā)送單元。
3.如權(quán)利要求1所述的發(fā)送設(shè)備，其中，當(dāng)所述緩沖區(qū)的大小被變得小于所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)的大小時(shí)，所述輸出單元丟棄所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)，直到所述數(shù)據(jù)的大小變得小于或等于所述緩沖區(qū)的大小。
4.如權(quán)利要求3所述的發(fā)送設(shè)備，其中，當(dāng)所述緩沖區(qū)的大小被變得小于所述數(shù)據(jù)的大小時(shí)，所述輸出單元按照預(yù)定優(yōu)先級(jí)來(lái)丟棄所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)，直到所述數(shù)據(jù)的大小變得小于或等于所述緩沖區(qū)的大小。
5.如權(quán)利要求1所述的發(fā)送設(shè)備，還包括參數(shù)調(diào)節(jié)單元，被配置為基于所述傳輸速率來(lái)調(diào)節(jié)在生成通過(guò)對(duì)所述數(shù)據(jù)進(jìn)行編碼而獲得的編碼數(shù)據(jù)時(shí)所使用的編碼參數(shù)；以及編碼單元，被配置為基于所述編碼參數(shù)來(lái)對(duì)所述數(shù)據(jù)執(zhí)行編碼處理， 其中，所述輸出單元讀出所述緩沖區(qū)中所存儲(chǔ)的編碼數(shù)據(jù)，并將所述編碼數(shù)據(jù)輸出給所述發(fā)送單元。
6.如權(quán)利要求5所述的發(fā)送設(shè)備，其中，所述參數(shù)調(diào)節(jié)單元基于所述傳輸速率來(lái)調(diào)節(jié)用作所述編碼參數(shù)的數(shù)據(jù)生成速率，所述數(shù)據(jù)生成速率表示預(yù)定時(shí)間內(nèi)編碼數(shù)據(jù)的生成量。
7.如權(quán)利要求1所述的發(fā)送設(shè)備，其中，所述速率調(diào)節(jié)單元基于傳輸質(zhì)量信息來(lái)調(diào)節(jié)所述傳輸速率，所述傳輸質(zhì)量信息表示所述數(shù)據(jù)的傳輸所使用的數(shù)據(jù)信道的狀態(tài)。
8.如權(quán)利要求7所述的發(fā)送設(shè)備，其中，所述速率調(diào)節(jié)單元基于包括數(shù)據(jù)的誤比特率、 丟失率、往返時(shí)間、抖動(dòng)和信噪比中的至少一者的傳輸質(zhì)量信息來(lái)調(diào)節(jié)所述傳輸速率。
9.一種用于發(fā)送數(shù)據(jù)的發(fā)送裝置的發(fā)送方法，該發(fā)送方法包括 調(diào)節(jié)發(fā)送數(shù)據(jù)的傳輸速率；基于所述傳輸速率來(lái)改變用于暫時(shí)存儲(chǔ)所述數(shù)據(jù)的緩沖區(qū)的大?。?讀出并輸出所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)；以及發(fā)送輸出的數(shù)據(jù)。
10.如權(quán)利要求9所述的發(fā)送方法，其中，改變所述緩沖區(qū)的大小的步驟包括基于預(yù)定傳輸緩沖區(qū)時(shí)間來(lái)改變所述緩沖區(qū)的大小，并且其中，讀出并輸出數(shù)據(jù)的步驟包括在從所述數(shù)據(jù)被存儲(chǔ)到所述緩沖區(qū)中起的所述傳輸緩沖區(qū)時(shí)間內(nèi)，讀出并輸出所述數(shù)據(jù)。
11.如權(quán)利要求9所述的發(fā)送方法，還包括當(dāng)所述緩沖區(qū)的大小被變得小于所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)的大小時(shí)，丟棄所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)，直到所述數(shù)據(jù)的大小變得小于或等于所述緩沖區(qū)的大小。
12.如權(quán)利要求11所述的發(fā)送方法，還包括當(dāng)所述緩沖區(qū)的大小被變得小于所述數(shù)據(jù)的大小時(shí)，按照預(yù)定優(yōu)先級(jí)來(lái)丟棄所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)，直到所述數(shù)據(jù)的大小變得小于或等于所述緩沖區(qū)的大小。
13.如權(quán)利要求9所述的發(fā)送方法，還包括基于所述傳輸速率來(lái)調(diào)節(jié)在生成通過(guò)對(duì)所述數(shù)據(jù)進(jìn)行編碼而獲得的編碼數(shù)據(jù)時(shí)所使用的編碼參數(shù)；以及基于所述編碼參數(shù)來(lái)對(duì)所述數(shù)據(jù)執(zhí)行編碼處理，其中，讀出并輸出數(shù)據(jù)的步驟包括讀出并輸出所述緩沖區(qū)中所存儲(chǔ)的編碼數(shù)據(jù)。
14.如權(quán)利要求13所述的發(fā)送方法，其中，調(diào)節(jié)所述編碼參數(shù)的步驟包括基于所述傳輸速率來(lái)調(diào)節(jié)用作所述編碼參數(shù)的數(shù)據(jù)生成速率，所述數(shù)據(jù)生成速率表示預(yù)定時(shí)間內(nèi)編碼數(shù)據(jù)的生成量。
15.如權(quán)利要求9所述的發(fā)送方法，其中，調(diào)節(jié)傳輸速率的步驟包括基于傳輸質(zhì)量信息來(lái)調(diào)節(jié)所述傳輸速率，所述傳輸質(zhì)量信息表示所述數(shù)據(jù)的傳輸所使用的數(shù)據(jù)信道的狀態(tài)。
16.如權(quán)利要求15所述的發(fā)送方法，其中，調(diào)節(jié)傳輸速率的步驟包括基于包括數(shù)據(jù)的誤比特率、丟失率、往返時(shí)間、抖動(dòng)和信噪比中的至少一者的傳輸質(zhì)量信息來(lái)調(diào)節(jié)所述傳輸速率。
全文摘要
本發(fā)明公開(kāi)了發(fā)送設(shè)備、發(fā)送方法和程序。該發(fā)送設(shè)備，包括速率調(diào)節(jié)單元、改變單元、輸出單元和發(fā)送單元。速率調(diào)節(jié)單元調(diào)節(jié)發(fā)送數(shù)據(jù)的傳輸速率。改變單元基于傳輸速率來(lái)改變用于暫時(shí)存儲(chǔ)所述數(shù)據(jù)的緩沖區(qū)的大小。輸出單元讀出所述緩沖區(qū)中所存儲(chǔ)的數(shù)據(jù)并將所述數(shù)據(jù)輸出給發(fā)送單元。發(fā)送單元發(fā)送由輸出單元輸出的數(shù)據(jù)。
文檔編號(hào)H04N7/24GK102572411SQ20111044806
公開(kāi)日2012年7月11日 申請(qǐng)日期2011年12月21日 優(yōu)先權(quán)日2010年12月28日
發(fā)明者久禮嘉伸, 保坂和壽 申請(qǐng)人:索尼公司