本發(fā)明涉及電子技術(shù)，尤其涉及一種信息處理方法及中繼設(shè)備。

背景技術(shù)：

高清晰度、高沉浸感的三維影像越來越豐富，高速地傳輸并高保真地顯示這些三維影像可以極大的增強(qiáng)用戶在電子設(shè)備上的體驗(yàn)，進(jìn)入到一個(gè)豐富多彩的三維虛擬世界，其中，三維影像包括三維圖像和三維視頻，電子設(shè)備包括移動(dòng)設(shè)備、可穿戴式設(shè)備、智能電視、智能手機(jī)、平板電腦、個(gè)人電腦、筆記本電腦等。

三維影像一般包括裸眼立體視覺影像、光場(chǎng)重建影像、數(shù)字化三維全息影像等幾種常見內(nèi)容，三維影像是對(duì)三維世界的真實(shí)重現(xiàn)，并可以用于各種虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)。三維影像的圖像分辨率高例如要求4K以上，對(duì)壓縮后的圖像質(zhì)量要求高，因?yàn)槿搜蹖?duì)三維影像中的編碼工件(coding artifacts)非常敏感，幀率高例如要求高于如60FPS(幀/秒)等，這些都對(duì)數(shù)據(jù)的實(shí)時(shí)傳輸和存儲(chǔ)要求高。以多視角的裸眼立體影像為例來說明，多視角的裸眼立體影像通常需要16個(gè)視角保證良好的視覺效果，每個(gè)視角是全高清分辨率(Full-HD resolution，F(xiàn)ull-High Definition resolution)，假設(shè)每張圖片是1920×1080像素，幀率是30FPS的話，每秒就有16×1920×1080×30＝949MB(MByte，兆字節(jié))的原始數(shù)據(jù)量；再比如Stanford光場(chǎng)重建圖像庫(kù)，假設(shè)采用17x17個(gè)攝像頭拍攝，每張圖片是1400×800像素，每幀的原始數(shù)據(jù)量是17×17×1400×800＝308MB。

現(xiàn)有的三維視頻傳輸和顯示技術(shù)無法提供這樣高質(zhì)量的三維影像的實(shí)時(shí)播放和顯示。例如常規(guī)二維視頻傳輸方案，一般是客戶端服務(wù)器(Server-Client) 的視頻流(video streaming)方式或者點(diǎn)對(duì)點(diǎn)(Peer-Peer)的視頻流方式，它們都無法提供高質(zhì)量的三維影像的實(shí)時(shí)播放和顯示。上述二維視頻傳輸方案的缺點(diǎn)在于，二維視頻傳輸方案沒有對(duì)三維影像進(jìn)行優(yōu)化，也無法針對(duì)當(dāng)前用戶的交互和電子設(shè)備情況進(jìn)行重新繪制。再如常規(guī)三維影視顯示方案，利用預(yù)先離線存好的三維影視內(nèi)容進(jìn)行顯示；三維影視顯示方案的缺點(diǎn)在于，無法顯示實(shí)時(shí)內(nèi)容，也無法對(duì)用戶的交互做出反應(yīng)，圖像分辨率或者質(zhì)量大幅的被降低。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例為解決現(xiàn)有技術(shù)中存在的至少一個(gè)問題而提供一種信息處理方法及中繼設(shè)備，能夠提供高質(zhì)量的三維影像的實(shí)時(shí)播放和顯示，從而提高用戶體驗(yàn)。

本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

第一方面，本發(fā)明實(shí)施例提供一種信息處理方法，所述方法包括：

接收服務(wù)器發(fā)送的第一三維3D影像信息；

獲取用戶的交互信息；

獲取終端的顯示特征信息；

根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；

將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

在本發(fā)明的一種實(shí)施例中，獲取用戶的交互信息，包括：

獲取用戶的姿態(tài)信息；

獲取當(dāng)前播放信息；

根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

在本發(fā)明的一種實(shí)施例中，所述根據(jù)用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息，包括：

根據(jù)所述交互信息生成多個(gè)任務(wù)信息；

將所述多個(gè)任務(wù)信息按照每一計(jì)算節(jié)點(diǎn)的屬性信息對(duì)應(yīng)地分發(fā)給計(jì)算節(jié)點(diǎn)，以使所述計(jì)算節(jié)點(diǎn)根據(jù)自身接收到的任務(wù)信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二子3D影像信息；

從所述計(jì)算節(jié)點(diǎn)接收第二子3D影像信息；

根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息。

在本發(fā)明的一種實(shí)施例中，所述顯示特征信息包括屏幕分辨率；則所述根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息，包括：

將所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第三3D影像信息；

根據(jù)所述屏幕分辨率對(duì)所述第三3D影像信息進(jìn)行速率匹配，得到第二3D影像信息。

在本發(fā)明的一種實(shí)施例中，所述任務(wù)信息包括目標(biāo)影像的標(biāo)識(shí)信息和目標(biāo)效果信息，其中，所述目標(biāo)影像的標(biāo)識(shí)信息包括目標(biāo)深度信息和目標(biāo)顏色信息，所述方法還包括：

所述計(jì)算節(jié)點(diǎn)對(duì)所述第一3D影像信息進(jìn)行解碼，得到深度序列信息和顏色圖像序列信息；

所述計(jì)算節(jié)點(diǎn)根據(jù)所述目標(biāo)深度信息從所述深度序列信息中獲取第一深度信息；

所述計(jì)算節(jié)點(diǎn)根據(jù)目標(biāo)顏色信息從所述顏色圖像序列信息中獲取第一顏色信息；

所述計(jì)算節(jié)點(diǎn)根據(jù)所述目標(biāo)效果信息對(duì)所述第一深度信息和第一顏色信息進(jìn)行處理，得到第二子3D影像信息。

第二方面，本發(fā)明實(shí)施例提供一種中繼設(shè)備，所述中繼設(shè)備包括第一接收單元、第一獲取單元、第二獲取單元、第一處理單元和第一發(fā)送單元，其中：

所述第一接收單元，用于接收服務(wù)器發(fā)送的第一三維3D影像信息；

所述第一獲取單元，用于獲取用戶的交互信息；

所述第二獲取單元，用于獲取終端的顯示特征信息；

所述第一處理單元，用于根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；

所述第一發(fā)送單元，用于將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

在本發(fā)明的一種實(shí)施例中，所述第一獲取單元，包括第一獲取模塊、第二獲取模塊和生成模塊，其中

所述第一獲取模塊，用于獲取用戶的姿態(tài)信息；

所述第二獲取模塊，用于獲取當(dāng)前播放信息；

所述第一生成模塊，用于根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

在本發(fā)明的一種實(shí)施例中，所述第一處理單元包括第二生成模塊、分發(fā)模塊、第一接收模塊和融合模塊，其中：

所述第二生成模塊，用于根據(jù)所述交互信息生成多個(gè)任務(wù)信息；

所述分發(fā)模塊，用于將所述多個(gè)任務(wù)信息按照每一計(jì)算節(jié)點(diǎn)的屬性信息對(duì)應(yīng)地分發(fā)給計(jì)算節(jié)點(diǎn)，以使所述計(jì)算節(jié)點(diǎn)根據(jù)自身接收到的任務(wù)信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二子3D影像信息；

所述第一接收模塊，用于從所述計(jì)算節(jié)點(diǎn)接收第二子3D影像信息；

所述融合模塊，用于根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息。

在本發(fā)明的一種實(shí)施例中，所述融合模塊包括融合子模塊和匹配子模塊，其中：

所述融合子模塊，用于將所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第三3D影像信息；

所述匹配子模塊，用于根據(jù)所述屏幕分辨率對(duì)所述第三3D影像信息進(jìn)行速率匹配，得到第二3D影像信息。

在本發(fā)明的一種實(shí)施例中，所述任務(wù)信息包括目標(biāo)影像的標(biāo)識(shí)信息和目標(biāo)效果信息，其中，所述目標(biāo)影像的標(biāo)識(shí)信息包括目標(biāo)深度信息和目標(biāo)顏色信息，所述中繼設(shè)備還包括計(jì)算節(jié)點(diǎn)，所述計(jì)算節(jié)點(diǎn)進(jìn)一步包括解碼單元、第三獲取單元、第四獲取單元和第二處理單元，其中：

所述解碼單元，用于對(duì)所述第一3D影像信息進(jìn)行解碼，得到深度序列信息和顏色圖像序列信息；

所述第三獲取單元，用于根據(jù)所述目標(biāo)深度信息從所述深度序列信息中獲取第一深度信息；

所述第四獲取單元，用于根據(jù)目標(biāo)顏色信息從所述顏色圖像序列信息中獲取第一顏色信息；

所述第二處理單元，用于根據(jù)所述目標(biāo)效果信息對(duì)所述第一深度信息和第一顏色信息進(jìn)行處理，得到第二子3D影像信息。

本發(fā)明實(shí)施例提供的信息處理方法及中繼設(shè)備，其中接收服務(wù)器發(fā)送的第一三維3D影像信息；獲取用戶的交互信息；獲取終端的顯示特征信息；根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息；如此，能夠提供高質(zhì)量的三維影像的實(shí)時(shí)播放和顯示，從而提高用戶體驗(yàn)。

附圖說明

圖1-1為本發(fā)明實(shí)施例一信息處理方法的實(shí)現(xiàn)流程示意圖；

圖1-2為本發(fā)明實(shí)施例一的場(chǎng)景示意圖；

圖2為本發(fā)明實(shí)施例二信息處理方法的實(shí)現(xiàn)流程示意圖

圖3-1為本發(fā)明實(shí)施例三信息處理方法的實(shí)現(xiàn)流程示意圖；

圖3-2為本發(fā)明實(shí)施例三的場(chǎng)景示意圖一；

圖3-3為本發(fā)明實(shí)施例三的場(chǎng)景示意圖二；

圖4-1為本發(fā)明實(shí)施例四信息處理方法的實(shí)現(xiàn)流程示意圖；

圖4-2為本發(fā)明實(shí)施例中第二3D影像信息的形成流程示意圖；

圖5為本發(fā)明實(shí)施例五中繼設(shè)備的組成結(jié)構(gòu)示意圖；

圖6為本發(fā)明實(shí)施例六中繼設(shè)備的組成結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)一步詳細(xì)闡述。

實(shí)施例一

本發(fā)明實(shí)施例提供一種信息處理方法，應(yīng)用于中繼設(shè)備，該信息處理方法所實(shí)現(xiàn)的功能可以通過中繼設(shè)備中的處理器調(diào)用程序代碼來實(shí)現(xiàn)，當(dāng)然程序代碼可以保存在計(jì)算機(jī)存儲(chǔ)介質(zhì)中，可見，該中繼設(shè)備至少包括處理器和存儲(chǔ)介質(zhì)。

圖1-1為本發(fā)明實(shí)施例一信息處理方法的實(shí)現(xiàn)流程示意圖，如圖1-1所示，該信息處理方法包括：

步驟101，接收服務(wù)器發(fā)送的第一三維3D影像信息；

這里，中繼設(shè)備可以為個(gè)人計(jì)算機(jī)(PC，Personal Computer)這種固定的電子設(shè)備，還可以為如手提電腦這種便攜式的電子設(shè)備，當(dāng)然還可以為通過集群系統(tǒng)構(gòu)成的服務(wù)器。

步驟102，獲取用戶的交互信息；

這里，用戶的交互信息可以是預(yù)先存儲(chǔ)在存儲(chǔ)介質(zhì)上的，也可以是實(shí)時(shí)計(jì)算得到的。其中用戶的交互信息可以通過三維攝像頭或者紅外跟蹤攝像頭等裝置來跟蹤人的體態(tài)、手勢(shì)、眼部運(yùn)動(dòng)等信息，推測(cè)出用戶與終端上正在顯示的3D影像信息之間的交互的內(nèi)容。

步驟103，獲取終端的顯示特征信息；

這里，所述終端可以為個(gè)人計(jì)算機(jī)、電視機(jī)這種固定的電子設(shè)備，還可以為如個(gè)人數(shù)字助理、平板電腦、手提電腦這種便攜式的電子設(shè)備，當(dāng)然還可以為如智能手機(jī)這種智能移動(dòng)終端，只要能夠播放3D影像即可成為本發(fā)明實(shí)施例中終端。

所述顯示特征信息包括屏幕分辨率，終端的顯示特征信息可以預(yù)先存儲(chǔ)在存儲(chǔ)介質(zhì)上的，也可以是實(shí)時(shí)向終端請(qǐng)求得到的。

步驟104，根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；

步驟105，將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

這里，第二3D影像信息可以是發(fā)往一個(gè)終端或一個(gè)以上的終端。

在具體實(shí)現(xiàn)的過程中，如圖1-2所示，在遠(yuǎn)端的服務(wù)器10上的第一3D影像信息通過高速的移動(dòng)互聯(lián)網(wǎng)絡(luò)或者是光纖傳輸?shù)奖镜氐闹欣^設(shè)備20(Display Hub)(步驟101)。中繼設(shè)備直接跟服務(wù)器用高速光纜或者高速無線網(wǎng)絡(luò)通訊，得到解壓縮的視頻，這樣總體的帶寬可以滿足三維影像的需求。然后中繼設(shè)備根據(jù)獲取到的用戶的交互信息和顯示特性信息對(duì)解壓后的第一3D影像信息進(jìn)行重新繪制，得到第二3D影像信息(步驟102至步驟104)；其中繪制的過程是對(duì)第一3D影像信息進(jìn)行的圖像/視頻處理，例如圖像插值等處理。然后中繼設(shè)備將第二3D影像，通過高速的本地?zé)o線網(wǎng)絡(luò)傳輸?shù)浇K端30和/或40上(步驟105)。

本發(fā)明實(shí)施例中，接收服務(wù)器發(fā)送的第一三維3D影像信息；獲取用戶的交互信息；獲取終端的顯示特征信息；根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息；如此，能夠提供高質(zhì)量的三維影像的實(shí)時(shí)播放和顯示，從而提高用戶體驗(yàn)。

實(shí)施例二

本發(fā)明實(shí)施例提供一種信息處理方法，應(yīng)用于中繼設(shè)備，該信息處理方法所實(shí)現(xiàn)的功能可以通過中繼設(shè)備中的處理器調(diào)用程序代碼來實(shí)現(xiàn)，當(dāng)然程序代碼可以保存在計(jì)算機(jī)存儲(chǔ)介質(zhì)中，可見，該中繼設(shè)備至少包括處理器和存儲(chǔ)介質(zhì)。

圖2為本發(fā)明實(shí)施例二信息處理方法的實(shí)現(xiàn)流程示意圖，如圖2所示，該信息處理方法包括：

步驟101，接收服務(wù)器發(fā)送的第一三維3D影像信息；

這里，中繼設(shè)備可以為個(gè)人計(jì)算機(jī)這種固定的電子設(shè)備，還可以為如手提電腦這種便攜式的電子設(shè)備，當(dāng)然還可以為通過集群系統(tǒng)構(gòu)成的服務(wù)器。

步驟1021，獲取用戶的姿態(tài)信息以及獲取當(dāng)前播放信息；

這里，在具體實(shí)現(xiàn)的過程中，所述當(dāng)前播放信息是當(dāng)前播放的3D影像信息中的幀信息，例如當(dāng)前播放的是哪一幀，用戶在播放3D影像的過程中可能會(huì)暫停畫面，那么每一個(gè)終端所顯示的3D影像信息可能不太一致，在這種情況下，當(dāng)前播放信息很可能是從終端處請(qǐng)求過來的。而第二3D影像信息可以是能夠持續(xù)一段時(shí)間例如60s的影像內(nèi)容，中繼設(shè)備通過持續(xù)不斷地向終端發(fā)送第二3D影像信息，然后終端將第二3D影像信息顯示出來。

步驟1022，根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

這里，所述姿態(tài)信息可以通過三維攝像頭或者紅外跟蹤攝像頭等裝置來跟蹤人的體態(tài)、手勢(shì)、眼部運(yùn)動(dòng)等信息，從姿態(tài)信息提取出方向信息或位置信息，然后根據(jù)方向信息或位置信息與當(dāng)前播放信息確定用戶的目的(即交互信息)，如2-2所示，當(dāng)前播放信息中所顯示的畫面內(nèi)容是兩個(gè)人打拳擊，在圖3-2中，用戶18通過電視機(jī)(終端)播放3D游戲，然后通過攝像頭20來采集用戶的姿態(tài)信息，例如用戶向左揮右拳，那么攝像頭即采集到該畫面，然后當(dāng)前電視機(jī)顯示的畫面是兩個(gè)人打拳擊(幀信息)，那么電視機(jī)將幀信息和向右揮拳的信息發(fā)送給中繼設(shè)備，由中繼設(shè)備對(duì)從服務(wù)器接收到第一3D影像信息進(jìn)行重新繪制，得到第二3D影像信息，然后電視機(jī)接收到第二3D影像信息，最終將第二3D影像顯示出來，即電視機(jī)中的人向右揮拳。

這里，本發(fā)明實(shí)施例二中步驟1021和步驟1022提供了一種實(shí)現(xiàn)上述實(shí)施例一中步驟102“獲取用戶的交互信息”的方法。

步驟103，獲取終端的顯示特征信息；

這里，所述顯示特征信息包括屏幕分辨率，終端的顯示特征信息可以預(yù)先 存儲(chǔ)在存儲(chǔ)介質(zhì)上的，也可以是實(shí)時(shí)向終端請(qǐng)求得到的。

步驟104，根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；

步驟105，將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

這里，第二3D影像信息可以是發(fā)往一個(gè)終端或一個(gè)以上的終端。

本發(fā)明實(shí)施例中，在具體實(shí)現(xiàn)的過程中，所述中繼設(shè)備至少包括用戶交互感知器；所述獲取用戶的交互信息，包括：所述用戶交互感知器跟蹤用戶的姿態(tài)信息；所述用戶交互感知器獲取當(dāng)前播放信息；所述用戶交互感知器根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

實(shí)施例三

本發(fā)明實(shí)施例提供一種信息處理方法，應(yīng)用于中繼設(shè)備，該信息處理方法所實(shí)現(xiàn)的功能可以通過中繼設(shè)備中的處理器調(diào)用程序代碼來實(shí)現(xiàn)，當(dāng)然程序代碼可以保存在計(jì)算機(jī)存儲(chǔ)介質(zhì)中，可見，該中繼設(shè)備至少包括處理器和存儲(chǔ)介質(zhì)。

本發(fā)明實(shí)施例中所述中繼設(shè)備還包括用戶交互感知器、兩個(gè)及兩個(gè)以上的計(jì)算節(jié)點(diǎn)。

圖3-1為本發(fā)明實(shí)施例三信息處理方法的實(shí)現(xiàn)流程示意圖，如圖3-1所示，該信息處理方法包括：

步驟301，計(jì)算節(jié)點(diǎn)接收服務(wù)器發(fā)送的第一三維3D影像信息；

這里，中繼設(shè)備可以為個(gè)人計(jì)算機(jī)這種固定的電子設(shè)備，還可以為如手提電腦這種便攜式的電子設(shè)備，當(dāng)然還可以為通過集群系統(tǒng)構(gòu)成的服務(wù)器。

步驟302，用戶交互感知器獲取用戶的姿態(tài)信息以及獲取當(dāng)前播放信息；

步驟303，用戶交互感知器根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

這里，所述姿態(tài)信息可以通過三維攝像頭或者紅外跟蹤攝像頭等裝置來跟 蹤人的體態(tài)、手勢(shì)、眼部運(yùn)動(dòng)等信息，從姿態(tài)信息提取出方向信息或位置信息，然后根據(jù)方向信息或位置信息與當(dāng)前播放信息確定用戶的目的(即交互信息)，如3-2所示，當(dāng)前播放信息中所顯示的畫面內(nèi)容是兩個(gè)人打拳擊，在圖3-2中，用戶18通過電視機(jī)(終端)播放3D游戲，然后通過攝像頭20來采集用戶的姿態(tài)信息，例如用戶向左揮右拳，那么攝像頭即采集到該畫面，然后當(dāng)前電視機(jī)顯示的畫面是兩個(gè)人打拳擊(幀信息)，那么電視機(jī)將幀信息和向右揮拳的信息發(fā)送給中繼設(shè)備，由中繼設(shè)備對(duì)從服務(wù)器接收到第一3D影像信息進(jìn)行重新繪制，得到第二3D影像信息，然后電視機(jī)接收到第二3D影像信息，最終將第二3D影像顯示出來，即電視機(jī)中的人向右揮拳。

步驟304，用戶交互感知器根據(jù)所述交互信息生成多個(gè)任務(wù)信息；

這里，所述任務(wù)信息用于控制計(jì)算節(jié)點(diǎn)對(duì)第一3D影像信息進(jìn)行處理，得到第二子3D影像信息。

步驟305，用戶交互感知器將所述多個(gè)任務(wù)信息按照每一計(jì)算節(jié)點(diǎn)的屬性信息對(duì)應(yīng)地分發(fā)給計(jì)算節(jié)點(diǎn)，以使所述計(jì)算節(jié)點(diǎn)根據(jù)自身接收到的任務(wù)信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二子3D影像信息；

這里，在具體實(shí)施的過程中，可以對(duì)計(jì)算節(jié)點(diǎn)按3D影像的層次進(jìn)行分類，例如第一個(gè)計(jì)算節(jié)點(diǎn)是計(jì)算最底層的，第二個(gè)計(jì)算節(jié)點(diǎn)是計(jì)算中間層的，第三計(jì)算節(jié)點(diǎn)是計(jì)算最高層的，那么即將任務(wù)信息按照計(jì)算節(jié)點(diǎn)的層次進(jìn)行劃分，并分發(fā)給對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)。

步驟306，用戶交互感知器從所述計(jì)算節(jié)點(diǎn)接收第二子3D影像信息；

步驟307，用戶交互感知器獲取終端的顯示特征信息；

這里，所述顯示特征信息包括屏幕分辨率，終端的顯示特征信息可以預(yù)先存儲(chǔ)在存儲(chǔ)介質(zhì)上的，也可以是實(shí)時(shí)向終端請(qǐng)求得到的。

步驟308，用戶交互感知器根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息。

步驟309，用戶交互感知器將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

這里，第二3D影像信息可以是發(fā)往一個(gè)終端或一個(gè)以上的終端。在本發(fā)明的另一實(shí)施例中，第二3D影像信息還可以由計(jì)算節(jié)點(diǎn)發(fā)送給終端。

本發(fā)明實(shí)施例中，所述顯示特征信息包括屏幕分辨率；則步驟308，所述根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息，包括：

步驟3081，將所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第三3D影像信息；

步驟3082，根據(jù)所述屏幕分辨率對(duì)所述第三3D影像信息進(jìn)行速率匹配，得到第二3D影像信息。

本發(fā)明實(shí)施例中，如圖3-3所示，在遠(yuǎn)端的服務(wù)器上的第一3D影像信息通過高速的移動(dòng)互聯(lián)網(wǎng)絡(luò)或者是光纖傳輸?shù)奖镜氐闹欣^設(shè)備。中繼設(shè)備里面包括多個(gè)計(jì)算節(jié)點(diǎn)和用戶交互感知器。計(jì)算節(jié)點(diǎn)直接跟服務(wù)器用高速光纜或者高速無線網(wǎng)絡(luò)通訊，得到解壓縮的視頻，這樣總體的帶寬可以滿足三維影像的需求。計(jì)算節(jié)點(diǎn)也有圖像/視頻處理(比如圖像插值等)的功能來對(duì)視覺內(nèi)容進(jìn)行重新繪制。用戶交互感知器可以用三維攝像頭或者紅外跟蹤攝像頭等裝置來跟蹤人的體態(tài)、手勢(shì)、眼部運(yùn)動(dòng)等姿態(tài)信息，然后用戶交互感知器利用姿態(tài)信息和獲取到當(dāng)前播放信息計(jì)算得到交互信息。計(jì)算節(jié)點(diǎn)利用交互信息和顯示特征信息產(chǎn)生第二3D影像信息，通過高速的本地?zé)o線網(wǎng)絡(luò)傳輸?shù)蕉鄠€(gè)終端上。

需要說明的是，圖3-3中的用戶交互感知器和計(jì)算節(jié)點(diǎn)只是邏輯上的概念，在具體實(shí)現(xiàn)的過程中，用戶交互感知器或計(jì)算節(jié)點(diǎn)可以是獨(dú)立的計(jì)算設(shè)備，也可以是某計(jì)算設(shè)備上的一個(gè)執(zhí)行上述相關(guān)部分的區(qū)域。本領(lǐng)域的技術(shù)人員可以根據(jù)各種現(xiàn)有技術(shù)來實(shí)現(xiàn)上述相關(guān)步驟中的用戶交互感知器和計(jì)算節(jié)點(diǎn)的功能，這里不再贅述。

實(shí)施例四

本發(fā)明實(shí)施例提供一種信息處理方法，應(yīng)用于中繼設(shè)備，該信息處理方法所實(shí)現(xiàn)的功能可以通過中繼設(shè)備中的處理器調(diào)用程序代碼來實(shí)現(xiàn)，當(dāng)然程序代 碼可以保存在計(jì)算機(jī)存儲(chǔ)介質(zhì)中，可見，該中繼設(shè)備至少包括處理器和存儲(chǔ)介質(zhì)。

本發(fā)明實(shí)施例中所述中繼設(shè)備還包括用戶交互感知器、兩個(gè)及兩個(gè)以上的計(jì)算節(jié)點(diǎn)。所述任務(wù)信息包括目標(biāo)影像的標(biāo)識(shí)信息和目標(biāo)效果信息，其中，所述目標(biāo)影像的標(biāo)識(shí)信息包括目標(biāo)深度信息和目標(biāo)顏色信息。

圖4-1為本發(fā)明實(shí)施例四信息處理方法的實(shí)現(xiàn)流程示意圖，如圖4-1所示，該信息處理方法包括：

步驟301，計(jì)算節(jié)點(diǎn)接收服務(wù)器發(fā)送的第一三維3D影像信息；

這里，中繼設(shè)備可以為個(gè)人計(jì)算機(jī)這種固定的電子設(shè)備，還可以為如手提電腦這種便攜式的電子設(shè)備，當(dāng)然還可以為通過集群系統(tǒng)構(gòu)成的服務(wù)器。

步驟302，用戶交互感知器獲取用戶的姿態(tài)信息以及獲取當(dāng)前播放信息；

步驟303，用戶交互感知器根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

這里，所述姿態(tài)信息可以通過三維攝像頭或者紅外跟蹤攝像頭等裝置來跟蹤人的體態(tài)、手勢(shì)、眼部運(yùn)動(dòng)等信息，從姿態(tài)信息提取出方向信息或位置信息，然后根據(jù)方向信息或位置信息與當(dāng)前播放信息確定用戶的目的(即交互信息)，如3-2所示，當(dāng)前播放信息中所顯示的畫面內(nèi)容是兩個(gè)人打拳擊，在圖3-2中，用戶18通過電視機(jī)(終端)播放3D游戲，然后通過攝像頭20來采集用戶的姿態(tài)信息，例如用戶向左揮右拳，那么攝像頭即采集到該畫面，然后當(dāng)前電視機(jī)顯示的畫面是兩個(gè)人打拳擊(幀信息)，那么電視機(jī)將幀信息和向右揮拳的信息發(fā)送給中繼設(shè)備，由中繼設(shè)備對(duì)從服務(wù)器接收到第一3D影像信息進(jìn)行重新繪制，得到第二3D影像信息，然后電視機(jī)接收到第二3D影像信息，最終將第二3D影像顯示出來，即電視機(jī)中的人向右揮拳。

步驟304，用戶交互感知器根據(jù)所述交互信息生成多個(gè)任務(wù)信息；

這里，所述任務(wù)信息用于控制計(jì)算節(jié)點(diǎn)對(duì)第一3D影像信息進(jìn)行處理，得到第二子3D影像信息。

步驟305，用戶交互感知器將所述多個(gè)任務(wù)信息按照每一計(jì)算節(jié)點(diǎn)的屬性 信息對(duì)應(yīng)地分發(fā)給計(jì)算節(jié)點(diǎn)，以使所述計(jì)算節(jié)點(diǎn)根據(jù)自身接收到的任務(wù)信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二子3D影像信息；

這里，在具體實(shí)施的過程中，可以對(duì)計(jì)算節(jié)點(diǎn)按3D影像的層次進(jìn)行分類，例如第一個(gè)計(jì)算節(jié)點(diǎn)是計(jì)算最底層的，第二個(gè)計(jì)算節(jié)點(diǎn)是計(jì)算中間層的，第三計(jì)算節(jié)點(diǎn)是計(jì)算最高層的，那么即將任務(wù)信息按照計(jì)算節(jié)點(diǎn)的層次進(jìn)行劃分，并分發(fā)給對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)。

步驟401，所述計(jì)算節(jié)點(diǎn)對(duì)所述第一3D影像信息進(jìn)行解碼，得到深度序列信息和顏色圖像序列信息；

步驟402，所述計(jì)算節(jié)點(diǎn)根據(jù)所述目標(biāo)深度信息從所述深度序列信息中獲取第一深度信息；

步驟403，所述計(jì)算節(jié)點(diǎn)根據(jù)目標(biāo)顏色信息從所述顏色圖像序列信息中獲取第一顏色信息；

步驟404，所述計(jì)算節(jié)點(diǎn)根據(jù)所述目標(biāo)效果信息對(duì)所述第一深度信息和第一顏色信息進(jìn)行處理，得到第二子3D影像信息。

步驟306，用戶交互感知器從所述計(jì)算節(jié)點(diǎn)接收第二子3D影像信息；

步驟307，用戶交互感知器獲取終端的顯示特征信息；

這里，所述顯示特征信息包括屏幕分辨率，終端的顯示特征信息可以預(yù)先存儲(chǔ)在存儲(chǔ)介質(zhì)上的，也可以是實(shí)時(shí)向終端請(qǐng)求得到的。

步驟308，用戶交互感知器根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息。

步驟309，用戶交互感知器將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

這里，第二3D影像信息可以是發(fā)往一個(gè)終端或一個(gè)以上的終端。

圖4-2為本發(fā)明實(shí)施例中第二3D影像信息的形成流程示意圖，如圖4-2所示。首先對(duì)原始的第一3D影像信息進(jìn)行動(dòng)態(tài)的分割和解碼，計(jì)算節(jié)點(diǎn)得到分割解碼后的第一3D影像信息，計(jì)算節(jié)點(diǎn)根據(jù)目前的用戶交互信息例如用戶的 位置、頭部轉(zhuǎn)動(dòng)、手勢(shì)、眼部活動(dòng)等和終端的顯示特征信息(終端的屏幕分辨率、網(wǎng)絡(luò)速率等)，對(duì)分割解碼后的第一3D影像信息進(jìn)行重新的繪制操作(比如圖像放大、縮小、重新插值、多視點(diǎn)的圖像生成等)。多個(gè)計(jì)算節(jié)點(diǎn)之間根據(jù)幀的時(shí)間戳信息進(jìn)行幀融合，之后產(chǎn)生最終的第二三維影像信息。這個(gè)第二三維影像用高速的本地?zé)o線網(wǎng)絡(luò)傳輸?shù)接脩舻慕K端上，保證實(shí)時(shí)、高質(zhì)量的影像傳輸體驗(yàn)。

下面以對(duì)交互信息以及設(shè)備狀態(tài)對(duì)三維影像信息的渲染進(jìn)行說明：用戶位置：通過用戶位置及視場(chǎng)角可以判斷出用戶目前正在看的感興趣的區(qū)域(ROI，Region of Interest)，從而重點(diǎn)渲染該ROI，其他區(qū)域可簡(jiǎn)單渲染；頭部轉(zhuǎn)動(dòng)、交互手勢(shì)、眼部活動(dòng)以及目光朝向同樣會(huì)影響視場(chǎng)ROI；設(shè)備屏幕分辨率：可根據(jù)當(dāng)前用戶顯示設(shè)備的分辨率，自動(dòng)的選擇渲染精度，顯示內(nèi)容與用戶設(shè)備相匹配；網(wǎng)絡(luò)速率：使用類似2D視頻傳輸中的碼率控制(rate control)的方法，根據(jù)當(dāng)時(shí)網(wǎng)絡(luò)狀態(tài)動(dòng)態(tài)調(diào)整3D影像的碼流，保證流暢的體驗(yàn)。本發(fā)明實(shí)施例提供的方案，可以實(shí)現(xiàn)三維影像的實(shí)時(shí)傳輸和顯示，并與用戶的行為動(dòng)態(tài)實(shí)時(shí)的交互，保證完美的三維影像顯示效果。

實(shí)施例五

基于前述的方法實(shí)施例，本發(fā)明實(shí)施例提供一種中繼設(shè)備，該中繼設(shè)備中的第一接收單元、第一獲取單元、第二獲取單元、第一處理單元和第一發(fā)送單元，都可以通過中繼設(shè)備中的處理器來實(shí)現(xiàn)；當(dāng)然也可通過具體的邏輯電路實(shí)現(xiàn)；在具體實(shí)施例的過程中，處理器可以為中央處理器(CPU)、微處理器(MPU)、數(shù)字信號(hào)處理器(DSP)或現(xiàn)場(chǎng)可編程門陣列(FPGA)等。

圖5為本發(fā)明實(shí)施例五中繼設(shè)備的組成結(jié)構(gòu)示意圖，如圖5所示，所述中繼設(shè)備500包括第一接收單元501、第一獲取單元502、第二獲取單元503、第一處理單元504和第一發(fā)送單元505，其中：

所述第一接收單元501，用于接收服務(wù)器發(fā)送的第一三維3D影像信息；

所述第一獲取單元502，用于獲取用戶的交互信息；

所述第二獲取單元503，用于獲取終端的顯示特征信息；

所述第一處理單元504，用于根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；

所述第一發(fā)送單元505，用于將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

這里需要指出的是：以上裝置實(shí)施例的描述，與上述方法實(shí)施例的描述是類似的，具有同方法實(shí)施例相似的有益效果，因此不做贅述。對(duì)于本發(fā)明裝置實(shí)施例中未披露的技術(shù)細(xì)節(jié)，請(qǐng)參照本發(fā)明方法實(shí)施例的描述而理解，為節(jié)約篇幅，因此不再贅述。

實(shí)施例六

基于前述的方法實(shí)施例，本發(fā)明實(shí)施例提供一種中繼設(shè)備，該中繼設(shè)備中的第一接收單元、第一獲取單元、第二獲取單元、第一處理單元和第一發(fā)送單元，以及第一獲取單元所包括的各模塊，都可以通過中繼設(shè)備中的處理器來實(shí)現(xiàn)；當(dāng)然也可通過具體的邏輯電路實(shí)現(xiàn)；在具體實(shí)施例的過程中，處理器可以為中央處理器(CPU)、微處理器(MPU)、數(shù)字信號(hào)處理器(DSP)或現(xiàn)場(chǎng)可編程門陣列(FPGA)等。

圖6為本發(fā)明實(shí)施例六中繼設(shè)備的組成結(jié)構(gòu)示意圖，如圖6所示，所述中繼設(shè)備500包括第一接收單元501、第一獲取單元502、第二獲取單元503、第一處理單元504和第一發(fā)送單元505，其中所述第一獲取單元502進(jìn)一步包括第一獲取模塊5021、第二獲取模塊5022和生成模塊5023，其中：

所述第一接收單元501，用于接收服務(wù)器發(fā)送的第一三維3D影像信息；

所述第一獲取模塊5021，用于獲取用戶的姿態(tài)信息；

所述第二獲取模塊5022，用于獲取當(dāng)前播放信息；

所述第一生成模塊5023，用于根據(jù)所述姿態(tài)信息和所述當(dāng)前播放信息生成所述交互信息。

所述第二獲取單元503，用于獲取終端的顯示特征信息；

所述第一處理單元504，用于根據(jù)所述用戶的交互信息和所述顯示特性信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二3D影像信息；

所述第一發(fā)送單元505，用于將所述第二3D影像信息發(fā)送給所述終端，以使所述終端顯示所述第二3D影像信息。

本發(fā)明實(shí)施例中，所述第一處理單元包括第二生成模塊、分發(fā)模塊、第一接收模塊和融合模塊，其中：

所述第二生成模塊，用于根據(jù)所述交互信息生成多個(gè)任務(wù)信息；

所述分發(fā)模塊，用于將所述多個(gè)任務(wù)信息按照每一計(jì)算節(jié)點(diǎn)的屬性信息對(duì)應(yīng)地分發(fā)給計(jì)算節(jié)點(diǎn)，以使所述計(jì)算節(jié)點(diǎn)根據(jù)自身接收到的任務(wù)信息對(duì)所述第一3D影像信息進(jìn)行處理，得到第二子3D影像信息；

所述第一接收模塊，用于從所述計(jì)算節(jié)點(diǎn)接收第二子3D影像信息；

所述融合模塊，用于根據(jù)所述顯示特性信息對(duì)所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第二3D影像信息。

在具體實(shí)現(xiàn)的過程中，第一處理單元中的各模塊可以通過圖3-3中的用戶交互感知器來實(shí)現(xiàn)。

本發(fā)明實(shí)施例中，所述融合模塊包括融合子模塊和匹配子模塊，其中：

所述融合子模塊，用于將所述第二子3D影像信息在同一時(shí)間節(jié)點(diǎn)上進(jìn)行融合，得到所述第三3D影像信息；

所述匹配子模塊，用于根據(jù)所述屏幕分辨率對(duì)所述第三3D影像信息進(jìn)行速率匹配，得到第二3D影像信息。

在具體實(shí)現(xiàn)的過程中，融合模塊中的融合子模塊和匹配子模塊可以通過圖3-3中用戶交互感知器中的處理器來實(shí)現(xiàn)。

本發(fā)明實(shí)施例中，所述任務(wù)信息包括目標(biāo)影像的標(biāo)識(shí)信息和目標(biāo)效果信息，其中，所述目標(biāo)影像的標(biāo)識(shí)信息包括目標(biāo)深度信息和目標(biāo)顏色信息，所述中繼設(shè)備還包括解碼單元、第三獲取單元、第四獲取單元和第二處理單元，其中：

所述解碼單元，用于對(duì)所述第一3D影像信息進(jìn)行解碼，得到深度序列信息和顏色圖像序列信息；

所述第三獲取單元，用于根據(jù)所述目標(biāo)深度信息從所述深度序列信息中獲取第一深度信息；

所述第四獲取單元，用于根據(jù)目標(biāo)顏色信息從所述顏色圖像序列信息中獲取第一顏色信息；

所述第二處理單元，用于根據(jù)所述目標(biāo)效果信息對(duì)所述第一深度信息和第一顏色信息進(jìn)行處理，得到第二子3D影像信息。

在具體實(shí)施的過程中，解碼單元、第三獲取單元、第四獲取單元和第二處理單元可以通過圖3-3中的計(jì)算節(jié)點(diǎn)中處理器來實(shí)現(xiàn)。

這里需要指出的是：以上裝置實(shí)施例的描述，與上述方法實(shí)施例的描述是類似的，具有同方法實(shí)施例相似的有益效果，因此不做贅述。對(duì)于本發(fā)明裝置實(shí)施例中未披露的技術(shù)細(xì)節(jié)，請(qǐng)參照本發(fā)明方法實(shí)施例的描述而理解，為節(jié)約篇幅，因此不再贅述。

應(yīng)理解，說明書通篇中提到的“一個(gè)實(shí)施例”或“一實(shí)施例”意味著與實(shí)施例有關(guān)的特定特征、結(jié)構(gòu)或特性包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，在整個(gè)說明書各處出現(xiàn)的“在一個(gè)實(shí)施例中”或“在一實(shí)施例中”未必一定指相同的實(shí)施例。此外，這些特定的特征、結(jié)構(gòu)或特性可以任意適合的方式結(jié)合在一個(gè)或多個(gè)實(shí)施例中。應(yīng)理解，在本發(fā)明的各種實(shí)施例中，上述各過程的序號(hào)的大小并不意味著執(zhí)行順序的先后，各過程的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對(duì)本發(fā)明實(shí)施例的實(shí)施過程構(gòu)成任何限定。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實(shí)現(xiàn)。以上所描述的設(shè)備實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，如：多個(gè)單元或組件可以結(jié)合，或可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可 以是電性的、機(jī)械的或其它形式的。

上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元；既可以位于一個(gè)地方，也可以分布到多個(gè)網(wǎng)絡(luò)單元上；可以根據(jù)實(shí)際的需要選擇其中的部分或全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各實(shí)施例中的各功能單元可以全部集成在一個(gè)處理單元中，也可以是各單元分別單獨(dú)作為一個(gè)單元，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中；上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以理解：實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括：移動(dòng)存儲(chǔ)設(shè)備、只讀存儲(chǔ)器(Read Only Memory，ROM)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

或者，本發(fā)明上述集成的單元如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明實(shí)施例的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)、服務(wù)器、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分。而前述的存儲(chǔ)介質(zhì)包括：移動(dòng)存儲(chǔ)設(shè)備、ROM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。