本發(fā)明涉及全景圖像處理技術(shù)領(lǐng)域，特別是涉及一種全景視頻的處理方法、裝置及系統(tǒng)。

背景技術(shù)：

隨著VR頭戴顯示設(shè)備以及飛行器的普及，通過飛行器攜帶的全景攝像模組捕捉高空場景中較大范圍的圖像信息，進(jìn)而利用WiFi、藍(lán)牙、Zigbee、移動(dòng)通信等無線傳輸技術(shù)，將上述圖像信息發(fā)送至VR頭戴顯示設(shè)備?，F(xiàn)有技術(shù)中，通常對(duì)全景攝像模組拍攝的各個(gè)角度的圖像進(jìn)行拼接形成圖像幀，進(jìn)而將圖像幀映射到構(gòu)建的虛擬球體模型的球體表面，得到以球體模型來呈現(xiàn)的球面圖像，通過VR頭戴顯示設(shè)備來觀看球面圖像所呈現(xiàn)出來的全景景觀，提升用戶的體驗(yàn)和沉浸感。

發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)：鑒于目前無線傳輸技術(shù)中信道帶寬有限，將圖像幀發(fā)送至VR頭戴顯示設(shè)備的過程中，很難通過VR頭戴顯示設(shè)備實(shí)時(shí)地顯示球面圖像。雖然能夠通過降低碼率、減少幀率的方式適應(yīng)有限的信道帶寬，以提高實(shí)時(shí)性，但是卻以犧牲在VR頭戴顯示設(shè)備上看到的視頻圖像質(zhì)量為代價(jià)，降低了用戶的體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施方式主要解決的技術(shù)問題是提供一種全景視頻的處理方法、裝置及系統(tǒng)，能夠確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度。

第一方面，本發(fā)明實(shí)施例提供了一種全景視頻的處理方法，包括：

接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)；

根據(jù)所述分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域；

對(duì)所述第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)所述第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

第二方面，本發(fā)明實(shí)施例提供了一種全景視頻的處理裝置，所述裝置包括：

參數(shù)接收模塊，用于接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)；

區(qū)域確定模塊，用于根據(jù)所述分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域；

第一碼率處理模塊，用于對(duì)所述第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理；

第二碼率處理模塊，用于對(duì)所述第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

第三方面，本發(fā)明實(shí)施例提供了一種全景視頻的處理方法，所述方法包括：

向終端設(shè)備發(fā)送分區(qū)參數(shù)；

接收終端設(shè)備根據(jù)所述分區(qū)參數(shù)反饋的全景視頻畫面，其中，所述全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，所述第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，所述第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

第三方面，本發(fā)明實(shí)施例提供了一種全景視頻的處理裝置，所述裝置包括：

參數(shù)發(fā)送模塊，用于向終端設(shè)備發(fā)送分區(qū)參數(shù)；

畫面接收模塊，用于接收終端設(shè)備根據(jù)所述分區(qū)參數(shù)反饋的全景視頻畫面，其中，所述全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，所述第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，所述第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

第四方面，本發(fā)明實(shí)施例提供了一種全景視頻的處理系統(tǒng)，所述系統(tǒng)包括：

顯示設(shè)備，用于向所述終端設(shè)備發(fā)送分區(qū)參數(shù)；

終端設(shè)備，用于根據(jù)所述分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，并對(duì)所述第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)所述第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

本發(fā)明實(shí)施例提供的一種全景視頻的處理方法、裝置及系統(tǒng)，終端設(shè)備通過接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)，進(jìn)而根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理，實(shí)現(xiàn)用戶觀察區(qū)域?qū)?yīng)的圖像按照高碼率處理，用戶非觀察區(qū)域?qū)?yīng)的圖像按照低碼率處理，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)本發(fā)明實(shí)施例中所需要使用的附圖作簡單地介紹。顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例提供的一種全景視頻的處理方法的流程圖；

圖2a和圖2b是用戶視角的朝向在球體模型內(nèi)切換的示意圖；

圖3a和圖3b是用戶視角的范圍對(duì)應(yīng)全景視頻畫面中圖像的變化示意圖；

圖4是本發(fā)明實(shí)施例提供的一種全景視頻的處理裝置的功能框圖；

圖5是本發(fā)明又一實(shí)施例提供的一種全景視頻的處理裝置的功能框圖；

圖6是本發(fā)明實(shí)施例提供的一種全景視頻的處理方法的流程圖；

圖7是本發(fā)明實(shí)施例提供的一種全景視頻的處理裝置的功能框圖；

圖8是本發(fā)明又一實(shí)施例提供的一種全景視頻的處理裝置的功能框圖；

圖9是本發(fā)明實(shí)施例提供的一種全景視頻的處理系統(tǒng)的示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

本發(fā)明實(shí)施例的全景視頻的處理方法可以是基于與全景攝像模組通信連接的終端設(shè)備和顯示設(shè)備之間的信息交互過程。全景攝像模組可以是由一個(gè)或者多個(gè)攝像頭組成。終端設(shè)備可以是飛行器、相機(jī)、手機(jī)、平板電腦等，顯示設(shè)備可以是VR頭戴顯示設(shè)備、電視機(jī)、投影設(shè)備等。終端設(shè)備將全景攝像模組采集的全景視頻經(jīng)過預(yù)設(shè)處理后以無線或有線傳輸?shù)姆绞桨l(fā)送給顯示設(shè)備進(jìn)行顯示，無線傳輸?shù)姆绞桨ǖ幌抻赪ifi、Bluetooth、ZigBee、移動(dòng)數(shù)據(jù)通信等無線傳輸技術(shù)。

下面結(jié)合具體附圖對(duì)本發(fā)明實(shí)施例作具體闡述。

如圖1所示，本發(fā)明實(shí)施例提供了一種全景視頻的處理方法，所述方法可以由終端設(shè)備執(zhí)行，所述方法包括：

步驟11、接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)。

在本發(fā)明實(shí)施例中，以顯示設(shè)備是VR頭戴式顯示設(shè)備為例，全景攝像模組拍攝全景視頻畫面，終端設(shè)備根據(jù)VR頭戴式顯示設(shè)備發(fā)送的分區(qū)參數(shù)反饋所述全景視頻畫面至VR頭戴式顯示設(shè)備。

用戶佩戴VR頭戴式顯示設(shè)備時(shí)，為了能夠觀看全景視頻畫面的三維效果，如圖2a所示，VR頭戴式顯示設(shè)備可以構(gòu)建虛擬三維空間內(nèi)的球體模型21，進(jìn)而將全景視頻畫面映射到球體模型21的球體表面上，得到以球體模型21來展現(xiàn)的球面視頻畫面，實(shí)現(xiàn)把二維的全景視頻畫面模擬成三維的球面視頻畫面，以呈現(xiàn)給用戶。

用戶視角的切換可以實(shí)現(xiàn)向用戶呈現(xiàn)球面視頻畫面中不同的區(qū)域，在用戶視角的切換的實(shí)現(xiàn)方式上，包括但不限于如下兩種方式：

第一種方式，佩戴VR頭戴式顯示設(shè)備的用戶轉(zhuǎn)動(dòng)頭部，VR頭戴式顯示設(shè)備的陀螺儀檢測用戶的頭部轉(zhuǎn)動(dòng)，確定用戶視角的方位，以便向用戶呈現(xiàn)球面視頻畫面中用戶視角朝向的區(qū)域，例如，由如圖2a所示的用戶視角朝向的區(qū)域切換到如圖2b所示的用戶視角朝向的區(qū)域。

第二種方式，佩戴VR頭戴式顯示設(shè)備的用戶操作遙控器上的搖桿或按鍵，VR頭戴式顯示設(shè)備根據(jù)搖桿的擺動(dòng)或按鍵的觸發(fā)，即可向用戶呈現(xiàn)球面視頻畫面中不同的區(qū)域。遙控器與VR頭戴式顯示設(shè)備可以是以無線或有線傳輸?shù)姆绞竭M(jìn)行通信。

需要說明的是，在用戶視角的切換的實(shí)現(xiàn)方式上，可以采用上述第一種方式，也可以采用上述第二種方式，還也可以采用在第一種方式與第二種方式之間切換，以便供用戶選擇第一種方式或第二種方式。

在本發(fā)明實(shí)施例中，可以將球體模型的球體表面分成多個(gè)分區(qū)，分區(qū)的數(shù)量及各個(gè)分區(qū)的面積大小可以顯示設(shè)備的顯示屏視角大小進(jìn)行適應(yīng)性調(diào)整。圖2a和圖2b中以將球體模型21的球體表面分成六個(gè)分區(qū)為例，六個(gè)分區(qū)包括：A分區(qū)、B分區(qū)、C分區(qū)、D分區(qū)、E分區(qū)以及F分區(qū)，一個(gè)分區(qū)可以用于對(duì)應(yīng)展現(xiàn)全景攝像模組中一個(gè)攝像頭拍攝的區(qū)域畫面。在一固定時(shí)刻，用戶視角的范圍能夠涉及1～3個(gè)分區(qū)，根據(jù)用戶視角的方位可以計(jì)算出用戶視角的范圍所涉及的分區(qū)位置，進(jìn)而可以確定所涉及的分區(qū)編號(hào)。

步驟12、根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域。

作為一種可選的實(shí)施方式，分區(qū)參數(shù)可以是根據(jù)顯示設(shè)備的用戶視角所確定的全景視頻畫面的分區(qū)位置，如圖2a所示，用戶視角的范圍涉及到C分區(qū)和D分區(qū)這兩個(gè)區(qū)域，在切換用戶視角后，如圖2b所示，用戶視角的范圍涉及到B分區(qū)和C分區(qū)這兩個(gè)區(qū)域。

作為一種可選的實(shí)施方式，分區(qū)參數(shù)包括第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息。確定分區(qū)參數(shù)的步驟具體包括：

獲取球面視頻畫面中與第一視頻區(qū)域?qū)?yīng)的圖像的第一標(biāo)識(shí)信息以及與第二視頻區(qū)域?qū)?yīng)的圖像的第二標(biāo)識(shí)信息。

將第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息整合成分區(qū)參數(shù)。

在本可選實(shí)施方式中，全景視頻畫面中第一視頻區(qū)域?qū)?yīng)的球面視頻畫面中的圖像具有第一標(biāo)識(shí)信息，全景視頻畫面中第二視頻區(qū)域?qū)?yīng)的球面視頻畫面中的圖像具有第二標(biāo)識(shí)信息，能夠通過第一標(biāo)識(shí)信息和第二標(biāo)識(shí)信息確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域。

步驟13、對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

圖3a是圖2a中用戶視角的范圍對(duì)應(yīng)全景視頻畫面中圖像的示意圖，圖3b是圖2b中用戶視角的范圍對(duì)應(yīng)全景視頻畫面中圖像的示意圖。

在本發(fā)明實(shí)施例中，全景視頻畫面中的圖像包括：a圖像、b圖像、c圖像、d圖像、e圖像以及f圖像。a圖像、b圖像、c圖像、d圖像、e圖像以及f圖像拼接后形成全景視頻畫面。a圖像映射到A分區(qū)，b圖像映射到B分區(qū)，c圖像映射到C分區(qū)，d圖像映射到D分區(qū)，e圖像映射到E分區(qū)，f圖像映射到F分區(qū)。

如圖3a所示，用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的c圖像和d圖像這兩個(gè)圖像，在切換用戶視角后，如圖3b所示，用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的b圖像和c圖像這兩個(gè)圖像。

作為一種可選的實(shí)施方式，第一碼率大于第二碼率，第一視頻區(qū)域包括用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的圖像，第二視頻區(qū)域包括全景視頻畫面中其他圖像中的任意一個(gè)或多個(gè)圖像。例如，如圖3a所示，第一視頻區(qū)域包括c圖像和d圖像，對(duì)第一視頻區(qū)域內(nèi)的圖像按照第一碼率處理；第二視頻區(qū)域包括a圖像、b圖像、e圖像以及f圖像中任意一個(gè)或多個(gè)圖像，對(duì)第二視頻區(qū)域的圖像按照第二碼率處理。

作為一種可選的實(shí)施方式，第二碼率大于第一碼率，第二視頻區(qū)域包括用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的圖像，第一視頻區(qū)域包括全景視頻畫面中其他圖像中的任意一個(gè)或多個(gè)圖像。對(duì)第一視頻區(qū)域內(nèi)的圖像按照第一碼率處理；對(duì)第二視頻區(qū)域的圖像按照第二碼率處理。

本發(fā)明實(shí)施例提供的一種全景視頻的處理方法，終端設(shè)備通過接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)，進(jìn)而根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理，實(shí)現(xiàn)用戶觀察區(qū)域?qū)?yīng)的圖像按照高碼率處理，用戶非觀察區(qū)域?qū)?yīng)的圖像按照低碼率處理，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

作為一種可選的實(shí)施方式，上述對(duì)所述第一視頻區(qū)域按照第一碼率處理具體為：對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率進(jìn)行壓縮編碼；上述對(duì)所述第二視頻區(qū)域按照第二碼率處理具體為：對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率進(jìn)行壓縮編碼。終端設(shè)備將壓縮編碼后的視頻碼流可以通過無線傳輸?shù)姆绞桨l(fā)送至顯示設(shè)備，無線傳輸?shù)姆绞桨ǖ幌抻赪ifi、Bluetooth、ZigBee、移動(dòng)數(shù)據(jù)通信等無線傳輸技術(shù)。終端設(shè)備將壓縮編碼后的視頻碼流也可以通過有線傳輸?shù)姆绞桨l(fā)送至顯示設(shè)備。

作為一種可選的實(shí)施方式，上述對(duì)第一視頻區(qū)域按照第一碼率處理具體為：確定拍攝第一視頻區(qū)域的第一組攝像頭，將第一組攝像頭的輸出碼率設(shè)置為第一碼率；上述對(duì)第二視頻區(qū)域按照第二碼率處理具體為：確定拍攝第二視頻區(qū)域的第二組攝像頭，將第二組攝像頭的輸出碼率設(shè)置為第二碼率。例如，如圖3a所示，第一組攝像頭包括拍攝c圖像和d圖像的攝像頭，將第一組攝像頭的輸出碼率設(shè)置為第一碼率；第二組攝像頭包括拍攝a圖像、b圖像、e圖像以及f圖像中任意一個(gè)或多個(gè)圖像的攝像頭，將第二組攝像頭的輸出碼率設(shè)置為第二碼率。

為了進(jìn)一步降低對(duì)信道帶寬的負(fù)載，假設(shè)用戶視角的范圍對(duì)應(yīng)全景視頻畫面中第一視頻區(qū)域，可以關(guān)閉拍攝第二視頻區(qū)域的第二組攝像頭；假設(shè)用戶視角的范圍對(duì)應(yīng)全景視頻畫面中第二視頻區(qū)域，可以關(guān)閉拍攝第一視頻區(qū)域的第一組攝像頭。

如圖4所示，本發(fā)明實(shí)施例提供了一種全景視頻的處理裝置40，所述處理裝置40包括：參數(shù)接收模塊41、區(qū)域確定模塊42、第一碼率處理模塊43和第二碼率處理模塊44。

參數(shù)接收模塊41用于接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)。

所述分區(qū)參數(shù)為根據(jù)所述顯示設(shè)備的用戶視角所確定的全景視頻圖像分區(qū)的位置。

區(qū)域確定模塊42用于根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域。

第一碼率處理模塊43用于對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理。

具體的，第一碼率處理模塊用于對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率進(jìn)行壓縮編碼；或者，第一碼率處理模塊用于確定拍攝第一視頻區(qū)域的第一組攝像頭，將第一組攝像頭的輸出碼率設(shè)置為第一碼率。

第二碼率處理模塊44用于對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

具體的，第二碼率處理模塊用于對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率進(jìn)行壓縮編碼；或者，第二碼率處理模塊用于確定拍攝第二視頻區(qū)域的第二組攝像頭，將第二組攝像頭的輸出碼率設(shè)置為第二碼率。

在本發(fā)明實(shí)施例中，對(duì)參數(shù)接收模塊41、區(qū)域確定模塊42、第一碼率處理模塊43以及第二碼率處理模塊44的解釋說明請參考對(duì)上述步驟11、步驟12以及步驟13的解釋說明。

本發(fā)明實(shí)施例提供的一種全景視頻的處理裝置，通過接收模塊接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)，進(jìn)而區(qū)域確定模塊根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，第一碼率處理模塊對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，第二碼率處理模塊對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理，實(shí)現(xiàn)用戶觀察區(qū)域?qū)?yīng)的圖像按照高碼率處理，用戶非觀察區(qū)域?qū)?yīng)的圖像按照低碼率處理，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

如圖5所示，本發(fā)明又一實(shí)施例提供了一種全景視頻的處理裝置50，所述處理裝置50包括：參數(shù)接收模塊51、區(qū)域確定模塊52、第一碼率處理模塊53、第二碼率處理模塊54以及碼流發(fā)送模塊55。

參數(shù)接收模塊51用于接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)。

區(qū)域確定模塊52用于根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域。

第一碼率處理模塊53用于對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率進(jìn)行壓縮編碼。

第二碼率處理模塊54用于對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率進(jìn)行壓縮編碼。

碼流發(fā)送模塊55用于將壓縮編碼后的視頻碼流通過無線傳輸?shù)姆绞桨l(fā)送至顯示設(shè)備。

在本發(fā)明實(shí)施例中，對(duì)參數(shù)接收模塊51、區(qū)域確定模塊52、第一碼率處理模塊53、第二碼率處理模塊54以及碼流發(fā)送模塊55的解釋說明請參考對(duì)上述步驟11、步驟12以及步驟13的解釋說明。

本發(fā)明實(shí)施例提供的一種全景視頻的處理裝置，通過接收模塊51接收顯示設(shè)備發(fā)送的分區(qū)參數(shù)，進(jìn)而區(qū)域確定模塊52根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，第一碼率處理模塊對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率進(jìn)行壓縮編碼，第二碼率處理模塊對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率進(jìn)行壓縮編碼，碼流發(fā)送模塊將壓縮編碼后的視頻碼流通過無線傳輸?shù)姆绞桨l(fā)送至顯示設(shè)備，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像無線傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

如圖6所示，本發(fā)明實(shí)施例提供了一種全景視頻的處理方法，所述方法由顯示設(shè)備執(zhí)行，所述方法包括：

步驟61、向終端設(shè)備發(fā)送分區(qū)參數(shù)。

步驟62、接收終端設(shè)備根據(jù)分區(qū)參數(shù)反饋的全景視頻畫面，其中，全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

在本發(fā)明實(shí)施例中，以終端設(shè)備是飛行器，以顯示設(shè)備是VR頭戴式顯示設(shè)備為例，全景攝像模組拍攝全景視頻畫面，終端設(shè)備根據(jù)VR頭戴式顯示設(shè)備發(fā)送的分區(qū)參數(shù)反饋全景視頻畫面至VR頭戴式顯示設(shè)備。

用戶佩戴VR頭戴式顯示設(shè)備時(shí)，為了能夠觀看全景視頻畫面的三維效果，在步驟62之后，還包括如下步驟：

構(gòu)建虛擬三維空間內(nèi)的球體模型；

將全景視頻畫面映射到球體模型的球體表面上，得到以球體模型來展現(xiàn)的球面視頻畫面。

如圖2a所示，VR頭戴式顯示設(shè)備可以構(gòu)建虛擬三維空間內(nèi)的球體模型21，進(jìn)而將全景視頻畫面映射到球體模型21的球體表面上，得到以球體模型21來展現(xiàn)的球面視頻畫面，實(shí)現(xiàn)把二維的全景視頻畫面模擬成三維的球面視頻畫面，以呈現(xiàn)給用戶。

用戶視角的切換可以實(shí)現(xiàn)向用戶呈現(xiàn)球面視頻畫面中不同的區(qū)域，在用戶視角的切換的實(shí)現(xiàn)方式上，包括但不限于如下兩種方式：

第一種方式，佩戴VR頭戴式顯示設(shè)備的用戶轉(zhuǎn)動(dòng)頭部，VR頭戴式顯示設(shè)備的陀螺儀檢測用戶的頭部轉(zhuǎn)動(dòng)，確定用戶視角的方位，以便向用戶呈現(xiàn)球面視頻畫面中用戶視角朝向的區(qū)域，例如，由如圖2a所示的用戶視角朝向的區(qū)域切換到如圖2b所示的用戶視角朝向的區(qū)域。

第二種方式，佩戴VR頭戴式顯示設(shè)備的用戶操作遙控器上的搖桿或按鍵，VR頭戴式顯示設(shè)備根據(jù)搖桿的擺動(dòng)或按鍵的觸發(fā)，即可向用戶呈現(xiàn)球面視頻畫面中不同的區(qū)域。遙控器與VR頭戴式顯示設(shè)備可以是以無線或有線傳輸?shù)姆绞竭M(jìn)行通信。

需要說明的是，在用戶視角的切換的實(shí)現(xiàn)方式上，可以采用上述第一種方式，也可以采用上述第二種方式，還也可以采用在第一種方式與第二種方式之間切換，以便供用戶選擇第一種方式或第二種方式。

在本發(fā)明實(shí)施例中，可以將球體模型的球體表面分成多個(gè)分區(qū)，分區(qū)的數(shù)量及各個(gè)分區(qū)的面積大小可以顯示設(shè)備的顯示屏視角大小進(jìn)行適應(yīng)性調(diào)整。圖2a和圖2b中以將球體模型21的球體表面分成六個(gè)分區(qū)為例，六個(gè)分區(qū)包括：A分區(qū)、B分區(qū)、C分區(qū)、D分區(qū)、E分區(qū)以及F分區(qū)，一個(gè)分區(qū)可以用于對(duì)應(yīng)展現(xiàn)全景攝像模組中一個(gè)攝像頭拍攝的區(qū)域畫面。在一固定時(shí)刻，用戶視角的范圍能夠涉及1～3個(gè)分區(qū)，根據(jù)用戶視角的方位可以計(jì)算出用戶視角的范圍所涉及的分區(qū)位置，進(jìn)而可以確定所涉及的分區(qū)編號(hào)。

作為一種可選的實(shí)施方式，分區(qū)參數(shù)可以是根據(jù)顯示設(shè)備的用戶視角所確定的全景視頻畫面的分區(qū)位置，如圖2a所示，用戶視角的范圍涉及到C分區(qū)和D分區(qū)這兩個(gè)區(qū)域，在切換用戶視角后，如圖2b所示，用戶視角的范圍涉及到B分區(qū)和C分區(qū)這兩個(gè)區(qū)域。

作為一種可選的實(shí)施方式，分區(qū)參數(shù)包括第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息。在步驟62之后，還包括如下步驟：

獲取球面視頻畫面中與第一視頻區(qū)域?qū)?yīng)的圖像的第一標(biāo)識(shí)信息以及與第二視頻區(qū)域?qū)?yīng)的圖像的第二標(biāo)識(shí)信息。

將第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息整合成分區(qū)參數(shù)。

在本可選實(shí)施方式中，全景視頻畫面中第一視頻區(qū)域?qū)?yīng)的球面視頻畫面中的圖像具有第一標(biāo)識(shí)信息，全景視頻畫面中第二視頻區(qū)域?qū)?yīng)的球面視頻畫面中的圖像具有第二標(biāo)識(shí)信息，能夠通過第一標(biāo)識(shí)信息和第二標(biāo)識(shí)信息確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域。

將第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息整合成分區(qū)參數(shù)。

圖3a是圖2a中用戶視角的范圍對(duì)應(yīng)全景視頻畫面中圖像的示意圖，圖3b是圖2b中用戶視角的范圍對(duì)應(yīng)全景視頻畫面中圖像的示意圖。

在本發(fā)明實(shí)施例中，全景視頻畫面中的圖像包括：a圖像、b圖像、c圖像、d圖像、e圖像以及f圖像。a圖像、b圖像、c圖像、d圖像、e圖像以及f圖像拼接后形成全景視頻畫面。a圖像映射到A分區(qū)，b圖像映射到B分區(qū)，c圖像映射到C分區(qū)，d圖像映射到D分區(qū)，e圖像映射到E分區(qū)，f圖像映射到F分區(qū)。

如圖3a所示，用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的c圖像和d圖像這兩個(gè)圖像，在切換用戶視角后，如圖3b所示，用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的b圖像和c圖像這兩個(gè)圖像。

作為一種可選的實(shí)施方式，第一碼率大于第二碼率，第一視頻區(qū)域包括用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的圖像，第二視頻區(qū)域包括全景視頻畫面中其他圖像中的任意一個(gè)或多個(gè)圖像。例如，如圖3a所示，第一視頻區(qū)域包括c圖像和d圖像，對(duì)第一視頻區(qū)域內(nèi)的圖像按照第一碼率處理；第二視頻區(qū)域包括a圖像、b圖像、e圖像以及f圖像中任意一個(gè)或多個(gè)圖像，對(duì)第二視頻區(qū)域的圖像按照第二碼率處理。

作為一種可選的實(shí)施方式，第二碼率大于第一碼率，第二視頻區(qū)域包括用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的圖像，第一視頻區(qū)域包括全景視頻畫面中其他圖像中的任意一個(gè)或多個(gè)圖像。對(duì)第一視頻區(qū)域內(nèi)的圖像按照第一碼率處理；對(duì)第二視頻區(qū)域的圖像按照第二碼率處理。

在步驟62之后，還包括如下步驟：

顯示球面視頻畫面中與第一視頻區(qū)域?qū)?yīng)的圖像或與第二視頻區(qū)域?qū)?yīng)的圖像。

發(fā)明實(shí)施例提供的一種全景視頻的處理方法，通過向終端設(shè)備發(fā)送分區(qū)參數(shù)，接收終端設(shè)備根據(jù)分區(qū)參數(shù)反饋的全景視頻畫面，其中，全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

如圖7所示，本發(fā)明實(shí)施例提供了一種全景視頻的處理裝置70，所述處理裝置70包括：參數(shù)發(fā)送模塊71和畫面接收模塊72。

參數(shù)發(fā)送模塊71用于向終端設(shè)備發(fā)送分區(qū)參數(shù)。

畫面接收模塊72用于接收終端設(shè)備根據(jù)分區(qū)參數(shù)反饋的全景視頻畫面，其中，全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

在本發(fā)明實(shí)施例中，對(duì)參數(shù)發(fā)送模塊71和畫面接收模塊72的解釋說明請參考對(duì)上述步驟61、步驟62的解釋說明。

發(fā)明實(shí)施例提供的一種全景視頻的處理裝置，通過參數(shù)發(fā)送模塊向終端設(shè)備發(fā)送分區(qū)參數(shù)，畫面接收模塊接收終端設(shè)備根據(jù)分區(qū)參數(shù)反饋的全景視頻畫面，其中，全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

如圖8所示，本發(fā)明又一實(shí)施例提供了一種全景視頻的處理裝置80，所述處理裝置80包括：參數(shù)發(fā)送模塊81、畫面接收模塊82、模型構(gòu)建模塊83、畫面映射模塊84、標(biāo)識(shí)信息獲取模塊85、整合模塊86、顯示模塊87。

參數(shù)發(fā)送模塊81用于向終端設(shè)備發(fā)送分區(qū)參數(shù)。

畫面接收模塊82用于接收終端設(shè)備根據(jù)分區(qū)參數(shù)反饋的全景視頻畫面，其中，全景視頻畫面包括第一視頻區(qū)域和第二視頻區(qū)域，第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

模型構(gòu)建模塊83用于構(gòu)建虛擬三維空間內(nèi)的球體模型。

畫面映射模塊84用于將全景視頻畫面映射到球體模型的球體表面上，得到以球體模型來展現(xiàn)的球面視頻畫面。

標(biāo)識(shí)信息獲取模塊85用于獲取球面視頻畫面中與第一視頻區(qū)域?qū)?yīng)的圖像的第一標(biāo)識(shí)信息以及與第二視頻區(qū)域?qū)?yīng)的圖像的第二標(biāo)識(shí)信息。

整合模塊86用于將第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息整合成分區(qū)參數(shù)。

顯示模塊87用于顯示球面視頻畫面中與第一視頻區(qū)域?qū)?yīng)的圖像或與第二視頻區(qū)域?qū)?yīng)的圖像。

在本發(fā)明實(shí)施例中，對(duì)參數(shù)發(fā)送模塊81、畫面接收模塊82、模型構(gòu)建模塊83、畫面映射模塊84、標(biāo)識(shí)信息獲取模塊85、整合模塊86、顯示模塊87的解釋說明請參考對(duì)上述步驟61、步驟62的解釋說明。

如圖9所示，本發(fā)明實(shí)施例提供了一種全景視頻的處理系統(tǒng)90，所述系統(tǒng)包括：顯示設(shè)備91和終端設(shè)備92。終端設(shè)備可以是飛行器、相機(jī)、手機(jī)、平板電腦等，顯示設(shè)備可以是VR頭戴顯示設(shè)備、電視機(jī)、投影設(shè)備等。

顯示設(shè)備91用于向終端設(shè)備發(fā)送分區(qū)參數(shù)。

作為一種可選的實(shí)施方式，分區(qū)參數(shù)可以是根據(jù)顯示設(shè)備的用戶視角所確定的全景視頻畫面的分區(qū)位置。

作為一種可選的實(shí)施方式，分區(qū)參數(shù)包括第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息。確定分區(qū)參數(shù)的步驟具體包括：

獲取球面視頻畫面中與第一視頻區(qū)域?qū)?yīng)的圖像的第一標(biāo)識(shí)信息以及與第二視頻區(qū)域?qū)?yīng)的圖像的第二標(biāo)識(shí)信息。

將第一標(biāo)識(shí)信息以及第二標(biāo)識(shí)信息整合成分區(qū)參數(shù)。

終端設(shè)備92用于根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，并對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理。

作為一種可選的實(shí)施方式，第一碼率大于第二碼率，第一視頻區(qū)域包括用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的圖像，第二視頻區(qū)域包括全景視頻畫面中其他圖像中的任意一個(gè)或多個(gè)圖像。例如，如圖3a所示，第一視頻區(qū)域包括c圖像和d圖像，對(duì)第一視頻區(qū)域內(nèi)的圖像按照第一碼率處理；第二視頻區(qū)域包括a圖像、b圖像、e圖像以及f圖像中任意一個(gè)或多個(gè)圖像，對(duì)第二視頻區(qū)域的圖像按照第二碼率處理。

作為一種可選的實(shí)施方式，第二碼率大于第一碼率，第二視頻區(qū)域包括用戶視角的范圍對(duì)應(yīng)全景視頻畫面中的圖像，第一視頻區(qū)域包括全景視頻畫面中其他圖像中的任意一個(gè)或多個(gè)圖像。對(duì)第一視頻區(qū)域內(nèi)的圖像按照第一碼率處理；對(duì)第二視頻區(qū)域的圖像按照第二碼率處理。

本發(fā)明實(shí)施例提供的一種全景視頻的處理系統(tǒng)，通過顯示設(shè)備向向終端設(shè)備發(fā)送分區(qū)參數(shù)，終端設(shè)備根據(jù)分區(qū)參數(shù)，確定全景視頻畫面中第一視頻區(qū)域和第二視頻區(qū)域，并對(duì)第一視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第一碼率處理，對(duì)第二視頻區(qū)域內(nèi)的視頻數(shù)據(jù)按照第二碼率處理，確保在有限的信道帶寬的情況下，提高顯示設(shè)備與終端設(shè)備之間圖像傳輸?shù)膶?shí)時(shí)性、提高用戶觀看到的視頻圖像的清晰度，增強(qiáng)用戶體驗(yàn)。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括：只讀存儲(chǔ)器(ROM，Read Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁盤或光盤等。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。