基于多方式邊界填充的全景視頻編碼、解碼方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及數(shù)字視頻編解碼技術(shù)領(lǐng)域，具體涉及一種基于多方式邊界填充的全景視頻編碼、解碼方法和裝置。
【背景技術(shù)】
[0002]目前，虛擬現(xiàn)實(shí)技術(shù)和相關(guān)應(yīng)用正在快速發(fā)展。在虛擬現(xiàn)實(shí)技術(shù)中，全景圖像和全景視頻是一個(gè)重要的組成部分。由于全景視頻記錄了360度視角的全部畫(huà)面，具有極高的數(shù)據(jù)量，因此全景視頻的壓縮是虛擬現(xiàn)實(shí)應(yīng)用中的一個(gè)關(guān)鍵技術(shù)。全景視頻作為一種新興的媒體，和傳統(tǒng)的視頻相比，具有視野大，分辨率高，數(shù)據(jù)量大等特點(diǎn)。利用全景視頻，觀察者視點(diǎn)不變，改變觀察方向能夠觀察到周?chē)娜繄?chǎng)景，而普通的二維視頻只反應(yīng)了全景視頻的某個(gè)局部。
[0003]柱面全景視頻是一種常見(jiàn)的全景視頻，它相當(dāng)于一個(gè)虛擬的攝像機(jī)，把空間中的三維物體投影到柱面上。柱面全景視頻的生成可以利用多攝像頭或者單攝像頭采集系統(tǒng)采集而成。
[0004]由于全景視頻的視野范圍是普通視頻的5?6倍，在給用戶提供相同的視覺(jué)質(zhì)量的情況下，全景視頻的數(shù)據(jù)量是普通視頻的5?6倍。如果按照傳統(tǒng)的視頻傳輸方案，全景視頻在網(wǎng)絡(luò)環(huán)境下的使用變得困難重重。但是，由于在同一時(shí)刻，用戶所需要看到的內(nèi)容只是全景視頻的某一部分，所以分塊編碼與傳輸成為了全景視頻網(wǎng)絡(luò)傳輸?shù)某Ｒ?jiàn)方案。
[0005]請(qǐng)參考圖1，柱面全景視頻的傳輸方法主要包括下面步驟:
[0006]對(duì)全景圖像進(jìn)行分塊，并對(duì)每個(gè)圖像塊的序列獨(dú)立進(jìn)行編碼。
[0007]之后選擇所需要的編碼后的數(shù)據(jù)進(jìn)行傳輸。在此可以根據(jù)用戶當(dāng)前的視角選擇數(shù)據(jù)。傳輸媒介可以是因特網(wǎng)、無(wú)線網(wǎng)絡(luò)、局域網(wǎng)、光學(xué)網(wǎng)絡(luò)、其它合適的傳輸媒介、或者這些傳輸媒介的適當(dāng)組合。
[0008]最后解碼端接收到數(shù)據(jù)之后，對(duì)這些塊序列進(jìn)行獨(dú)立的解碼和投影變換，得到所需圖像。
[0009]在全景視頻的分塊編碼中，分塊的尺寸對(duì)于全景視頻的編碼效率以及傳輸區(qū)域有著重要的影響，而這兩項(xiàng)因素直接決定著需要傳輸?shù)臄?shù)據(jù)量。如果編碼塊尺寸小，則傳輸區(qū)域較小，但是編碼效率會(huì)較低;如果編碼塊尺寸大，則編碼效率較高，但是傳輸區(qū)域也較大。所以在相同的視覺(jué)質(zhì)量下，不同的編碼塊尺寸，需要傳輸?shù)臄?shù)據(jù)量是不一樣的。
[0010]由于全景視頻相對(duì)普通視頻具有一定的特殊性，例如全景視頻具有循環(huán)性，畫(huà)面存在較大畸變等，需要使用一個(gè)特殊的編碼技術(shù)以提高全景視頻的壓縮效率，而如何提高全景視頻的壓縮效率是本領(lǐng)域常年研究的一個(gè)問(wèn)題。

【發(fā)明內(nèi)容】

[0011]本申請(qǐng)?zhí)峁┮环N基于多方式邊界填充的全景視頻編碼、解碼方法和裝置，可以提高全景視頻的壓縮效率。
[0012]根據(jù)本申請(qǐng)的第一方面，本申請(qǐng)?zhí)峁┝艘环N基于多方式邊界填充的全景視頻編碼方法包括:
[0013]將當(dāng)前圖像劃分為若干圖像塊；
[0014]通過(guò)幀間預(yù)測(cè)得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊;所述幀間預(yù)測(cè)包括邊界填充步驟，所述邊界填充步驟為:當(dāng)前圖像塊中像素的參考樣本在相應(yīng)的參考圖像的邊界之外時(shí)，根據(jù)參考樣本的坐標(biāo)自適應(yīng)選擇邊界填充方式，以求得參考樣本的樣本值；
[0015]將當(dāng)前圖像塊與預(yù)測(cè)圖像塊相減，得到殘差塊；
[0016]對(duì)殘差塊進(jìn)行變換、量化和熵編碼，以得到編碼碼流;所述編碼碼流的序列頭或圖像頭中寫(xiě)入有邊界填充步驟中所選擇的邊界填充方式。
[0017]優(yōu)選的，當(dāng)前圖像塊中像素的參考樣本在相應(yīng)的參考圖像的邊界之外時(shí)，根據(jù)參考樣本的坐標(biāo)自適應(yīng)選擇邊界填充方式步驟，包括:當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界以內(nèi)，且參考樣本的橫坐標(biāo)位于參考圖像左邊界和右邊界之外時(shí)，選擇橫向圖像邊界填充方式求得參考樣本的樣本值;當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界之外時(shí)，選擇縱向圖像邊界填充方式求得參考樣本的樣本值。
[0018]在一實(shí)施例中，當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界以內(nèi)，且參考樣本的橫坐標(biāo)位于參考圖像左邊界和右邊界之外時(shí)，橫向圖像邊界填充方式采用循環(huán)填充方式；當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界之外時(shí)，縱向圖像邊界填充方式采用循環(huán)填充方式。
[0019]在另一實(shí)施例中，當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界以內(nèi)，且參考樣本的橫坐標(biāo)位于參考圖像左邊界和右邊界之外時(shí)，橫向圖像邊界填充方式采用循環(huán)填充方式；當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界之外時(shí)，縱向圖像邊界填充方式采用重復(fù)填充方式。
[0020]根據(jù)本申請(qǐng)的第二方面，本申請(qǐng)還提供了一種基于多方式邊界填充的全景視頻編碼裝置，包括:
[0021]圖像劃分模塊，用于將當(dāng)前圖像劃分為若干圖像塊；
[0022]幀間預(yù)測(cè)模塊，用于通過(guò)幀間預(yù)測(cè)得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊;所述幀間預(yù)測(cè)模塊包括邊界填充單元，用于在當(dāng)前圖像塊中像素的參考樣本在相應(yīng)的參考圖像的邊界之外時(shí)，根據(jù)參考樣本的坐標(biāo)自適應(yīng)選擇邊界填充方式，以求得參考樣本的樣本值；
[0023]計(jì)算模塊，用于將當(dāng)前圖像塊與預(yù)測(cè)圖像塊相減，得到殘差塊；
[0024]碼流生成模塊，用于對(duì)殘差塊進(jìn)行變換、量化和熵編碼，以得到編碼碼流;所述編碼碼流的序列頭或圖像頭中寫(xiě)入有邊界填充單元所選擇的邊界填充方式。
[0025]優(yōu)選的，邊界填充單元用于在當(dāng)前圖像塊中像素的參考樣本在相應(yīng)的參考圖像的邊界之外時(shí)，根據(jù)參考樣本的坐標(biāo)自適應(yīng)選擇邊界填充方式，以求得參考樣本的樣本值，具體為:邊界填充單元用于在當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界以內(nèi)，且參考樣本的橫坐標(biāo)位于參考圖像左邊界和右邊界之外時(shí)，選擇橫向圖像邊界填充方式求得參考樣本的樣本值;在當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界之外時(shí)，選擇縱向圖像邊界填充方式求得參考樣本的樣本值。
[0026]在一實(shí)施例中，邊界填充單元用于在當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界以內(nèi)，且參考樣本的橫坐標(biāo)位于參考圖像左邊界和右邊界之外時(shí)，橫向圖像邊界填充方式采用循環(huán)填充方式;在當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界之外時(shí)，縱向圖像邊界填充方式采用循環(huán)填充方式。
[0027]在另一實(shí)施例中，邊界填充單元用于在當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界以內(nèi)，且參考樣本的橫坐標(biāo)位于參考圖像左邊界和右邊界之外時(shí)，橫向圖像邊界填充方式采用循環(huán)填充方式;在當(dāng)參考樣本的縱坐標(biāo)位于參考圖像上邊界和下邊界之外時(shí)，縱向圖像邊界填充方式采用重復(fù)填充方式。
[0028]根據(jù)本申請(qǐng)的第三方面，本申請(qǐng)還提供了一種基于多方式邊界填充的全景視頻解碼方法，包括:
[0029]對(duì)編碼碼流進(jìn)行熵解碼、反量化和反變換，以得到重建的殘差塊；
[0030]通過(guò)幀間預(yù)測(cè)得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊;所述幀間預(yù)測(cè)包括邊界填充步驟，所述邊界填充步驟為:采用編碼碼流的序列頭或圖像頭中記錄的邊界填充方式，以求得參考樣本的樣本值；
[0031]將預(yù)測(cè)圖像塊和重建的殘差塊相加，得到重建的圖像塊。
[0032]在一實(shí)施例中，當(dāng)所述邊界填充方式記錄在編碼碼流的序列頭中時(shí)，編碼碼流的所有序