專利名稱：：一種柱面全景視頻編碼的塊尺寸計(jì)算方法和傳輸方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻和圖像編解碼領(lǐng)域，特別涉及柱面全景視頻編碼的塊尺寸計(jì)算方法和基于分塊的柱面全景視頻編碼的傳輸技術(shù)。
背景技術(shù)：
：全景視頻是一種新興的媒體，和傳統(tǒng)的視頻相比，具有視野大，分辨率高，數(shù)據(jù)量大等特點(diǎn)。利用全景視頻，觀察者視點(diǎn)不變，改變觀察方向能夠觀察到周圍的全部場(chǎng)景，而普通的二維視頻只反應(yīng)了全景視頻的某個(gè)局部。柱面全景視頻是一種常見的全景視頻，它相當(dāng)于一個(gè)虛擬的攝像機(jī)，把空間中的三維物體投影到柱面上。柱面全景視頻的生成可以利用多攝像頭或者單攝像頭采集系統(tǒng)采集而成。由于投影表面是柱面，所以上下方向有一些盲點(diǎn)。由于全景視頻的視野范圍是普通視頻的5~6倍，在給用戶提供相同的視覺質(zhì)量的情況下，全景視頻的數(shù)據(jù)量是普通視頻的5~6倍。如果按照傳統(tǒng)的視頻傳輸方案，全景視頻在網(wǎng)絡(luò)環(huán)境下的使用變得困難重重。但是，由于在同一時(shí)刻，用戶所需要看到的內(nèi)容只是全景視頻的某一部分，所以分塊編碼與傳輸成為了全景視頻網(wǎng)絡(luò)傳輸?shù)某Ｒ姺桨?。在全景視頻的分塊編碼中，分塊的尺寸對(duì)于全景視頻的編碼效率以及傳輸區(qū)域有著重要的影響，而這兩項(xiàng)因素直接決定著需要傳輸?shù)臄?shù)據(jù)量。如果編碼塊尺寸小，則傳輸區(qū)域較小，但是編碼效率會(huì)較低；如果編碼塊尺寸大，則編碼效率4交高，但是傳輸區(qū)域也較大。所以在相同的視覺質(zhì)量下，不同的編碼塊尺寸，需要傳輸?shù)臄?shù)據(jù)量是不一樣的。但是現(xiàn)在國內(nèi)外的一些系統(tǒng)中，基本上沒有考慮分塊的大小，塊大d、一般是按照經(jīng)驗(yàn)決定的，這就導(dǎo)致了傳輸數(shù)據(jù)量的增加。
發(fā)明內(nèi)容本發(fā)明的目的是為柱面全景視頻編碼塊尺寸的選擇提供一種快速有效的計(jì)算方法，使得在局部視覺質(zhì)量相同的情況下，所需要傳輸?shù)臄?shù)據(jù)量最小。為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種柱面全景視頻編碼塊尺寸計(jì)算方法，利用編碼全景視頻的寬度，涉及的全景視頻區(qū)域?qū)挾龋约爱?dāng)前視頻的影響因子等信息計(jì)算得到最優(yōu)編碼塊尺寸。包含如下步驟柱面全景視頻不進(jìn)行分塊直接預(yù)編碼，得到的全景視頻編碼的碼率柱面全景視頻按照任選的一個(gè)塊尺寸a進(jìn)行分塊預(yù)編碼，得到在塊尺寸a下的編碼碼率i。；根據(jù)公式<formula>formulaseeoriginaldocumentpage4</formula>計(jì)算碼率i。相比于碼率i。的增量％;根據(jù)公式<formula>formulaseeoriginaldocumentpage4</formula>計(jì)算該視頻的影響因子C，其中『表示該視頻的寬度；根據(jù)公式<formula>formulaseeoriginaldocumentpage4</formula>計(jì)算該視頻的最優(yōu)編碼塊尺寸~一其中M是目標(biāo)區(qū)域?qū)挾??；诖藟K尺寸計(jì)算方法，本發(fā)明還提供了一種柱面全景視頻編碼傳輸方法，包括如下步驟根據(jù)上述方法計(jì)算而得的塊尺寸e對(duì)該視頻進(jìn)行分塊；分塊后，對(duì)每個(gè)塊的序列獨(dú)立進(jìn)行編碼；選擇所需的編碼后的數(shù)據(jù)進(jìn)行傳輸。通過本發(fā)明提供的柱面全景視頻編碼塊尺寸計(jì)算方法，能夠得到一個(gè)使全景視頻的壓縮效率較高且傳輸區(qū)域較恰當(dāng)?shù)膲K尺寸。從而使需要傳輸?shù)臄?shù)據(jù)量最小。以下，結(jié)合附圖來詳細(xì)說明本發(fā)明的實(shí)施例，其中圖1是柱面全景視頻分塊示意圖。圖2是％與編碼塊數(shù)目和《a與編碼塊尺寸的關(guān)系圖。圖3是柱面全景視頻最優(yōu)編碼塊尺寸計(jì)算方法的操作流圖。圖4是柱面全景視頻分塊壓縮和傳輸示意圖。具體實(shí)施方式局部視圖視覺質(zhì)量是由全景視頻原始編碼質(zhì)量確定的。在編碼的過程中，用量化參數(shù)(g尸)來控制全景視頻編碼的質(zhì)量。需要在g尸一定的條件下，計(jì)算分塊尺寸"使傳輸?shù)臄?shù)據(jù)量最小，即使傳輸碼率r。最小的分塊尺寸a。所以首先計(jì)算傳輸碼率r。與分塊尺寸a的函數(shù)關(guān)系。設(shè)目標(biāo)區(qū)域的寬度為M個(gè)宏塊，分塊大小為"個(gè)宏塊，如圖l所示。因?yàn)槟繕?biāo)區(qū)域落在全景視頻中的位置會(huì)發(fā)生變化，從而相關(guān)分塊的個(gè)數(shù)也會(huì)隨之變化。一種情況是目標(biāo)區(qū)域的右邊界在a'的范圍中，相關(guān)分塊個(gè)數(shù)為W',另一種情況是目標(biāo)區(qū)域的右邊界在a"的范圍中，相關(guān)分塊個(gè)數(shù)為W"。則+1公式1令目標(biāo)區(qū)域落在a'范圍中的概率是尸'，目標(biāo)區(qū)域落在a〃范圍中的概率是戶〃。從而，當(dāng)分塊大小為"時(shí)，相關(guān)區(qū)域?qū)挾取?。的期望值可以由下面的公式?jì)算<formula>formulaseeoriginaldocumentpage5</formula>公式2傳輸碼率為所有需要傳輸?shù)南嚓P(guān)分塊的碼率之和，用如下公式計(jì)算。<formula>formulaseeoriginaldocumentpage5</formula>其中，r。表示分塊尺寸為a時(shí)的傳輸碼率，凡表示分塊尺寸為a時(shí)全景視頻的編碼碼率，也就是所有分塊編碼的碼率之和，7V。表示全景視頻分塊尺寸為a時(shí)包含目標(biāo)區(qū)域的宏塊的數(shù)目，iV表示全景視頻宏塊總數(shù)，『。表示全景視頻分塊尺寸為a時(shí)的包含目標(biāo)區(qū)域的宏塊的寬度之和，『表示全景視頻的寬度。為了計(jì)算得到在原始編碼質(zhì)量一定的情況下，傳輸碼率最小的最優(yōu)編碼塊尺寸a^，最直接的方法就是利用上述公式通過列舉方式計(jì)算得到最優(yōu)編碼尺寸。具體實(shí)施方式為首先對(duì)每一種可能的分塊尺寸都進(jìn)行編碼，得到全景視頻編碼碼率A,然后按照公式2計(jì)算出相關(guān)分塊的寬度『，再然后按照公式3計(jì)算出傳輸碼率r。，最后通過比較不同的分塊尺寸的傳輸碼率，得到傳輸碼率最小的分塊尺寸就是最優(yōu)編碼尺寸。例如表2所示的森林、村莊、橋梁和會(huì)堂四個(gè)序列的列舉計(jì)算結(jié)果。對(duì)全景視頻采用每一種可能的分塊尺寸進(jìn)行編碼，經(jīng)過比較找到最優(yōu)編碼塊，這樣的方法在實(shí)際應(yīng)用中是不實(shí)用的。本發(fā)明提出一種基于反比模型的快速的最優(yōu)編碼塊尺寸選擇方法。首先定義&為i。和&的比值。;i公式4其中i。為編碼塊尺寸為a時(shí)的全景視頻編碼碼率，i。為全景視頻不分塊時(shí)的編碼碼率。根據(jù)全景視頻編碼塊大小與編碼效率之間的關(guān)系，a。始終是大于等于1的一個(gè)實(shí)數(shù)。由公式3，公式4可以得到『『"『《"『、對(duì)于同樣的編碼條件和全景視頻來說，不同的編碼塊尺寸a，i。和『是相同的，所以定義尸。=^.『。公式6只要計(jì)算令尸。最小的編碼塊尺寸，即得最優(yōu)編碼塊尺寸。進(jìn)一步，定義:^A^a一;l.公式7表l列出了橋梁序列在不同的編碼塊尺寸下，不同的化，對(duì)于每個(gè)編碼塊尺寸，應(yīng)用了4個(gè)不同的量化參數(shù)(QP)進(jìn)行編碼。表l橋梁序列化與編碼塊尺寸關(guān)系<table>tableseeoriginaldocumentpage7</column></row><table>整理上表的數(shù)據(jù)，w。與編碼塊數(shù)目以及編碼塊尺寸之間的關(guān)系如圖2a所示。w。與編碼塊數(shù)目之間呈正比關(guān)系，由于編碼塊數(shù)目與編碼塊尺寸之間呈反比關(guān)系，所以w。與編碼塊尺寸之間呈反比關(guān)系，如圖2b所示。由于w。與編碼塊尺寸呈反比關(guān)系，本發(fā)明在二者之間建立一個(gè)模型，描述二者之間關(guān)系。<formula>formulaseeoriginaldocumentpage7</formula>公式8對(duì)于同一個(gè)視頻C是常數(shù)，當(dāng)全景視頻分塊編碼時(shí)，這時(shí)候化=0，符合我們對(duì)于w。的定義。由公式8可以得到C的計(jì)算公式<formula>formulaseeoriginaldocumentpage7</formula>公式11由此，對(duì)視頻通過任意一個(gè)編碼塊尺寸a進(jìn)行編碼，計(jì)算出o;。，則可以計(jì)算常數(shù)C。由公式6,7,8計(jì)算得到:<formula>formulaseeoriginaldocumentpage8</formula>計(jì)算尸。對(duì)"的導(dǎo)數(shù)為o的點(diǎn)，即為《的極值點(diǎn)，此時(shí)a的取值即為最優(yōu)編碼塊尺寸。<formula>formulaseeoriginaldocumentpage8</formula>公式10據(jù)此可以計(jì)算出最優(yōu)編碼塊尺寸l。根據(jù)上述分析，依據(jù)全景視頻的寬度，目標(biāo)區(qū)域?qū)挾鹊刃畔⒂?jì)算編碼塊尺寸。如附圖3所示該計(jì)算方法具體實(shí)施方式如下首先，對(duì)待編碼的柱面全景視頻不進(jìn)行分塊，整體進(jìn)行預(yù)編碼，得到的全景視頻編碼的碼率i。。然后，為待編碼的柱面全景視頻任意選擇一個(gè)塊尺寸a,按照此塊尺寸給全景視頻進(jìn)行分塊預(yù)編碼，得到在塊尺寸a下的編碼碼率i。。再根據(jù)公式<formula>formulaseeoriginaldocumentpage8</formula>.計(jì)算預(yù)編碼碼率凡相比于碼率i。的增量w。。再然后，根據(jù)公式<formula>formulaseeoriginaldocumentpage8</formula>計(jì)算當(dāng)前柱面全景視頻的影響因子C,其中ff表示全景視頻的寬度。最后，根據(jù)公式<formula>formulaseeoriginaldocumentpage8</formula>計(jì)算柱面全景視頻的最優(yōu)編碼塊尺寸e，其中M是目標(biāo)區(qū)域?qū)挾?。根?jù)上述柱面全景視頻編碼的塊尺寸計(jì)算方法，本發(fā)明提供的柱面全景視頻的傳輸方法，如圖4所示，具體步驟如下首先根據(jù)上述柱面全景視頻編碼的塊尺寸計(jì)算方法計(jì)算而得的塊尺寸對(duì)全景視頻進(jìn)行分塊。然后依據(jù)以上分塊，對(duì)每個(gè)塊的序列獨(dú)立進(jìn)行編碼。再然后選擇所需要的編碼后的數(shù)據(jù)進(jìn)行傳輸。在此可以根據(jù)用戶當(dāng)前的視角選擇數(shù)據(jù)。傳輸媒介可以是因特網(wǎng)、無線網(wǎng)絡(luò)、局域網(wǎng)、光學(xué)網(wǎng)絡(luò)、其它合適的傳輸媒介、或者這些傳輸媒介的適當(dāng)組合。最后解碼端接收到數(shù)據(jù)之后，對(duì)這些塊序列進(jìn)行獨(dú)立的解碼和投影變換，得到所需圖像。表2編碼塊尺寸與傳輸碼率對(duì)應(yīng)關(guān)系<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>表2說明了柱面全景視頻圖像傳輸中編碼塊尺寸對(duì)實(shí)際傳輸碼率的影響，其以分辨率為1920x352的4個(gè)圖像序列在量化參數(shù)g尸-28，目標(biāo)區(qū)域M-20的條件下傳輸為例進(jìn)行說明。對(duì)于以森林、村莊、橋梁和會(huì)堂為目標(biāo)圖像，以不同塊尺寸分別進(jìn)行編碼傳輸試驗(yàn)，從每個(gè)塊尺寸對(duì)應(yīng)的碼率可以觀察到不同圖像各自的最優(yōu)分塊尺寸。例如，當(dāng)目標(biāo)圖像是森林時(shí)，塊尺寸等于2時(shí)，碼率為194.89，此值是所有不同塊尺寸編碼碼率的最小值。釆用本發(fā)明方法計(jì)算的塊尺寸也是2，與列舉試驗(yàn)的最優(yōu)值一致。表3不同g尸時(shí)列舉計(jì)算最優(yōu)結(jié)果與本發(fā)明方法結(jié)果比較表<table>tableseeoriginaldocumentpage10</column></row><table>表3說明了在不同的量化參數(shù)Q尸下分別以森林、村莊、橋梁和會(huì)堂為目標(biāo)圖像的4個(gè)序列利用實(shí)際列舉塊尺寸編碼試驗(yàn)得到的最有效率塊尺寸與用本發(fā)明公式得到的最優(yōu)塊尺寸比較結(jié)果。經(jīng)分析以上表格得知，經(jīng)列舉方法計(jì)算而得最有效率分塊尺寸，和利用本發(fā)明計(jì)算得到的分塊尺寸基本一致，只有表4中帶星號(hào)的是不完全一致的，但二者也非常接近。應(yīng)該注意到并理解，在不脫離后附的權(quán)利要求所要求的本發(fā)明的精神和范圍的情況下，能夠?qū)ι鲜鲈敿?xì)描述的本發(fā)明做出各種修改和改進(jìn)。因此，要求保護(hù)的技術(shù)方案的范圍不受所給出的任何特定示范教導(dǎo)的限制。權(quán)利要求1.一種柱面全景視頻編碼的塊尺寸計(jì)算方法，包括下列步驟柱面全景視頻不進(jìn)行分塊直接預(yù)編碼，得到的全景視頻編碼的碼率R0；該視頻按照任選的一個(gè)塊尺寸a進(jìn)行分塊預(yù)編碼，得到在塊尺寸a下的編碼碼率Ra；根據(jù)公式ωa＝(Ra-R0)/R0，計(jì)算所述碼率Ra相比于所述碼率R0的增量ωa；根據(jù)公式C＝ωa·a·W/(W-a)，計(jì)算該視頻的影響因子C，其中W表示全景視頻的寬度；根據(jù)公式<math-cwu><![CDATA[<math><mrow><msub><mi>a</mi><mi>me</mi></msub><mo>=</mo><mo>[</mo><msqrt><mi>CM</mi><mo>/</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mfrac><mi>C</mi><mi>W</mi></mfrac><mo>)</mo></mrow></msqrt><mo>]</mo><mo>,</mo></mrow></math>]]></math-cwu><!--imgid="icf0001"file="A2007101754430002C1.gif"wi="192"he="38"img-content="drawing"img-format="tif"/-->計(jì)算該視頻的最優(yōu)編碼塊尺寸ame，其中M是目標(biāo)區(qū)域?qū)挾取?.—種柱面全景^L頻編碼傳輸方法，包括下列步驟根據(jù)如權(quán)利要求1所述的方法計(jì)算而得的塊尺寸e對(duì)所述全景視頻進(jìn)行分塊；所述分塊之后，對(duì)每個(gè)塊的序列獨(dú)立進(jìn)行編碼；選擇所需的編碼后數(shù)據(jù)進(jìn)行傳輸。3.如權(quán)利要求2所述的方法，其特征在于所述數(shù)據(jù)傳輸后，解碼端接收該數(shù)據(jù)，并對(duì)所述塊序列進(jìn)行獨(dú)立的解碼和投影變換。4.如權(quán)利要求2所述的方法，其特征在于所述所需的編碼后的數(shù)據(jù)根據(jù)用戶視角選擇。全文摘要本發(fā)明提供一種柱面全景視頻編碼的塊尺寸計(jì)算方法和傳輸方法，包括柱面全景視頻不進(jìn)行分塊直接預(yù)編碼，得到的全景視頻編碼的一個(gè)碼率；該視頻按照任選的一個(gè)塊尺寸進(jìn)行分塊預(yù)編碼，得到在該塊尺寸下的編碼碼率；計(jì)算以上兩個(gè)碼率的增量；根據(jù)此增量計(jì)算該視頻的影響因子；最后根據(jù)此因子計(jì)算該視頻的最優(yōu)編碼塊尺寸。本發(fā)明根據(jù)上述方法計(jì)算的塊尺寸又提供了一種全景視頻進(jìn)行分塊編碼傳輸?shù)姆椒ā１景l(fā)明通過兩次預(yù)編碼，可以計(jì)算出最優(yōu)的編碼塊尺寸，使用此最優(yōu)塊尺寸進(jìn)行柱面全景視頻編碼，能夠在用戶視覺質(zhì)量相同的情況下傳輸數(shù)據(jù)量最低。文檔編號(hào)G03B37/00GK101127911SQ20071017544公開日2008年2月20日申請(qǐng)日期2007年9月29日優(yōu)先權(quán)日2007年9月29日發(fā)明者鋒代,張冬明,張勇東申請(qǐng)人:中國科學(xué)院計(jì)算技術(shù)研究所