空間自適應視頻編碼的制作方法
【專利說明】
【背景技術(shù)】
[0001]在現(xiàn)代通信系統(tǒng)中，視頻信號可以通過諸如有線和/或無線網(wǎng)絡(通常是諸如互聯(lián)網(wǎng)之類的基于分組的網(wǎng)絡)之類的介質(zhì)從一個終端發(fā)送到另一個終端。例如，視頻可以形成諸如VoIP呼叫(互聯(lián)網(wǎng)協(xié)議電話)之類的實況視頻呼叫的部分。
[0002]典型地，由編碼器在發(fā)射終端處對視頻的幀進行編碼以便壓縮它們以用于通過網(wǎng)絡的傳送。針對給定幀的編碼可以包括幀內(nèi)編碼，其中各塊相對于相同幀中的其他塊進行編碼。在該情形中，依據(jù)該塊與相鄰塊之間的差(殘差)對塊進行編碼?？商鎿Q地，針對一些幀的編碼可以包括幀間編碼，其中目標幀中的各塊典型地基于運動預測相對于先前幀中的對應部分被編碼。在該情形中，依據(jù)標識塊與根據(jù)其而預測該塊的對應部分之間的偏移量以及塊與根據(jù)其而預測該塊的對應部分之間的差(殘差)的運動矢量對該塊進行編碼。接收器處的對應解碼器基于適當類型的預測對所接收的視頻信號的幀進行解碼，以便解壓縮它們以用于輸出到屏幕。
[0003]盡管編碼壓縮了視頻，但是其仍可能會在比特率方面招致不可忽略的成本，這取決于所編碼的幀的大小。如果利用相對小數(shù)目的像素，即以低分辨率對幀進行編碼，則一些細節(jié)可能丟失。在另一方面，如果利用相對大數(shù)目的像素，即以高分辨率對幀進行編碼，則更多細節(jié)得以保留，但是以犧牲所編碼的信號中的更高比特率為代價。如果信道條件將不支持該比特率，則這可能招致其他失真，例如由于分組丟失或延遲。

【發(fā)明內(nèi)容】

[0004]幀可以包含具有對分辨率的不同敏感度的區(qū)域，例如前景中的面部特征以及較不重要的背景。如果以相對高的分辨率對幀進行編碼，則前景中的細節(jié)可以得到保留，但是還將花費比特來對背景中不想要的細節(jié)進行編碼。在另一方面，如果以相對低的分辨率對幀進行編碼，則盡管將節(jié)省比特率，但是可能從前景丟失細節(jié)。
[0005]在下文中，在輸入到編碼器中之前，使幀在空間中扭曲，從而為感興趣的區(qū)域給出相對于幀的其他區(qū)域而言的失真較大的大小。這樣，當幀然后被編碼時，相比于背景(或者更一般地，相對于一個或多個其他區(qū)域的、感興趣的不管什么區(qū)域)，可以將較大比例的“比特預算”花費在對前景中的細節(jié)進行編碼。然后在解碼器側(cè)處應用逆扭曲操作以恢復具有用于觀看的期望比例的原始幀的版本。
[0006]在本文公開內(nèi)容的一方面中，可以提供一種用于對包括源幀序列的視頻信號進行編碼的裝置或計算機程序。該裝置包括編碼器和預處理階段。預處理階段被配置成確定對于多個源幀的感興趣區(qū)域，并且空間適配多個源幀中的每一個源幀，以產(chǎn)生相應的扭曲的幀(warped frame )。相比源幀中的情況，在相應的扭曲的幀中，感興趣的區(qū)域包括更高空間比例的扭曲的幀。預處理階段被布置成將扭曲的幀供應到編碼器以便編碼到視頻信號的編碼版本中。
[0007]在另一方面中，可以提供一種用于在對編碼視頻信號進行解碼時使用的裝置或計算機程序，其被配置有后處理階段以逆轉(zhuǎn)這樣的空間適配。
[0008]提供該
【發(fā)明內(nèi)容】
來以簡化形式介紹以下【具體實施方式】中進一步描述的概念的選擇。該
【發(fā)明內(nèi)容】
不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。同樣，所要求保護的主題也不限于解決本文所指出的任何缺點的實現(xiàn)方式。
【附圖說明】
[0009]圖1是視頻流的示意性表示，
圖2是通信系統(tǒng)的示意性框圖，
圖3是編碼視頻流的示意性表示，
圖4是編碼器的示意性框圖，
圖5是解碼器的示意性框圖，以及圖6是空間扭曲算法的示意性圖示。
【具體實施方式】
[0010]在低比特率下，可能有益的是減小視頻分辨率以減小由編碼所引入的失真。幀可以包含具有不同分辨率敏感度的對象，例如前景中的面部和較不重要的背景。當降低分辨率時，面部中的重要細節(jié)以及通信線索可能丟失。因此，可能有益的是，相比于背景而言，給予面部較高的分辨率。
[0011]—個選項可以是傳送具有不同分辨率的兩個分離的流。這在實現(xiàn)方式方面可能是復雜的，并且可能也不是非常高效。
[0012]根據(jù)本文公開內(nèi)容的實施例，解決方案是在發(fā)送器側(cè)處使視頻幀“扭曲”，使得面部或其他感興趣區(qū)域(ROI)伸展開，而背景被縮減。在實施例中，輸出可以是適用于利用諸如H.264之類的現(xiàn)有編碼器標準進行編碼的矩形幀。扭曲的幀可以具有與源幀相同的總體分辨率，但是具有用于表示面部或其他ROI的較高比例?？商鎿Q地，整個幀可以按比例縮小，但是以應用于面部或ROI的較小縮放比例來按比例縮小。
[0013]在接收器側(cè)處，應用逆扭曲運算以重構(gòu)源視頻。
[0014]由此可以實現(xiàn)的優(yōu)點在于，利用較高分辨率對面部進行編碼并且通信線索得以更好地保留。
[0015]圖1給出視頻信號的示意性圖示，所述視頻信號從相機捕獲并且被分為準備由視頻編碼器編碼以便生成編碼比特流的部分。信號包括在時間上被分為多個幀(F)的移動視頻圖像，每一幀表示時間上的相應不同時刻(...t-1, t, t+1...)處的圖像。在每一幀內(nèi)，在空間上將幀分成多個部分，每一個部分表示多個像素。部分可以例如被稱為塊。在某些方案中，幀被分成并且細分成不同級別的部分或塊。例如，每一幀可以被分成宏塊(MB)并且每一個宏塊可以被分成塊(b)，例如每一個塊表示幀內(nèi)的8x8像素的區(qū)域，并且每一個宏塊表示2x2塊(16x16像素)的區(qū)域。在某些方案中，每一幀還可以被分成片(S)，每一片包括多個宏塊。
[0016]視頻信號中的塊最初可以被表不在空間域中，其中每一個通道被表不為塊內(nèi)的空間位置的函數(shù)，例如亮度(Y)和色度(U，V)通道中的每一個是笛卡爾坐標X和y的函數(shù):Y(X，y)、U(x, y)和V(x, y)。在該表示中，每一個塊或部分由不同空間坐標(例如x和y坐標)處的像素值的集合表示，使得依據(jù)塊內(nèi)的特定位置處的特定值、塊內(nèi)的另一位置處的另一值等等來表示顏色空間的每一個通道。
[0017]然而，塊可以被變換到變換域表示(典型地為空間頻率域表示(有時候僅僅被稱為頻率域))中，作為編碼過程的一部分。在頻率域中，依據(jù)表示跨塊的每一個顏色空間通道中的變化(例如跨塊的亮度Y和兩個色度U及V中的每一個中的變化)的頻率分量系統(tǒng)來表示塊。在數(shù)學上來說，在頻率域中，每一個通道(亮度通道和兩個色度通道等中的每一個)被表示為空間頻率的函數(shù)，其在給定方向上具有I/長度的尺度。例如，這可以分別由水平和豎直方向上的波數(shù)1和1^來代表，使得通道可以分別被表達為Y(kx，ky)、U(kx，ky)和V(kx，ky)。因此，塊被變換為系數(shù)的集合，其可以被視為表示構(gòu)成塊的不同空間頻率項的幅度。用于這樣的變換的可能性包括離散余弦變換(DCT)、Karhunen-Loeve變換(KLT)或者其他變換。
[0018]其中可以采用各種實施例的示例通信系統(tǒng)在圖2的框圖中示意性地圖示。通信系統(tǒng)包括第一發(fā)射終端12和第二接收終端22。例如，每一個終端12、22可以包括以下之一，即:移動電話或智能電話、平板電腦、膝上型計算機、臺式計算機、或諸如電視機、機頂盒、立體音響系統(tǒng)等的其他家用器具。第一和第二終端12、22各自在操作上耦合到通信網(wǎng)絡32，并且第一發(fā)射終端12由此被布置成發(fā)射將由第二接收終端22接收的信號。當然，發(fā)射終端12還可能能夠從接收終端22接收信號并且反之亦然，但是出于討論的目的，在本文中從第一終端12的視角來描述傳送，并且從第二終端22的視角來描述接收。通信網(wǎng)絡32可以包括例如基于分組的網(wǎng)絡(諸如廣域互聯(lián)網(wǎng)和/或