一種基于云計(jì)算的媒體解碼方法及解碼器的制造方法
【專利摘要】本發(fā)明實(shí)施例提供了一種基于云計(jì)算的媒體解碼方法及解碼器，方法簡單易行，對計(jì)算資源要求低，并可適用于各種媒體資源。該方法包括：提取待解碼的媒體碼流的表征特征；根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象；利用匹配得到的媒體對象或匹配的對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
【專利說明】—種基于云計(jì)算的媒體解碼方法及解碼器【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及編解碼技術(shù)，特別涉及一種基于云計(jì)算的媒體解碼方法及解碼器。
技術(shù)背景
[0002]現(xiàn)有技術(shù)中，通常采取有損壓縮的方式進(jìn)行編碼，在壓縮標(biāo)準(zhǔn)相同的情況下，壓縮比的提高和損失程度加大正相關(guān)。其解碼質(zhì)量完全取決于編碼壓縮時(shí)采用的方法及參數(shù)設(shè)定(并最終表現(xiàn)在壓縮碼流中)。
[0003]為了提高解碼端的圖像視頻質(zhì)量，現(xiàn)有技術(shù)通常通過數(shù)學(xué)計(jì)算的方式，來彌補(bǔ)有損壓縮中損失的像素點(diǎn)，從而獲得更高質(zhì)量的圖像/視頻。然而，要獲得更好的效果，算法通常非常復(fù)雜，對解碼端的計(jì)算能力要求較高，難以實(shí)際應(yīng)用推廣。再則，這種方法的實(shí)質(zhì)是利用原始圖像視頻本身包含的有限信息估計(jì)損失的部分，再對于質(zhì)量較原始圖像視頻質(zhì)量較差時(shí)難以取得有效的效果不佳。
[0004]為此，需要一種新的解碼方法及解碼器，在計(jì)算復(fù)雜度不太高的情況下，能夠?qū)Ω鞣N圖像視頻實(shí)現(xiàn)更好的質(zhì)量提升。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明實(shí)施例提供一種基于云計(jì)算的媒體解碼方法及解碼器，方法簡單易行，并且可適用于各種媒體資源。
[0006]本發(fā)明實(shí)施例提供的一種媒體解碼方法包括:
[0007]提取待解碼的媒體碼流的表征特征；
[0008]根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象；
[0009]利用匹配得到的媒體對象或匹配的對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0010]其中，所述提取待解碼的媒體碼流的表征特征包括:
[0011]直接從待解碼的媒體碼流中獲取編碼時(shí)存儲(chǔ)在其中的表征特征；或
[0012]根據(jù)待解碼的媒體碼流計(jì)算所述待解碼的媒體碼流的表征特征。
[0013]其中，所述待解碼的媒體碼流的表征特征為局部特征；所述根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象包括:
[0014]將所述的待解碼的媒體碼流的局部特征與云中一候選媒體對象的局部特征進(jìn)行對比，獲得局部特征對；
[0015]計(jì)算所述局部特征對分別在待解碼媒體和候選媒體對象中的幾何分布；
[0016]檢測所述局部特征對在兩者中的幾何分布是否一致；如果一致，則認(rèn)為所述候選媒體對象為所述待解碼媒體的匹配對象。
[0017]其中，在所述將所述的待解碼的媒體碼流的局部特征與云中一候選媒體對象的局部特征進(jìn)行對比之前，進(jìn)一步包括:
[0018]根據(jù)所述待解碼媒體的局部特征生成全局特征，根據(jù)所述待解碼媒體的全局特征，利用特征匹配的方式在云中尋找與所述全局特征匹配的候選媒體對象。
[0019]其中，所述待解碼媒體的局部特征為SIFT。
[0020]其中，所述利用匹配得到的媒體對象或匹配得到的媒體對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段包括:
[0021]將匹配得到的媒體對象進(jìn)行變形處理，以符合待解碼媒體的形狀；
[0022]將經(jīng)變形處理后的媒體對象進(jìn)行亮度調(diào)整；
[0023]利用經(jīng)亮度調(diào)整后的媒體對象融合出最優(yōu)的媒體對象來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0024]其中，所述待解碼的媒體為圖像、視頻、音頻。
[0025]本發(fā)明實(shí)施例還提供了一種解碼器，包括:
[0026]特征提取模塊:用于提取待解碼的媒體碼流的表征特征；
[0027]特征匹配模塊:用于根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象；
[0028]圖像處理模塊，用于利用匹配得到的媒體對象或匹配的對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0029]其中，所述特征提取模塊包括:
[0030]獲取單元，用于直接從待解碼的媒體碼流中獲取編碼時(shí)存儲(chǔ)在其中的表征特征；
[0031]計(jì)算模塊，用于根據(jù)待解碼的媒體碼流計(jì)算所述待解碼的媒體碼流的表征特征。
[0032]其中，所述特征匹配模塊包括:
[0033]局部特征對查找單元，用于將特征提取模塊獲取的表征特征與云中一候選媒體對象的局部特征進(jìn)行對比，獲得局部特征對；
[0034]幾何分布計(jì)算單元，用于計(jì)算該局部特征對分別在待解碼媒體和候選媒體對象中的幾何分布；
[0035]判斷單元，用于檢測所述局部特征對在兩者中的幾何分布是否一致；如果一致，則認(rèn)為所述候選媒體對象為所述待解碼媒體的匹配對象。
[0036]其中，所述特征匹配模塊進(jìn)一步包括:
[0037]全局特征匹配模塊，用于根據(jù)待解碼媒體的局部特征生成全局特征，根據(jù)所述待解碼媒體的全局特征，利用特征匹配的方式在云中尋找與所述全局特征匹配的候選媒體對象；
[0038]則所述局部特征對查找單元，用于將特征提取模塊獲取的表征特征與全局特征匹配模塊匹配出的候選媒體對象的局部特征進(jìn)行對比。
[0039]其中，所述圖像處理模塊包括:
[0040]媒體對象變換單元，用于將匹配得到的媒體對象進(jìn)行變形處理，以符合待解碼媒體的形狀；
[0041]媒體對象亮度調(diào)整單元，用于對經(jīng)媒體對象變換單元處理后的媒體對象進(jìn)行亮度調(diào)整；
[0042]媒體對象融合單元，用于利用經(jīng)媒體對象亮度調(diào)整單元調(diào)整后的媒體對象融合出最優(yōu)的媒體對象來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0043]利用本發(fā)明實(shí)施例提供的媒體解碼方法及解碼器，無論收到的編碼碼流是何種形式，或者其原始圖像視頻的分辨率如何，通過獲取該媒體的表征特征，利用獲取的表征特征在云中尋找與待解碼媒體全局或局部具有相似性的媒體對象，利用該匹配的媒體對象包含的更豐富的信息來增強(qiáng)待解碼媒體的質(zhì)量。
【專利附圖】

【附圖說明】
[0044]圖1是本發(fā)明實(shí)施例中一種基于云計(jì)算的媒體解碼方法的流程示意圖。
[0045]圖2是本發(fā)明實(shí)施例中一種表征特征匹配方法的流程示意圖。
[0046]圖3是本發(fā)明實(shí)施例中一種解碼器的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0047]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)描述。
[0048]圖1是本發(fā)明實(shí)施例中一種基于云計(jì)算的媒體解碼方法的流程示意圖。如圖1所示，該方法包括:
[0049]步驟100:提取待解碼的媒體碼流的表征特征。
[0050]該待解碼的媒體碼流可以是圖像、視頻、音頻以及其它任何供使用者通過視聽等感知通道進(jìn)行體驗(yàn)的媒體形態(tài)。這里媒體碼流可以是利用各種編碼標(biāo)準(zhǔn)編碼的壓縮碼流，也可以是利用各種傳感裝置采集獲取的第一手媒體內(nèi)容，還可以是因多種原因造成的不完整的媒體碼流片段。
[0051]在該步驟中，可以是編碼該媒體碼流時(shí)預(yù)先提取其表征特征，并將該表征特征放置在碼流內(nèi)的，解碼端直接從碼流中獲取該提取的表征特征。也可以是解碼端直接從獲得的媒體碼流中自行提取。
[0052]這里的表征特征可以是局部特征和/或全局特征。其中，全局特征描述如顏色直方圖、顏色矩、灰度共生矩陣等，這些特征描述反映的是圖像的全局信息，而無法體現(xiàn)圖像中所包含的對象或物體。局部特征從圖像的內(nèi)容出發(fā)，提取出感興趣的內(nèi)容。局部特征具有足夠的描述能力和區(qū)分度，可以用于描述媒體特征的目的。通常局部特征可以是一個(gè)圓形區(qū)域。
[0053]步驟200:根據(jù)獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象。
[0054]在互聯(lián)網(wǎng)云中存在大量的媒體對象，這些媒體對象都有對應(yīng)的表征特征信息。為了提高后續(xù)特征匹配步驟的效率，也可以預(yù)先提取、針對性選擇這些媒體對象。
[0055]步驟300:利用匹配得到的媒體對象或匹配的對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段，從而增強(qiáng)待解碼媒體的質(zhì)量。
[0056]首先將匹配得到的媒體對象進(jìn)行形狀的縮放、旋轉(zhuǎn)等變形處理；之后，還可以進(jìn)一步對變形后的媒體對象進(jìn)行亮度調(diào)整，包括對比度擴(kuò)展、均值偏移等；然后再對處理后的媒體對象來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0057]在本發(fā)明一實(shí)施例中，當(dāng)有多個(gè)匹配的媒體對象時(shí)，在對多個(gè)媒體對象進(jìn)行變形處理和亮度調(diào)整后，可以通過失真準(zhǔn)則，選擇最優(yōu)的媒體對象或者融合出最優(yōu)的媒體對象來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0058]即使解碼效果從傳統(tǒng)意義上是完整的(例如電視機(jī)完整解碼并恢復(fù)了一個(gè)高清電視畫面)，利用本發(fā)明實(shí)施例提供的解碼方法，也可以對解碼結(jié)果進(jìn)一步進(jìn)行質(zhì)量提升(例如將前述高清電視畫面提升為超高清電視畫面)。
[0059]在本發(fā)明一實(shí)施例中，根據(jù)獲取到的表征特征通過特征匹配的方式獲得匹配媒體對象方法可以如圖2所示，該方法包括:
[0060]步驟201:提取待解碼媒體的局部特征。這里，采用SIFT作為待解碼媒體的局部特征。該步驟與步驟100可能重復(fù)，當(dāng)步驟100中已經(jīng)獲得了待解碼媒體的局部特征時(shí)，該步驟可以省略。
[0061]步驟202:將提取的局部特征與云中一候選媒體對象的局部特征進(jìn)行對比，獲得局部特征對。該局部特征對指的是分別位于待解碼媒體和候選媒體對象的兩個(gè)相同或足夠相似的局部特征。其中，所謂足夠相似的局部特征是指兩個(gè)局部特征其相似度在一定閾值范圍內(nèi)，這時(shí)也認(rèn)定為一對匹配的局部特征對。
[0062]步驟203:計(jì)算該局部特征對分別在待解碼媒體和候選媒體對象中的幾何分布。
[0063]步驟204:檢測該局部特征對在兩者中的幾何分布是否一致，如果不一致，則該候選媒體對象不是待解碼媒體的匹配對象；如果一致，則認(rèn)為該候選媒體對象為該待解碼媒體的匹配對象。
[0064]舉例說明，如果從待解碼媒體中提取到1000個(gè)局部特征，從某一候選媒體對象中提取到800個(gè)局部特征，通過特征對比發(fā)現(xiàn)兩者具有200個(gè)局部特征對；那么進(jìn)一步獲得這200個(gè)局部特征對在待解碼媒體和候選媒體對象中的幾何分布；如果這200個(gè)局部特征在這兩個(gè)媒體中的分布相似，則認(rèn)為該候選媒體對象為待解碼媒體的匹配對象。匹配的媒體對象可能攜帶比待解碼對象更豐富的細(xì)節(jié)信息，從而可以用該候選媒體對象提高解碼媒體對象的質(zhì)量。
[0065]在本發(fā)明一實(shí)施例中，為了提高局部特征匹配的效率，可以先根據(jù)待解碼媒體的局部特征生成全局特征，根據(jù)該待解碼媒體的全局特征，利用特征匹配的方式在云中尋找與該全局特征匹配的候選媒體對象；再將待解碼媒體的局部特征與經(jīng)全局特征匹配獲得的候選媒體對象進(jìn)行局部特征匹配。這種方法可以提高匹配效率。
[0066]本發(fā)明實(shí)施例提供的方法可以用于多種場景。比如待解碼的媒體是標(biāo)準(zhǔn)清晰度視頻，通過獲得的相似內(nèi)容提升解碼質(zhì)量，解碼后為高清晰度視頻。
[0067]還比如，對于經(jīng)有損壓縮方式獲得的視頻流，利用獲得的匹配媒體對象，可以彌補(bǔ)壓縮時(shí)造成的損失，更逼近原始圖像或視頻的質(zhì)量。為了保真(不形成超出原始圖像或視頻的額外信號)，在本發(fā)明一實(shí)施例中，還可以將用來增強(qiáng)的相似媒體對象(圖像或視頻)控制在編碼器和解碼器可共享的有限集合內(nèi)。
[0068]本發(fā)明一實(shí)施例還提供了一種解碼器，如圖3所示，該解碼器包括:特征提取模塊:用于提取待解碼的媒體碼流的表征特征；特征匹配模塊:用于根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象；圖像處理模塊，用于利用匹配得到的媒體對象或匹配的對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。[0069]其中，為了加快表征特征提取速度，該特征提取模塊包括兩個(gè)單元:獲取單元，用于直接從待解碼的媒體碼流中獲取編碼時(shí)存儲(chǔ)在其中的表征特征；計(jì)算模塊，用于根據(jù)待解碼的媒體碼流計(jì)算該待解碼的媒體碼流的表征特征。
[0070]這里，特征匹配模塊又包括:局部特征對查找單元，用于將特征提取模塊獲取的表征特征與云中一候選媒體對象的局部特征進(jìn)行對比，獲得局部特征對；幾何分布計(jì)算單元，用于計(jì)算該局部特征對分別在待解碼媒體和候選媒體對象中的幾何分布；判斷單元，用于檢測該局部特征對在兩者中的幾何分布是否一致；如果一致，則認(rèn)為該候選媒體對象為該待解碼媒體的匹配對象。該特征匹配模塊還進(jìn)一步包括:全局特征匹配模塊，用于根據(jù)待解碼媒體的局部特征生成全局特征，根據(jù)該待解碼媒體的全局特征，利用特征匹配的方式在云中尋找與該全局特征匹配的候選媒體對象；此時(shí)局部特征對查找單元，用于將特征提取模塊獲取的表征特征與全局特征匹配模塊匹配出的候選媒體對象的局部特征進(jìn)行對比。
[0071]這里，圖像處理模塊又包括:媒體對象變換單元，用于將匹配得到的媒體對象進(jìn)行變形處理，以符合待解碼媒體的形狀；媒體對象亮度調(diào)整單元，用于對經(jīng)媒體對象變換單元處理后的媒體對象進(jìn)行亮度調(diào)整；媒體對象融合單元，用于利用經(jīng)媒體對象亮度調(diào)整單元調(diào)整后的媒體對象融合出最優(yōu)的媒體對象來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
[0072]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于云計(jì)算的媒體解碼方法，其特征在于，包括: 提取待解碼的媒體碼流的表征特征； 根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象； 利用匹配得到的媒體對象或匹配得到的媒體對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
2.如權(quán)利要求1所示的方法，特征在于，所述提取待解碼的媒體碼流的表征特征包括: 直接從待解碼的媒體碼流中獲取編碼時(shí)存儲(chǔ)在其中的表征特征；或 根據(jù)待解碼的媒體碼流計(jì)算所述待解碼的媒體碼流的表征特征。
3.如權(quán)利要求1所示的方法，特征在于，所述待解碼的媒體碼流的表征特征為局部特征；所述根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象包括: 將所述的待解碼的媒體碼流的局部特征與云中一候選媒體對象的局部特征進(jìn)行對比，獲得局部特征對； 計(jì)算所述局部特征對分別在待解碼媒體和候選媒體對象中的幾何分布； 檢測所述局部特征對在兩者中的幾何分布是否一致；如果一致，則認(rèn)為所述候選媒體對象為所述待解碼媒體的匹配對象。
4.如權(quán)利要求3所示的方法，特征在于，在所述將所述的待解碼的媒體碼流的局部特征與云中一候選媒體對象的局部特征進(jìn)行對比之前，進(jìn)一步包括: 根據(jù)所述待解碼媒體的局部特征生成全局特征，根據(jù)所述待解碼媒體的全局特征，利用特征匹配的方式在云中尋找與所述全局特征匹配的候選媒體對象。
5.如權(quán)利要求3所示的方法，特征在于，所述待解碼媒體的局部特征為SIFT。
6.如權(quán)利要求1所示的方法，特征在于，所述利用匹配得到的媒體對象或匹配得到的媒體對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段包括: 將匹配得到的媒體對象進(jìn)行變形處理，以符合待解碼媒體的形狀； 將經(jīng)變形處理后的媒體對象進(jìn)行亮度調(diào)整； 利用經(jīng)亮度調(diào)整后的媒體對象融合出最優(yōu)的媒體對象來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
7.如權(quán)利要求1所示的方法，特征在于，所述待解碼的媒體為圖像、視頻、音頻。
8.一種解碼器，其特征在于，包括: 特征提取模塊:用于提取待解碼的媒體碼流的表征特征； 特征匹配模塊:用于根據(jù)特征提取模塊獲取的表征特征，利用特征匹配的方法，在云中尋找與待解碼媒體碼流具有相似性的媒體對象； 圖像處理模塊，用于利用匹配得到的媒體對象或匹配的對象中的一部分來填充、替換或改善待解碼媒體中的局部區(qū)域或片段。
9.如權(quán)利要求8所示的解碼器，特征在于，所述特征提取模塊包括: 獲取單元，用于直接從待解碼的媒體碼流中獲取編碼時(shí)存儲(chǔ)在其中的表征特征；和/或 計(jì)算模塊， 用于根據(jù)待解碼的媒體碼流計(jì)算所述待解碼的媒體碼流的表征特征。
10.如權(quán)利要求8所示的解碼器，特征在于，所述特征匹配模塊包括: 局部特征對查找單元，用于將特征提取模塊獲取的表征特征與云中一候選媒體對象的局部特征進(jìn)行對比，獲得局部特征對； 幾何分布計(jì)算單元，用于計(jì)算該局部特征對分別在待解碼媒體和候選媒體對象中的幾何分布； 判斷單元，用于檢測所述局部特征對在兩者中的幾何分布是否一致；如果一致，則認(rèn)為所述候選媒體對象為所述待解碼媒體的匹配對象。
11.如權(quán)利要求10所示的解碼器，特征在于，所述特征匹配模塊進(jìn)一步包括: 全局特征匹配模塊，用于根據(jù)待解碼媒體的局部特征生成全局特征，根據(jù)所述待解碼媒體的全局特征，利用特征匹配的方式在云中尋找與所述全局特征匹配的候選媒體對象；則所述局部特征對查找單元，用于將特征提取模塊獲取的表征特征與全局特征匹配模塊匹配出的候選媒體對象的局部特征進(jìn)行對比。
12.如權(quán)利要求8所示的解碼器，特征在于，所述圖像處理模塊包括: 媒體對象變換單元，用于將匹配得到的媒體對象進(jìn)行變形處理，以符合待解碼媒體的形狀； 媒體對象亮度調(diào)整單元，用于對經(jīng)媒體對象變換單元處理后的媒體對象進(jìn)行亮度調(diào)整； 媒體對象融合單元，用于利用經(jīng)媒體對象亮度調(diào)整單元調(diào)整后的媒體對象融合出最優(yōu)的媒體對象來填充、替換或改善`待解碼媒體中的局部區(qū)域或片段。
【文檔編號】H04N19/20GK103561264SQ201310551685
【公開日】2014年2月5日 申請日期:2013年11月7日 優(yōu)先權(quán)日:2013年11月7日
【發(fā)明者】黃鐵軍, 高文, 田永鴻 申請人:北京大學(xué)