基于運(yùn)動(dòng)的自適應(yīng)渲染的制作方法
【專利說(shuō)明】基于運(yùn)動(dòng)的自適應(yīng)這染
[0001] 本申請(qǐng)要求于2014年6月27日提交的62/018,221號(hào)美國(guó)臨時(shí)專利申請(qǐng)、于 2014年6月27日提交的62/018, 228號(hào)美國(guó)臨時(shí)專利申請(qǐng)、于2014年6月27日提交的 62/018, 254號(hào)美國(guó)臨時(shí)專利申請(qǐng)、于2014年6月27日提交的62/018, 274號(hào)美國(guó)臨時(shí)專利 申請(qǐng)、于2014年6月18日提交的14/743, 700號(hào)美國(guó)專利申請(qǐng)W及于2015年6月23日提 交的第10-2015-0089085號(hào)韓國(guó)專利申請(qǐng)的權(quán)益，所述每個(gè)專利申請(qǐng)的內(nèi)容通過(guò)引用包含 于此。
技術(shù)領(lǐng)域
[0002] 本發(fā)明的實(shí)施例總體上設(shè)及執(zhí)行圖形處理的技術(shù)，在該技術(shù)中，在像素的塊中擅 染的樣本的數(shù)量減少。更具體地講，本發(fā)明的實(shí)施例在于自動(dòng)地分析各個(gè)顯示屏幕圖塊 (像素的塊）的運(yùn)動(dòng)和其它因素并W逐個(gè)圖塊為基礎(chǔ)做出采樣決定。
【背景技術(shù)】
[000引圖1示出基于OpeiiGL飯3.0標(biāo)準(zhǔn)的圖形流水線100的主要部分。一組示例性階 段包括：頂點(diǎn)著色器操作階段105、圖元組合和光柵化階段110、片元像素著色器操作階段 115、帖緩沖器階段120和紋理存儲(chǔ)器125。流水線進(jìn)行操作W接收頂點(diǎn)數(shù)據(jù)，對(duì)頂點(diǎn)進(jìn)行著 色，對(duì)圖元進(jìn)行組合和光柵化，并對(duì)片元/像素執(zhí)行著色操作。
[0004] 圖形流水線100的一方面在于W相同的最小分辨率擅染圖像的每個(gè)區(qū)域。具體 地，在傳統(tǒng)圖形流水線中，采樣率（每個(gè)像素的樣本的平均數(shù)量）通常為圖像的每個(gè)像素至 少一個(gè)樣本。 陽(yáng)〇化]傳統(tǒng)圖形流水線的一方面在于浪費(fèi)并需要比期望的像素著色操作更多的像素著 色操作。具體地講，在圖形流水線中不存在自動(dòng)化W允許自動(dòng)地做出策略選擇來(lái)在圖像的 局部區(qū)域中將采樣率減小到低于每一像素一個(gè)樣本（二次采樣/解樣）。在移動(dòng)裝置的情 景下，運(yùn)意味著消耗高于期望的能量。

【發(fā)明內(nèi)容】

[0006] 一種圖形系統(tǒng)基于正被擅染的潛在對(duì)象相對(duì)于相機(jī)的參考帖的運(yùn)動(dòng)，自適應(yīng)地擅 染帖的各個(gè)部分。在一個(gè)實(shí)施例中，自適應(yīng)擅染至少部分基于在屏幕上擅染的對(duì)象在至少 兩帖之間的速度。測(cè)量屏幕空間中（經(jīng)由像素）的運(yùn)動(dòng)引入不同的運(yùn)動(dòng)源，所述不同的運(yùn) 動(dòng)源包括對(duì)象運(yùn)動(dòng)和相機(jī)運(yùn)動(dòng)。如果潛在的運(yùn)動(dòng)的速度在準(zhǔn)靜態(tài)限制W下，則可做出是否 重復(fù)使用來(lái)自先前帖的一部分像素的決定。在中速機(jī)制中使用全采樣率。在至少一個(gè)更高 速機(jī)制中，做出是否選擇減小的采樣率的決定?？芍饌€(gè)圖塊為基礎(chǔ)做出決定，其中，圖 塊是圖像中的一組連續(xù)的像素，通常在具有正方形形狀或矩形形狀的塊中。
[0007] 方法的一個(gè)實(shí)施例包括：W逐個(gè)圖塊為基礎(chǔ)確定當(dāng)前帖中的對(duì)象相對(duì)于先前帖的 速度。每個(gè)圖塊被分類到至少=個(gè)速度類別中的一個(gè)類別中，所述至少=個(gè)速度類別包括 準(zhǔn)靜態(tài)速度類別、中速類別和高速類別。至少部分基于與每個(gè)圖塊相關(guān)聯(lián)的速度類別，針對(duì) 每個(gè)圖塊做出采樣決定。所述采樣決定包括：在當(dāng)前帖中w每一像素至少一個(gè)樣本的全分 辨率采樣率對(duì)圖塊進(jìn)行采樣還是在當(dāng)前帖中W更低的采樣率對(duì)圖塊進(jìn)行采樣。隨后擅染所 述圖塊。在一個(gè)實(shí)施例中，采樣決定還基于圖塊是否被檢測(cè)為包括顏色或深度的邊緣的可 能性高。在一個(gè)實(shí)施例中，對(duì)于被分類到準(zhǔn)靜態(tài)速度類別中的圖塊，所述方法還包括：通過(guò) 將先前帖的至少一個(gè)像素的像素?cái)?shù)據(jù)復(fù)制到圖塊，重復(fù)使用來(lái)自先前帖的像素?cái)?shù)據(jù)。在一 個(gè)實(shí)施例中，對(duì)于分類在中間速度機(jī)制中的圖塊，每個(gè)像素被采樣至少一次。在一個(gè)實(shí)施例 中，對(duì)于被分類到至少一個(gè)高速機(jī)制中的圖塊，對(duì)樣本的數(shù)量小于與圖塊相關(guān)聯(lián)的像素的 數(shù)量的采樣模式進(jìn)行選擇，并執(zhí)行插值W確定沒(méi)有被采樣的像素位置的顏色。
[0008] 圖形系統(tǒng)的一個(gè)實(shí)施例包括圖形處理器和圖形流水線，圖形流水線包括自適應(yīng)采 樣產(chǎn)生器和像素著色器。自適應(yīng)采樣產(chǎn)生器至少部分基于每個(gè)圖塊中的對(duì)象的像素的速 度，確定每個(gè)圖塊所需要的采樣率，并基于需要的采樣率選擇采樣模式。在一個(gè)實(shí)施例中， 自適應(yīng)采樣產(chǎn)生器基于各個(gè)圖塊中的對(duì)象的速度和各個(gè)圖塊是否包括邊緣的組合，確定各 個(gè)圖塊的采樣模式和采樣率。在一個(gè)實(shí)施例中，圖形系統(tǒng)包括：用于執(zhí)行平流的平流單元， 其中，對(duì)于具有準(zhǔn)靜態(tài)速度限制W下的速度的圖塊，具有減小的采樣率的采樣模式被選擇， 平流單元通過(guò)經(jīng)由平流復(fù)用來(lái)自先前帖的像素?cái)?shù)據(jù)來(lái)填充缺失的像素?cái)?shù)據(jù)。在一個(gè)實(shí)施例 中，所述圖形系統(tǒng)包括重構(gòu)單元，其中，對(duì)于具有闊值速度W上的速度的圖塊，減小的采樣 率被選擇并且通過(guò)重構(gòu)單元對(duì)缺失的像素?cái)?shù)據(jù)進(jìn)行插值。
【附圖說(shuō)明】
[0009] 圖1示出傳統(tǒng)的圖形流水線。
[0010] 圖2示出根據(jù)本發(fā)明的實(shí)施例的圖形流水線。
[0011] 圖3示出根據(jù)本發(fā)明的實(shí)施例的自適應(yīng)解樣產(chǎn)生器。
[0012] 圖4示出根據(jù)本發(fā)明的實(shí)施例的在執(zhí)行自適應(yīng)擅染時(shí)的像素速度考量的示例。
[0013] 圖5是示出根據(jù)本發(fā)明的實(shí)施例的擅染和重構(gòu)選擇的流程圖。
[0014] 圖6A示出根據(jù)本發(fā)明的實(shí)施例的對(duì)采樣模式進(jìn)行抖動(dòng)W減少視覺(jué)偽影的示例。
[0015] 圖6B示出根據(jù)本發(fā)明的實(shí)施例的執(zhí)行采樣模式的抖動(dòng)的一般方法。
[0016] 圖7A示出根據(jù)本發(fā)明的實(shí)施例的平流的示例。
[0017] 圖7B示出根據(jù)本發(fā)明的實(shí)施例的在圖形系統(tǒng)中執(zhí)行平流的一般方法。
[0018] 圖8示出根據(jù)本發(fā)明的實(shí)施例的使用預(yù)先計(jì)算的權(quán)重執(zhí)行=階樣條插值的示例。
[0019] 圖9示出根據(jù)本發(fā)明的實(shí)施例的與用于確定預(yù)先計(jì)算的權(quán)重的考慮相關(guān)的采樣 模式的示例。
[0020] 圖10示出根據(jù)本發(fā)明的實(shí)施例的與用于確定預(yù)先計(jì)算的權(quán)重的考慮相關(guān)的采樣 模式的示例。
[0021] 圖11示出根據(jù)本發(fā)明的實(shí)施例的自適應(yīng)解樣的一般方法。
[0022] 圖12示出根據(jù)本發(fā)明的實(shí)施例的在圖形系統(tǒng)中執(zhí)行=階樣條插值的一般方法。
[0023] 圖13示出根據(jù)本發(fā)明的實(shí)施例的在圖形系統(tǒng)中執(zhí)行=階樣條插值的一般方法。
[0024] 圖14示出平流與樣條重構(gòu)之間的差異的示例。
[0025] 圖15A和圖15B示出基于每一像素的速度的大小使用不同方法自適應(yīng)地擅染帖的 不同區(qū)域的示例。
[00%] 圖16示出根據(jù)本發(fā)明的實(shí)施例的使用平流進(jìn)行立體擅染的示例。
[0027] 圖17示出根據(jù)本發(fā)明的實(shí)施例的應(yīng)用于凹式擅染的自適應(yīng)擅染。
[0028] 圖18是示出根據(jù)本發(fā)明實(shí)施例的圖形處理的方法的流程圖。
[0029] 圖19是示出根據(jù)本發(fā)明另一實(shí)施例的圖形處理的方法的流程圖。
【具體實(shí)施方式】
[0030] 示例圖形流水線系統(tǒng)概述
[0031] 圖2示出根據(jù)本發(fā)明的實(shí)施例的圖形流水線200。可使用包括圖形硬件的圖形處 理單元（GPU)來(lái)實(shí)現(xiàn)圖形流水線200。圖形流水線200包括若干新階段和功能，所述新階段 和功能用于支持自動(dòng)地確定不需要各個(gè)圖塊（像素的塊）中的所有像素被采樣并被擅染的 帖的區(qū)域，W實(shí)現(xiàn)令人類用戶滿意的觀看體驗(yàn)。如本申請(qǐng)中所使用的，圖塊是圖像中（通常 為具有矩形形狀的塊中）的一組連續(xù)像素。術(shù)語(yǔ)帖通常用于描述被執(zhí)行的用于W預(yù)設(shè)頻率 擅染由顯示器讀取的圖像的一組操作。然而，術(shù)語(yǔ)帖還用于指從一組用于擅染圖像的操作 得到的擅染后的圖像。
[0032] 在一個(gè)實(shí)施例中，自適應(yīng)解樣（AD)樣本產(chǎn)生器階段205被提供為支持調(diào)整圖像 的局部區(qū)域中的采樣模式，其中，局部區(qū)域是與像素的塊（4X4的像素的塊、16X16的像素 的塊或其它大小的像素的塊）對(duì)應(yīng)的圖塊。解樣是減少在當(dāng)前帖中被采樣和擅染的每一 圖塊的樣本數(shù)量。例如，解樣可包括在圖塊中W平均小于每一像素一個(gè)樣本進(jìn)行采樣和擅 染。為了保持全圖像分辨率，可使用兩種不同方法來(lái)獲得缺失的像素?cái)?shù)據(jù)的值。重構(gòu)和平 流（advection)階段210支持用于在保持用戶的視覺(jué)質(zhì)量的同時(shí)減少圖塊中的需要被采樣 和擅染的像素的數(shù)量的兩種不同選項(xiàng)。重構(gòu)和平流階段210包括重構(gòu)子模塊211和平流子 模塊212。在一個(gè)實(shí)施例中，用于減少在圖塊中擅染的像素的數(shù)量的第一選項(xiàng)為在圖塊中通 過(guò)更高階的多項(xiàng)式插值和過(guò)濾進(jìn)行重構(gòu)W產(chǎn)生針對(duì)該圖塊的缺失的像素?cái)?shù)據(jù)。用于減少在 圖塊中擅染的像素的數(shù)量的第二選項(xiàng)為運(yùn)樣的平流：所述平流包括識(shí)別先前帖中的一個(gè)或 更多個(gè)像素的位置并且針對(duì)圖塊中被選擇的一部分像素重復(fù)使用來(lái)自先前帖的像素。
[0033] 在一個(gè)實(shí)施例中，來(lái)自帖n的對(duì)象220的帖"n"的像素?cái)?shù)據(jù)215被保存W用于像 素?cái)?shù)據(jù)在下一帖"n+1"的可能的重復(fù)使用。此外，頂點(diǎn)坐標(biāo)數(shù)據(jù)被保存，用于確定像素的帖 至帖運(yùn)動(dòng)矢量。在一個(gè)實(shí)施例中，來(lái)自帖n的像素?cái)?shù)據(jù)和頂點(diǎn)坐標(biāo)被存儲(chǔ)在緩沖存儲(chǔ)器中 W用于下一帖n+1。
[0034] 圖3示出根據(jù)本發(fā)明的