用于控制顫抖可見性的系統(tǒng)和方法
【專利摘要】公開了用于控制顫抖的方法和系統(tǒng)。顫抖可以在圖片內(nèi)被局部地引入以恢復(fù)通常在電影中預(yù)期的顫抖感覺。幀的捕獲時(shí)間和顯示時(shí)間可以被操縱以獲得期望的顫抖量。幀可以被插入以獲得具有較高幀速率和顫抖的局部控制的電影。
【專利說明】
用于控制顫抖可見性的系統(tǒng)和方法
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2014年2月27日提交的美國臨時(shí)專利申請(qǐng)No. 61/945，706和2014年9月 25日提交的美國臨時(shí)專利申請(qǐng)No. 62/055，555的優(yōu)先權(quán)，每一專利申請(qǐng)通過其整體引用而 特此并入。
技術(shù)領(lǐng)域
[000引本公開設(shè)及視頻處理。更特別地，它設(shè)及用于控制顫抖可見性（judder visibility)的系統(tǒng)和方法。
【附圖說明】
[0004] 并入到本說明書中并且構(gòu)成本說明書的一部分的附圖示出了本公開的一個(gè)或多 個(gè)實(shí)施例，并且與示例實(shí)施例的描述一起用于解釋本公開的原理和實(shí)現(xiàn)。
[0005] 圖1示出了處理24巧S傳入素材(materia)的一個(gè)實(shí)施例的高層級(jí)框圖。
[0006] 圖2示出了由于對(duì)于不具有眼睛移動(dòng)（即，注視）的世界坐標(biāo)的情況（左半部）的平 滑運(yùn)動(dòng)（頂部）和跟蹤眼睛移動(dòng)的情況（右半部）下的視網(wǎng)膜運(yùn)動(dòng)的時(shí)間采樣(底部）而造成 的失真。
[0007] 圖3示出了 W48巧S采樣并且在48巧S保持型顯示器上顯示的線段的運(yùn)動(dòng)。
[000引圖4示出了根據(jù)本公開的實(shí)施例的具有24fps輸入和48fps輸出的顫抖減少的處 理。
[0009] 圖5示出了根據(jù)本公開的實(shí)施例的作為速度的函數(shù)的示例性映射函數(shù)。
[0010] 圖6-14示出了根據(jù)本公開的實(shí)施例的顫抖控制的不同可能的方法。
[0011] 圖15示出了根據(jù)本公開的實(shí)施例的顫抖控制算法的實(shí)施例。
[0012] 圖16示出了本公開的方法的硬件實(shí)現(xiàn)的實(shí)施例。
[0013] 圖17示出了與顫抖控制有關(guān)的一些概念。
[0014] 圖18-19示出了與顫抖控制有關(guān)的映射的一些示例。
[001引圖20示出了具有120fps輸入的輸入時(shí)間和輸出時(shí)間之間的示例性關(guān)系。
[0016] 圖21示出了與顫抖控制有關(guān)的一些另外的概念。
[0017] 圖22示出了對(duì)于無限帖速率示例的真實(shí)時(shí)間和顯示時(shí)間之間的映射。
[001引圖23示出了利用和不利用平滑追隨對(duì)象眼睛跟蹤的時(shí)間空間軌跡線。
[0019] 圖24示出了本公開的顫抖控制的實(shí)施例的映射時(shí)間和真實(shí)時(shí)間。
[0020] 圖25示出了根據(jù)本公開的實(shí)施例的擴(kuò)寬的顫抖可見性控制流程圖的示例。
[0021] 圖26示出了根據(jù)本公開的實(shí)施例的用于高帖速率圖像的擴(kuò)寬的顫抖可見性控制 流程圖的示例。該步驟一般在圖像制作階段(即，后期制作）由人操作者控制。

【發(fā)明內(nèi)容】

[0022] 在本公開的第一方面中，描述了用于利用計(jì)算機(jī)控制顫抖可見性的方法，所述方 法包括:訪問第一圖像和第二圖像;使用所述第一圖像和第二圖像來生成亮度變化圖和對(duì) 比度變化圖；使用所述亮度變化圖和對(duì)比度變化圖來生成顫抖圖，其中，所述顫抖圖包括所 述第一圖像的顫抖信息；W及響應(yīng)于所述顫抖圖，向所述第一圖像添加噪聲和運(yùn)動(dòng)模糊W 生成輸出圖像。
[0023] 在本公開的第二方面中，描述了用于控制顫抖可見性的方法，所述方法包括:通過 計(jì)算機(jī)提供至少兩個(gè)輸入帖；通過計(jì)算機(jī)基于所述至少兩個(gè)輸入帖估計(jì)插入圖 (interpolation map)，由此獲得估計(jì)的插入圖，其中，所述估計(jì)的插入圖指定對(duì)于所述至 少兩個(gè)輸入帖的至少一個(gè)像素的時(shí)間插入位置；W及通過計(jì)算機(jī)基于所述至少兩個(gè)輸入帖 和估計(jì)的插入圖插入至少一個(gè)另外的帖，由此獲得至少一個(gè)插入帖，其中，所述至少一個(gè)插 入帖的至少一個(gè)像素與由至少一個(gè)像素的插入圖指定的時(shí)間處的該至少一個(gè)像素對(duì)應(yīng)。
[0024] 在本公開的第Ξ方面中，描述了用于控制高帖速率捕獲和高帖速率顯示的顫抖可 見性的方法，所述方法包括:利用非恒定的時(shí)間間隔捕獲帖，由此獲得捕獲的帖；和利用恒 定的時(shí)間間隔顯示所述捕獲的帖，由此獲得期望的顫抖可見性。
[0025] 在本公開的第四方面中，描述了用于控制高帖速率捕獲和高帖速率顯示的顫抖可 見性的方法，所述方法包括:利用恒定的時(shí)間間隔捕獲帖，由此獲得捕獲的帖；和利用非恒 定的時(shí)間間隔顯示所述捕獲的帖，由此獲得期望的顫抖可見性。
[0026] 在本公開的第五方面中，描述了用于控制顫抖可見性的方法，所述方法包括:利用 恒定的時(shí)間間隔捕獲帖，由此獲得捕獲的帖;和利用恒定的時(shí)間間隔顯示所述捕獲的帖，其 中，所述捕獲的帖中的至少一個(gè)帖被用其在前的捕獲的帖替代，由此顯示所述在前的捕獲 的帖兩次。
[0027] 在本公開的第六方面中，描述了用于控制顫抖可見性的方法，所述方法包括:利用 恒定的時(shí)間間隔捕獲帖，由此獲得捕獲的帖;通過計(jì)算機(jī)基于期望的顫抖可見性處理所述 捕獲的帖中的至少一個(gè)帖和其在前的捕獲的帖中的至少一個(gè)，由此獲得至少一個(gè)經(jīng)處理的 捕獲的帖；W及利用恒定的時(shí)間間隔顯示所述捕獲的帖和至少一個(gè)經(jīng)處理的捕獲的帖。
[0028] 在本公開的第屯方面中，描述了用于控制高帖速率圖像序列的顫抖可見性的方 法，所述方法包括:通過計(jì)算機(jī)提供輸入帖；通過計(jì)算機(jī)從所述輸入帖去除噪聲或膠片顆 粒，由此獲得經(jīng)處理的帖;通過計(jì)算機(jī)處理來自所述輸入帖的所述噪聲或膠片顆粒，由此獲 得低帖速率噪聲或膠片顆粒；W及通過計(jì)算機(jī)向所述經(jīng)處理的帖添加所述低帖速率噪聲或 膠片顆粒，由此獲得輸出帖。
[0029] 在本公開的第八方面中，描述了用于控制高帖速率圖像序列的顫抖可見性的方 法，所述方法包括:通過計(jì)算機(jī)提供輸入帖;通過計(jì)算機(jī)將所述輸入帖分成至少兩組帖;通 過計(jì)算機(jī)基于期望的顫抖可見性處理所述帖的組中的至少一組，由此獲得經(jīng)處理的至少一 組帖和未經(jīng)處理的至少一組帖；W及通過計(jì)算機(jī)組合所述經(jīng)處理的至少一組帖與未經(jīng)處理 的至少一組帖。
[0030] 在本公開的第九方面中，描述了用于利用計(jì)算機(jī)控制顫抖可見性的方法，所述方 法包括:通過計(jì)算機(jī)提供至少兩個(gè)輸入帖;通過計(jì)算機(jī)基于所述至少兩個(gè)輸入帖估計(jì)插入 圖，由此獲得估計(jì)的插入圖，其中，所述估計(jì)的插入圖指定對(duì)于所述至少兩個(gè)輸入帖的至少 一個(gè)像素的時(shí)間插入位置；W及通過計(jì)算機(jī)基于所述至少兩個(gè)輸入帖和估計(jì)的插入圖插入 至少一個(gè)另外的帖，由此獲得至少一個(gè)插入帖，其中，所述至少一個(gè)插入帖的至少一個(gè)像素 與由至少一個(gè)像素的插入圖指定的時(shí)間處的該至少一個(gè)像素對(duì)應(yīng)，輸出帖速率為輸入帖速 率的整數(shù)倍，并且所述至少一個(gè)另外的帖被插入在所述至少兩個(gè)輸入帖之間。
[0031] 在本公開的第十方面中，描述了用于控制顫抖可見性的方法，所述方法包括:通過 計(jì)算機(jī)提供至少兩個(gè)輸入帖;通過計(jì)算機(jī)基于所述至少兩個(gè)輸入帖估計(jì)插入圖，由此獲得 估計(jì)的插入圖，其中，所述估計(jì)的插入圖指定對(duì)于所述至少兩個(gè)輸入帖的至少一個(gè)像素的 時(shí)間插入位置;計(jì)算基礎(chǔ)(base)帖速率，所述基礎(chǔ)帖速率為輸出帖速率的偶數(shù)倍并且在值 上基本上接近于輸入帖速率，由此類似于所述輸入帖速率來顯示顫抖，其中，輸出帖速率為 所述輸入帖速率的非整數(shù)倍；W及通過計(jì)算機(jī)基于所述至少兩個(gè)輸入帖、基礎(chǔ)帖速率、輸入 帖速率和輸出帖速率W及估計(jì)的插入圖插入至少兩個(gè)另外的帖，由此獲得至少兩個(gè)插入 帖，其中，所述至少兩個(gè)插入帖中的至少一個(gè)的至少一個(gè)像素與由至少一個(gè)像素的插入圖 指定的時(shí)間處的該至少一個(gè)像素對(duì)應(yīng)，其中，所述至少兩個(gè)另外的帖被插入在所述至少兩 個(gè)輸入帖之間。
[0032] 在本公開的第十一方面中，描述了用于控制顫抖可見性的方法，所述方法包括：W 輸入帖速率提供輸入帖;通過計(jì)算機(jī)在每一時(shí)間段從所述輸入帖捕獲帖，由此獲得捕獲的 帖;在每一時(shí)間段中W低于所述輸入帖速率的帖速率顯示所述捕獲的帖；W及在每一時(shí)間 段的結(jié)束使所述捕獲的帖在時(shí)間上向前跳躍(jump)達(dá)趕上所述輸入帖速率所需要的量，由 此獲得期望的顫抖可見性。
[0033] 在本公開的第十二方面中，描述了用于控制高帖速率顫抖可見性的方法，所述方 法包括：W輸入帖速率提供輸入帖;通過計(jì)算機(jī)計(jì)算顫抖基礎(chǔ)帖速率;選擇顫抖控制速率； 在每一時(shí)間段從所述輸入帖重采樣帖，由此獲得重采樣的帖;在每一時(shí)間段中W不同于所 述輸入帖速率的帖速率顯示捕獲的帖；W及在每一時(shí)間段的結(jié)束使所述捕獲的帖在時(shí)間上 向前跳躍達(dá)趕上所述輸入帖速率所需要的量，由此W等于所述輸入帖速率的輸出帖速率獲 得期望的顫抖可見性。
【具體實(shí)施方式】
[0034] 運(yùn)動(dòng)圖片(motion picture)中的顫抖可W簡(jiǎn)單地被描述為非平滑運(yùn)動(dòng)，但是該術(shù) 語也被用于一般描述視頻記錄中典型的24fps的相對(duì)低的帖速率的任何結(jié)果。由于24fps的 帖速率(或其它類似低的帖速率)產(chǎn)生的與真實(shí)世界中可見的運(yùn)動(dòng)相比的失真中的一些可 W被分解成四個(gè)主要成分(component): 1)非平滑運(yùn)動(dòng)(顫動(dòng)），2)沿著移動(dòng)邊緣(edge)的閃 爍，3)移動(dòng)對(duì)象上的空間模糊，W及4)虛假的多個(gè)邊緣。
[0035] 運(yùn)樣的失真主要是由于相對(duì)于圖像更新速率(帖速率）的高程度的運(yùn)動(dòng)，W及源自 空時(shí)混疊的結(jié)果。如本領(lǐng)域技術(shù)人員已知的，可W通過空時(shí)對(duì)比靈敏度函數(shù)(CSF)(稱為ST- CSF)來描述運(yùn)動(dòng)失真的可見性。運(yùn)動(dòng)中的對(duì)象相對(duì)于其周圍區(qū)域的對(duì)比度可W影響可見 性，因?yàn)閷?duì)比度是向ST-CSF的主要輸入變量，從而確定闊值和總的可見性。
[0036] 還存在基于視覺系統(tǒng)的亮度適應(yīng)對(duì)運(yùn)些失真的可見性的影響。對(duì)于較高亮度水 平，ST-CSF的空間和時(shí)間帶寬增大，結(jié)果是所有四個(gè)成分的可見性也增大。用于影片的新投 影儀設(shè)計(jì)實(shí)現(xiàn)較高的最大亮度和較高的對(duì)比度。有時(shí)增大的最大亮度被用于提升平均亮度 水平，而其它時(shí)間它被用于僅增大對(duì)象的對(duì)比度。運(yùn)兩種改善具有負(fù)面影響，因?yàn)樗鼈冊(cè)龃?了顫抖的所有四個(gè)成分的可見性。不幸的是，顫抖的W前可接受的水平現(xiàn)在變得令人反感。
[0037] 換言之，針對(duì)lOOnits標(biāo)準(zhǔn)動(dòng)態(tài)范圍顯示器或48nits電影屏幕分級(jí)的內(nèi)容在被重 新分級(jí)到擴(kuò)展或可視動(dòng)態(tài)范圍顯示器(例如，SOOnits TV顯示器或llOnits電影屏幕)時(shí)示 出令人反感的顫抖。原因是，如屯、理物理實(shí)驗(yàn)中所示的那樣，較高明亮度(bri曲tness)和較 高對(duì)比度增大了顫抖感知(perception)。
[0038] 屯、理物理實(shí)驗(yàn)已通過使用Gabor和自定義的對(duì)比度-頻率測(cè)試圖W及真實(shí)圖像序 列作為刺激(stimuli),研究了不同的因素如何影響運(yùn)動(dòng)顫抖的感知。結(jié)果表明，顫抖與包 括帖速率、運(yùn)動(dòng)速度、明亮度、對(duì)比度、快口角度等的不同變量可W具有強(qiáng)的關(guān)系。對(duì)于顫抖 的感知存在截止帖速率:超過該帖速率，不存在顫抖感知，而低于該速率，顫抖感知在帖速 率降低時(shí)增大。因此，在相同帖速率處，顫抖感知隨著運(yùn)動(dòng)速度、明亮度W及對(duì)比度增大而 增大，并且隨著快口角度增大而降低。
[0039] 在許多成像應(yīng)用中，運(yùn)動(dòng)質(zhì)量的改善的目標(biāo)是減少W上列舉的所有四個(gè)顫抖成 分，并且可見性的窗口提供了朝著運(yùn)樣的改善的清晰路徑。減少顫抖的一種方式是在捕獲 或顯示階段減少空間和時(shí)間分辨率或者增大帖速率。然而，對(duì)于影片來說，運(yùn)些成分中的一 些在某些幅值水平處實(shí)際是期望的，因?yàn)樗鼈冇兄谕ǔＳ呻娪皵z影師和電影行業(yè)中的其 它專業(yè)人員期望的"電影感(film look)"。它們?cè)谑褂捌雌饋聿煌谝曨l時(shí)是重要的，視 頻由于其相對(duì)較高的帖速率而具有平滑得多的運(yùn)動(dòng)和銳利的移動(dòng)邊緣。盡管電影感的偏好 背后的一些細(xì)節(jié)是未知的，但是已假設(shè)由于與電影從業(yè)者經(jīng)常對(duì)于聚焦偏好淺的景深的事 實(shí)有關(guān)的那些原因類似的原因，運(yùn)動(dòng)模糊（由于在LCD顯示器行業(yè)中經(jīng)常討論的保持型模糊 和平滑追隨眼睛移動(dòng)交互而造成)是被偏好的。它減少故事講述不需要的可W被視為干擾 的可見細(xì)節(jié)。其它理論是，影片不應(yīng)當(dāng)太實(shí)際，因?yàn)檫\(yùn)阻礙觀看者的想象力。第Ξ個(gè)關(guān)鍵理 論是，影迷與朝著電影感的一些顫抖成分存在強(qiáng)的關(guān)聯(lián)性，并且作為結(jié)果，電影觀看者偏好 影片不具有視頻的更實(shí)際的運(yùn)動(dòng)質(zhì)量。作為運(yùn)些復(fù)雜因素的結(jié)果，需要比簡(jiǎn)單地去除顫抖 (諸如通過增大捕獲和顯示的帖速率，或者通過使用運(yùn)動(dòng)插入W增大給定源的帖速率)做得 更多的方法。運(yùn)樣的方法必須管理顫抖；即，保持在感知上類似于傳統(tǒng)影片的所期望的成 分，盡管對(duì)比度和亮度水平增大。運(yùn)些顫抖管理的方法是本公開的主題。除了將來自影片的 顫抖成分水平保留在W前可接受的水平之外，本公開還描述了允許導(dǎo)演或電影攝影師全局 地和局部地控制顫抖顯現(xiàn)(appearance)的方面(從傳統(tǒng)感到更自然的"視頻運(yùn)動(dòng)"感(包括 中間的各種狀態(tài))的范圍）的系統(tǒng)和方法。
[0040] 處理運(yùn)動(dòng)偽像的另一種方法是通過記錄處理的控制。美國電影攝影師協(xié)會(huì)已提供 了關(guān)于在場(chǎng)景中捕獲運(yùn)動(dòng)的指導(dǎo)方針，諸如"7秒準(zhǔn)則"（對(duì)象應(yīng)當(dāng)花費(fèi)7秒跨過攝像機(jī)帖）。 運(yùn)些準(zhǔn)則是根據(jù)傳統(tǒng)的投影儀針對(duì)亮度水平和對(duì)比度開發(fā)的。然而，給定新的顯示技術(shù)，任 何現(xiàn)有的內(nèi)容將需要針對(duì)顫抖的重新評(píng)估，并且在真實(shí)世界制作環(huán)境中，可能不可W在內(nèi) 容創(chuàng)建期間先驗(yàn)地判斷顫抖感知量。許多顯示器具有足夠高W致于決不存在顫抖的原生的 帖速率，并且適當(dāng)?shù)碾娪案胁槐蛔匀坏氐玫健Ｒ虼?，期望控制?dǎo)演/電影攝影師/后期制作者 W及觀看者對(duì)顫抖的感知的半自動(dòng)化處理。
[0041] 掩蔽(mask)顫抖的常見的后期制作方法如下。
[0042] 1.降低總的圖片明亮度水平直到顫抖可接受。該方法與對(duì)顯示器中較高明亮度和 較高對(duì)比度的期望沖突，并且人為地約束藝術(shù)意圖。
[0043] 2.添加運(yùn)動(dòng)模糊W偽造攝像機(jī)上較長的快口，運(yùn)基于運(yùn)動(dòng)的量和方向巧污 (smear)像素。該方法對(duì)存在于場(chǎng)景中的細(xì)節(jié)具有負(fù)面的影響，其中所有移動(dòng)的對(duì)象將丟失 細(xì)節(jié)。為了避免該潛在的問題，添加最小量的運(yùn)動(dòng)模糊，運(yùn)可能對(duì)于將來的顯示技術(shù)不起作 用。實(shí)際上，隱藏顫抖所需要的純粹模糊量可能會(huì)如此大，W致于它違犯物理上似合理的攝 像機(jī)快口，從而向電影添加新的負(fù)面的顯現(xiàn)。
[0044] 3.在圖像之間插入到較高帖速率，或W較高帖速率捕獲，其中帖與帖之間的運(yùn)動(dòng) 減少。該方法當(dāng)前對(duì)于大多數(shù)解決方案而言是優(yōu)選模式，然而，該方法也對(duì)場(chǎng)景具有負(fù)面的 屯、理影響，其中人們?cè)u(píng)論它不再"感覺"像電影。該方法對(duì)一些顯示技術(shù)也是不可W的。
[0045] 本公開描述了可W允許導(dǎo)演或電影攝影師全局地和局部地控制顫抖顯現(xiàn)的方面 (從傳統(tǒng)感到更自然的"視頻運(yùn)動(dòng)"感(包括中間的各種狀態(tài))的范圍）的系統(tǒng)和方法。本公開 可W提供用戶在特定位置可W感知到多少顫抖的成文的度量，并且提供僅在目標(biāo)區(qū)域添加 適應(yīng)性校正的方法。另外，可W修改校正W保留電影"感"的感知和明顯的(apparent)細(xì)節(jié)。
[0046] 在2014年2月27日提交的美國臨時(shí)專利申請(qǐng)No 61/945,706、"Systems and methods to con化〇1化dder vis化ility"中，已描述了不同的方法來控制低帖速率內(nèi)容 的顫抖可見性，例如，通過W全局和局部可控制的顫抖可見性來使帖速率加倍。另外，對(duì)于 利用高帖速率捕獲和顯示來控制顫抖提議了若干方法。美國臨時(shí)專利申請(qǐng)No 61/945，706 的公開通過其整體引用而并入本文。另外，處于參考的目的，本文再現(xiàn)了來自美國臨時(shí)專利 申請(qǐng)No 61/945,706的若干概念。
[0047] 1.不變帖速率處理
[0048] 不變帖速率處理可W提供減少顫抖同時(shí)使帖速率不變的方式。圖1示出了處理 24fps傳入素材的一個(gè)實(shí)施例的高層級(jí)的框圖，并可W是當(dāng)由于顯示限于24fps而時(shí)間插入 不可能時(shí)使用的最終輸出。在較高輸入帖速率處，將添加另外的處理W調(diào)整"電影感覺"。設(shè) 想諸如顯著性或?qū)ο笞R(shí)別之類的另外的圖像屬性來增強(qiáng)結(jié)果。
[0049] 在圖1中，在時(shí)間*(110)、*-1(105巧化+1(120)處的輸入圖像經(jīng)受時(shí)間處理（115)。 視頻處理（115)包括運(yùn)動(dòng)估計(jì)（130 )，其中運(yùn)動(dòng)矢量被估計(jì)。還針對(duì)亮度（121)和對(duì)比度 (125)或者帖與帖之間存在的變化量的其它度量計(jì)算輸入圖像（105,110,120)之間的時(shí)間 差異?？蒞通過并入更多周圍帖（surrounding打ame)來改善運(yùn)動(dòng)估計(jì)及其它變化測(cè)量值。 運(yùn)動(dòng)估計(jì)（130)包括對(duì)兩個(gè)運(yùn)動(dòng)矢量集(一個(gè)前向運(yùn)動(dòng)矢量集和一個(gè)后向運(yùn)動(dòng)矢量集)的估 計(jì)。該前向和后向集被單獨(dú)地計(jì)算，并且使得能夠W較高的精度計(jì)算運(yùn)動(dòng)估計(jì)。
[0050] 運(yùn)動(dòng)矢量估計(jì)包括確定矢量的方向（140)和矢量的幅度（135)。使用矢量的幅度 (135)、亮度變化圖（121)和對(duì)比度變化圖（125)來確定規(guī)范化的顫抖圖（145)，其中每一像 素的顫抖值描述多少顫抖是明顯的。該方法的一個(gè)簡(jiǎn)單實(shí)施例將是使用加權(quán)的方案對(duì)每一 成分求和（諸女曰w0*vector_ma邑1111：11(10+訊1水1111111]1曰]1〇0_〇11曰]1邑0+訊2水〇〇]1化曰81:_〇11曰]1邑0)為在〇 和1之間變化的單一數(shù)字，其中，0表示沒有明顯的顫抖，而1對(duì)應(yīng)于最大量的顫抖?？蒞使用 其它統(tǒng)計(jì)度量來在相互關(guān)聯(lián)的輸入?yún)?shù)之間更準(zhǔn)確地表決(vote)。在一些實(shí)施例中，可W 針對(duì)全部像素的子集計(jì)算顫抖值。也可W使用場(chǎng)景和顯示器元數(shù)據(jù)（150)來確定顫抖圖 (145)。例如，可W利用場(chǎng)景的明亮度和顯示器的尺寸和亮度。如本領(lǐng)域技術(shù)人員已知的，屏 幕越大，顫抖就越可見。場(chǎng)景和顯示器元數(shù)據(jù)(150)可影響對(duì)顫抖的感知。例如，感知的顫抖 隨著明亮度增大而增大?？偟膱?chǎng)景明亮度可W被攜載在場(chǎng)景元數(shù)據(jù)（150)中，并因此可W在 確定顫抖中被使用。顯示器元數(shù)據(jù)（150)可包括顯示器的最大明亮度，W及顯示器的大小， 運(yùn)兩者可w影響感知的顫抖。
[0051] 可W基于每個(gè)像素的顫抖量（145)計(jì)算要被添加的噪聲（160)?？蒞基于顫抖圖 (145)縮放（155)矢量（135)的運(yùn)動(dòng)幅度。在縮放（155)之后，基于顫抖量將噪聲（抖動(dòng) (jitter))添加（165)到運(yùn)動(dòng)幅度。噪聲基于顫抖圖（145)測(cè)量（160)。例如，顫抖的幅度越 大，將被添加的噪聲就越高。
[0052] 在抖動(dòng)（165)之后，使用運(yùn)動(dòng)幅度和方向來重構(gòu)運(yùn)動(dòng)矢量（170)。運(yùn)里使用抖動(dòng)來 指示時(shí)間偏移?；谶\(yùn)些運(yùn)動(dòng)矢量運(yùn)動(dòng)模糊（175)被添加到圖像。還基于要與原始圖像混合 的噪聲量添加偽膠片顆粒(grain) (180)使得運(yùn)動(dòng)模糊看起來好像原始捕獲的一部分。可W 基于顫抖量調(diào)整噪聲幅值、大小或分布。獲得(185)最終輸出圖像。在一些實(shí)施例中，對(duì)圖像 的一個(gè)或多個(gè)像素或W加權(quán)方式執(zhí)行此處所描述的處理。
[0化3] 2.帖速率調(diào)整處理
[0054] 當(dāng)替代的帖速率可能時(shí)，通過W較高帖速率捕獲或插入較低帖速率并W較高帖速 率顯示，使得能夠進(jìn)行另外的處理。運(yùn)允許呈現(xiàn)具有增強(qiáng)的"電影感覺"，而不具有強(qiáng)顫抖的 負(fù)面影響?？蒞在具有令人反感的顫抖的區(qū)域中引入較高帖速率的非平滑運(yùn)動(dòng)，使得感知 的顫抖將被減少到可接受的范圍而不被消除，同時(shí)不具有過度的顫抖的圖像的大部分將被 W較低的帖速率更新。因此，整個(gè)圖像序列當(dāng)W較高帖速率播放時(shí)將保持本能的"電影感 覺"。換言之，在局部區(qū)域中減少過度的顫抖，而使其它區(qū)域未受影響。最終圖像的一些區(qū)域 將基于較高帖速率圖片，而其它區(qū)域?qū)⒒谳^低帖速率圖片。
[0055] 例如，給定24fps的輸入，為了抵消由于顯示器/投影儀明亮度的增大而造成的增 大的顫抖感覺，一種選擇是增大帖速率。所需的帖速率的增大(其可W有效地減少由明亮度 導(dǎo)致的相同量的增大的顫抖)可W通過屯、理物理實(shí)驗(yàn)來進(jìn)行建模。然而，可調(diào)整的帖速率范 圍可W被限制在24fps和48巧S之間，如在48fps中，通常不存在感知的顫抖。將24巧S序列插 入到低于48fps的任意帖速率并W該任意帖速率顯示它可能是不實(shí)際的，盡管當(dāng)帖速率轉(zhuǎn) 換和顯示技術(shù)進(jìn)步時(shí)運(yùn)可能更實(shí)際。該解決方案的正式描述可W是:給定針對(duì)第一顯示明 亮度分級(jí)的24巧S圖像序列/場(chǎng)景，找出最優(yōu)第二帖速率，使得在將帖速率從24fps轉(zhuǎn)換到該 第二帖速率之后，在具有第二顯示明亮度的輸出顯示器上回放的內(nèi)容將具有與當(dāng)在具有第 一顯示明亮度的顯示器上播放原始的24巧S內(nèi)容時(shí)相同量的感知的顫抖。
[0056] 更實(shí)際地，顯示器和投影儀通常對(duì)于48fps、60fpsW及一些其它標(biāo)準(zhǔn)帖速率是可 用的。在該情況下，如果恰當(dāng)?shù)赝瓿蓵r(shí)間插入，使用帖速率轉(zhuǎn)換可W消除所有顫抖感知，如 同在運(yùn)樣的高帖速率中沒有顫抖被看見。
[0057] -種可能的方法試圖識(shí)別具有過度的顫抖的區(qū)域，并且僅W較高帖速率更新運(yùn)些 區(qū)域，同時(shí)使其它區(qū)域W較低帖速率回放。該方法示出了與將圖片的每一部分更新到較高 帖速率的方法相比的改善的結(jié)果，因?yàn)轭澏陡杏X在大多數(shù)區(qū)域中被保持，盡管在具有過度 的顫抖的區(qū)域中它被消除。
[0058] 可W應(yīng)用如此處所描述的解決方案W將過度的顫抖減少到可接受的水平，W便當(dāng) W較高帖速率回放24巧S內(nèi)容時(shí)保持感知的顫抖。例如，可W W較高帖速率引入局部可變的 非平滑運(yùn)動(dòng)，W便引入局部可控制的顫抖感覺。利用該能力，適當(dāng)量的顫抖可W在具有過度 的顫抖的區(qū)域中被打開(turn on)。還可W將其它區(qū)域中的顫抖打開到24巧S處的完全可能 的顫抖量，并在空間上和在時(shí)間上確保顫抖感覺的平滑變化。W下利用48巧S的示例性輸出 帖速率解釋此處所描述的方法，然而，本領(lǐng)域技術(shù)人員將理解其它輸出帖速率可w是可能 的。
[0化9]可 W根據(jù)例如SID 2001 中J丄arimer等人的 "Judder-induced edge flicker in moving objects,"(其公開內(nèi)容通過整體引用而包括于此)通過邊緣閃爍解釋來自平滑地 移動(dòng)的對(duì)象的顫抖的人類感知。
[0060] 圖2示出了與顫抖控制有關(guān)的一些概念。在圖2中，假定線段跨屏幕從左到右移動(dòng)， 并且觀看者正在利用平滑追隨眼睛移動(dòng)（SPEM)跟蹤該線段。頂部行（205,210)示出了真實(shí) 生活中的線(225，230)的空間時(shí)間軌跡，即連續(xù)的域，而底部行(215，220)示出了當(dāng)W 24fps 采樣并在保持型化old-type)顯示器上回放時(shí)頂部行(205,210)的空間時(shí)間軌跡。
[0061] 在圖2中，在左側(cè)(205，215)，W世界坐標(biāo)表示空間位置，而在右側(cè)(210,220)，利用 S陽觀看者的視網(wǎng)膜(retina)的坐標(biāo)表示位置。中線（225,230,235,240)示出了當(dāng)觀看 者正在跟蹤對(duì)象時(shí)眼睛凝視的空間時(shí)間軌跡。因此，面板(panel)(205)示出了線段從左到 右移動(dòng)，并且在面板(210)中示出了視網(wǎng)膜坐標(biāo)中的該運(yùn)動(dòng)。當(dāng)移動(dòng)的線被采樣并在保持型 顯示器上重構(gòu)時(shí)，可W在面板(215)中看見階梯狀軌跡。當(dāng)在觀看者正在跟蹤對(duì)象的同時(shí)W 視網(wǎng)膜坐標(biāo)表示該軌跡時(shí)，可W在面板(220)中看見空間時(shí)間軌跡中的銀齒狀邊緣。因此， 在線段的邊緣，可W看見運(yùn)動(dòng)模糊，其中顏色從背景顏色斜升(ramp up)到線顏色。同時(shí)，還 可W看見閃爍，因?yàn)樘俾适?4fps，遠(yuǎn)低于臨界融合頻率(CFF)的頻率。閃爍和運(yùn)動(dòng)模糊通 常是在24fps回放中被看作為顫抖的東西。在面板（220)中，銀齒形狀的深度被標(biāo)記為X (245)，其為對(duì)于線段的每個(gè)帖的位移，即線段的速度。從屯、理物理實(shí)驗(yàn)，已知感知的顫抖幅 度與運(yùn)動(dòng)速度正相關(guān)，因此當(dāng)X增大時(shí)，感知的顫抖將增大，而當(dāng)X減小時(shí)，感知的顫抖減小。
[0062] 圖3示出了如果線段的運(yùn)動(dòng)被W48fps采樣并顯示在48fps保持型顯示器上所發(fā)生 的事情。在圖3中，頂部行(305,310)示出了保持型顯示器(305)上W及利用SPEM看著顯示器 的觀看者的視網(wǎng)膜（310)上的平滑地移動(dòng)的線段的空間時(shí)間軌跡。如在（310)中可W看見 的，邊緣閃爍比圖2的（220)中少得多，因?yàn)槲灰圃谥瞪洗蠹s是一半，并且更重要的是，頻率 是接近CFF的48fps。在實(shí)際中，較銳利的圖像可較少的運(yùn)動(dòng)模糊被觀察到，并且通常沒 有邊緣閃爍。
[0063] 因此，如果利用帖速率控制(FRC)將輸入的24fps內(nèi)容插入到48fps(其中，插入帖 在時(shí)間上位于t+0.5處），則將不存在感知的顫抖。運(yùn)不一定是有利的，因?yàn)轭A(yù)期的目的是減 少過度的顫抖，而不是消除它。
[0064] 圖巧日3還示出了利用帖速率控制(FRC)將24巧S處的輸入內(nèi)容插入到48巧s(其中， 插入帖在時(shí)間上位于t+0.5處）的結(jié)果。
[0065] 在圖3中，底部行（315,320,325,330)示出了利用48fps處的非平滑運(yùn)動(dòng)從左到右 移動(dòng)的線段的空間時(shí)間軌跡。具體地，對(duì)于24fps時(shí)段的第一半（316)，線段(335)向左移動(dòng) 小的間隙（gap),而對(duì)于第二半（317)，向左移動(dòng)大的間隙。當(dāng)眼睛正在跟蹤運(yùn)動(dòng)時(shí)，中線 (335,:340)與頂部行（305，310)的線（345，350)保持相同。換言之，（315)也可W被闡釋為 24fps輸入內(nèi)容到48fps的插入，其中插入帖在時(shí)間上位于t+dt處，其中dt< = 0.5。因此， (315)也可W被闡釋為24fps輸入內(nèi)容到48fps的插入，其中插入帖在時(shí)間上位于兩個(gè)連續(xù) 帖之間的時(shí)間化處，其中化= xl/(24x)秒。
[0066] 第一半（316)的小間隙和第二半(317)的大間隙還可W在圖17中更詳細(xì)地被看作 為xl(1705)和x2(1710)，其中，xl+x2 = x。
[0067] 返回參考圖3,當(dāng)（315)中的空間時(shí)間軌跡如在(320)中那樣在觀看者的視網(wǎng)膜上 被表示時(shí)，（320)中的軌跡可W被分解成兩個(gè)成分:24fps成分(325)和48fps成分(330)。成 分(325)非常類似于將被感知為顫抖的圖2的（220)中的軌跡，同時(shí)圖3中的成分(330)非常 類似于示出沒有顫抖的（310)中的軌跡。圖3中的（325)和圖2中的（220)之間的不同是(325) 中的位移x(355)小于（220)中的位移x(245)，因?yàn)閤(355)=x2-xl = x(245)-2*xl。位移X (335)也可W稱為X'。圖2和圖3相對(duì)于彼此不是要縮放，因此，圖2和圖3中的位移x(355， 245)的相對(duì)長度可能看起來不同于特此所陳述的?；赪上的分析，較小的位移x(355)對(duì) 應(yīng)于較慢的運(yùn)動(dòng)速度，并因此導(dǎo)致較少的顫抖。同時(shí)，成分（330)將不具有顫抖，因?yàn)樗?48fps，并且具有與（310)相比甚至更少的運(yùn)動(dòng)速度?？傮w上，視網(wǎng)膜上的空間時(shí)間軌跡 (320)將示出與（310)相比減少的顫抖。
[0068] (320)中的位移是(325)中的位移(355)和(330)中的位移的和。因此，位移(355)將 小于(320)中的位移。
[0069] 位移x(355)是可控制的，因?yàn)榭蒞在不同的時(shí)間位置dt處插入48fps流的中間帖。 用于計(jì)算插入位置化的公式是
[0070]
[0071] 如果化=0(并且x'=x)或化=1，則獲得與圖2中的（220)中相同的效果，具有原始 顫抖。如果dt = 0.5(并且x'=0)，則獲得與圖3中的（310)中相同的效果，其中不具有顫抖。 對(duì)于0和1之間的其它值(0和X之間的X'值），可W將感知的顫抖控制到對(duì)于dt = 0和化= 0.5 的兩種情況之間的期望的程度。經(jīng)由dt'=l-dt處的插入也可W獲得非平滑運(yùn)動(dòng)，dt' = l- 化處的插入將具有與化處的插入相同量的顫抖。
[0072] 在一些實(shí)施例中，dt< = 0.5被選擇用于顫抖減少，同時(shí)0.5的另一側(cè)的值將具有類 似的效果?？蒞使用相同技術(shù)來對(duì)基本(organic)高帖速率內(nèi)容引入顫抖感知，其中，顫抖 可W利用非平滑運(yùn)動(dòng)注入。
[0073] 對(duì)于具有24fps輸入和48fps輸出的顫抖減少，可W利用圖4所示出的示圖實(shí)現(xiàn)算 法?？蒞生成(430)插入位置圖M(425)，使得對(duì)于每一像素(X，y)，像素將在時(shí)間位置化=M (x，y)處被插入。
[0074] 在該實(shí)施例中，輸出的帖速率是輸入的帖速率的兩倍。為了簡(jiǎn)單化，每一輸入帖 (405)可W被直接拷貝作為輸出帖(410)，并且可W在每一對(duì)相鄰的原始輸入帖之間（455) 插入一個(gè)帖，W獲得輸出帖(460)。
[0075] 可W分析(440)帖，W確定它包含多少顫抖。在實(shí)施例中，可W如在圖1中所描繪的 顫抖控制處理中所討論的那樣執(zhí)行顫抖分析(440)。在另一個(gè)實(shí)施例中，接下來參考圖4討 論替代的顫抖分析技術(shù)。
[0076] 為了獲得插入帖，首先使用輸入帖（405)來估計(jì)（415)每一像素的運(yùn)動(dòng)矢量場(chǎng) (420)。對(duì)于每一像素(x，y)，獲得前向運(yùn)動(dòng)矢量mvf(x，y)和后向運(yùn)動(dòng)矢量mvb(x，y)?；谶\(yùn) 兩個(gè)運(yùn)動(dòng)矢量，可W通過比較前向和后向運(yùn)動(dòng)矢量來定義像素（x，y)的時(shí)間運(yùn)動(dòng)一致性 ((3011313*611〇7)。^，7)，并且可^通過與其相鄰像素比較前向和后向運(yùn)動(dòng)矢量來定義空間 運(yùn)動(dòng)一致性Cs(x，y)。另外，可W使用每一像素(x，y)的前向運(yùn)動(dòng)矢量mvf(x，y)來找到下一帖 中的對(duì)應(yīng)像素(x'，y'），使得可W將像素的前向運(yùn)動(dòng)矢量mvf(x，y)與下一帖中的其對(duì)應(yīng)像 素的后向運(yùn)動(dòng)矢量(即，mvbiy，/ ))進(jìn)行比較，W確定前向運(yùn)動(dòng)一致性Cf(x，y)。
[0077]類似地，可W通過比較像素的后向運(yùn)動(dòng)矢量mvb(x，y)與其前一帖中的其對(duì)應(yīng)像素 (X"，y")的前向運(yùn)動(dòng)矢量（即，mvf (X"，y")(其中，對(duì)應(yīng)像素 (X"，y")通過像素(x，y)的后向運(yùn) 動(dòng)矢量mvb(x，y)來確定)來確定后向運(yùn)動(dòng)一致性Cb(x，y)。在一個(gè)實(shí)施例中，運(yùn)些運(yùn)動(dòng)矢量一 致性被定義為運(yùn)動(dòng)矢量的和的幅度除W運(yùn)動(dòng)矢量的平均幅度。例如，
[007引
[0079] 其中，|u|是U的幅度。在一個(gè)實(shí)施例中，修改的運(yùn)動(dòng)幅度m(x，y)對(duì)于每一個(gè)像素 (x，y)可W被定義為前向運(yùn)動(dòng)幅度乘W前向運(yùn)動(dòng)一致性和后向運(yùn)動(dòng)幅度乘W后向運(yùn)動(dòng)一致 性中的較大者。該修改的運(yùn)動(dòng)幅度被進(jìn)一步乘W時(shí)間運(yùn)動(dòng)一致性，例如：
[0080] s(x，y)=max( |mvf(x，y) |*Cf(x，y)，|mvb(x，y) |*Cb(x，y))*Ct(x，y).
[0081] 高斯濾波器被應(yīng)用于該修改的運(yùn)動(dòng)幅度sW獲得運(yùn)動(dòng)速度s'的平滑映射。在實(shí)際 中，將通過運(yùn)動(dòng)速度s'（x，y)確定像素(x，y)的映射的插入位置M(x，y)。該映射的插入位置 也可W基于顫抖分析結(jié)果修改，并且可W通過用戶交互來控制。例如，后期制作的用戶 (435)可W確定場(chǎng)景的哪一部分包含過度的顫抖并且可W調(diào)諧位移圖，使得結(jié)果將包含適 當(dāng)?shù)念澏丁?br>[0082] 在一個(gè)實(shí)施例中，可W基于之前獲得的平滑的運(yùn)動(dòng)速度s'計(jì)算插入圖M(425)。例 如，像素(X，y)的運(yùn)動(dòng)速度S '（ X，y)和插入位置Μ(X，y)之間的關(guān)系可W是兩個(gè)速度闊值T1和 T2之間的軟切換（soft switching)函數(shù)，具有最小插入位置0, W及最大插入位置0.25,如 圖5所示。
[0083] 在圖5中，TU505)和Τ2(510)是速度闊值，同時(shí)M(x，y)=0(515)是最小插入位置， 并且M(x，y) =0.25(520)是最大插入位置。
[0084] 給定一對(duì)原始輸入帖和插入位置圖M，可W在每一像素(x，y)處應(yīng)用標(biāo)準(zhǔn)帖速率轉(zhuǎn) 換方法，W獲得對(duì)應(yīng)的插入位置M(x，y)處的插入結(jié)果。還可W基于運(yùn)動(dòng)估計(jì)結(jié)果模擬運(yùn)動(dòng) 模糊，其中，在一個(gè)實(shí)施例中，運(yùn)動(dòng)模糊的量與插入位置成比例，即，插入位置與其最接近的 原始輸入帖越遠(yuǎn)離，越多的運(yùn)動(dòng)模糊被應(yīng)用?？蒞例如通過沿運(yùn)動(dòng)方向應(yīng)用方框(box)濾波 器或高斯濾波器獲得運(yùn)動(dòng)模糊。在另一個(gè)實(shí)施例中，通過對(duì)第一輸入帖和插入帖之間的采 樣帖進(jìn)行平均來模擬運(yùn)動(dòng)模糊。在該情況下，可W基于插入位置圖Μ對(duì)于每一個(gè)像素首先計(jì) 算并平均所有采樣的插入帖。
[0085] 對(duì)于W上的實(shí)施例的顫抖管理方法存在若干應(yīng)用情景。首先，作為用于后期制作 的工具，工作室可W直接W48fps生成去顫抖的輸出內(nèi)容，并且然后通過兼容的投影儀來回 放該內(nèi)容。后期制作處理也可W針對(duì)具有實(shí)時(shí)去顫抖的數(shù)字影片投影儀生成元數(shù)據(jù)。該元 數(shù)據(jù)還可W被用于在消費(fèi)者設(shè)備中引導(dǎo)FRC。元數(shù)據(jù)可W呈現(xiàn)多種形式，包括針對(duì)其場(chǎng)景需 要顫抖減少的指示符，W及定義如何針對(duì)特定場(chǎng)景生成插入位置圖的參數(shù)映射函數(shù)。
[0086] 在本公開中所描述的方法也可W直接應(yīng)用在投影儀和消費(fèi)者設(shè)備兩者中W用于 實(shí)時(shí)全自動(dòng)的顫抖減少。本公開描述了可W在諸如編碼器、解碼器、投影儀和消費(fèi)者設(shè)備之 類的硬件設(shè)備中實(shí)現(xiàn)的算法。
[0087] 3.高帖速率和顫抖控制處理
[0088] 在與W上所描述的方法有關(guān)的一些實(shí)施例中，可W跳到其中48fps或更高的流已 經(jīng)可用的步驟。如W上假定的，運(yùn)可W通過插入來完成?？商娲?，它可W通過首先利用高 帖速率攝像機(jī)捕獲內(nèi)容來完成。然后，關(guān)屯、的事變?yōu)槿绾巫罴训仫@示可用的圖像，使得存在 合適水平的顫抖W便保留電影感。
[0089] 3.1.使用非平滑運(yùn)動(dòng)來模擬顫抖
[0090] 主要思想是在高帖速率內(nèi)容中引入非平滑運(yùn)動(dòng)，因此它將示出類似顫抖的感知， 即使W高刷新速率播放內(nèi)容。
[0091] 可W在捕獲端在后期制作期間或者在投影儀/顯示器端引入非平滑運(yùn)動(dòng)。在W下 的小節(jié)，將基于非平滑運(yùn)動(dòng)在何處被引入到高帖速率系統(tǒng)中來描述Ξ種方法。
[0092] 3.1a
[0093] 在一些實(shí)施例中，運(yùn)動(dòng)圖片將W非平滑方式捕獲，即，在捕獲每一帖之間具有非恒 定的時(shí)間間隔。W該非平滑方式捕獲到的運(yùn)動(dòng)圖片然后可W被投影在利用恒定的時(shí)間間隔 投影連續(xù)帖的投影儀上。因此，感知的內(nèi)容將具有被引入的非平滑運(yùn)動(dòng)，運(yùn)在回放高帖速率 內(nèi)容中提供顫抖感覺。
[0094] 例如，令帖索弓li為i = 0，l，2,….，并且捕獲每一帖時(shí)的時(shí)間被記為t(i)。對(duì)于具 有恒定時(shí)間間隔化的正常捕獲，捕獲時(shí)間t(i) = i*化，其中，dt是兩個(gè)帖之間的時(shí)間。例如， 當(dāng)帖速率是120fps時(shí)，化= 1/120 = 8.333ms。對(duì)于非平滑捕獲，可W改變帖的子集的捕獲時(shí) 間W使捕獲時(shí)間在時(shí)間上移動(dòng)早一點(diǎn)或晚一點(diǎn)（例如，對(duì)于120fps捕獲每第5帖，使得可W W24化頻率引入一些東西）。在數(shù)學(xué)上，可W設(shè)置t(i) = i*化+δ，其中，如果mod(i，n)=0,那 么S為非零，否則，δ = 〇。如果對(duì)于120fps捕獲η被設(shè)置為5,那么運(yùn)意味著，對(duì)于每五個(gè)帖，帖 中的一個(gè)W不同的時(shí)間戳捕獲。運(yùn)在圖6中示出。在顯示器側(cè)仍將在恒定間隔回放中示出在 該方法中捕獲到的帖。在圖6中，可W看見，在顯示器上呈現(xiàn)的第5(605)和第10(610)圖像將 在較早的時(shí)間處被捕獲。如果假定存在在顯示器上W恒定的速度從左(615巧Ij右(620)移動(dòng) 的對(duì)象，則對(duì)象然后將從帖1到帖4W恒定的速度移動(dòng)，在帖4和帖5之間減速，并且從帖5到 帖6加速。該非平滑運(yùn)動(dòng)將被感知為一種類似于顫抖的運(yùn)動(dòng)偽像。
[00M]圖7示出了具有180度快口捕獲的示例。對(duì)于每第5帖，捕獲時(shí)間被移位dt的一半， 即，第5帖（705)在第4帖（710)之后被立即捕獲。類似地，在顯示器側(cè)，W化的恒定時(shí)間間隔 投影捕獲到的運(yùn)動(dòng)圖片。
[0096] 當(dāng)前攝像機(jī)可能不支持在捕獲視頻時(shí)改變捕獲時(shí)間。實(shí)現(xiàn)運(yùn)里所描述的實(shí)施例的 一種方式是使用能夠捕獲較高帖速率的視頻攝像機(jī)。例如，使用具有240fps和360快口度的 攝像機(jī)，可W捕獲如圖7所示的序列。
[0097] 3.1b
[0098] 類似于W上的實(shí)施例，可W改變投影儀系統(tǒng)使得它將W非恒定時(shí)間間隔投影帖。 圖8中示出了示例?？紤]捕獲的180度快口角度和顯示器的全時(shí)段保持時(shí)間，可W看見每一 帖的實(shí)際捕獲和顯示如圖9中那樣。
[0099] 在該示例中，改變每一帖的呈現(xiàn)時(shí)間戳。然而，該實(shí)施例可能不被某些顯示系統(tǒng)支 持?？蒞使用較高帖速率投影儀/顯示器來模擬效果，如圖10所示。
[0100] 可W將W上的兩個(gè)實(shí)施例結(jié)合起來W具有顫抖感知的更靈活的控制，例如，如圖 11和圖12所示。
[0101] 3.1c
[0102] 在一些實(shí)施例中，不改變捕獲時(shí)間和顯示時(shí)間，因此運(yùn)動(dòng)圖片利用恒定時(shí)間間隔 捕獲并且利用相同時(shí)間間隔呈現(xiàn)。代替的是，在后期處理/制作步驟中操縱捕獲到的運(yùn)動(dòng)圖 片。通常，使用在時(shí)間t2(t)處捕獲的帖，在時(shí)間t處呈現(xiàn)該帖。例如，當(dāng)輸入是120fps內(nèi)容 時(shí)，可W將時(shí)間函數(shù)設(shè)計(jì)為
[0103]
[0104] 基本上，該時(shí)間函數(shù)將在每五帖時(shí)段中重復(fù)第4帖，并且丟棄原始第5帖。在圖13中 示出了該特定實(shí)施例，其中，還對(duì)于第5(1315)和第10(1320)帖使用第4(1305)和第9(1310) 帖。
[0105] 也可W設(shè)計(jì)其它時(shí)間函數(shù)t2(t)。不僅數(shù)字5可W改變，而且它不需要是整數(shù)。當(dāng)t2 (t)不是整數(shù)時(shí)，不在t2(t)處捕獲帖。在該另一實(shí)施例中，可W使用視圖插入技術(shù)來生成模 擬在時(shí)間floor(t)和floor(t)+l處捕獲的兩個(gè)帖中間的帖的帖。在圖14中示出了示例。
[0106] 在圖14中，使用第4(1405)和第5(1410)捕獲的帖來生成第5(1415)顯示的帖。視圖 插入的可能的處理將是首先找出帖和UJ + 1之間的運(yùn)動(dòng)矢量，并且對(duì)于插入帖中的每 一個(gè)像素，使用運(yùn)動(dòng)矢量來得到兩個(gè)相鄰帖中的對(duì)應(yīng)像素，并且基于那些對(duì)應(yīng)像素和它們 的相鄰像素獲得像素值。
[0107] 3.2將24化內(nèi)容添加到高帖速率
[0108] 二十四赫茲內(nèi)容將是為什么我們感知到顫抖的本質(zhì)原因，并且該特定頻率的內(nèi)容 在歷史上已有助于顫抖感知的形成。為了注入顫抖，將24化內(nèi)容引入到高帖速率內(nèi)容中可 W是可能的。然而，不應(yīng)當(dāng)將全部?jī)?nèi)容全部地轉(zhuǎn)換為24巧S，否則，高帖速率的益處將丟失。
[0109] 3.2a添加24Hz噪聲/膠片顆粒
[0110] 盡管感興趣的內(nèi)容本身W高帖速率更新，但是可W在內(nèi)容上面添加低帖速率噪聲 或膠片顆粒(模擬或?qū)嶋H捕獲到的）?？蒞首先使用噪聲減少方法（1505)來減少原始高帖速 率內(nèi)容中的噪聲或膠片顆粒，并且去除的噪聲或膠片顆粒(1510)將被處理(1515)?生成具 有類似的空間特征的24化噪聲或膠片顆粒（1520)。然后可W將該24化重新生成的噪聲或膠 片顆粒(1520)添加回（1525)高帖速率內(nèi)容中。該處理可W在圖15中看見。
[0111] 生成24fps噪聲和膠片顆粒的一種方式可W是對(duì)于120fps內(nèi)容重復(fù)地使用一個(gè)帖 的噪聲/膠片顆粒，并且將它應(yīng)用在所有的其相鄰五個(gè)帖中。因此，每5帖將具有相同噪聲/ 膠片顆粒，盡管內(nèi)容本身W120f PS改變。
[0112] 3.化改變?cè)几咛俾实?4化內(nèi)容
[0113] 可W通過重復(fù)地改變將W 24化示出的帖來改變?cè)几咛俾蕛?nèi)容的24化內(nèi)容。例 如，對(duì)于120fps內(nèi)容，可W根據(jù)其帖索引被五除的余數(shù)將帖分成五個(gè)不同的組。因此，每一 組實(shí)際是24化內(nèi)容。可W更改組中的一個(gè)或多個(gè)內(nèi)的帖，因此24化信號(hào)將被添加到原始內(nèi) 容中。存在更改內(nèi)容的許多方式，例如，通過在具有或者不具有在空間上移位的中屯、的情況 下對(duì)組的每一帖應(yīng)用空間濾波器。具體地，可W使用平滑濾波器(高斯、Sigma、雙邊等等)或 銳化濾波器(類似于反銳化掩蔽)來改變?cè)摻M中的圖像，因此它具有與其它組中的圖像相比 不同的特征。同時(shí)，該組中的帖可W基于內(nèi)容本身的某些特征(例如，運(yùn)動(dòng)矢量)經(jīng)受非均勻 變換或抖動(dòng)。另外，每一組高帖速率內(nèi)容也可W被在時(shí)間上濾波，W便添加24化內(nèi)容。
[0114] 4.更寬泛的顫抖可見性控制
[0115] 可不同的方式擴(kuò)寬W上詳述的方法。
[0116] 用于顫抖可見性控制的擴(kuò)寬的方法的第一示例考慮輸入帖速率Rin(輸入內(nèi)容的帖 速率）（具有兩個(gè)連續(xù)帖之間的對(duì)應(yīng)的時(shí)間段Tin,其中，Tin=l/Rin)，并且輸出帖速率是Rout (即，顯示帖速率）（具有對(duì)應(yīng)的時(shí)間段Tout)。在W上的示例中，運(yùn)些方法可W例如應(yīng)用于Rout =巧Rin的情況。運(yùn)里如下的擴(kuò)寬的方法可W針對(duì)輸出帖速率不是輸入帖速率的兩倍的情 況。
[0117] 例如，第一一般化可W是針對(duì)情況R〇ut = 2*n*Rin，其中，〇=1，2，一，是自然數(shù)。在該 情況下，基礎(chǔ)帖速率(BFR)可W被保持為輸入帖速率，并且可W使用本公開中W上所描述的 方法W通過基于局部改變的位移圖dt(x，y，t)在每?jī)蓚€(gè)連續(xù)輸入帖之間插入帖來使帖速率 加倍。輸出然后將具有雙倍帖速率，即2*Rin，其可顯示速率Rout顯示，其中每一輸出帖被 顯示η次。
[0118] 圖 18示出 了針對(duì)η = 2并且R〇ut = 4*Rin的特定情況（其中，dt(x,y, t) = 0.25*Tin = Tnut)的W上所討論的實(shí)施例的示例。黑色線（1805)示出了輸入帖，灰色線（1810)是插入帖。 每一帖（1805，1810)被示出達(dá)2T〇ut的持續(xù)時(shí)間。
[0119] 對(duì)于當(dāng)Rout不是Rin的偶數(shù)倍、Tin不是Tout的偶數(shù)倍時(shí)的實(shí)施例，保持原始輸入帖并 在每一對(duì)連續(xù)帖中間插入一個(gè)帖的W上方法需要被修改。例如，可W在與W上使用的時(shí)間 位置（即，原始帖之間的半途化alf way))不同的時(shí)間位置處示出插入帖。例如，當(dāng)Tin=5Tnut 時(shí)，原始帖可W被示出達(dá)等于3T〇ut的持續(xù)時(shí)間，并且插入帖可W被示出達(dá)等于2T〇ut的持續(xù) 時(shí)間，如在圖19中可見的。
[0120] 在圖19中，黑色線（1905)示出了被示出達(dá)3T〇ut的持續(xù)時(shí)間的輸入帖，同時(shí)灰色線 (1910)是被示出達(dá)2T〇ut的持續(xù)時(shí)間的插入帖。
[0121] 然而，該解決方案可能引入類似于技術(shù)3:2下拉(pull down)中眾所周知的偽像信 號(hào)，并且運(yùn)可能不是所期望的。
[0122] 為了避免3:2下拉類型偽像，可W將基礎(chǔ)帖速率改變?yōu)榻咏赗in的帖速率。換言 之，可W找到自然數(shù)k，并且可W使BFR等于R〇ut/(2*k)，使得BFR接近于Rin，并且仍然是顫抖 帖速率。
[0123] 例如，如果Rcmt= 120fps，則k可W被選擇為例如k = 2或k = 3，并且W運(yùn)種方式，BFR 可W等于120/(2*2) =30fps或BFR= 120/(2*3) = 20fps。為了簡(jiǎn)單并且不失一般性，利用k =2并且BFR = 30fps進(jìn)行W下的示例。如果輸入帖速率Rin = 30fps，則可W應(yīng)用W上所描述 的雙倍帖速率方法，并且可W利用雙倍帖速率W60巧S獲得輸出信號(hào)。輸出然后可W通過重 復(fù)每一帖2次在120fps顯示器上被示出。如果輸入帖速率Rin是24巧S而不是30fps，則可W使 用時(shí)間插入來獲得所有需要的帖。假定例如dt = 0.25*TBFR = Tout，則可W在圖20中示出輸 出時(shí)間和輸入時(shí)間之間的關(guān)系，其中，黑色線(2005)示出了輸入帖，并且灰色線(2010)是插 入帖。
[0124] 另外，由于W上的方法改變BFR，所W需要相應(yīng)地改變時(shí)間位移化W便保持相同的 顫抖感知。
[0125] 用于顫抖可見性控制的擴(kuò)寬的方法的第二示例考慮如圖2所描述的線段運(yùn)動(dòng)模 型。已知視網(wǎng)膜圖像(220)將具有顫抖效果，并且(220)中的位移x(245)確定感知的顫抖的 幅度?？蛇\(yùn)樣的方式布置要移動(dòng)的線段：該方式使得SPEM下的其視網(wǎng)膜圖像將具有 (220)的相同形狀，但是具有可控制的位移X。
[0126] 如圖21的（2105)所示，線段(2110)?較慢速度向右移動(dòng)達(dá)時(shí)間T=1/BFR，然后W 距離X (2115)向右跳躍。實(shí)際上，一個(gè)帖的傾斜(2110似速度T = 1/BFR向右移動(dòng)。由于BFR通 常足夠高，所W跟蹤線段的眼睛總體上仍然遵循直線，如(2120)所示。在(2125)中示出了視 網(wǎng)膜上的投影的軌跡，（2125)與圖2的（220)的形狀類似，但是具有不同的X。
[0127] 假定無限（infinite)帖速率顯示和向無限帖速率在時(shí)間上插入輸入圖像序列的 可能性，圖像序列可W被獲得，具有與圖2的（205)中相同的空間時(shí)間軌跡。對(duì)于該無限帖速 率示例，真實(shí)時(shí)間和顯示時(shí)間之間的映射可W被表示為圖22中的（2205)中所示出的灰色線 (2210)。
[0128] 隨后，無限帖速率輸入可基礎(chǔ)帖速率(BFR)(具有對(duì)應(yīng)的時(shí)間段T)被采樣，并 且被顯示在BFR的保持型顯示器上。真實(shí)時(shí)間和顯示時(shí)間之間的映射將被示為圖22中的黑 色線段(2215)。在W上的示例中，為了簡(jiǎn)單，快口角度的影響未被考慮。
[0129] 隨后，類似于圖21，可W引入非平滑運(yùn)動(dòng)。即，可W在每一時(shí)間段T中W較慢速度回 放無限帖速率輸入，并且在每一個(gè)T的結(jié)束，存在向前跳躍W趕上真實(shí)的回放時(shí)間。映射曲 線然后將被變?yōu)辄c(diǎn)線段(2220)，如圖22所示。在該情況下，在現(xiàn)實(shí)中平滑地移動(dòng)的對(duì)象在時(shí) 間段T內(nèi)被顯示為W較慢速度移動(dòng)，并且然后在下一時(shí)間段的開始被顯示為跳躍到新的位 置。該跳躍引入了將被感知為顫抖的WR的信號(hào)，同時(shí)由點(diǎn)線段(2220)的斜率確定的跳躍量 將影響感知的顫抖的幅度。換言之，感知的顫抖可W被控制在兩個(gè)極值之間，即，完全沒有 顫抖和基礎(chǔ)帖速率處的正常量的顫抖之間。
[0130] 因此，可W使用點(diǎn)線段(2220)的斜率作為顫抖控制速率(JCR)來控制輸出的顫抖。 當(dāng)斜率等于1時(shí)，不存在跳躍，因此不存在顫抖，而當(dāng)斜率等于0時(shí)，發(fā)生最大量的跳躍。該 JCR具有與W上所描述的示例中的化類似的效果，在W上所描述的示例中帖速率被加倍，然 而在本示例中考慮了無限帖速率。
[0131] 在若干實(shí)施例中，對(duì)應(yīng)于基礎(chǔ)帖速率(BFR)的時(shí)間段T是對(duì)應(yīng)于顯示帖速率的時(shí)段 Td的倍數(shù)。例如，顯示帖速率可W是120fps，并且BFR可W是24fps。圖22示出了其中顯示帖 速率是BFR的值的五倍的實(shí)施例的映射(2225)。線(2210)的完美采樣將導(dǎo)致類似于圖2中的 (210)中的線(230)的映射。
[0132] 因此，假定顯示帖速率足夠高，對(duì)象將仍然平滑地移動(dòng)，而沒有任何顫抖感知。如 果使用相同的線段運(yùn)動(dòng)模型，則對(duì)于真實(shí)空間情況(2305)和視網(wǎng)膜投影情況(2310)，時(shí)間 空間軌跡可W被示為如圖23中那樣。如果與圖22中的線段(2215)類似地采樣具有顫抖感知 的輸入，則獲得的映射可W通過如圖22所示的點(diǎn)線段(2230)表示。換言之，可W將輸入圖像 序列插入到那些離散時(shí)間戳，其中，點(diǎn)線(2230)被投影到垂直的真實(shí)時(shí)間軸(2235)上。在圖 23的（2315，2320)中示出了線段運(yùn)動(dòng)模型的對(duì)應(yīng)的空間時(shí)間軌跡。
[0133] 如果BFR的時(shí)間段T是對(duì)應(yīng)于顯示帖速率的時(shí)間段Td的值的多倍，并且顫抖控制速 率(JCR)被表示為r(其為圖22中的線（2220)的斜率），則每一顯示時(shí)間t的采樣時(shí)間f(t)可 W被計(jì)算為：
[0134]
[0135] 其中，巧二U/rj。由于我們知道Τ是Td的多倍，令T = kTd，我們具有
[0136] f(t) = (l-r) · η · k · Td+r · m · Td,
[0137] 其中，洗=U/7\|并且化-。
[0138] 在當(dāng)Τ不是Td的值的多倍時(shí)的實(shí)施例中，可W選擇值使得r >Τ，其中Τ'是Td的倍 數(shù)，并且隨后可W使用W上的等式來計(jì)算f(t)。也許可W的是，在BFR改變時(shí)JCR可能需要被 調(diào)整W便保留相同量的顫抖可見性。
[0139] 不需要改變BFR的另一種可能的方法可W被描述如下。首先，考慮無限帖速率顯 示，因此采樣時(shí)間將遵循如圖22中那樣的斜線（2220)。在圖24中，斜線(2405)被示出達(dá)每一 基礎(chǔ)時(shí)間段T。斜線(2405)表示無限帖速率情況，并且然后可W利用采樣速率1/Td采樣無限 帖速率序列，如水平線(2410)所示。對(duì)于斜線(2405)的時(shí)間映射的公式是
[0140] f' (t) =n · T+r · (t-n · T)
[0141] 其中，^^ = U-/7?。對(duì)于采樣的水平線（2410)的公式然后是f(t)=f/(Td·m)， 其中，m == 并且通過組合兩個(gè)等式，可W獲得下列公式
[0142] f(t) = (l-r) ·η· T+r · m · Td,
[01創(chuàng)其中，蛛=U/'廠餅且二U/TdJ。
[0144] 可W看見，如果Τ是Td的值的多倍，即T = kTd，則關(guān)于W上在第20頁第7段中所描述 的情況將獲得相同的公式。因此，該公式是進(jìn)一步的一般化。
[0145] 類似于W上所描述的實(shí)施例，該JCR或r可W是空間上和時(shí)間上變化的函數(shù)r(x，y， t)，即，顫抖控制速率對(duì)于不同的空間時(shí)間位置可W不同，使得可W在不同的時(shí)間對(duì)不同的 區(qū)域不同地應(yīng)用顫抖可見性控制。
[0146] 總之，在本公開中所描述的顫抖可見性控制方法已被擴(kuò)寬，W便在給定顫抖控制 速率(JCR)和基礎(chǔ)帖速率(BFR)的情況下能夠控制任何輸入帖速率Rin到任何輸出帖速率Rnut 的顫抖感知?？偟牧鞒虉D如圖25中所示。
[0147] 如在圖25中可見的，通過使用顫抖控制速率處理(2510)和基礎(chǔ)帖速率(2010),? 上所描述的擴(kuò)寬的顫抖可見性方法(2515)可W被應(yīng)用到輸入圖像序列(2505)，由此獲得輸 出圖像序列(2520)。
[0148] 5.對(duì)于高帖速率和多個(gè)帖速率的電影感體驗(yàn)
[0149] 可W在高帖速率(HFR)圖像序列中應(yīng)用W上所描述的擴(kuò)寬的顫抖可見性控制方 法，W獲得電影感體驗(yàn)。高帖速率圖像序列通常具有較銳利的圖像和較少的運(yùn)動(dòng)模糊，并且 立體高帖速率將具有與傳統(tǒng)的24fps圖像序列相比更好的3D效果。然而，高帖速率中的平滑 運(yùn)動(dòng)有時(shí)被批評(píng)為"視頻感"，因?yàn)椴淮嬖陬澏陡兄?。可W使用W上所描述的方法來將顫抖 引入到高帖速率圖像序列中。引入的顫抖可W幫助提高內(nèi)容的電影感體驗(yàn)。圖26示出了用 于向tFR輸入內(nèi)容添加電影感體驗(yàn)的示圖。
[0150] 在該情況下，輸入和輸出圖像序列兩者將具有相同帖速率，即，RDut = Rin。例如，輸 入和輸出兩者可W是48fps、60fps、120fps等。因?yàn)檩斎胄蛄蠾高帖速率對(duì)場(chǎng)景進(jìn)行采樣， 所W當(dāng)它W相同帖速率Rin被顯示時(shí)，在輸入序列中不存在顫抖感知。為了引入顫抖感知，第 一步驟是選擇顫抖基礎(chǔ)帖速率BFR，并且選擇適當(dāng)?shù)念澏犊刂扑俾蕆，使得可W利用如參考 圖24所描述的處理重采樣輸入圖像序列，其中，T=1/BFR，并且Td=l/Rin。如W上所描述的， 可W確定顫抖控制速率JCR=r，使得當(dāng)WRout回放時(shí)，適當(dāng)量的顫抖即電影感可W被添加到 輸出圖像序列中。另外，該r可W是r(x，y，t)的空間上和時(shí)間上變化的函數(shù)。
[0151] 因此，可W在后期制作端逐像素地控制電影感體驗(yàn)(顫抖）。不同的像素在不同的 時(shí)間可W具有不同的JCR。在該情況下，通常JCR函數(shù)r(x，y，t)在一個(gè)鏡頭（shot)內(nèi)將是局 部平滑的。
[0152] 在簡(jiǎn)化的實(shí)施例中，可W在后期制作端逐帖地控制電影感體驗(yàn)。不同的帖可W具 有不同的JCR。在該情況下，JCR函數(shù)r(t)在一個(gè)鏡頭內(nèi)將是局部平滑的。
[0153] 在一些實(shí)施例中，還可W在后期制作端逐鏡頭地控制電影感體驗(yàn)(顫抖）。不同的 鏡頭可W具有不同的JCR，因此當(dāng)存在需要時(shí)，將向不同的鏡頭添加不同量的顫抖。
[0154] 在后期制作端，一個(gè)實(shí)施例包括使用專業(yè)的工具來識(shí)別需要顫抖感知的局部區(qū) 域。隨后，可W確定添加適當(dāng)量的顫抖所需要的JCR。在下一步驟中，可W在鏡頭邊界內(nèi)在空 間上和時(shí)間上平滑JCR。
[0155] 對(duì)于如參考文獻(xiàn)[2]、[3]中提到的在序列中或者甚至在帖內(nèi)具有多個(gè)帖速率的混 合帖速率內(nèi)容，存在不同的方法?？焖龠\(yùn)動(dòng)帖/對(duì)象可W從較高帖速率受益，同時(shí)較慢運(yùn)動(dòng) 帖/對(duì)象可W被保持在較低帖速率。W上所描述的擴(kuò)寬的顫抖可見性控制方法也可W被應(yīng) 用到具有多個(gè)帖速率的運(yùn)些內(nèi)容。
[0156] 在低帖速率帖/區(qū)域中，可能存在需要被減少的過度的顫抖，而在高帖速率帖/區(qū) 域，顫抖感知需要被添加回來。W上和W下所描述的方法可W被結(jié)合起來W控制多帖速率 內(nèi)容中的顫抖的可見性。
[0157] 因此，在本公開中描述了包括W下的方法:通過計(jì)算機(jī)提供至少兩個(gè)圖像;通過計(jì) 算機(jī)計(jì)算顫抖圖，其中，該顫抖圖包括所述至少兩個(gè)圖像的至少一個(gè)像素的顫抖信息；W及 基于所述顫抖圖處理所述至少一個(gè)像素。
[0158] 所述至少一個(gè)像素的處理可W包括由若干像素形成的圖像的區(qū)域的處理。處理可 W包括基于關(guān)于顫抖圖中所包含的像素的顫抖信息，應(yīng)用不同的視頻處理技術(shù)，和不同的 技術(shù)或具有可W應(yīng)用到不同像素的不同參數(shù)的相同技術(shù)。
[0159] 圖16是用于實(shí)現(xiàn)圖1-15的實(shí)施例的目標(biāo)硬件（10)(例如，計(jì)算機(jī)系統(tǒng)）的示例性實(shí) 施例。該目標(biāo)硬件包括處理器（15)、存儲(chǔ)體(20)、本地接口總線(35)和一個(gè)或多個(gè)輸入/輸 出設(shè)備(40)。處理器可W執(zhí)行與圖1-15的實(shí)現(xiàn)有關(guān)的并且由操作系統(tǒng)(25)基于存儲(chǔ)在存儲(chǔ) 器(20)中的一些可執(zhí)行程序(30)提供的一個(gè)或多個(gè)指令。運(yùn)些指令被經(jīng)由本地接口（35)并 且如由處理器（15)和本地接口特定的某一數(shù)據(jù)接口協(xié)議所規(guī)定的那樣被攜載到處理器 (15)。應(yīng)當(dāng)注意，本地接口（35)是一般旨在在基于處理器的系統(tǒng)的多個(gè)元件之間提供地址、 控制和/或數(shù)據(jù)連接的諸如控制器、緩沖器(高速緩存）、驅(qū)動(dòng)器、中繼器和接收器之類的若 干元件的符號(hào)表示。在一些實(shí)施例中，處理器(15)可W提供有一些本地存儲(chǔ)器(高速緩存）， 其中，它可W存儲(chǔ)要被執(zhí)行的一些指令W用于一些增加的執(zhí)行速度。由處理器對(duì)指令的執(zhí) 行可能需要使用某一輸入/輸出設(shè)備(40)，諸如從存儲(chǔ)在硬盤上的文件輸入數(shù)據(jù)、從鍵盤輸 入命令、從觸摸屏輸入數(shù)據(jù)和/或命令、向顯示器輸出數(shù)據(jù)、或向USB閃存驅(qū)動(dòng)器輸出數(shù)據(jù)。 在一些實(shí)施例中，操作系統(tǒng)(25)通過作為用于收集程序的執(zhí)行所需要的各種數(shù)據(jù)和指令并 將運(yùn)些提供到微處理器的中屯、元件而促進(jìn)運(yùn)些任務(wù)。在一些實(shí)施例中，操作系統(tǒng)可W不存 在，并且所有任務(wù)在處理器（15)的直接控制下，盡管目標(biāo)硬件設(shè)備（10)的基本架構(gòu)將保持 與圖16中所描繪的相同。在一些實(shí)施例中，可WW并行配置使用多個(gè)處理器W用于增加的 執(zhí)行速度。在運(yùn)樣的情況下，可執(zhí)行程序可W被特別地修改為并行執(zhí)行。此外，在一些實(shí)施 例中，處理器（15)可W執(zhí)行圖1-15的實(shí)現(xiàn)的一部分，并且某一其它部分可W使用被放置在 可由目標(biāo)硬件（10)經(jīng)由本地接口（35)訪問的輸入/輸出位置處的專用硬件/固件來實(shí)現(xiàn)。目 標(biāo)硬件（10)可包括多個(gè)可執(zhí)行程序(30)，其中，每個(gè)可執(zhí)行程序可W獨(dú)立地或彼此相結(jié)合 地運(yùn)行。
[0160] 在本公開中所描述的方法和系統(tǒng)可硬件、軟件、固件或其任何組合來實(shí)現(xiàn)。作 為塊、模塊或組件所描述的特征可W-起(例如，在諸如集成邏輯器件之類的邏輯器件中） 或單獨(dú)地(例如，作為單獨(dú)的連接的邏輯器件)實(shí)現(xiàn)。本公開的方法的軟件部分可W包括計(jì) 算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)包括指令，所述指令當(dāng)被執(zhí)行時(shí)至少部分地執(zhí)行所描述 的方法。計(jì)算機(jī)可讀介質(zhì)可W包括例如隨機(jī)存取存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)。指令 可W由處理器（例如，數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程邏輯陣列 (FPGA)、圖形處理單元(GPU)或通用GPU)執(zhí)行。
[0161] 本公開的許多實(shí)施例已被描述。盡管如此，將理解的是，在不背離本公開的精神和 范圍的情況下，可W進(jìn)行各種修改。相應(yīng)地，其它實(shí)施例也在隨附的權(quán)利要求的范圍內(nèi)。
[0162] W上闡述的示例作為對(duì)如何作出并使用本公開的實(shí)施例的完整公開和描述被提 供給本領(lǐng)域普通技術(shù)人員，并且不意圖限制發(fā)明人視為其公開的內(nèi)容的范圍。
[0163] 對(duì)于本領(lǐng)域技術(shù)人員顯而易見的用于執(zhí)行本文中所公開的方法和系統(tǒng)的上述模 式的修改意圖處于隨附的權(quán)利要求的范圍內(nèi)。在說明書中所提及的所有專利和出版物指示 本公開所屬于的領(lǐng)域中的技術(shù)人員的技能水平。在本公開中引用的所有參考文獻(xiàn)通過如同 每一參考文獻(xiàn)已單獨(dú)地通過其整體引用而并入的相同程度的引用而被并入。
[0164] 要理解的是，本公開不限于特定方法或系統(tǒng)，運(yùn)些特定方法或系統(tǒng)當(dāng)然可W變化。 還要理解的是，本文中所使用的術(shù)語僅出于描述特定實(shí)施例的目的，而不意圖是限制性的。 如在本說明書和所附權(quán)利要求書中所使用的，單數(shù)形式"一"、"一個(gè)"W及"所述"包括多個(gè) 所指對(duì)象，除非內(nèi)容另外明確地指定。術(shù)語"多個(gè)"包括兩個(gè)或更多個(gè)所指對(duì)象，除非內(nèi)容另 外明確地指定。除非另外定義，否則本文中所使用的所有科技術(shù)語具有與本公開所屬于的 領(lǐng)域中的普通技術(shù)人員通常所理解的相同的含義。
[0165] 在W下的參考文獻(xiàn)列表中所示出的本申請(qǐng)中的參考文獻(xiàn)通過其整體引用而并入 本文。
[0166] 參考文獻(xiàn)
[0167] [ 1 ]2014年2月27日提交的美國臨時(shí)專利申請(qǐng)序列號(hào)61/945，706。
[016 引[2]2012年 5 月 24 日提交的 PCT 序列號(hào)PCT/US2012/039338。
[0169] [3]美國專利 No.8,363，117。
[0170] [4]Watson,Andrew B.、A]_be;rt J.Ahumada JrW及Joyce E.Farrell的 "Window of visibility:a psychophysical theory of fidelity in time-sampled visual motion displays/'JOSA A 3.3(1986):300-307〇
[0171] [ 5 ] Tyler , Chri stopher W .和Russel 1 D . Hamer的''Analysis of visual modulation sensitivity.IV.Validity of the Ferry-Porter law/'JOSA A 7.4(1990): 743-758〇
[0172] [6]2013年11月22日提交的美國臨時(shí)專利申請(qǐng)序列號(hào)61/907,996。
【主權(quán)項(xiàng)】
1. 一種用于利用計(jì)算機(jī)控制顫抖可見性的方法，所述方法包括： 訪問第一圖像和第二圖像； 使用所述第一圖像和第二圖像來生成亮度變化圖和對(duì)比度變化圖； 使用所述亮度變化圖和對(duì)比度變化圖來生成顫抖圖，其中，所述顫抖圖包括所述第一 圖像的顫抖信息；以及 響應(yīng)于所述顫抖圖，向所述第一圖像添加噪聲和運(yùn)動(dòng)模糊以生成輸出圖像。2. 如權(quán)利要求1所述的方法，其中，生成所述顫抖圖包括： 通過計(jì)算機(jī)對(duì)于至少一個(gè)像素估計(jì)所述第一圖像和所述第二圖像之間的運(yùn)動(dòng)矢量，由 此獲得估計(jì)的運(yùn)動(dòng)矢量，其中，所述運(yùn)動(dòng)矢量包括運(yùn)動(dòng)幅度和運(yùn)動(dòng)方向。3. 如權(quán)利要求2所述的方法，進(jìn)一步包括訪問第三圖像，其中： 訪問所述第一圖像、第二圖像以及第三圖像包括通過計(jì)算機(jī)在時(shí)間t處訪問第一圖像， 在時(shí)間t_l處訪問第二圖像以及在時(shí)間t+Ι處訪問第二圖像； 通過計(jì)算機(jī)對(duì)于所述至少一個(gè)像素估計(jì)運(yùn)動(dòng)矢量包括通過計(jì)算機(jī)對(duì)于所述第一圖像、 第二圖像以及第三圖像的至少一個(gè)像素估計(jì)所述第一圖像、第二圖像以及第三圖像之間的 運(yùn)動(dòng)的運(yùn)動(dòng)矢量，由此獲得估計(jì)的運(yùn)動(dòng)矢量，其中，所述運(yùn)動(dòng)矢量包括運(yùn)動(dòng)幅度和運(yùn)動(dòng)方 向； 生成所述亮度變化圖包括通過計(jì)算機(jī)測(cè)量所述第一圖像、第二圖像以及第三圖像之間 的亮度的差異；以及 生成所述對(duì)比度變化圖包括通過計(jì)算機(jī)對(duì)于所述至少一個(gè)像素測(cè)量所述第一圖像、第 二圖像以及第三圖像之間的對(duì)比度的差異。4. 如權(quán)利要求2所述的方法，進(jìn)一步包括通過計(jì)算機(jī)提供場(chǎng)景和顯示器元數(shù)據(jù)，并且其 中，生成所述顫抖圖部分基于所述場(chǎng)景和顯示器元數(shù)據(jù)。5. 如權(quán)利要求2所述的方法，進(jìn)一步包括通過計(jì)算機(jī)基于所述顫抖圖縮放所述運(yùn)動(dòng)幅 度，由此獲得縮放的運(yùn)動(dòng)幅度。6. 如權(quán)利要求1所述的方法，其中，添加所述噪聲包括通過計(jì)算機(jī)基于所述顫抖圖計(jì)算 對(duì)于至少一個(gè)像素的噪聲。7. 如權(quán)利要求6所述的方法，進(jìn)一步包括通過計(jì)算機(jī)基于對(duì)于所述至少一個(gè)像素的噪 聲向所述縮放的運(yùn)動(dòng)幅度應(yīng)用抖動(dòng)，由此獲得抖動(dòng)的運(yùn)動(dòng)幅度。8. 如權(quán)利要求7所述的方法，進(jìn)一步包括通過計(jì)算機(jī)基于所述抖動(dòng)的運(yùn)動(dòng)幅度和運(yùn)動(dòng) 方向重構(gòu)運(yùn)動(dòng)矢量，由此獲得重構(gòu)的運(yùn)動(dòng)矢量。9. 如權(quán)利要求8所述的方法，進(jìn)一步包括通過計(jì)算機(jī)向所述重構(gòu)的運(yùn)動(dòng)矢量應(yīng)用運(yùn)動(dòng) 模糊，由此獲得運(yùn)動(dòng)模糊的圖像。10. 如權(quán)利要求9所述的方法，進(jìn)一步包括通過計(jì)算機(jī)基于對(duì)于所述至少一個(gè)像素的噪 聲向所述運(yùn)動(dòng)模糊的圖像添加偽膠片顆粒，由此獲得輸出圖像。11. 如權(quán)利要求4所述的方法，其中，所述場(chǎng)景和顯示器元數(shù)據(jù)包括場(chǎng)景的明亮度以及 顯示器的尺寸和亮度。12. -種用于控制顫抖可見性的方法，所述方法包括： 通過計(jì)算機(jī)提供至少兩個(gè)輸入幀； 通過計(jì)算機(jī)基于所述至少兩個(gè)輸入幀估計(jì)插入圖，由此獲得估計(jì)的插入圖，其中，所述 估計(jì)的插入圖指定對(duì)于所述至少兩個(gè)輸入幀的至少一個(gè)像素的時(shí)間插入位置;以及 通過計(jì)算機(jī)基于所述至少兩個(gè)輸入幀和估計(jì)的插入圖插入至少一個(gè)另外的幀，由此獲 得至少一個(gè)插入幀，其中，所述至少一個(gè)插入幀的至少一個(gè)像素與由至少一個(gè)像素的插入 圖指定的時(shí)間處的該至少一個(gè)像素對(duì)應(yīng)。13. 如權(quán)利要求12所述的方法，進(jìn)一步包括通過計(jì)算機(jī)對(duì)于所述至少兩個(gè)輸入幀的所 述至少一個(gè)像素識(shí)別顫抖量，并且其中，通過計(jì)算機(jī)估計(jì)插入圖還基于所述顫抖量。14. 如權(quán)利要求12所述的方法，進(jìn)一步包括通過計(jì)算機(jī)提供關(guān)于所述至少兩個(gè)輸入幀 的至少一個(gè)像素的期望的顫抖量的用戶輸入，并且其中，通過計(jì)算機(jī)估計(jì)插入圖還基于所 述用戶輸入。15. 如權(quán)利要求12所述的方法，進(jìn)一步包括通過計(jì)算機(jī)向所述至少一個(gè)插入幀應(yīng)用運(yùn) 動(dòng)模糊。16. 如權(quán)利要求12所述的方法，其中，至少一個(gè)輸入幀沒有修改地被插在輸出流中。17. 如權(quán)利要求12所述的方法，進(jìn)一步包括： 通過計(jì)算機(jī)識(shí)別所述至少兩個(gè)輸入幀的至少一個(gè)區(qū)域，所述至少一個(gè)區(qū)域具有比期望 的顫抖量高的顫抖量，其中，僅向所述至少一個(gè)區(qū)域應(yīng)用插入。18. 如權(quán)利要求17所述的方法，其中，所述至少一個(gè)區(qū)域通過計(jì)算機(jī)更新到比所述至少 兩個(gè)輸入幀的幀速率高的幀速率。19. 如權(quán)利要求12所述的方法，其中，通過計(jì)算機(jī)估計(jì)插入圖包括估計(jì)前向運(yùn)動(dòng)矢量、 后向運(yùn)動(dòng)矢量、時(shí)間運(yùn)動(dòng)一致性、空間運(yùn)動(dòng)一致性、前向運(yùn)動(dòng)一致性以及后向運(yùn)動(dòng)一致性。20. 如權(quán)利要求12所述的方法，其中，通過計(jì)算機(jī)估計(jì)插入圖使用兩個(gè)速度閾值之間的 軟切換函數(shù)、基于所述至少一個(gè)像素的速度。21. 如權(quán)利要求12所述的方法，其中，所述插入基于幀速率轉(zhuǎn)換?；谶\(yùn)動(dòng)補(bǔ)償。22. 如權(quán)利要求1或12所述的方法，其中，顫抖的規(guī)范化度量被預(yù)先計(jì)算并且與原始內(nèi) 容一起遞送，使得目標(biāo)設(shè)備能夠決定如何在稍后的時(shí)間調(diào)整顫抖。23. -種用于控制高幀速率捕獲和高幀速率顯示的顫抖可見性的方法，所述方法包括： 利用非恒定的時(shí)間間隔捕獲幀，由此獲得捕獲的幀;和 利用恒定的時(shí)間間隔顯示所述捕獲的幀，由此獲得期望的顫抖可見性。24. -種用于控制高幀速率捕獲和高幀速率顯示的顫抖可見性的方法，所述方法包括： 利用恒定的時(shí)間間隔捕獲幀，由此獲得捕獲的幀;和 利用非恒定的時(shí)間間隔顯示所述捕獲的幀，由此獲得期望的顫抖可見性。25. -種用于控制顫抖可見性的方法，所述方法包括： 利用恒定的時(shí)間間隔捕獲幀，由此獲得捕獲的幀;和 利用恒定的時(shí)間間隔顯示所述捕獲的幀， 其中，所述捕獲的幀中的至少一個(gè)幀被用其在前的捕獲的幀替代，由此顯示所述在前 的捕獲的幀兩次。26. -種用于控制顫抖可見性的方法，所述方法包括： 利用恒定的時(shí)間間隔捕獲幀，由此獲得捕獲的幀； 通過計(jì)算機(jī)基于期望的顫抖可見性處理所述捕獲的幀中的至少一個(gè)幀和其在前的捕 獲的幀中的至少一個(gè)，由此獲得至少一個(gè)經(jīng)處理的捕獲的幀；以及 利用恒定的時(shí)間間隔顯示所述捕獲的幀和至少一個(gè)經(jīng)處理的捕獲的幀。27. -種用于控制高幀速率圖像序列的顫抖可見性的方法，所述方法包括： 通過計(jì)算機(jī)提供輸入幀； 通過計(jì)算機(jī)從所述輸入幀去除噪聲或膠片顆粒，由此獲得經(jīng)處理的幀； 通過計(jì)算機(jī)處理來自所述輸入幀的所述噪聲或膠片顆粒，由此獲得低幀速率噪聲或膠 片顆粒；以及 通過計(jì)算機(jī)向所述經(jīng)處理的幀添加所述低幀速率噪聲或膠片顆粒，由此獲得輸出幀。28. -種用于控制高幀速率圖像序列的顫抖可見性的方法，所述方法包括： 通過計(jì)算機(jī)提供輸入幀； 通過計(jì)算機(jī)將所述輸入幀分成至少兩組幀； 通過計(jì)算機(jī)基于期望的顫抖可見性處理所述幀的組中的至少一組，由此獲得經(jīng)處理的 至少一組幀和未經(jīng)處理的至少一組幀；以及 通過計(jì)算機(jī)組合所述經(jīng)處理的至少一組幀與未經(jīng)處理的至少一組幀。29. 如權(quán)利要求28所述的方法，其中，所述處理包括應(yīng)用平滑濾波器和/或銳化濾波器。30. 如權(quán)利要求29所述的方法，其中，所述平滑濾波器為高斯濾波器、雙邊濾波器或 Sigma濾波器。31. 如權(quán)利要求29所述的方法，其中，所述銳化濾波器為反銳化掩蔽濾波器。32. -種用于利用計(jì)算機(jī)控制顫抖可見性的方法，所述方法包括： 通過計(jì)算機(jī)提供至少兩個(gè)輸入幀； 通過計(jì)算機(jī)基于所述至少兩個(gè)輸入幀估計(jì)插入圖，由此獲得估計(jì)的插入圖，其中，所述 估計(jì)的插入圖指定對(duì)于所述至少兩個(gè)輸入幀的至少一個(gè)像素的時(shí)間插入位置;以及 通過計(jì)算機(jī)基于所述至少兩個(gè)輸入幀和估計(jì)的插入圖插入至少一個(gè)另外的幀，由此獲 得至少一個(gè)插入幀，其中， 所述至少一個(gè)插入幀的至少一個(gè)像素與由至少一個(gè)像素的插入圖指定的時(shí)間處的該 至少一個(gè)像素對(duì)應(yīng)， 輸出幀速率為輸入幀速率的整數(shù)倍，并且 所述至少一個(gè)另外的幀被插入在所述至少兩個(gè)輸入幀之間。33. 如權(quán)利要求32所述的方法，進(jìn)一步包括通過計(jì)算機(jī)對(duì)于所述至少兩個(gè)輸入幀的所 述至少一個(gè)像素識(shí)別顫抖量，并且其中，通過計(jì)算機(jī)估計(jì)插入圖還基于所述顫抖量。34. 如權(quán)利要求32所述的方法，進(jìn)一步包括通過計(jì)算機(jī)提供關(guān)于所述至少兩個(gè)輸入幀 的至少一個(gè)像素的期望的顫抖量的用戶輸入，并且其中，通過計(jì)算機(jī)估計(jì)插入圖還基于所 述用戶輸入。35. -種用于控制顫抖可見性的方法，所述方法包括： 通過計(jì)算機(jī)提供至少兩個(gè)輸入幀； 通過計(jì)算機(jī)基于所述至少兩個(gè)輸入幀估計(jì)插入圖，由此獲得估計(jì)的插入圖，其中，所述 估計(jì)的插入圖指定對(duì)于所述至少兩個(gè)輸入幀的至少一個(gè)像素的時(shí)間插入位置； 計(jì)算基礎(chǔ)幀速率，所述基礎(chǔ)幀速率為輸出幀速率的偶數(shù)倍并且在值上基本上接近于輸 入幀速率，由此類似于所述輸入幀速率來顯示顫抖，其中，輸出幀速率為所述輸入幀速率的 非整數(shù)倍；以及 通過計(jì)算機(jī)基于所述至少兩個(gè)輸入幀、基礎(chǔ)幀速率、輸入幀速率和輸出幀速率以及估 計(jì)的插入圖插入至少兩個(gè)另外的幀，由此獲得至少兩個(gè)插入幀，其中，所述至少兩個(gè)插入幀 中的至少一個(gè)的至少一個(gè)像素與由至少一個(gè)像素的插入圖指定的時(shí)間處的該至少一個(gè)像 素對(duì)應(yīng)，其中，所述至少兩個(gè)另外的幀被插入在所述至少兩個(gè)輸入幀之間。36. 如權(quán)利要求35所述的方法，進(jìn)一步包括通過計(jì)算機(jī)對(duì)于所述至少兩個(gè)輸入幀的所 述至少一個(gè)像素識(shí)別顫抖量，并且其中，通過計(jì)算機(jī)估計(jì)插入圖還基于所述顫抖量。37. -種用于控制顫抖可見性的方法，所述方法包括： 以輸入幀速率提供輸入幀； 通過計(jì)算機(jī)在每一時(shí)間段從所述輸入幀捕獲幀，由此獲得捕獲的幀； 在每一時(shí)間段中以低于所述輸入幀速率的幀速率顯示所述捕獲的幀；以及 在每一時(shí)間段的結(jié)束使所述捕獲的幀在時(shí)間上向前跳躍達(dá)趕上所述輸入幀速率所需 要的量，由此獲得期望的顫抖可見性。38. 如權(quán)利要求37所述的方法，其中，顯示所述捕獲的幀以及向前跳躍由具有0和1之間 的值的顫抖控制速率確定。39. 如權(quán)利要求37所述的方法，進(jìn)一步包括通過計(jì)算機(jī)計(jì)算每一顯示時(shí)間t的采樣時(shí)間 f (t)，其中，/W H + r · [(? - η r)/Tdj &，n = [t/rj，r為顫抖控制速率，Ι/Td為采樣速 率，并且T為基礎(chǔ)時(shí)間段。40. 如權(quán)利要求39所述的方法，其中，T是Td的整數(shù)倍。41. 如權(quán)利要求39所述的方法，進(jìn)一步包括，如果T不是Td的整數(shù)倍，則選擇基本上接近 于T同時(shí)是Td的整數(shù)倍的值Τ'。42. 如權(quán)利要求37所述的方法，其中，顫抖控制速率是時(shí)間和像素位置的函數(shù)，由此在 不同的時(shí)間向不同的區(qū)域應(yīng)用不同的顫抖可見性控制。43. 如權(quán)利要求37所述的方法，進(jìn)一步包括通過計(jì)算機(jī)計(jì)算每一顯示時(shí)間t的采樣時(shí)間 f(t)，其中，f(t) = (l-r) · η · T+r · m · Td，.fl. = [?/Γ|，Μ == 為顫抖控制速率， 1 /Td為采樣速率，并且T為基礎(chǔ)時(shí)間段。44. 一種用于控制高幀速率顫抖可見性的方法，所述方法包括： 以輸入幀速率提供輸入幀； 通過計(jì)算機(jī)計(jì)算顫抖基礎(chǔ)幀速率； 選擇顫抖控制速率； 在每一時(shí)間段從所述輸入幀重采樣幀，由此獲得重采樣的幀； 在每一時(shí)間段中以不同于所述輸入幀速率的幀速率顯示捕獲的幀；以及 在每一時(shí)間段的結(jié)束使所述捕獲的幀在時(shí)間上向前跳躍達(dá)趕上所述輸入幀速率所需 要的量，由此以等于所述輸入幀速率的輸出幀速率獲得期望的顫抖可見性。45. 如權(quán)利要求44所述的方法，進(jìn)一步包括通過計(jì)算機(jī)計(jì)算每一顯示時(shí)間t的重采樣時(shí) 間f(t)，其中，f(t) = (l-r) · η · T+r · m · Td，?t = [t/rj，饑=[t/rdj，r為顫抖控制速 率，1 /Td為重采樣速率，并且T為基礎(chǔ)時(shí)間段。46. 如權(quán)利要求45所述的方法，其中，逐像素地控制顫抖可見性。47. 如權(quán)利要求45所述的方法，其中，逐鏡頭地控制顫抖可見性。48. 如權(quán)利要求44所述的方法，進(jìn)一步包括通過計(jì)算機(jī)選擇至少一個(gè)幀中的至少一個(gè) 區(qū)域，其中，在所述至少一個(gè)區(qū)域上與所述至少一個(gè)幀的剩余部分不同地控制顫抖可見性。49. 如權(quán)利要求44所述的方法，進(jìn)一步包括通過計(jì)算機(jī)選擇至少一個(gè)幀中具有過度的 顫抖的至少一個(gè)區(qū)域和至少一個(gè)幀中具有不足的顫抖的至少一個(gè)區(qū)域，其中，顫抖可見性 在具有過度的顫抖的所述至少一個(gè)區(qū)域中被減小，而在具有不足的顫抖的所述至少一個(gè)區(qū) 域中被增大。50. 如權(quán)利要求49所述的方法，其中，具有過度的顫抖的所述至少一個(gè)區(qū)域?yàn)榈蛶俾?區(qū)域，而具有不足的顫抖的所述至少一個(gè)區(qū)域?yàn)楦邘俾蕝^(qū)域。
【文檔編號(hào)】H04N5/14GK106063242SQ201580010829
【公開日】2016年10月26日
【申請(qǐng)日】2015年2月23日
【發(fā)明人】徐寧, K·D·瑟斯頓三世, S·戴勒, J·E·克蘭肖, A·舍
【申請(qǐng)人】杜比實(shí)驗(yàn)室特許公司