用于降低視頻流中的噪聲的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明一般涉及降低視頻流中的噪聲。更加具體地，本發(fā)明涉及降低通過手持相 機(jī)（camera)獲取的視頻流中的噪聲。
【背景技術(shù)】
[0002] 在過去的幾十年中，相機(jī)傳感器的視頻降噪（denoise)已經(jīng)成為進(jìn)行了諸多研宄 和開發(fā)工作的領(lǐng)域。噪聲是很多傳感器中存在的嚴(yán)重問題，特別是當(dāng)在低照明條件下或在 變化的光照條件下拍攝時(shí)。另外，其他視頻處理算法的正確性能通常需要噪聲降低。在視 頻編碼中，視頻降噪可能導(dǎo)致比特流大小的降低，這是通過編碼器單元中特定模塊的增加 性能（例如，運(yùn)動(dòng)估計(jì)算法）等來實(shí)現(xiàn)的。圖像、視頻和計(jì)算機(jī)視覺算法（例如，跟蹤和檢 測）的性能還可能依賴于信號中噪聲水平。
[0003] 因此，提供用于視頻降噪的改進(jìn)的方法和裝置將是有益的。

【發(fā)明內(nèi)容】

[0004] 下面的部分呈現(xiàn)了本公開的簡要綜述以便于提供對本發(fā)明的某些實(shí)施例的基本 的理解。此綜述不是本公開的廣泛的概述，并且其未突出本發(fā)明的關(guān)鍵/決定性的要素或 描述出本發(fā)明的范圍。其唯一目的在于作為稍后所呈現(xiàn)的更加詳細(xì)的說明書的前序，以簡 要的形式介紹本文所公開的一些概念。
[0005] 在一個(gè)實(shí)施例中公開了一種對相機(jī)的視頻流進(jìn)行降噪的方法。視頻流的當(dāng)前幀和 該視頻流中此前已經(jīng)過空域降噪和時(shí)域降噪的時(shí)間上相鄰的幀被獲取。當(dāng)前幀被進(jìn)行空域 降噪，同時(shí)保留此當(dāng)前幀中的邊緣以為該當(dāng)前幀生成多個(gè)經(jīng)空域降噪的像素。在當(dāng)前幀經(jīng) 空域降噪之后，基于來自該當(dāng)前幀的具體像素所關(guān)聯(lián)的經(jīng)空域降噪的像素和來自時(shí)間上相 鄰的幀的經(jīng)空域降噪和時(shí)域降噪的像素的加權(quán)平均，該當(dāng)前幀的該具體像素被進(jìn)行空域降 噪和時(shí)域降噪。
[0006] 在具體的實(shí)施例中，對當(dāng)前幀進(jìn)行空域降噪包括：基于圍繞當(dāng)前幀的每個(gè)像素的 區(qū)域內(nèi)的多個(gè)近鄰像素對這樣的每個(gè)像素應(yīng)用雙邊濾波技術(shù)。在進(jìn)一步的方面，當(dāng)前幀的 正被降噪的每個(gè)像素和它的近鄰像素包括包圍此正被降噪的像素的3乘3網(wǎng)格的像素。在 另一方面，雙邊濾波技術(shù)包括向每一個(gè)近鄰像素提供與歐式距離和色差均成反比的權(quán)重。
[0007] 在又一實(shí)施例中，來自時(shí)間上相鄰的幀的多個(gè)像素包括處在對應(yīng)于具體像素和近 鄰像素的位置的像素。在一替代方面，來自時(shí)間上相鄰的幀的多個(gè)像素還包括處在接近對 應(yīng)于具體像素和近鄰像素的位置的位置處的內(nèi)插像素。在又一特征中，具體像素所關(guān)聯(lián)的 經(jīng)空域降噪的像素的權(quán)重具有的值為1。
[0008] 在另一實(shí)施例中，本發(fā)明涉及一種相機(jī)，該相機(jī)包括用于檢測光和生成視頻流的 檢測模塊以及一個(gè)或多個(gè)可操作用于執(zhí)行一個(gè)或多個(gè)上述方法實(shí)施例的一個(gè)或多個(gè)處理 器和存儲器。在另一實(shí)施例中，本發(fā)明涉及至少一個(gè)計(jì)算機(jī)可讀存儲介質(zhì)，其中該介質(zhì)具有 被存儲在其上的計(jì)算機(jī)程序指令，該指令被安排用于執(zhí)行一個(gè)或多個(gè)上述操作。
[0009] 在下面對本發(fā)明的某些實(shí)施例的說明以及附圖中將更加詳細(xì)地介紹本發(fā)明的這 些和其他特征，其中這些說明和附圖通過示例的方式示出了本發(fā)明的原理。
【附圖說明】
[0010] 圖1是示出了根據(jù)一個(gè)示例實(shí)施方式對視頻流進(jìn)行降噪的過程的流程圖；
[0011] 圖2示出了包括被多個(gè)黑色像素圍繞的白色孤立像素的幀；
[0012] 圖3示出了位于黑色列的像素和白色列的像素之間的白色孤立像素；
[0013] 圖4示出了根據(jù)本發(fā)明的【具體實(shí)施方式】的可分離雙邊濾波處理；
[0014] 圖5示出了根據(jù)一個(gè)實(shí)施例通過時(shí)域降噪對圖4中的雙邊濾波處理的擴(kuò)展；
[0015] 圖6是通過使用常數(shù)C的不同值作為色差的函數(shù)的顏色加權(quán)系數(shù)的曲線圖；
[0016] 圖7是適用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的典型的相機(jī)系統(tǒng)的框圖；
[0017] 圖8示出了根據(jù)另一實(shí)施例的通過使用內(nèi)插像素進(jìn)行的時(shí)域降噪對圖4中的雙邊 濾波處理的擴(kuò)展。
【具體實(shí)施方式】
[0018] 在下面的說明中提出了許多具體細(xì)節(jié)以便于提供對本發(fā)明的深入理解。本發(fā)明可 以在不具有部分或全部這些具體細(xì)節(jié)的情況下被實(shí)施。在其他實(shí)例中，眾所周知的處理操 作未被詳細(xì)描述以不會(huì)不必要地模糊本發(fā)明。盡管將結(jié)合具體實(shí)施例來描述本發(fā)明，應(yīng)當(dāng) 理解的是這不意圖將本發(fā)明限制于這些實(shí)施例。
[0019] 降噪技術(shù)的某些實(shí)施例在本文中是就對所采集的視頻流實(shí)施SMD(單指令 (single instruction)、多數(shù)據(jù)（multiple data))處理的相機(jī)來描述的。不過，諸如順序處 理、多指令/多數(shù)據(jù)（MMD)處理、流處理（SMD或MMD)等等其他處理器架構(gòu)也可被使用。 此外，當(dāng)視頻流被相機(jī)采集時(shí)，降噪技術(shù)可被使用在實(shí)時(shí)視頻流上，或是在視頻流被上傳至 任何適當(dāng)?shù)奶幚砥鳎ɡ纾?wù)器或臺式計(jì)算機(jī)）之后，該降噪技術(shù)可被應(yīng)用于這種流。
[0020] 低成本相機(jī)對于對所采集的視頻流實(shí)時(shí)執(zhí)行降噪操作通常具有有限的處理資源。 一般來說，如本文進(jìn)一步所描述的，本發(fā)明的某些實(shí)施例包括以最低計(jì)算要求實(shí)時(shí)從視頻 流有效地去除或最小化噪聲的降噪技術(shù)（例如，以每秒24幀或更高的速率進(jìn)行降噪）。在 某些實(shí)施例中，通過基于來自當(dāng)前幀和一個(gè)或多個(gè)時(shí)間相鄰的幀的周圍像素的子集的歐式 距離和顏色距離來實(shí)施加權(quán)平均，時(shí)域?yàn)V波被被集成到空域?yàn)V波方法中。
[0021] 圖1是示出了根據(jù)一個(gè)示例實(shí)施方式的用于對視頻流進(jìn)行降噪的過程100的流程 圖。一般來說，通過使用時(shí)間路徑中的一個(gè)或多個(gè)在前幀和/或前向幀對當(dāng)前幀f t進(jìn)行降 噪。盡管可以使用單個(gè)在前幀，但是也可使用多個(gè)在前幀或前向幀以占用更長的時(shí)間路徑。 此外，來自每一幀的各個(gè)像素可被順序處理，或來自一個(gè)或多個(gè)幀的多個(gè)像素可被并行處 理。為了簡單起見，單個(gè)在前幀fVi被用于說明對當(dāng)前幀f t的每個(gè)像素進(jìn)行的降噪處理。
[0022] 如圖1所示，在操作102中獲取視頻流。然后，在操作104中獲取來自視頻流的第 一幀f t。例如，實(shí)時(shí)視頻流從傳感器到一個(gè)或多個(gè)緩沖器的傳送被發(fā)起。視頻流可被緩沖， 從而具體的幀很容易被得到并被用于降噪。視頻流還可從存儲設(shè)備被處理以便從該存儲設(shè) 備讀取具體的幀。
[0023] 其后，在操作106中可首先對當(dāng)前幀ft的每個(gè)像素應(yīng)用空域降噪。任何適當(dāng)?shù)目?域?yàn)V波技術(shù)均可被用在當(dāng)前幀的每個(gè)像素上?？沼?yàn)V波技術(shù)能夠被應(yīng)用于任何數(shù)量的顏色 空間。在一個(gè)實(shí)施例中，空域?yàn)V波被應(yīng)用于BT. 601全范圍YCbCr視頻信號。另外，空域?yàn)V 波可被分別應(yīng)用于每條通道，或者容易推斷空域?yàn)V波可被同時(shí)應(yīng)用于三條通道。
[0024] 如果使用不保留邊緣的空域?yàn)V波技術(shù)，則作為降噪處理的結(jié)果可能會(huì)出現(xiàn)模糊。 圖2示出了包括被多個(gè)黑色像素202圍繞的白色孤立像素204的當(dāng)前幀200。如果對當(dāng)前 幀使用簡單平均技術(shù)，則白色孤立像素將被變?yōu)榕c黑色接近的顏色，這是由于周圍像素的 平均像素顏色為黑色。
[0025] 盡管簡單平均對于同質(zhì)幀可能很有用，但是此技術(shù)對于邊緣像素來說不好用。圖 3示出了位于黑色列的像素302和白色列的像素306