用于圖像處理的結(jié)構(gòu)描述符的制作方法
【專利說明】用于圖像處理的結(jié)構(gòu)描述符
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求于2013年1月17日遞交的美國申請第13/743, 565號的優(yōu)先權(quán)，在此 通過引用將該申請全部并入。
【背景技術(shù)】
[0003] 現(xiàn)有的圖像處理技術(shù)通過分析圖像的相對較大的部分來嘗試照顧到圖像中的結(jié) 構(gòu)。結(jié)果，這些技術(shù)是計算密集的，并且對于只能訪問有限的計算資源的應(yīng)用（例如，移動 應(yīng)用）經(jīng)常是不適當?shù)?。另外，現(xiàn)有的圖像處理技術(shù)通常不實施圖像結(jié)構(gòu)的保留，使得它們 應(yīng)用的處理可導(dǎo)致輸入和輸出圖像之間的圖像結(jié)構(gòu)中的令人不快的變化。

【發(fā)明內(nèi)容】

[0004] 可評估數(shù)字圖像的一部分的結(jié)構(gòu)?；谠撛u估，可確定該部分的結(jié)構(gòu)描述符。結(jié) 構(gòu)描述符可表示該部分中的一個或多個像素或像素的群組之間的關(guān)系?；诮Y(jié)構(gòu)描述符， 可向圖像應(yīng)用圖像處理。
[0005] 在第一示例實施例中，可確定圖像的mXn像素塊的結(jié)構(gòu)描述符。mXn像素塊可 包含具有主像素值的主像素和具有各自的次像素值的多個次像素。結(jié)構(gòu)描述符可包括多個 結(jié)構(gòu)指示符，其中每一個與相應(yīng)的次像素相關(guān)聯(lián)。每個結(jié)構(gòu)指示符可以基于主像素值及其 關(guān)聯(lián)的次像素的相應(yīng)次像素值?；诮Y(jié)構(gòu)描述符，可確定mXn像素塊的結(jié)構(gòu)值?；诮Y(jié)構(gòu) 值，可向mXn像素塊應(yīng)用圖像處理。
[0006] 第二示例實施例可包括用于為圖像的mXn像素塊確定結(jié)構(gòu)描述符的裝置，其中 mXn像素塊包含具有主像素值的主像素和具有各自的次像素值的多個次像素，其中結(jié)構(gòu)描 述符包括多個結(jié)構(gòu)指示符，每個結(jié)構(gòu)指示符與相應(yīng)的次像素相關(guān)聯(lián)，并且其中每個結(jié)構(gòu)指 示符是基于主像素值及其關(guān)聯(lián)的次像素的相應(yīng)次像素值的。第二示例實施例還可包括用于 基于結(jié)構(gòu)描述符為mXη像素塊確定結(jié)構(gòu)值的裝置，以及用于基于結(jié)構(gòu)值向mXη像素塊應(yīng) 用圖像處理的裝置。
[0007] 第三示例實施例可包括一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有程序指令， 這些程序指令在被計算設(shè)備執(zhí)行時使得該計算設(shè)備和/或其外設(shè)根據(jù)第一和/或第二示例 實施例執(zhí)行操作。
[0008] 第四示例實施例可包括一種計算設(shè)備，其至少包括處理器、圖像傳感器和數(shù)據(jù)存 儲裝置。數(shù)據(jù)存儲裝置可包含程序指令，這些程序指令在被處理器執(zhí)行時使得計算設(shè)備根 據(jù)第一和/或第二示例實施例操作。
[0009] 本領(lǐng)域普通技術(shù)人員通過在適當時參考附圖閱讀以下詳細描述，將清楚這些以及 其它方面、優(yōu)點和替換方案。另外，應(yīng)當理解，此
【發(fā)明內(nèi)容】
部分和本文檔中其它地方提供的 描述打算以示例而非限制的方式說明要求保護的主題。
【附圖說明】
[0010] 圖1根據(jù)示例實施例描繪了數(shù)字相機設(shè)備的前視圖、右側(cè)視圖和后視圖。
[0011] 圖2根據(jù)示例實施例描繪了具有圖像捕捉能力的計算設(shè)備的框圖。
[0012] 圖3A根據(jù)示例實施例描繪了像素塊和結(jié)構(gòu)描述符。
[0013] 圖3B也根據(jù)示例實施例描繪了像素塊和結(jié)構(gòu)描述符。
[0014] 圖4A根據(jù)示例實施例描繪了從結(jié)構(gòu)描述符得出的結(jié)構(gòu)值。
[0015] 圖4B也根據(jù)示例實施例描繪了從結(jié)構(gòu)描述符得出的結(jié)構(gòu)值。
[0016] 圖5根據(jù)示例實施例描繪了流程圖。
【具體實施方式】
[0017] 數(shù)字圖像的結(jié)構(gòu)可以指圖像中表示的物體之間的線條、邊緣和/或轉(zhuǎn)變的表示。 例如，黑白棋盤的數(shù)字圖像可表示棋盤上的黑方塊與白方塊之間的邊緣。這些邊緣可被認 為是圖像的結(jié)構(gòu)的一部分。因此，這種黑白棋盤可以比黑白像素的隨機搭配表現(xiàn)出更多的 結(jié)構(gòu)。
[0018] 當使用諸如去噪、銳化和去模糊之類的圖像處理技術(shù)時，一個可能的挑戰(zhàn)是在圖 像中的結(jié)構(gòu)與隨機噪聲之間進行區(qū)分。擁有此能力可允許操縱圖像而不引入不合需要的偽 影，例如被反轉(zhuǎn)變成亮-暗邊緣的暗-亮邊緣，或者變得模糊或完全丟失的邊緣。
[0019] 作為這種偽影的一個示例，圖像銳化技術(shù)可導(dǎo)致隨機噪聲被夸大并且甚至可在邊 緣周圍引入不自然的"振鈴（ringing)"偽影。作為另一示例，圖像去噪技術(shù)可通過去除將 會存在于理想無噪聲圖像中的大量結(jié)構(gòu)而引起精細圖像細節(jié)的丟失。在兩種情況下，對局 部結(jié)構(gòu)的更好理解一一其幫助將結(jié)構(gòu)與噪聲分開一一都可改善經(jīng)處理的圖像的質(zhì)量并且 避免至少一些令人不快的偽影。
[0020] 如以上所表明的，現(xiàn)有的圖像處理技術(shù)對于移動應(yīng)用可能是不適合的。尤其，移動 應(yīng)用對于計算資源（例如，處理和/或存儲資源）的訪問是有限的。另外，可能希望移動應(yīng) 用限制其對可用計算資源的使用，以使得移動設(shè)備的電池壽命可得以節(jié)省。從而，希望去 噪、銳化和去模糊技術(shù)在圖像結(jié)構(gòu)與噪聲之間有效地區(qū)分，但是以計算高效的方式來做到 這一點的。
[0021] 因此，這里的實施例可在圖像捕捉設(shè)備上操作，例如圖1和圖2中所圖示的數(shù)字相 機設(shè)備。然而，這些實施例也可在其它類型的計算設(shè)備上操作，包括沒有圖像捕捉能力的計 算設(shè)備。從而，數(shù)字相機設(shè)備可捕捉圖像并根據(jù)這里的實施例處理該圖像?？商鎿Q地或額 外地，數(shù)字相機設(shè)備可捕捉圖像，該圖像可被發(fā)送或傳送到另一計算設(shè)備，并且該計算設(shè)備 可根據(jù)這里的實施例處理該圖像。
[0022] 在下文中，將詳細描述圖像捕捉設(shè)備和計算設(shè)備，然后將給出可在這種設(shè)備上高 效操作的圖像處理技術(shù)。
[0023] 諸如相機之類的圖像捕捉設(shè)備可被用作獨立的硬件設(shè)備或者被集成到各種其它 類型的設(shè)備中。例如，靜態(tài)和視頻相機現(xiàn)在經(jīng)常被包括在無線通信設(shè)備（例如，移動電話）、 平板計算機、膝上型計算機、視頻游戲接口、家庭自動化設(shè)備以及甚至汽車和其它類型的車 輛中。
[0024] 相機的物理組件可包括光通過其進入的光圈、用于捕捉光表示的圖像的記錄表面 以及位于光圈前方以將圖像的至少一部分聚焦在記錄表面上的透鏡。光圈可以是固定大小 的或者可調(diào)整的。在模擬相機中，記錄表面可以是照相膠片。在數(shù)字圖像中，記錄表面可包 括電子圖像傳感器（例如，電荷親合器件（charge coupled device，CCD)或互補金屬氧化 物半導(dǎo)體（complementary metal-oxide-semiconductor，CMOS)傳感器）來傳送捕捉的圖 像和/或?qū)⒉蹲降膱D像存儲在數(shù)據(jù)存儲單元（例如，存儲器）中。
[0025] 快門可耦合到透鏡或記錄表面或者在透鏡或記錄表面附近?？扉T可處于閉合位 置，在該位置中其阻擋光到達記錄表面，或者處于打開位置，在該位置中光被允許到達記錄 表面?？扉T的位置可由快門按鈕來控制。例如，快門可默認處于閉合位置中。當快門按鈕 被觸發(fā)（例如，按壓）時，快門可從閉合位置變化到打開位置達一段時間，該段時間被稱為 快門周期。在快門周期期間，可在記錄表面上捕捉圖像。在快門周期結(jié)束時，快門可變回到 閉合位置。
[0026] 可替換地，快門過程可以是電子的。例如，在CXD圖像傳感器的電子快門被"打開" 之前，傳感器可被復(fù)位以去除其光電二極管中的任何殘余信號。在電子快門保持打開期間， 光電二極管可累積電荷。在快門閉合時或者在快門閉合之后，這些電荷可被傳送到長期數(shù) 據(jù)存儲裝置。機械和電子快門的組合也是可能的。
[0027] 無論類型如何，都可用除了快門按鈕以外的某種東西來激活和/或控制快門。例 如，可以用軟鍵、定時器或者某個其它觸發(fā)器來激活快門。這里，術(shù)語"圖像捕捉"可以指導(dǎo) 致一個或多個照片被記錄的任何機械和/或電子快門處理，無論快門過程是如何被觸發(fā)或 控制的。
[0028] 捕捉的圖像的曝光可由光圈的大小、進入光圈的光的亮度和快門周期的長度（也 稱為快門長度或曝光長度）的組合來確定。此外，可向圖像應(yīng)用數(shù)字或模擬增益，從而影響 曝光。在一些實施例中，術(shù)語"總曝光長度"或"總曝光時間"可以指快門長度乘以對于特 定光圈大小的增益。這里，術(shù)語"總曝光時間"或者"TET"應(yīng)當被解讀為可能是控制由光到 達記錄表面引起的信號響應(yīng)的量的快門長度、曝光時間或任何其它度量。
[0029] 靜態(tài)相機可在每次圖像捕捉被觸發(fā)時捕捉一個或多個圖像。只要圖像捕捉保持被 觸發(fā)（例如，在快門按鈕被保持按下期間），視頻相機就可按特定速率（例如，24圖像或幀 每秒）連續(xù)地捕捉圖像。一些數(shù)字靜態(tài)相機可在相機設(shè)備或應(yīng)用被激活時打開快門，并且 快門可保持在此位置，直到相機設(shè)備或應(yīng)用被解除激活為止。在快門打開期間，相機設(shè)備或 應(yīng)用可捕捉并在取景器上顯示場景的表示。當觸發(fā)圖像捕捉時，可捕捉當前場景的一個或 多個不同的數(shù)字圖像。
[0030] 相機--即使是模擬相機--也可包括軟件來控制一個或多個相機功能和/或設(shè) 定，例如光圈大小、TET、增益，等等。此外，一些相機可包括在捕捉圖像期間或者在捕捉圖像 之后數(shù)字地處理這些圖像的軟件。雖然應(yīng)當理解以上描述概括地提及了相機，但其可尤其 與數(shù)字相機相關(guān)。
[0031] 如先前所表明的，數(shù)字相機可以是獨立的設(shè)備或者與其它設(shè)備集成。作為示例，圖 1圖示了數(shù)字相機設(shè)備100的形態(tài)因素。數(shù)字相機設(shè)備100可例如是移動電話、平板計算 機或者可穿戴計算設(shè)備