用于消除失真的裝置和方法
【專(zhuān)利摘要】提供一種用于消除失真的裝置和方法。所述方法包括：通過(guò)在參考圖像與輸入圖像之間的局部運(yùn)動(dòng)矢量對(duì)指示輸入圖像中的失真量的參數(shù)集進(jìn)行估計(jì)，并通過(guò)使用估計(jì)的參數(shù)集來(lái)重構(gòu)輸入圖像。
【專(zhuān)利說(shuō)明】用于消除失真的裝置和方法
[0001] 本申請(qǐng)要求于2013年8月27日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2013-0102021號(hào) 韓國(guó)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)，所述申請(qǐng)的公開(kāi)通過(guò)引用完全合并于此。

【技術(shù)領(lǐng)域】
[0002] 與本發(fā)明構(gòu)思的示例性實(shí)施例一致的設(shè)備和方法涉及消除相機(jī)圖像中的失真，更 具體地講，涉及消除由相機(jī)的互補(bǔ)金屬氧化物半導(dǎo)體（CMOS)傳感器中使用的卷簾快門(mén)造 成的抖動(dòng)。

【背景技術(shù)】
[0003] 卷簾快門(mén)模式是圖像獲取的方法，其中，通過(guò)垂直或水平地掃描過(guò)圖像幀來(lái)記錄 每個(gè)圖像幀。在卷簾快門(mén)模式中，從頂部到底部依次逐行進(jìn)行讀出。
[0004] 在卷簾快門(mén)模式中，像素的頂行是開(kāi)始收集光的第一行并且是完成收集光的第一 行。對(duì)于每個(gè)下面的行的光收集的開(kāi)始和結(jié)束是稍有延遲的，因此造成諸如偏斜或抖動(dòng)的 失真。
[0005] -種用于消除這樣的由卷簾快門(mén)造成的失真的方法包括：針對(duì)每個(gè)幀計(jì)算二維或 三維空間中的相機(jī)的位置，通過(guò)使用CMOS傳感器的參數(shù)（諸如幀速率、讀出時(shí)間和幀延遲 時(shí)間）來(lái)針對(duì)每條掃描線確定相機(jī)的位置，并校正由卷簾快門(mén)造成的失真。然而，該方法具 有以下缺點(diǎn)：在校正卷簾快門(mén)失真之前必須對(duì)CMOS傳感器進(jìn)行校準(zhǔn)，并且校正的性能受到 CMOS傳感器的校準(zhǔn)的準(zhǔn)確度的影響。


【發(fā)明內(nèi)容】

[0006] -個(gè)或更多個(gè)示例性實(shí)施例提供一種用于消除由互補(bǔ)金屬氧化物半導(dǎo)體（CMOS) 傳感器中使用的卷簾快門(mén)模式造成的諸如偏斜或抖動(dòng)的失真的裝置和方法。
[0007] 實(shí)施例的各方面部分地將在下面的描述中部分地闡明，并且從描述中部分是清楚 的，或者通過(guò)本發(fā)明的實(shí)施可以被理解。
[0008] 根據(jù)示例性實(shí)施例的一方面，提供一種用于消除失真的裝置，所述裝置包括：拍攝 單元，被配置為通過(guò)使用卷簾快門(mén)來(lái)連續(xù)地拍攝多個(gè)幀；存儲(chǔ)單元，被配置為存儲(chǔ)拍攝的多 個(gè)幀的圖像；局部運(yùn)動(dòng)矢量產(chǎn)生器，被配置為產(chǎn)生拍攝的圖像中的參考圖像與輸入圖像之 間的局部運(yùn)動(dòng)矢量；參數(shù)估計(jì)器，被配置為基于局部運(yùn)動(dòng)矢量對(duì)指示鑒于參考圖像的輸入 圖像中的失真量的參數(shù)集進(jìn)行估計(jì)；圖像重構(gòu)單元，被配置為通過(guò)使用估計(jì)的參數(shù)集和關(guān) 于輸入圖像的信息來(lái)產(chǎn)生重構(gòu)的圖像。
[0009] 參數(shù)估計(jì)器可通過(guò)在參考圖像中選擇至少一條掃描線并在輸入圖像中選擇至少 一條相應(yīng)的線來(lái)估計(jì)參數(shù)集，其中，參數(shù)集是表示輸入圖像中的所述相應(yīng)的線的起點(diǎn)和終 點(diǎn)的坐標(biāo)的變量的集合。
[0010] 參數(shù)估計(jì)器可通過(guò)在參考圖像中選擇存在于所述掃描線上的至少一個(gè)點(diǎn)并在輸 入圖像中的相應(yīng)的線中選擇至少一個(gè)相應(yīng)的點(diǎn)來(lái)估計(jì)參數(shù)集。
[0011] 參數(shù)估計(jì)器可基于局部運(yùn)動(dòng)矢量來(lái)選擇相應(yīng)的點(diǎn)。
[0012] 參數(shù)估計(jì)器可通過(guò)選擇點(diǎn)和相應(yīng)的點(diǎn)使得兩個(gè)點(diǎn)分別以相同的比例內(nèi)部地劃分 參考圖像中的掃描線和輸入圖像中的相應(yīng)的線來(lái)估計(jì)參數(shù)集。
[0013] 參數(shù)估計(jì)器可通過(guò)參考圖像中的掃描線的y-坐標(biāo)的函數(shù)設(shè)置相應(yīng)的線中的所有 點(diǎn)來(lái)估計(jì)參數(shù)。
[0014] 參數(shù)估計(jì)器可通過(guò)使用Ax= b形式的線性方程來(lái)計(jì)算輸入圖像中的相應(yīng)的點(diǎn)的 坐標(biāo)，其中，A是由掃描線的y-坐標(biāo)的函數(shù)表示的矩陣，x是參數(shù)集，并且b是輸入圖像中的 相應(yīng)的點(diǎn)的坐標(biāo)。
[0015] 圖像重構(gòu)單元可通過(guò)使用估計(jì)的參數(shù)集來(lái)搜索與重構(gòu)的圖像中的至少一個(gè)任意 點(diǎn)相應(yīng)的輸入圖像中的至少一個(gè)點(diǎn)，并通過(guò)使用輸入圖像中的所述至少一個(gè)點(diǎn)的像素值來(lái) 產(chǎn)生重構(gòu)的圖像。
[0016] 根據(jù)另一示例性實(shí)施例的一方面，提供一種在用于消除失真的裝置中從輸入圖像 消除失真的方法，所述方法可包括：將由拍攝單元通過(guò)使用卷簾快門(mén)連續(xù)拍攝的多個(gè)幀存 儲(chǔ)在存儲(chǔ)單元中；在局部運(yùn)動(dòng)矢量產(chǎn)生器中產(chǎn)生拍攝的圖像中的參考圖像與輸入圖像之間 的局部運(yùn)動(dòng)矢量；在抖動(dòng)參數(shù)估計(jì)器中基于局部運(yùn)動(dòng)矢量估計(jì)用于確定鑒于參考圖像的輸 入圖像中的失真量的參數(shù)集；并在圖像重構(gòu)單元中通過(guò)使用估計(jì)的參數(shù)集和關(guān)于輸入圖像 的信息來(lái)產(chǎn)生重構(gòu)的圖像。
[0017] 在估計(jì)參數(shù)集的步驟中，可通過(guò)在參考圖像中選擇至少一條掃描線并在輸入圖像 中選擇至少一條相應(yīng)的線來(lái)估計(jì)參數(shù)集，其中，參數(shù)集是表示輸入圖像中的相應(yīng)的線的起 點(diǎn)和終點(diǎn)的坐標(biāo)的變量的集合。
[0018] 在估計(jì)參數(shù)集的步驟中，可通過(guò)在參考圖像中選擇存在于掃描線上的至少一個(gè)點(diǎn) 并在輸入圖像中的相應(yīng)的線中選擇至少一個(gè)相應(yīng)的點(diǎn)來(lái)估計(jì)參數(shù)集。
[0019] 在估計(jì)參數(shù)集的步驟中，可基于局部運(yùn)動(dòng)矢量來(lái)選擇相應(yīng)的點(diǎn)。
[0020] 在估計(jì)參數(shù)集的步驟中，可選擇點(diǎn)和相應(yīng)的點(diǎn)使得兩個(gè)點(diǎn)分別以相同的比例內(nèi)部 地劃分參考圖像中的掃描線和輸入圖像中的相應(yīng)的線。
[0021] 在估計(jì)參數(shù)集的步驟中，可通過(guò)參考圖像中的掃描線的y_坐標(biāo)的函數(shù)設(shè)置相應(yīng) 的線中的所有點(diǎn)。
[0022] 在估計(jì)參數(shù)集的步驟中，可通過(guò)使用Ax=b形式的線性方程來(lái)計(jì)算輸入圖像中的 相應(yīng)的點(diǎn)的坐標(biāo)，其中，A是由掃描線的y_坐標(biāo)的函數(shù)表示的矩陣，x是參數(shù)集，并且b是輸 入圖像中的相應(yīng)的點(diǎn)的坐標(biāo)。
[0023] 在產(chǎn)生重構(gòu)的圖像的步驟中，可通過(guò)使用估計(jì)的參數(shù)集來(lái)搜索與重構(gòu)的圖像中的 至少一個(gè)任意點(diǎn)相應(yīng)的輸入圖像中的至少一個(gè)點(diǎn)，并且通過(guò)使用輸入圖像中的所述至少一 個(gè)點(diǎn)的像素值來(lái)產(chǎn)生重構(gòu)的圖像。
[0024] 根據(jù)示例性實(shí)施例的用于消除失真的裝置和方法適應(yīng)于消除可出現(xiàn)在成像裝置 中的所有類(lèi)型的失真。具體地，所述裝置和方法能夠補(bǔ)償由相機(jī)振動(dòng)和縮放（諸如，三軸旋 轉(zhuǎn)和3D空間中的平移）造成的平移、平面內(nèi)的旋轉(zhuǎn)、縮放、偏斜和投影振動(dòng)。
[0025] 所述裝置和方法還適應(yīng)于在不使用關(guān)于CMOS傳感器的信息和不執(zhí)行運(yùn)動(dòng)估計(jì)的 情況下通過(guò)僅使用局部運(yùn)動(dòng)矢量來(lái)重構(gòu)由抖動(dòng)造成失真的圖像。
[0026] 在所述裝置和方法中，可通過(guò)使用如Ax= b的線性方程來(lái)執(zhí)行估計(jì)參數(shù)的處理， 并且偽逆矩陣可用于找到線性方程的解，從而消除對(duì)單獨(dú)優(yōu)化方法的需要。因此，可提供封 閉式的參數(shù)估計(jì)。
[0027] 從而，所述裝置和方法可被應(yīng)用于使用CMOS相機(jī)的各種智能圖像監(jiān)控系統(tǒng)以從 系統(tǒng)中消除失真。智能圖像監(jiān)控系統(tǒng)可被用在重要的國(guó)家設(shè)施（諸如軍用機(jī)場(chǎng)、海港、道路 和橋梁、地鐵、公共汽車(chē)、建筑物的屋頂、場(chǎng)館、停車(chē)場(chǎng)、汽車(chē)、移動(dòng)裝置和機(jī)器人）中，從而 從系統(tǒng)消除失真。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0028] 通過(guò)結(jié)合附圖進(jìn)行的以下示例性實(shí)施例的描述，這些和/或其它方面將變得清楚 和更容易理解，其中：
[0029] 圖1是示出根據(jù)示例性實(shí)施例的數(shù)字相機(jī)的構(gòu)造的框圖；
[0030] 圖2示出根據(jù)示例性實(shí)施例的使用卷簾快門(mén)的互補(bǔ)金屬氧化物半導(dǎo)體（CMOS)傳 感器中的圖像的獲??；
[0031] 圖3示出經(jīng)抖動(dòng)的（woobled)輸入圖像的示例；
[0032] 圖4示出根據(jù)示例性實(shí)施例的用于消除失真的裝置的內(nèi)部構(gòu)造；
[0033] 圖5示出根據(jù)示例性實(shí)施例的使用卷簾快門(mén)的CMOS圖像傳感器的掃描線的第一 特性；
[0034]圖6示出根據(jù)示例性實(shí)施例的使用卷簾快門(mén)的CMOS圖像傳感器的掃描線的第二 特性；
[0035] 圖7示出根據(jù)示例性實(shí)施例的被估計(jì)用于確定與參考圖像中的掃描線相應(yīng)的經(jīng) 抖動(dòng)的輸入圖像中的線的抖動(dòng)參數(shù)集；以及
[0036] 圖8示出根據(jù)示例性實(shí)施例的使用抖動(dòng)參數(shù)集的圖像的重構(gòu)。

【具體實(shí)施方式】
[0037] 現(xiàn)將詳細(xì)參考在附圖中示出的示例性實(shí)施例，其中，同樣的附圖標(biāo)號(hào)始終指示同 樣的元件。在這方面，本實(shí)施例可具有不同形式并不應(yīng)被理解為限于本文中所闡述的描述。 因此，以下僅通過(guò)參照附圖描述實(shí)施例以解釋本描述的多個(gè)方面。
[0038] 在此使用的術(shù)語(yǔ)僅是為了描述具體實(shí)施例的目的，而并非意圖限制本發(fā)明構(gòu)思。 此外，除非在此明確地這樣定義，否則在此使用的技術(shù)術(shù)語(yǔ)具有與實(shí)施例所屬領(lǐng)域的普通 技術(shù)人員的一般理解相同的含義，并不會(huì)以過(guò)于寬泛或狹窄的含義解釋所述術(shù)語(yǔ)。
[0039] 還將理解：如果在此使用的技術(shù)術(shù)語(yǔ)不能準(zhǔn)確地表達(dá)本發(fā)明構(gòu)思的精神，則使用 可被本領(lǐng)域的普通技術(shù)人員理解的正確的技術(shù)術(shù)語(yǔ)替代錯(cuò)誤的技術(shù)術(shù)語(yǔ)。還應(yīng)該將在此使 用的一般術(shù)語(yǔ)解釋為具有常用詞典中定義的或與它們?cè)谙嚓P(guān)領(lǐng)域的上下文中的含義一致 的含義，并不會(huì)以理想的或過(guò)于正式的含義解釋所述術(shù)語(yǔ)。
[0040] 圖1是示出根據(jù)示例性實(shí)施例的數(shù)字相機(jī)100的構(gòu)造的框圖。
[0041] 參照?qǐng)D1，數(shù)字相機(jī)100包括：光單元11，用于接收來(lái)自對(duì)象的光信號(hào)；成像裝置 12,用于將通過(guò)光單元11接收的光信號(hào)轉(zhuǎn)換為電信號(hào)；輸入信號(hào)處理器13,用于對(duì)由成像 裝置12提供的電信號(hào)執(zhí)行信號(hào)處理操作（諸如降噪和模數(shù)（A/D)轉(zhuǎn)換）；馬達(dá)14,用于驅(qū) 動(dòng)光單元11 ;驅(qū)動(dòng)單元15,用于控制馬達(dá)14的操作。
[0042] 數(shù)字相機(jī)100還包括：用戶輸入單元（UI) 20,用于接收用戶的操作信號(hào)；同步動(dòng)態(tài) 隨機(jī)存取存儲(chǔ)器（SDRAM) 30,用于臨時(shí)存儲(chǔ)輸入圖像數(shù)據(jù)、用于處理操作的數(shù)據(jù)和處理的結(jié) 果；閃存40,用于存儲(chǔ)數(shù)字相機(jī)100的操作所需的算法；作為記錄裝置的安全數(shù)字（SD) /緊 湊式閃存（CF)/智能媒體（SM)卡50,用于存儲(chǔ)圖像文件。
[0043] 數(shù)字相機(jī)100配備有作為顯示單元的液晶顯示器（IXD) 60。數(shù)字相機(jī)100還可包 括：音頻信號(hào)處理器71，用于將聲音轉(zhuǎn)換為數(shù)字信號(hào)或?qū)?lái)自聲源的數(shù)字信號(hào)轉(zhuǎn)換為模擬 信號(hào)并產(chǎn)生音頻文件；揚(yáng)聲器SPK72,用于輸出聲音；麥克風(fēng)MIC73,用于輸入聲音。數(shù)字 相機(jī)100還包括用于控制數(shù)字相機(jī)的操作的數(shù)字信號(hào)處理器（DSP)80。
[0044] 現(xiàn)將更詳細(xì)地描述每個(gè)組件的構(gòu)造和功能。
[0045] 光單元11可包括：鏡頭單元，用于聚焦光信號(hào)；光圈，用于調(diào)整光信號(hào)的幅度（強(qiáng) 度）；快門(mén)，用于控制光信號(hào)的輸入。鏡頭單元包括用于根據(jù)焦距增加或減少視角的變焦鏡 頭和用于將對(duì)象聚焦到焦點(diǎn)的聚焦鏡頭。可從單個(gè)鏡頭或一組多個(gè)鏡頭元件構(gòu)造變焦鏡頭 和聚焦鏡頭中的每個(gè)鏡頭。快門(mén)可以是具有上下移動(dòng)的幕簾的機(jī)械快門(mén)?？蛇x擇地，可通 過(guò)控制對(duì)成像裝置12的電信號(hào)的供應(yīng)將成像裝置12用作快門(mén)代替單獨(dú)的快門(mén)。
[0046] 用于驅(qū)動(dòng)光單元11的馬達(dá)14可驅(qū)動(dòng)鏡頭位置的設(shè)置、光圈的打開(kāi)/關(guān)閉和快門(mén) 的操作以便執(zhí)行諸如自動(dòng)聚焦、自動(dòng)曝光控制、光圈調(diào)整和焦點(diǎn)改變的操作。
[0047] 驅(qū)動(dòng)單元15響應(yīng)于從DSP80接收的控制信號(hào)來(lái)控制馬達(dá)14的操作。
[0048] 成像裝置12從光單元11接收光信號(hào)并形成對(duì)象的圖像。
[0049] 輸入信號(hào)處理器13包括用于將從成像裝置12(諸如電荷耦合器件（CXD))供應(yīng)的 作為模擬信號(hào)的電信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的A/D轉(zhuǎn)換器。輸入信號(hào)處理還可包括用于對(duì)由成 像裝置12提供的電信號(hào)執(zhí)行信號(hào)處理（諸如增益控制或波形整形）的電路。
[0050]DSP80對(duì)輸入圖像數(shù)據(jù)執(zhí)行圖像信號(hào)處理操作。圖像信號(hào)處理操作可包括：伽馬 校正、彩色濾波陣列插值、彩色矩陣、色彩校正、色彩增強(qiáng)、抖動(dòng)參數(shù)的估計(jì)和基于估計(jì)的抖 動(dòng)參數(shù)的圖像重構(gòu)。DSP80還將通過(guò)圖像信號(hào)處理獲得的圖像數(shù)據(jù)壓縮為圖像文件或從圖 像文件重構(gòu)原始圖像數(shù)據(jù)。可使用可逆的或不可逆的算法來(lái)壓縮圖像。
[0051]DSP80可執(zhí)行上述圖像信號(hào)處理操作并根據(jù)處理的結(jié)果或響應(yīng)于通過(guò)n20輸 入的用戶控制信號(hào)來(lái)控制每個(gè)組件。根據(jù)示例性實(shí)施例，DSP80和輸入信號(hào)處理器可被構(gòu) 成為單個(gè)單元。
[0052] 圖2示出根據(jù)示例性實(shí)施例的互補(bǔ)金屬氧化物半導(dǎo)體（CMOS)傳感器中的圖像的 獲取。參照?qǐng)D2,CMOS傳感器按照規(guī)則間隔針對(duì)每條掃描線獲取圖像。圖3示出經(jīng)抖動(dòng)的 輸入圖像的示例。參照?qǐng)D3,當(dāng)使用卷簾快門(mén)模式的CMOS傳感器獲取對(duì)象的圖像時(shí)，在快門(mén) 的頂部掃描圖像幀的時(shí)間與在快門(mén)的底部掃描圖像幀的時(shí)間存在差別。如圖3所示，這個(gè) 時(shí)間差可表現(xiàn)為偏斜、抖動(dòng)和/或部分曝光。因此，圖像的內(nèi)容可能會(huì)失真。
[0053] 現(xiàn)在將更詳細(xì)地描述根據(jù)示例性實(shí)施例的消除由CMOS傳感器中使用的卷簾快門(mén) 造成的失真的方法。
[0054] 圖4示出根據(jù)示例性實(shí)施例的用于消除失真的裝置400的內(nèi)部構(gòu)造。
[0055] 根據(jù)本實(shí)施例的裝置400包括：拍攝單元410、存儲(chǔ)單元（未示出）、局部運(yùn)動(dòng)矢量 產(chǎn)生器420、抖動(dòng)參數(shù)估計(jì)器430和圖像重構(gòu)單元440。
[0056] 在本實(shí)施例中，存儲(chǔ)單元存儲(chǔ)由拍攝單元410拍攝的圖像，并且局部運(yùn)動(dòng)矢量產(chǎn) 生器420計(jì)算在參考圖像與經(jīng)抖動(dòng)的輸入圖像之間的局部運(yùn)動(dòng)矢量。通過(guò)使用局部運(yùn)動(dòng)矢 量的值，可確定參考圖像中的任意掃描線已移動(dòng)到的經(jīng)抖動(dòng)的輸入圖像中的線。
[0057] 抖動(dòng)參數(shù)估計(jì)器430基于局部運(yùn)動(dòng)矢量估計(jì)抖動(dòng)參數(shù)集，抖動(dòng)參數(shù)集是指示與參 考圖像相比的經(jīng)抖動(dòng)的輸入圖像的失真量的變量的集合。例如，抖動(dòng)參數(shù)估計(jì)器430通過(guò) 在參考圖像中選擇至少一條掃描線并在輸入圖像中選擇至少一條相應(yīng)的線來(lái)估計(jì)抖動(dòng)參 數(shù)集。以下將參照?qǐng)D5和圖6和等式（1)至等式（16)描述對(duì)抖動(dòng)參數(shù)集進(jìn)行估計(jì)的處理。
[0058] 在對(duì)指示經(jīng)抖動(dòng)的輸入圖像的失真量的抖動(dòng)參數(shù)集進(jìn)行估計(jì)之后，圖像重構(gòu)單元 440基于估計(jì)的抖動(dòng)參數(shù)集來(lái)重構(gòu)經(jīng)抖動(dòng)的輸入圖像。以下將參照?qǐng)D7和等式（17)和等式 (18)描述對(duì)輸入圖像進(jìn)行重構(gòu)的處理。
[0059] 根據(jù)示例性實(shí)施例，抖動(dòng)參數(shù)估計(jì)器430使用由CMOS傳感器掃描的掃描線的兩個(gè) 特性來(lái)估計(jì)抖動(dòng)參數(shù)集。
[0060] 圖5示出根據(jù)示例性實(shí)施例的由使用卷簾快門(mén)的CMOS傳感器掃描的掃描線的 第一特性。參照?qǐng)D5,掃描線的第一特性是當(dāng)前經(jīng)抖動(dòng)的輸入圖像200具有連接兩個(gè)端點(diǎn) 卩以價(jià)和?啦杜的線I-bled21〇 其中，線I?_21〇 與參考圖像 100中的連接兩個(gè)端點(diǎn)PK，left和PK，right的任意掃描線IMf110 (巧雄化妙）相應(yīng)。
[0061] 圖6示出根據(jù)示例性實(shí)施例的由CMOS傳感器掃描的掃描線的第二特性。
[0062] 掃描線的第二特性是與參考圖像100中的任意掃描線IMf110上的任意點(diǎn) Pref120(以下，稱為'PK120'）相應(yīng)的點(diǎn)PTObbled220(以下，稱為'Pw220'）位于與任意掃描線 W10相應(yīng)的當(dāng)前經(jīng)抖動(dòng)的輸入圖像200中的線ITObbled210上。
[0063] 兩個(gè)點(diǎn)PK120和Pw220分別在參考圖像100中的任意掃描線IMf110和當(dāng)前經(jīng)抖動(dòng) 的輸入圖像200中的線ITObbled210上。兩個(gè)點(diǎn)PK120和Pw220位于分別以m比1-m的比例內(nèi) 部地劃分任意掃描線IMfll〇和線Ubled210的位置上。
[0064] 為了通過(guò)使用等式表示掃描線的上述兩個(gè)特性，PK120、PK，left121、PK，Hght122、 Pw220、Pw，left221 和Pw，right222 由等式la至等式If定義。

【權(quán)利要求】
1. 一種用于消除失真的裝置，所述裝置包括： 拍攝單元，被配置為通過(guò)使用卷簾快門(mén)來(lái)連續(xù)拍攝多個(gè)幀； 存儲(chǔ)單元，被配置為存儲(chǔ)拍攝的多個(gè)幀的圖像； 局部運(yùn)動(dòng)矢量產(chǎn)生器，被配置為產(chǎn)生拍攝的圖像中的參考圖像與輸入圖像之間的局部 運(yùn)動(dòng)矢量； 參數(shù)估計(jì)器，被配置為基于局部運(yùn)動(dòng)矢量對(duì)指示鑒于參考圖像的輸入圖像中的失真量 的參數(shù)集進(jìn)行估計(jì)；以及 圖像重構(gòu)單元，被配置為通過(guò)使用估計(jì)的參數(shù)集和關(guān)于輸入圖像的信息來(lái)產(chǎn)生重構(gòu)的 圖像。
2. 根據(jù)權(quán)利要求1所述的裝置，其中，參數(shù)估計(jì)器通過(guò)在參考圖像中選擇至少一條掃 描線并在輸入圖像中選擇至少一條相應(yīng)的線來(lái)估計(jì)參數(shù)集， 其中，所述參數(shù)集是表示輸入圖像中的所述相應(yīng)的線的起點(diǎn)和終點(diǎn)的坐標(biāo)的變量的集 合。
3. 根據(jù)權(quán)利要求2所述的裝置，其中，所述至少一條掃描線包括水平地穿過(guò)參考圖像 使得起點(diǎn)和終點(diǎn)具有相同的y坐標(biāo)的線。
4. 根據(jù)權(quán)利要求2所述的裝置，其中，參數(shù)估計(jì)器通過(guò)在參考圖像中選擇存在于掃描 線上的至少一個(gè)點(diǎn)并在輸入圖像中的相應(yīng)的線中選擇至少一個(gè)相應(yīng)的點(diǎn)來(lái)估計(jì)參數(shù)集。
5. 根據(jù)權(quán)利要求4所述的裝置，其中，參數(shù)估計(jì)器基于局部運(yùn)動(dòng)矢量選擇相應(yīng)的點(diǎn)。
6. 根據(jù)權(quán)利要求4所述的裝置，其中，參數(shù)估計(jì)器通過(guò)選擇點(diǎn)和相應(yīng)的點(diǎn)使得兩個(gè)點(diǎn) 分別以相同的比例內(nèi)部地劃分參考圖像中的掃描線和輸入圖像中的相應(yīng)的線來(lái)估計(jì)參數(shù) 集。
7. 根據(jù)權(quán)利要求4所述的裝置，其中，參數(shù)估計(jì)器通過(guò)參考圖像中的掃描線的y-坐標(biāo) 的函數(shù)設(shè)置相應(yīng)的線中的所有點(diǎn)來(lái)估計(jì)參數(shù)集。
8. 根據(jù)權(quán)利要求7所述的裝置，其中，參數(shù)估計(jì)器通過(guò)使用Ax = b形式的線性方程來(lái) 計(jì)算輸入圖像中的相應(yīng)的點(diǎn)的坐標(biāo)，其中，A是由掃描線的y-坐標(biāo)的函數(shù)表示的矩陣，x是 參數(shù)集，并且b是輸入圖像中的相應(yīng)的點(diǎn)的坐標(biāo)。
9. 根據(jù)權(quán)利要求1所述的裝置，其中，圖像重構(gòu)單元通過(guò)使用估計(jì)的參數(shù)集來(lái)搜索與 重構(gòu)的圖像中的至少一個(gè)任意點(diǎn)相應(yīng)的輸入圖像中的至少一個(gè)點(diǎn)，并通過(guò)使用輸入圖像中 的所述至少一個(gè)點(diǎn)的像素值來(lái)產(chǎn)生重構(gòu)的圖像。
10. -種在用于消除失真的裝置中從輸入圖像消除失真的方法，所述方法包括： 將由拍攝單元使用卷簾快門(mén)連續(xù)拍攝的多個(gè)幀存儲(chǔ)在存儲(chǔ)單元； 在局部運(yùn)動(dòng)矢量產(chǎn)生器中產(chǎn)生拍攝的圖像中的參考圖像與輸入圖像之間的局部運(yùn)動(dòng) 矢量； 在抖動(dòng)參數(shù)估計(jì)器中基于局部運(yùn)動(dòng)矢量來(lái)估計(jì)用于確定鑒于參考圖像的輸入圖像中 的失真量的參數(shù)集；以及 在圖像重構(gòu)單元中通過(guò)使用估計(jì)的參數(shù)集和關(guān)于輸入圖像的信息來(lái)產(chǎn)生重構(gòu)的圖像。
11. 根據(jù)權(quán)利要求10所述的方法，其中，在估計(jì)參數(shù)集的步驟中，通過(guò)在參考圖像中選 擇至少一條掃描線并在輸入圖像中選擇至少一條相應(yīng)的線來(lái)估計(jì)參數(shù)集， 其中，所述參數(shù)集是表示輸入圖像中的所述相應(yīng)的線的起點(diǎn)和終點(diǎn)的坐標(biāo)的變量的集 合。
12. 根據(jù)權(quán)利要求11所述的方法，其中，所述至少一條掃描線包括水平地穿過(guò)參考圖 像使得起點(diǎn)和終點(diǎn)具有相同的y坐標(biāo)的線。
13. 根據(jù)權(quán)利要求11所述的方法，其中，在估計(jì)參數(shù)集的步驟中，通過(guò)在參考圖像中選 擇存在于掃描線上的至少一個(gè)點(diǎn)并在輸入圖像中的相應(yīng)的線中選擇至少一個(gè)相應(yīng)的點(diǎn)來(lái) 估計(jì)參數(shù)集。
14. 根據(jù)權(quán)利要求13所述的方法，其中，在估計(jì)參數(shù)集的步驟中，基于局部運(yùn)動(dòng)矢量來(lái) 選擇相應(yīng)的點(diǎn)。
15. 根據(jù)權(quán)利要求13所述的方法，其中，在估計(jì)參數(shù)集的步驟中，選擇點(diǎn)和相應(yīng)的點(diǎn)使 得兩個(gè)點(diǎn)分別以相同的比例內(nèi)部地劃分參考圖像中的掃描線和輸入圖像中的相應(yīng)的線。
16. 根據(jù)權(quán)利要求13所述的方法，其中，在估計(jì)參數(shù)集的步驟中，通過(guò)參考圖像中的掃 描線的y-坐標(biāo)的函數(shù)設(shè)置相應(yīng)的線中的所有點(diǎn)。
17. 根據(jù)權(quán)利要求16所述的方法，其中，在估計(jì)參數(shù)集的步驟中，通過(guò)使用Ax = b形式 的線性方程來(lái)計(jì)算輸入圖像中的相應(yīng)的點(diǎn)的坐標(biāo)，其中，A是由掃描線的y-坐標(biāo)的函數(shù)表 示的矩陣，x是參數(shù)集，并且b是輸入圖像中的相應(yīng)的點(diǎn)的坐標(biāo)。
18. 根據(jù)權(quán)利要求10所述的方法，其中，在產(chǎn)生重構(gòu)的圖像的步驟中，通過(guò)使用估計(jì)的 參數(shù)集來(lái)搜索與重構(gòu)的圖像中的至少一個(gè)任意點(diǎn)相應(yīng)的輸入圖像中的至少一個(gè)點(diǎn)，并通過(guò) 使用輸入圖像中的所述至少一個(gè)點(diǎn)的像素值來(lái)產(chǎn)生重構(gòu)的圖像。
【文檔編號(hào)】H04N5/232GK104427212SQ201410408855
【公開(kāi)日】2015年3月18日 申請(qǐng)日期:2014年8月19日 優(yōu)先權(quán)日:2013年8月27日
【發(fā)明者】柳然杰, 樸相志, 李活石 申請(qǐng)人:三星泰科威株式會(huì)社