即時影像處理方法及其裝置制造方法
【專利摘要】本發(fā)明提供一種即時影像處理方法及其裝置。即時處理裝置用以執(zhí)行即時影像處理方法。即時影像處理方法包含擷取第一影像、第二影像及第三影像，再提高第一影像、第二影像及第三影像的解析度，獲得第一高析影像、第二高析影像及第三高析影像，并由第一高析影像、第二高析影像及第三高析影像獲得第一位移向量及第二位移向量，并依據(jù)第一位移向量、第二位移向量、第一高析影像、第二高析影像、第三高析影像獲得疊置高析影像，再由第一位移向量、及第二位移向量獲得補(bǔ)償位移向量，最終以補(bǔ)償位移向量輸出超解析影像。
【專利說明】即時影像處理方法及其裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明關(guān)于一種影像處理，特別是一種即時解析度運(yùn)算的影像處理方法及其裝 置。

【背景技術(shù)】
[0002] 現(xiàn)今影像處理技術(shù)的研究與改良，大多著重于提供給使用者更好的視覺體驗。而 影響使用者視覺體驗的主要因素之一就是影像的解析度。此外，于手持?jǐn)z影裝置及具光學(xué) 變焦功能的監(jiān)視器中，影響使用者視覺體驗的因素更包括了因手持?jǐn)z影裝置的手震、及監(jiān) 視器機(jī)身移動時造成的晃動。
[0003] 倘若只要獲得具高解析度并清楚的影像，于常見的數(shù)字相機(jī)及攝影機(jī)中，一般使 用光學(xué)變焦及數(shù)字變焦。當(dāng)使用者的要求超過了光學(xué)變焦可以支援的最大倍率時，數(shù)字變 焦將會取代光學(xué)變焦。而數(shù)字變焦的變焦方式則是由內(nèi)建的處理器進(jìn)行模擬放大，在像素 上必然有些部分是模擬產(chǎn)生，因此對于影像的畫質(zhì)有所影響。但若只是將影像放大，并沒有 提高影像的視覺清晰度，往往造成放大后的影像存在著模糊感。而影像放得越大，就越有這 樣的問題。
[0004] 再者，大多數(shù)使用者并不是專業(yè)的攝影人員，因此常常于使用數(shù)字相機(jī)或攝影機(jī) 時造成手震。先前有研發(fā)物理的改良方式，以減少鏡頭的震動。物理的改良方式則是于鏡 頭上設(shè)置防震元件，但這種改良方式會增加成本及機(jī)身的重量。對于目前使用者對于數(shù)字 相機(jī)的輕便需求，仍存在無法克服的問題。另一方面，對于解析度的要求，這種方法亦無法 處理。
[0005] 綜合上述，于現(xiàn)有影像處理方式中，雖然都有各自解決的方式，但于獲得高視覺清 晰度的影像上，數(shù)字變焦仍有一定的限制。而于防止影像震動產(chǎn)生的模糊問題，經(jīng)由加裝防 震元件于鏡頭上的方式，會讓影像處理裝置的整體架構(gòu)變得較為復(fù)雜、增加機(jī)身重量或提 高成本等問題。


【發(fā)明內(nèi)容】

[0006] 鑒于以上的問題，本發(fā)明提出一種即時影像處理裝置及其方法，用以幫助使用者 于使用影像處理裝置時，可提高連續(xù)影像的解析度并同時減少震動。
[0007] 本發(fā)明提供一即時影像處理方法，其包含擷取一第一影像、一第二影像及一第三 影像。再提高第一影像、第二影像及第三影像的解析度，用以分別得到一第一高析影像、一 第二高析影像及一第三高析影像。并藉由第一高析影像及第二高析影像獲得第一位移向 量，再由第二高析影像及第三高析影像獲得第二位移向量。并由第一位移向量、第二位移向 量、第一高析影像、第二高析影像及第三高析影像取得一疊置高析影像。再由第一位移向量 及第二位移向量獲得一補(bǔ)償位移向量，并根據(jù)補(bǔ)償位移向量產(chǎn)生超解析影像。
[0008] 本發(fā)明再提供一種即時影像處理裝置，其包含一影像擷取單元及一影像處理單 元。影像擷取單元用以擷取第一影像、第二影像及第三影像。影像處理單元連接影像擷取 單元，執(zhí)行一即時影像處理方法，以獲得超解析影像，其包含以下步驟。先擷取第一影像、第 二影像及第三影像，再提高第一影像、第二影像及第三影像的解析度，分別得到第一高析影 像、第二1?析影像及第二1?析影像。并利用第一影像、第二影像及第二影像獲得第一位移向 量及第二位移向量。并由第一位移向量、第二位移向量、第一高析影像、第二高析影像及第 三高析影像取得一疊置高析影像。再依據(jù)第一位移向量、第二位移向量獲得一補(bǔ)償位移向 量，并依據(jù)補(bǔ)償位移向量輸出超解析影像。
[0009] 以上的關(guān)于本
【發(fā)明內(nèi)容】
的說明及以下的實(shí)施方式的說明用以示范與解釋本發(fā)明 的精神與原理，并且提供本發(fā)明的專利申請范圍更進(jìn)一步的解釋。

【專利附圖】

【附圖說明】
[0010] 圖1，為本發(fā)明一實(shí)施例的即時影像處理方法的流程圖；
[0011] 圖2,為本發(fā)明一實(shí)施例的即時影像處理裝置的架構(gòu)圖；
[0012] 圖3,為本發(fā)明一實(shí)施例的即時影像處理方法中影像內(nèi)容進(jìn)行位移的示意圖；
[0013] 圖4,為本發(fā)明一實(shí)施例的即時影像處理方法中影像內(nèi)容位移比對的示意圖；
[0014] 圖5,為本發(fā)明一實(shí)施例的即時影像處理方法中疊置高析影像其像素重疊的示意 圖；
[0015] 圖6,為本發(fā)明一實(shí)施例的即時影像處理裝置的使用示意圖；
[0016] 圖7,為本發(fā)明一實(shí)施例的即時影像處理方法中獲得高析影像的示意圖；
[0017] 圖8,為本發(fā)明一實(shí)施例的即時影像處理方法中移動向量計算的示意圖。
[0018] 其中，附圖標(biāo)記：
[0019] 30 即時影像處理裝置
[0020] 302 影像擷取單元
[0021] 304 影像處理單元
[0022] 306 影像輸出單元
[0023] 42 第一影像
[0024] 44 第二影像
[0025] 46 第三影像
[0026] 52 第一高析影像
[0027] 522 影像內(nèi)容
[0028] 54 第二高析影像
[0029] 542 第一目前影像內(nèi)容
[0030] 544 第一先前影像位置
[0031] 56 第二商析影像
[0032] 562 第二目前影像內(nèi)容
[0033] 564 第二先前影像位置
[0034] 602 像素位置
[0035] 604 像素位置
[0036] 606 像素位置
[0037] 608 像素位置
[0038] 62 覆蓋像素
[0039] 70 即時影像處理裝置
[0040] 702 影像擷取單元
[0041] 704 影像處理單元
[0042] 706 影像輸出單元
[0043] 72 影像標(biāo)的物
[0044] 80 原始影像
[0045] 82 高析影像
[0046] 822 空白像素
[0047] 90 第一高析影像
[0048] 902 第一區(qū)塊
[0049] 92 第二高析影像
[0050] 922 第二區(qū)塊
[0051] 924 第一目前影像內(nèi)容
[0052] 926 第一先前影像位置
[0053] 94 第二商析影像
[0054] 942 第三區(qū)塊
[0055] 944 第二目前影像內(nèi)容
[0056] 946 第二先前影像位置

【具體實(shí)施方式】
[0057] 以下在實(shí)施方式中詳細(xì)敘述本發(fā)明的詳細(xì)特征以及優(yōu)點(diǎn)，其內(nèi)容足以使任何熟習(xí) 相關(guān)技藝者了解本發(fā)明的技術(shù)內(nèi)容并據(jù)以實(shí)施，且根據(jù)本說明書所揭露的內(nèi)容、申請專利 范圍及圖式，任何熟習(xí)相關(guān)技藝者可輕易地理解本發(fā)明相關(guān)的目的及優(yōu)點(diǎn)。以下的實(shí)施例 進(jìn)一步詳細(xì)說明本發(fā)明的觀點(diǎn)，但非以任何觀點(diǎn)限制本發(fā)明的范疇。
[0058] 鑒于現(xiàn)有技術(shù)已存在的問題，本發(fā)明提出一種即時影像處理方法及其裝置。其中 即時影像處理裝置可為一數(shù)字相機(jī)、一攝影機(jī)或一監(jiān)視器等，或是任何具有如前述可以執(zhí) 行本發(fā)明所提出的即時影像處理方法和即時影像處理方法的裝置。且影像處理裝置也可 以應(yīng)用于手持設(shè)備拍攝、自動移動設(shè)備拍攝或是各種進(jìn)行移動的裝置進(jìn)行監(jiān)視或是觀察用 途。
[0059] 請參考圖1，其為本發(fā)明一實(shí)施例的即時影像處理方法的流程圖。其中即時影像處 理方法可包含下列步驟：擷取一第一影像、一第二影像及一第三影像(步驟S100);提高第一 影像、第二影像及第三影像的解析度，得到一第一高析影像、一第二高析影像及一第三高析 影像(步驟S110);利用第一高析影像、第二高析影像及第三高析影像，得到一第一位移向量 及一第二位移向量(步驟S120);利用第一位移向量及第二位移向量，結(jié)合第一高析影像、第 二高析影像及第三高析影像，獲得一疊置高析影像(步驟S130);在經(jīng)由計算第一位移向量 及第二位移向量后，獲得一補(bǔ)償位移向量(步驟S140);再利用補(bǔ)償位移向量，結(jié)合疊置高析 影像，獲得一超解析影像(步驟S150)。
[0060] 在步驟S100中，請一并參照圖2及圖3,其中第一影像42、第二影像44及第三影 像46,經(jīng)由即時影像處理裝置30中的影像擷取單元302進(jìn)行擷取。影像擷取單元302可為 數(shù)字相機(jī)的感光元件，但并不以此為限。而第一影像42、第二影像44及第三影像46具有同 一攝影范圍及時間上的先后相依性，于本實(shí)施例中，第一影像42、第二影像44及第三影像 46,其為在時間軸上依序擷取的影像，但并不以此為限。擷取影像時，并不以三張為限。但 至少需擷取兩張影像以上，擷取越多影像加入即時影像處理方法可讓最后產(chǎn)生的超解析影 像更為精細(xì)。
[0061] 而在步驟S110中，第一影像42、第二影像44和第三影像46分別擁有多個原始像 素點(diǎn)，而提高解析度的做法可以為但不限于在原始像素點(diǎn)之間將多個空白像素點(diǎn)插入。請 參閱圖4,其中第一高析影像52、第二高析影像54和第三高析影像56,為第一影像42、第二 影像44和第三影像46插入空白像素后產(chǎn)生的高析影像。值得注意的是，放大倍率不一定 為長與寬的比值采一比一的正方形式的提高解析度，也可以為長方形式的提高解析度，也 就是說，可以將所擷取到的正方形影像，在一軸向（如水平軸）放大三倍形成長軸，而另一 軸（如垂直軸）放大二倍形成寬軸，提高解析度后的影像即成為長方形，除此之外，提高解 析度后的長寬比例可以是但不限于十六比九或十六比十的影像。
[0062] 接著于步驟S120中，請同時參閱圖4,于第一高析影像52中，鎖定一影像內(nèi)容 522,對影像內(nèi)容522于第二高析影像54及第三高析影像56中進(jìn)行持續(xù)追蹤。于第二高析 影像54中，影像內(nèi)容522的位置已經(jīng)移動至第一目前影像內(nèi)容544的位置，先前于第一高 析影像52中的位置以第一先前影像位置542用虛線進(jìn)行標(biāo)示，進(jìn)行坐標(biāo)比對計算后得出第 一位移向量。于第三高析影像56中，影像內(nèi)容522的位置已經(jīng)移動至第二目前影像內(nèi)容 564的位置，先前于第二高析影像54中的位置以第二先前影像位置562用虛線進(jìn)行標(biāo)示，進(jìn) 行坐標(biāo)比對計算后得出第二位移向量。于影像比對時，取得位移向量的方式可以是但不限 于光流法（Optical flow)或區(qū)塊移動估計法（Block Motion Estimation, BME)，其詳細(xì)說 明將以后續(xù)圖示及敘述說明。
[0063] 再者，于步驟S130中，請繼續(xù)參閱圖4,依據(jù)第一位移向量將第二高析影像54中 第一目前影像內(nèi)容544,進(jìn)行反向調(diào)整以對應(yīng)第一高析影像52的內(nèi)容，即將第一目前影像 內(nèi)容 544調(diào)整回第一先前影像位置542,以對應(yīng)第一高析影像52。同樣地，依據(jù)第一位移向 量及第二位移向量將第三高析影像56中第二目前影像內(nèi)容564,進(jìn)行兩次反向調(diào)整以對應(yīng) 第一高析影像52的內(nèi)容，即將第二目前影像內(nèi)容564調(diào)整回第一先前影像位置542,以對 應(yīng)第一高析影像52。重疊經(jīng)過調(diào)整的第二高析影像54和第三高析影像56于第一高析影 像52上，而獲得疊置高析影像。由于疊置高析影像包含了第一高析影像52、第二高析影像 54和第三高析影像56,因此一并包含了來自第一影像42、第二影像44和第三影像46的多 個原始像素點(diǎn)和因為重疊所產(chǎn)生的多個剩余空白像素點(diǎn)。請參閱圖5,經(jīng)過重疊后,有部分 像素會跨越于像素與像素之間，如覆蓋像素62,跨越了像素位置602、像素位置604、像素位 置606及像素位置608。因此需依據(jù)覆蓋像素62的亮度（彩色畫面另包括彩度），計算鄰 近剩余空白像素點(diǎn)的亮度（彩色畫面另包括彩度）。而計算剩余空白像素點(diǎn)的值的方法為， 依據(jù)要計算的剩余空白像素點(diǎn)周圍的多個原始像素點(diǎn)，使用內(nèi)插法計算。
[0064] 而在步驟S140中，利用第一位移向量及第二位移向量，獲得補(bǔ)償位移向量。本發(fā) 明一實(shí)施例的即時影像處理方法中補(bǔ)償向量計算的流程可整理為以下公式組。
[0065]

【權(quán)利要求】
1. 一種即時影像處理方法，其特征在于，該即時影像處理方法包含： 擷取一第一影像、一第二影像及一第三影像； 提高該第一影像、該第二影像及該第三影像的解析度以分別得到一第一高析影像、一 第二高析影像及一第三高析影像； 利用該第一高析影像、該第二高析影像及該第三高析影像獲得一第一位移向量及一第 二位移向量； 依據(jù)該第一位移向量、該第二位移向量、該第一高析影像、該第二高析影像及該第三高 析影像獲得一疊置高析影像； 依據(jù)該第一位移向量、及該第二位移向量獲得一補(bǔ)償位移向量；以及 依據(jù)該補(bǔ)償位移向量輸出一超解析影像。
2. 根據(jù)權(quán)利要求1所述的即時影像處理方法，其特征在于，該第一影像、該第二影像及 該第三影像各別包含了多個原始像素點(diǎn)，提高該第一影像、該第二影像及該第三影像的解 析度以分別得到該第一高析影像、該第二高析影像及該第三高析影像為依據(jù)一放大倍率于 該第一影像、該第二影像及該第三影像的所述原始像素點(diǎn)間插入多個高析空白像素點(diǎn)。
3. 根據(jù)權(quán)利要求1所述的即時影像處理方法，其特征在于，該各別獲得該第一高析影 像、該第二高析影像及該第三高析影像的該第一位移向量、及該第二位移向量包含： 使用區(qū)塊移動估計法計算所述位移向量或是使用光流法計算所述位移向量。
4. 根據(jù)權(quán)利要求1所述的即時影像處理方法，其特征在于，該第一影像、該第二影像及 該第三影像各別包含了所述原始像素點(diǎn)，依據(jù)該第一位移向量、該第二位移向量、該第一高 析影像、該第二高析影像及該第三高析影像獲得該疊置高析影像的步驟包含： 依據(jù)該第一位移向量與該第二位移向量將該第一高析影像與該第二高析影像及該第 三高析影像重疊，獲得該疊置高析影像，該疊置高析影像包含該第一影像、該第二影像與該 第三影像的所述原始像素點(diǎn)、以及多個剩余空白像素點(diǎn)；以及 依據(jù)該第一影像、該第二影像與該第三影像的所述原始像素點(diǎn)而獲得所述剩余空白像 素點(diǎn)的值。
5. 根據(jù)權(quán)利要求1所述的即時影像處理方法，其特征在于，獲得該補(bǔ)償向量的方法為 以下一公式組：
其中i、n及k為自然數(shù)，^為第n影像的補(bǔ)償向量，且K為第i影像相對于第（i-1) 影像的位移向量，Wlri與Wn為以任意數(shù)表示的權(quán)重值，在計算該第三影像及該第三影像之后 續(xù)影像的補(bǔ)償向量時，Wlri為一常數(shù)Wa，Wn亦為一常數(shù)wb。
6. 根據(jù)權(quán)利要求5所述的即時影像處理方法，其特征在于，該公式組中的k值由絕對值 總合法決定，絕對值總合法公式如下，
其中A(x，y)代表A影像中對應(yīng)坐標(biāo)（x，y)的像素值，B(x，y)代表B影像中對應(yīng)坐標(biāo) (x，y)的像素值，若SAD(第j影像，第（j-1)影像）大于一門檻值則k為j，否則k為1，且 j為自然數(shù)，該門檻值為任意數(shù)。
7. -種即時影像處理裝置，其特征在于，包含： 一影像擷取單元，用以擷取一第一影像、一第二影像、及一第三影像；以及 一影像處理單元，連接該影像擷取單元，執(zhí)行一即時影像處理方法，用以獲得一超解析 影像，包含： 擷取該第一影像、該第二影像、及該第三影像； 提高該第一影像、該第二影像、及該第三影像的解析度以分別得到一第一高析影像、一 第二高析影像及一第三高析影像； 利用該第一高析影像、該第二高析影像、及該第三高析影像獲得一第一位移向量、一第 二位移向量； 依據(jù)該第一位移向量、該第二位移向量、該第一高析影像、該第二高析影像、及該第三 1?析影像獲得一超解析影像； 依據(jù)該第一位移向量、該第二位移向量獲得一補(bǔ)償位移向量；以及 依據(jù)該補(bǔ)償位移向量輸出該超解析影像。
8. 根據(jù)權(quán)利要求7所述的即時影像處理裝置，其特征在于，該即時影像處理裝置還含 有一輸出單元，連接該影像處理單元，用以輸出該超解析影像。
9. 根據(jù)權(quán)利要求7所述的即時影像處理裝置，其特征在于，該影像處理單元另執(zhí)行一 影像壓縮程序。
10. 根據(jù)權(quán)利要求7所述的即時影像處理裝置，其特征在于，該影像擷取單元是一光學(xué) 變焦影像擷取單元。
11. 根據(jù)權(quán)利要求7所述的即時影像處理裝置，其特征在于，該補(bǔ)償向量利用以下一公 式組獲得：
其中i、n及k為自然數(shù)，^為第n影像的補(bǔ)償向量，且f為第i影像相對于第（i-1) 影像的位移向量，Wlri與Wn為以任意數(shù)表示的權(quán)重值，在計算該第三影像及該第三影像之后 續(xù)影像的補(bǔ)償向量時，Wlri為一常數(shù)Wa，Wn亦為一常數(shù)wb。
12.根據(jù)權(quán)利要求11所述的即時影像處理方法，其特征在于，該公式組中的k值由絕對 值總合法決定，絕對值總合法公式如下，
其中A(x，y)代表A影像中對應(yīng)坐標(biāo)（x，y)的像素值，B(x，y)代表B影像中對應(yīng)坐標(biāo) (x，y)的像素值，若SAD(第j影像，第（j-1)影像）大于一門檻值則k為j，否則k為1，且 j為自然數(shù)，該門檻值為任意數(shù)。
【文檔編號】H04N5/232GK104243794SQ201410100746
【公開日】2014年12月24日 申請日期:2014年3月18日 優(yōu)先權(quán)日:2013年6月14日
【發(fā)明者】吳仁智 申請人:晶睿通訊股份有限公司