本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種畸變圖像復(fù)原的補(bǔ)償方法及裝置。

背景技術(shù)：

廣角鏡頭拍攝的廣角圖像雖然存在較為明顯的畸變(例如桶形畸變和枕形畸變)，卻具有寬廣的視角，將畸變校正后的廣角圖像通過(guò)圖像拼接技術(shù)用于虛擬現(xiàn)實(shí)應(yīng)用中，可以大大地降低圖像拼接的工作量。然而，畸變圖像通過(guò)畸變校正進(jìn)行復(fù)原的過(guò)程中存在較大的圖像質(zhì)量損失，包括廣角鏡頭成像時(shí)畸變過(guò)程中的圖像質(zhì)量損失和畸變圖像進(jìn)行畸變校正時(shí)的圖像質(zhì)量損失。

目前，有兩類(lèi)方法可以提高畸變圖像復(fù)原后的圖像質(zhì)量，第一類(lèi)采用較復(fù)雜的相機(jī)畸變模型和較為精準(zhǔn)的相機(jī)校正方法來(lái)降低畸變圖像進(jìn)行畸變校正時(shí)的圖像質(zhì)量損失，而忽略了廣角鏡頭成像時(shí)畸變過(guò)程中的圖像質(zhì)量損失，第二類(lèi)為提高廣角鏡頭所拍攝圖像的分辨率的超分辨率方法，該方法直接提高圖像分辨率，并未考慮到畸變圖像復(fù)原過(guò)程的圖像質(zhì)量損失。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種畸變圖像復(fù)原的補(bǔ)償方法及裝置，旨在解決現(xiàn)有技術(shù)中的畸變圖像復(fù)原后圖像質(zhì)量損失較大、圖像清晰度較低的問(wèn)題。

一方面，本發(fā)明提供了一種畸變圖像復(fù)原的補(bǔ)償方法，所述方法包括下述步驟：

接收畸變圖像畸變校正后的校正圖像，將所述校正圖像分割為校正圖像塊；

根據(jù)訓(xùn)練好的質(zhì)心對(duì)所有校正圖像塊進(jìn)行內(nèi)容分類(lèi)，并根據(jù)訓(xùn)練好的內(nèi)容濾波器對(duì)內(nèi)容分類(lèi)后的校正圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第一圖像塊；

對(duì)所有第一圖像塊進(jìn)行空間分類(lèi)，并根據(jù)訓(xùn)練好的空間濾波器對(duì)空間分類(lèi)后的第一圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第二圖像塊；

將所有第二圖像塊組合生成所述畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

另一方面，本發(fā)明提供了一種畸變圖像復(fù)原的補(bǔ)償裝置，所述裝置包括：

圖像分割模塊，用于接收畸變圖像畸變校正后的校正圖像，將所述校正圖像分割為校正圖像塊；

初次補(bǔ)償模塊，用于根據(jù)訓(xùn)練好的質(zhì)心對(duì)所有校正圖像塊進(jìn)行內(nèi)容分類(lèi)，并根據(jù)訓(xùn)練好的內(nèi)容濾波器對(duì)內(nèi)容分類(lèi)后的校正圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第一圖像塊；

再次補(bǔ)償模塊，用于對(duì)所有第一圖像塊進(jìn)行空間分類(lèi)，并根據(jù)訓(xùn)練好的空間濾波器對(duì)空間分類(lèi)后的第一圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第二圖像塊；以及

組合恢復(fù)模塊，用于將所有第二圖像塊組合生成所述畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

本發(fā)明將畸變圖像畸變校正后的校正圖像分割為校正圖像塊，并將所有的校正圖像塊根據(jù)預(yù)先訓(xùn)練好的質(zhì)心進(jìn)行內(nèi)容分類(lèi)，分類(lèi)后的校正圖像塊通過(guò)訓(xùn)練好的內(nèi)容濾波器進(jìn)行補(bǔ)償，生成每個(gè)校正圖像塊對(duì)應(yīng)的第一圖像塊，再對(duì)所有的第一圖像塊進(jìn)行空間分類(lèi)，分類(lèi)后的第一圖像塊通過(guò)訓(xùn)練好的空間濾波器進(jìn)行補(bǔ)償，生成每個(gè)第一圖像塊對(duì)應(yīng)的第二圖像塊，將所有的第二圖像塊組合在一起，生成畸變圖像對(duì)應(yīng)的校正復(fù)原圖像，從而通過(guò)對(duì)圖像塊進(jìn)行內(nèi)容分類(lèi)和空間分類(lèi)，并結(jié)合內(nèi)容濾波器對(duì)內(nèi)容分類(lèi)后的圖像塊進(jìn)行補(bǔ)償、空間濾波器對(duì)空間分類(lèi)后的圖像塊進(jìn)行補(bǔ)償，有效地對(duì)畸變圖像在校正復(fù)原過(guò)程中的圖像質(zhì)量損失進(jìn)行補(bǔ)償，有效地提高了畸變圖像校正復(fù)原后所得圖像的圖像質(zhì)量和圖像清晰度。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例一提供的畸變圖像復(fù)原的補(bǔ)償方法的實(shí)現(xiàn)流程圖；

圖2是本發(fā)明實(shí)施例二提供的畸變圖像復(fù)原的補(bǔ)償方法中質(zhì)心、內(nèi)容濾波器以及空間濾波器的訓(xùn)練流程圖；

圖3是本發(fā)明實(shí)施例三提供的畸變圖像復(fù)原的補(bǔ)償裝置的結(jié)構(gòu)示意圖；以及

圖4是本發(fā)明實(shí)施例四提供的畸變圖像復(fù)原的補(bǔ)償裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

以下結(jié)合具體實(shí)施例對(duì)本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述：

實(shí)施例一：

圖1示出了本發(fā)明實(shí)施例一提供的畸變圖像復(fù)原的補(bǔ)償方法的實(shí)現(xiàn)流程，為了便于說(shuō)明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，詳述如下：

在步驟s101中，接收畸變圖像畸變校正后的校正圖像，將校正圖像分割為校正圖像塊。

本發(fā)明適用于對(duì)廣角鏡頭拍攝的畸變圖像進(jìn)行復(fù)原的系統(tǒng)或者平臺(tái)，對(duì)畸變圖像進(jìn)行復(fù)原，即對(duì)畸變圖像進(jìn)行畸變校正并對(duì)畸變校正后的圖像進(jìn)行質(zhì)量補(bǔ)償?shù)倪^(guò)程。在本發(fā)明實(shí)施例中，將畸變圖像畸變校正后的校正圖像全部分割為大小相等的校正圖像塊，以提高對(duì)畸變圖像復(fù)原進(jìn)行圖像質(zhì)量補(bǔ)償?shù)男?，這里的校正圖像塊不一定是具體的圖像塊，還可為圖像特征。作為示例地，可通過(guò)圖像網(wǎng)格化方法得到校正圖像塊，也可通過(guò)尺度不變特征轉(zhuǎn)換(sift)提取校正圖像的圖像特征。具體地，畸變圖像可包括桶形畸變圖像、枕形畸變圖像等。

在步驟s102中，根據(jù)訓(xùn)練好的質(zhì)心對(duì)所有校正圖像塊進(jìn)行內(nèi)容分類(lèi)，并根據(jù)訓(xùn)練好的內(nèi)容濾波器對(duì)內(nèi)容分類(lèi)后的校正圖像塊進(jìn)行補(bǔ)償，獲得對(duì)應(yīng)的第一圖像塊。

在本發(fā)明實(shí)施例中，預(yù)先訓(xùn)練好多個(gè)質(zhì)心和多個(gè)內(nèi)容濾波器，每個(gè)質(zhì)心對(duì)應(yīng)著一個(gè)類(lèi)別、每個(gè)類(lèi)別對(duì)應(yīng)一個(gè)內(nèi)容濾波器。根據(jù)訓(xùn)練質(zhì)心時(shí)所用的聚類(lèi)算法確定每個(gè)校正圖像塊所屬的類(lèi)別。在確定每個(gè)校正圖像塊所屬的類(lèi)別后，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)相應(yīng)類(lèi)別中的校正圖像塊進(jìn)行一一補(bǔ)償，得到每個(gè)校正圖像塊補(bǔ)償后對(duì)應(yīng)的圖像塊，為了便于區(qū)分，將該圖像塊稱(chēng)為第一圖像塊。

具體地，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)相應(yīng)類(lèi)別中的校正圖像塊進(jìn)行一一補(bǔ)償?shù)墓綖椋?/p>

yi″＝ciyi'，其中，yi″為第i個(gè)類(lèi)別的第一圖像塊，ci為第i個(gè)類(lèi)別的內(nèi)容濾波器，yi'為第i個(gè)類(lèi)別的校正圖像塊。

在步驟s103中，對(duì)所有第一圖像塊進(jìn)行空間分類(lèi)，并根據(jù)訓(xùn)練好的空間濾波器對(duì)空間分類(lèi)后的第一圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第二圖像塊。

在本發(fā)明實(shí)施例中，可根據(jù)每個(gè)第一圖像塊中心點(diǎn)與校正圖像中心點(diǎn)的距離，對(duì)每個(gè)第一圖像塊進(jìn)行空間上的分類(lèi)，分類(lèi)后的每個(gè)類(lèi)別對(duì)應(yīng)一個(gè)預(yù)先訓(xùn)練好的空間濾波器。在確定每個(gè)第一圖像塊所屬的類(lèi)別后，通過(guò)每個(gè)類(lèi)別的空間濾波器對(duì)相應(yīng)類(lèi)別中的第一圖像塊進(jìn)行一一補(bǔ)償，得到每個(gè)第一圖像塊補(bǔ)償后對(duì)應(yīng)的圖像塊，為了便于區(qū)分，將該圖像塊稱(chēng)為第二圖像塊。

具體地，通過(guò)每個(gè)類(lèi)別的空間濾波器對(duì)相應(yīng)類(lèi)別中的第一圖像塊進(jìn)行一一補(bǔ)償?shù)墓綖椋?/p>

yj＝sjyj″，其中，yj為第j個(gè)類(lèi)別中的第二圖像塊，sj為第j個(gè)類(lèi)別的空間濾波器，yj″為第j個(gè)類(lèi)別中的第一圖像塊。

在步驟s104中，將所有第二圖像塊組合生成畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

在本發(fā)明實(shí)施例中，校正圖像塊經(jīng)過(guò)內(nèi)容濾波器和空間濾波器補(bǔ)償后生成第二圖像塊，由于內(nèi)容濾波器和空間濾波器根據(jù)畸變過(guò)程的圖像質(zhì)量損失和畸變校正過(guò)程的圖像質(zhì)量損失訓(xùn)練得到，可認(rèn)為畸變圖像畸變過(guò)程和校正過(guò)程的圖像質(zhì)量損失已在較大程度地得到了補(bǔ)償，因此由第二圖像塊組合構(gòu)成畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

具體地，質(zhì)心、內(nèi)容濾波器以及空間濾波器的訓(xùn)練流程詳見(jiàn)實(shí)施例二。

在本發(fā)明實(shí)施例中，將畸變圖像畸變校正后的校正圖像分割為校正圖像塊，并結(jié)合訓(xùn)練好的內(nèi)容濾波器和空間濾波器對(duì)校正圖像塊進(jìn)行兩次補(bǔ)償，有效地對(duì)畸變圖像復(fù)原過(guò)程中的圖像質(zhì)量損失進(jìn)行補(bǔ)償，有效地提高了畸變圖像復(fù)原后的圖像質(zhì)量和圖像清晰度。

實(shí)施例二：

圖2示出了本發(fā)明實(shí)施例二提供的畸變圖像復(fù)原的補(bǔ)償方法中質(zhì)心、內(nèi)容濾波器以及空間濾波器的訓(xùn)練流程，詳述如下：

在步驟s201中，接收訓(xùn)練圖像并對(duì)訓(xùn)練圖像進(jìn)行畸變和畸變校正，生成校正訓(xùn)練圖像，將訓(xùn)練圖像和校正訓(xùn)練圖像分別分割為訓(xùn)練圖像塊和校正訓(xùn)練圖像塊。

在本發(fā)明實(shí)施例中，可采用預(yù)設(shè)的相機(jī)畸變模型和相機(jī)校正方法對(duì)訓(xùn)練圖像進(jìn)行畸變和畸變校正(或反畸變)，生成校正訓(xùn)練圖像。將訓(xùn)練圖像和校正訓(xùn)練圖像分別分割為訓(xùn)練圖像塊和校正訓(xùn)練圖像塊。作為示例地，采用ahmed和mallon等人提出的基于極坐標(biāo)的多項(xiàng)式轉(zhuǎn)換的相機(jī)模型對(duì)訓(xùn)練圖像進(jìn)行畸變和畸變校正。

在步驟s202中，對(duì)所有校正訓(xùn)練圖像塊進(jìn)行聚類(lèi)并獲取聚類(lèi)后的所有質(zhì)心，根據(jù)所有訓(xùn)練圖像塊和聚類(lèi)后的校正訓(xùn)練圖像塊，訓(xùn)練得到每個(gè)類(lèi)別的內(nèi)容濾波器。

在本發(fā)明實(shí)施例中，由于訓(xùn)練圖像塊與校正訓(xùn)練圖像塊之間的圖像質(zhì)量差別包括訓(xùn)練圖像塊畸變時(shí)損失的圖像質(zhì)量和畸變后校正時(shí)損失的圖像質(zhì)量，所以根據(jù)校正訓(xùn)練圖像塊和該校正訓(xùn)練圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊訓(xùn)練得到的內(nèi)容濾波器有效地考慮到了這兩方面的圖像質(zhì)量損失。

在本發(fā)明實(shí)施例中，通過(guò)預(yù)設(shè)的聚類(lèi)算法(例如k-means算法)對(duì)校正訓(xùn)練圖像塊進(jìn)行聚類(lèi)并獲取聚類(lèi)后每個(gè)簇的質(zhì)心，實(shí)現(xiàn)對(duì)校正圖像塊進(jìn)行內(nèi)容上的分類(lèi)。在對(duì)所有校正訓(xùn)練圖像塊進(jìn)行分類(lèi)后，根據(jù)每個(gè)類(lèi)別的校正訓(xùn)練圖像塊和該校正訓(xùn)練圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊，計(jì)算得到每個(gè)類(lèi)別的內(nèi)容濾波器。

具體地，根據(jù)內(nèi)容濾波器的計(jì)算公式為：

其中，ci為第i個(gè)類(lèi)別的內(nèi)容濾波器，zi'為第i個(gè)類(lèi)別中的校正訓(xùn)練圖像塊，zi為第i個(gè)類(lèi)別中的校正訓(xùn)練圖像塊所對(duì)應(yīng)的訓(xùn)練圖像塊，α為預(yù)設(shè)的正則化參數(shù)。

在步驟s203中，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)相應(yīng)的校正訓(xùn)練圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第三圖像塊。

在本發(fā)明實(shí)施例中，在訓(xùn)練得到每個(gè)類(lèi)別的內(nèi)容濾波器后，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)該類(lèi)別中的所有校正訓(xùn)練圖像塊一一地進(jìn)行補(bǔ)償，得到每個(gè)校正訓(xùn)練圖像塊補(bǔ)償后的圖像塊，為了便于區(qū)別，將該圖像塊稱(chēng)為第三圖像塊。

在步驟s204中，對(duì)所有第三圖像塊進(jìn)行空間分類(lèi)，根據(jù)所有訓(xùn)練圖像塊和分類(lèi)后的第三圖像塊，訓(xùn)練得到每個(gè)類(lèi)別的空間濾波器。

在本發(fā)明實(shí)施例中，可根據(jù)每個(gè)第三圖像塊中心點(diǎn)與校正訓(xùn)練圖像中心點(diǎn)的距離，對(duì)每個(gè)第三圖像塊進(jìn)行空間上的分類(lèi)，分類(lèi)后根據(jù)每個(gè)類(lèi)別的第三圖像塊與該第三圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊，計(jì)算得到每個(gè)類(lèi)別的空間濾波器。

具體地，空間濾波器的計(jì)算公式為：

其中，sj為第j個(gè)類(lèi)別的空間濾波器，zj″為第j個(gè)類(lèi)別中的第三圖像塊，zj為第j個(gè)類(lèi)別中的第三圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊。

在本發(fā)明實(shí)施例中，根據(jù)訓(xùn)練圖像的訓(xùn)練圖像塊和校正訓(xùn)練圖像的校正訓(xùn)練圖像塊，訓(xùn)練得到內(nèi)容濾波器、空間濾波器以及質(zhì)心，在訓(xùn)練過(guò)程中考慮到畸變過(guò)程的圖像質(zhì)量損失和校正過(guò)程的圖像質(zhì)量損失，從而訓(xùn)練得到的內(nèi)容濾波器和空間濾波器能夠有效地補(bǔ)償畸變圖像復(fù)原時(shí)的圖像質(zhì)量。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，所述的存儲(chǔ)介質(zhì)，如rom/ram、磁盤(pán)、光盤(pán)等。

實(shí)施例三：

圖3示出了本發(fā)明實(shí)施例四提供的畸變圖像復(fù)原的補(bǔ)償裝置的結(jié)構(gòu)，為了便于說(shuō)明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，其中包括：

圖像分割模塊31，用于接收畸變圖像畸變校正后的校正圖像，將校正圖像分割為校正圖像塊。

在本發(fā)明實(shí)施例中，將畸變圖像畸變校正后的校正圖像全部分割為大小相等的校正圖像塊，從而有效提高對(duì)畸變圖像復(fù)原進(jìn)行圖像質(zhì)量補(bǔ)償?shù)男省?/p>

初次補(bǔ)償模塊32，用于根據(jù)訓(xùn)練好的質(zhì)心對(duì)所有校正圖像塊進(jìn)行內(nèi)容分類(lèi)，并根據(jù)訓(xùn)練好的內(nèi)容濾波器對(duì)內(nèi)容分類(lèi)后的校正圖像塊進(jìn)行補(bǔ)償，獲得對(duì)應(yīng)的第一圖像塊。

在本發(fā)明實(shí)施例中，根據(jù)訓(xùn)練質(zhì)心時(shí)所用的聚類(lèi)算法確定每個(gè)校正圖像塊所屬的類(lèi)別。在確定每個(gè)校正圖像塊所屬的類(lèi)別后，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)相應(yīng)類(lèi)別中的校正圖像塊進(jìn)行一一補(bǔ)償，得到每個(gè)校正圖像塊補(bǔ)償后對(duì)應(yīng)的圖像塊，為了便于區(qū)分，將該圖像塊稱(chēng)為第一圖像塊。

具體地，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)相應(yīng)類(lèi)別中的校正圖像塊進(jìn)行一一補(bǔ)償?shù)墓綖椋?/p>

yi″＝ciyi'，其中，yi″為第i個(gè)類(lèi)別的第一圖像塊，ci為第i個(gè)類(lèi)別的內(nèi)容濾波器，yi'為第i個(gè)類(lèi)別的校正圖像塊。

再次補(bǔ)償模塊33，用于對(duì)所有第一圖像塊進(jìn)行空間分類(lèi)，并根據(jù)訓(xùn)練好的空間濾波器對(duì)空間分類(lèi)后的第一圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第二圖像塊。

在本發(fā)明實(shí)施例中，可根據(jù)每個(gè)第一圖像塊中心點(diǎn)與校正圖像中心點(diǎn)的距離，對(duì)每個(gè)第一圖像塊進(jìn)行空間上的分類(lèi)，分類(lèi)后的每個(gè)類(lèi)別對(duì)應(yīng)一個(gè)預(yù)先訓(xùn)練好的空間濾波器。在確定每個(gè)第一圖像塊所屬的類(lèi)別后，通過(guò)每個(gè)類(lèi)別的空間濾波器對(duì)相應(yīng)類(lèi)別中的第一圖像塊進(jìn)行一一補(bǔ)償，得到每個(gè)第一圖像塊補(bǔ)償后對(duì)應(yīng)的圖像塊，為了便于區(qū)分，將該圖像塊稱(chēng)為第二圖像塊。

具體地，通過(guò)每個(gè)類(lèi)別的空間濾波器對(duì)相應(yīng)類(lèi)別中的第一圖像塊進(jìn)行一一補(bǔ)償?shù)墓綖椋?/p>

yj＝sjyj″，其中，yj為第j個(gè)類(lèi)別中的第二圖像塊，sj為第j個(gè)類(lèi)別的空間濾波器，yj″為第j個(gè)類(lèi)別中的第一圖像塊。

組合恢復(fù)模塊34，用于將所有第二圖像塊組合生成畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

在本發(fā)明實(shí)施例中，校正圖像塊經(jīng)過(guò)內(nèi)容濾波器和空間濾波器補(bǔ)償后生成第二圖像塊，由于內(nèi)容濾波器和空間濾波器根據(jù)畸變過(guò)程的圖像質(zhì)量損失和畸變校正過(guò)程的圖像質(zhì)量損失訓(xùn)練得到，可認(rèn)為畸變圖像畸變過(guò)程和校正過(guò)程的圖像質(zhì)量損失已在較大程度地得到了補(bǔ)償，因此由第二圖像塊組合構(gòu)成畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

在本發(fā)明實(shí)施例中，將畸變圖像畸變校正后的校正圖像分割為校正圖像塊，并結(jié)合訓(xùn)練好的內(nèi)容濾波器和空間濾波器對(duì)校正圖像塊進(jìn)行兩次補(bǔ)償，有效地對(duì)畸變圖像復(fù)原過(guò)程中的圖像質(zhì)量損失進(jìn)行補(bǔ)償，有效地提高了畸變圖像復(fù)原后的圖像質(zhì)量和圖像清晰度。

實(shí)施例四：

圖4示出了本發(fā)明實(shí)施例四提供的畸變圖像復(fù)原的補(bǔ)償裝置的結(jié)構(gòu)，為了便于說(shuō)明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，其中包括：

訓(xùn)練分割模塊41，用于接收訓(xùn)練圖像并對(duì)訓(xùn)練圖像進(jìn)行畸變和畸變校正，生成校正訓(xùn)練圖像，將訓(xùn)練圖像和校正訓(xùn)練圖像分別分割為訓(xùn)練圖像塊和校正訓(xùn)練圖像塊。

在本發(fā)明實(shí)施例中，可采用預(yù)設(shè)的相機(jī)畸變模型和相機(jī)校正方法對(duì)訓(xùn)練圖像進(jìn)行畸變和畸變校正(或反畸變)，生成校正訓(xùn)練圖像。將訓(xùn)練圖像和校正訓(xùn)練圖像分別分割為訓(xùn)練圖像塊和校正訓(xùn)練圖像塊。

第一計(jì)算模塊42，用于對(duì)所有校正訓(xùn)練圖像塊進(jìn)行聚類(lèi)并獲取聚類(lèi)后的所有質(zhì)心，根據(jù)所有訓(xùn)練圖像塊和聚類(lèi)后的校正訓(xùn)練圖像塊，訓(xùn)練得到每個(gè)類(lèi)別的內(nèi)容濾波器。

在本發(fā)明實(shí)施例中，通過(guò)預(yù)設(shè)的聚類(lèi)算法(例如k-means算法)對(duì)校正訓(xùn)練圖像塊進(jìn)行聚類(lèi)并獲取聚類(lèi)后每個(gè)簇的質(zhì)心，實(shí)現(xiàn)對(duì)校正圖像塊進(jìn)行內(nèi)容上的分類(lèi)。根據(jù)每個(gè)類(lèi)別的校正訓(xùn)練圖像塊和該校正訓(xùn)練圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊，計(jì)算得到每個(gè)類(lèi)別的內(nèi)容濾波器。

具體地，根據(jù)內(nèi)容濾波器的計(jì)算公式為：

其中，ci為第i個(gè)類(lèi)別的內(nèi)容濾波器，zi'為第i個(gè)類(lèi)別中的校正訓(xùn)練圖像塊，zi為第i個(gè)類(lèi)別中的校正訓(xùn)練圖像塊所對(duì)應(yīng)的訓(xùn)練圖像塊，α為預(yù)設(shè)的正則化參數(shù)。

訓(xùn)練補(bǔ)償模塊43，用于通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)相應(yīng)的校正訓(xùn)練圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第三圖像塊。

在本發(fā)明實(shí)施例中，在訓(xùn)練得到每個(gè)類(lèi)別的內(nèi)容濾波器后，通過(guò)每個(gè)類(lèi)別的內(nèi)容濾波器對(duì)該類(lèi)別中的所有校正訓(xùn)練圖像塊一一地進(jìn)行補(bǔ)償，得到每個(gè)校正訓(xùn)練圖像塊補(bǔ)償后的圖像塊，為了便于區(qū)別，將該圖像塊稱(chēng)為第三圖像塊。

第二計(jì)算模塊44，用于對(duì)所有第三圖像塊進(jìn)行空間分類(lèi)，根據(jù)所有訓(xùn)練圖像塊和分類(lèi)后的第三圖像塊，訓(xùn)練得到每個(gè)類(lèi)別的空間濾波器。

在本發(fā)明實(shí)施例中，可根據(jù)每個(gè)第三圖像塊中心點(diǎn)與校正訓(xùn)練圖像中心點(diǎn)的距離，對(duì)每個(gè)第三圖像塊進(jìn)行空間上的分類(lèi)，分類(lèi)后根據(jù)每個(gè)類(lèi)別的第三圖像塊與該第三圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊，計(jì)算得到每個(gè)類(lèi)別的空間濾波器。

具體地，空間濾波器的計(jì)算公式為：

其中，sj為第j個(gè)類(lèi)別的空間濾波器，zj″為第j個(gè)類(lèi)別中的第三圖像塊，zj為第j個(gè)類(lèi)別中的第三圖像塊對(duì)應(yīng)的訓(xùn)練圖像塊。

圖像分割模塊45，用于接收畸變圖像畸變校正后的校正圖像，將校正圖像分割為校正圖像塊。

初次補(bǔ)償模塊46，用于根據(jù)訓(xùn)練好的質(zhì)心對(duì)所有校正圖像塊進(jìn)行內(nèi)容分類(lèi)，并根據(jù)訓(xùn)練好的內(nèi)容濾波器對(duì)內(nèi)容分類(lèi)后的校正圖像塊進(jìn)行補(bǔ)償，獲得對(duì)應(yīng)的第一圖像塊。

再次補(bǔ)償模塊47，用于對(duì)所有第一圖像塊進(jìn)行空間分類(lèi)，并根據(jù)訓(xùn)練好的空間濾波器對(duì)空間分類(lèi)后的第一圖像塊進(jìn)行補(bǔ)償，生成對(duì)應(yīng)的第二圖像塊。

組合恢復(fù)模塊48，用于將所有第二圖像塊組合生成畸變圖像對(duì)應(yīng)的校正復(fù)原圖像。

優(yōu)選地，第一計(jì)算模塊42包括：

第一計(jì)算子模塊421，用于根據(jù)聚類(lèi)后每個(gè)類(lèi)別中的校正訓(xùn)練圖像塊和每個(gè)類(lèi)別中的校正訓(xùn)練圖像塊所對(duì)應(yīng)的訓(xùn)練圖像塊。

優(yōu)選地，第二計(jì)算模塊44包括：

第二計(jì)算子模塊441，用于根據(jù)分類(lèi)后每個(gè)類(lèi)別中的第三圖像塊和每個(gè)類(lèi)別中的第三圖像塊所對(duì)應(yīng)的訓(xùn)練圖像塊，計(jì)算每個(gè)類(lèi)別的空間濾波器。

優(yōu)選地，再次補(bǔ)償模塊47包括：

空間分類(lèi)模塊471，用于根據(jù)所有第一圖像塊的中心點(diǎn)和校正圖像的中心點(diǎn)的距離，對(duì)所有第一圖像塊進(jìn)行分類(lèi)；

空間補(bǔ)償模塊472，用于通過(guò)訓(xùn)練好的每個(gè)類(lèi)別的空間濾波器對(duì)相應(yīng)類(lèi)別的第一圖像塊進(jìn)行補(bǔ)償，生成每個(gè)第一圖像塊對(duì)應(yīng)的第二圖像塊。

在本發(fā)明實(shí)施例中，根據(jù)訓(xùn)練圖像和校正訓(xùn)練圖像塊，訓(xùn)練出能夠?qū)D像在畸變過(guò)程和校正過(guò)程損失的圖像質(zhì)量進(jìn)行補(bǔ)償?shù)膬?nèi)容濾波器和空間濾波器，并由內(nèi)容濾波器和空間濾波器對(duì)校正后的畸變圖像進(jìn)行兩次補(bǔ)償，從而有效地對(duì)畸變圖像復(fù)原過(guò)程中的圖像質(zhì)量損失進(jìn)行補(bǔ)償，有效地提高了畸變圖像復(fù)原后的圖像質(zhì)量和圖像清晰度。

在本發(fā)明實(shí)施例中，畸變圖像復(fù)原的補(bǔ)償裝置的各模塊可由相應(yīng)的硬件或軟件模塊實(shí)現(xiàn)，各模塊可以為獨(dú)立的軟、硬件模塊，也可以集成為一個(gè)軟、硬件模塊，在此不用以限制本發(fā)明。圖像分割模塊45至組合恢復(fù)模塊48的各模塊的具體實(shí)施方式可參考前述實(shí)施例一中各步驟的描述，在此不再贅述。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。