本公開涉及圖像處理，尤其涉及一種針對(duì)idpc-stem圖像的圖像處理方法及裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、傳統(tǒng)的電子顯微成像需要極高的電子劑量才能實(shí)現(xiàn)原子級(jí)別的圖像分辨率。這種方法不適用于對(duì)電子束敏感的材料，如沸石、金屬有機(jī)框架(mofs)、鈣鈦礦等。近年來，積分差分相位對(duì)比掃描透射電子顯微術(shù)(idpc-stem)的發(fā)展有效地解決了低電子利用效率的挑戰(zhàn)。然而在低電子劑量條件下，大量的散射噪聲使得精確識(shí)別分子篩中單個(gè)分子的位置和構(gòu)象變得復(fù)雜，這使得idpc-stem也存在限制。

2、因此，目前在idpc-stem圖像領(lǐng)域，對(duì)于圖像質(zhì)量可能較低或結(jié)構(gòu)復(fù)雜的圖像，迫切需要開發(fā)更加適應(yīng)性的圖像處理方法，以解決相關(guān)技術(shù)在處理idpc-stem圖像時(shí)遇到的限制和挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本公開提出了一種針對(duì)idpc-stem圖像的圖像處理方法及裝置、電子設(shè)備及介質(zhì)，能夠?qū)崿F(xiàn)idpc-stem圖像的去噪和增強(qiáng)，顯著提高圖像質(zhì)量，為后續(xù)的單分子檢測(cè)和分子構(gòu)象匹配分析提供了有力的工具。

2、根據(jù)本公開的一方面，提供了一種針對(duì)idpc-stem圖像的圖像處理方法，包括：獲取針對(duì)目標(biāo)分子篩的待處理圖像，所述待處理圖像為積分差分相位對(duì)比掃描透射電子顯微鏡idpc-stem圖像；利用圖像處理模型中的基于變分自編碼器構(gòu)建的去噪模型對(duì)所述待處理圖像進(jìn)行噪聲提取，得到目標(biāo)噪聲圖像，所述目標(biāo)噪聲圖像用于指示所述待處理圖像的噪聲分布情況，其中，所述圖像處理模型還包括基于深度殘差網(wǎng)絡(luò)構(gòu)建的超分辨率模型；根據(jù)所述待處理圖像和所述目標(biāo)噪聲圖像，確定出目標(biāo)去噪圖像；利用所述超分辨率模型對(duì)所述目標(biāo)去噪圖像進(jìn)行圖像增強(qiáng)，得到目標(biāo)超分圖像，所述目標(biāo)超分圖像為去除噪聲且進(jìn)行圖像增強(qiáng)后的所述目標(biāo)分子篩的idpc-stem圖像。

3、在一種可能的實(shí)現(xiàn)方式中，所述方法還包括：獲取各樣本分子篩的理想圖像和多張模擬圖像，各所述樣本分子篩的理想圖像用于指示對(duì)應(yīng)樣本分子篩的真實(shí)微觀結(jié)構(gòu)，各所述樣本分子篩的多張模擬圖像是在不同的電子劑量下成像得到的idpc-stem圖像；根據(jù)所有樣本分子篩的理想圖像和多張模擬圖像，構(gòu)建出訓(xùn)練樣本集；利用所述訓(xùn)練樣本集訓(xùn)練原始的圖像處理模型，直至計(jì)算出的圖像處理模型的損失函數(shù)值滿足預(yù)設(shè)條件，得到訓(xùn)練后的圖像處理模型，其中，所述損失函數(shù)值包括所述去噪模型的去噪損失值和所述超分辨率模型的超分損失值。

4、在一種可能的實(shí)現(xiàn)方式中，所述去噪損失值包括第一損失值和第二損失值，所述第一損失值是根據(jù)最新的圖像處理模型處理模擬圖像得到的樣本去噪圖像和該模擬圖像對(duì)應(yīng)的理想圖像計(jì)算出的，所述第二損失值是根據(jù)最新的圖像處理模型處理所述模擬圖像得到的樣本噪聲圖像和預(yù)設(shè)的正態(tài)分布計(jì)算出的；所述超分損失值是根據(jù)最新的圖像處理模型處理所述模擬圖像得到的樣本超分圖像和該模擬圖像對(duì)應(yīng)的理想圖像計(jì)算出的。

5、在一種可能的實(shí)現(xiàn)方式中，所述方法還包括：獲取各所述樣本分子篩的原子結(jié)構(gòu)信息，所述原子結(jié)構(gòu)信息包括對(duì)應(yīng)樣本分子篩中各原子的原子序數(shù)、原子坐標(biāo)、原子半徑；基于各所述樣本分子篩中各所述原子的原子序數(shù)確定出對(duì)應(yīng)樣本分子篩的對(duì)比度值，以及，基于各所述樣本分子篩中各所述原子的原子坐標(biāo)確定出對(duì)應(yīng)樣本分子篩的相對(duì)位置；基于各所述樣本分子篩中各所述原子的原子半徑以及對(duì)應(yīng)的對(duì)比度值和相對(duì)位置，構(gòu)建出對(duì)應(yīng)樣本分子篩的理想圖像。

6、在一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)超分圖像包括至少一個(gè)孔道區(qū)域；其中，所述方法還包括：對(duì)所述目標(biāo)超分圖像中所有孔道區(qū)域進(jìn)行單分子檢測(cè)，并對(duì)具有單分子結(jié)構(gòu)的所有孔道區(qū)域進(jìn)行標(biāo)注，得到檢測(cè)結(jié)果。

7、在一種可能的實(shí)現(xiàn)方式中，所述方法還包括：在所述待處理圖像的大小超過預(yù)設(shè)值的情況下，將所述待處理圖像劃分為多個(gè)；其中，所述方法還包括：在所述待處理圖像為多個(gè)的情況下，對(duì)每個(gè)所述待處理圖像對(duì)應(yīng)的目標(biāo)超分圖像進(jìn)行平滑處理后，按照對(duì)應(yīng)的待處理圖像的位置信息進(jìn)行拼接后得到最終的目標(biāo)超分圖像。

8、在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述待處理圖像和所述目標(biāo)噪聲圖像，確定出目標(biāo)去噪圖像，包括：利用所述待處理圖像減去所述目標(biāo)噪聲圖像，得到所述目標(biāo)去噪圖像。

9、根據(jù)本公開的另一方面，提供了一種針對(duì)idpc-stem圖像的圖像處理裝置，包括：獲取模塊，用于獲取針對(duì)目標(biāo)分子篩的待處理圖像，所述待處理圖像為積分差分相位對(duì)比掃描透射電子顯微鏡idpc-stem圖像；去噪模塊，用于利用圖像處理模型中的基于變分自編碼器構(gòu)建的去噪模型對(duì)所述待處理圖像進(jìn)行噪聲提取，得到目標(biāo)噪聲圖像，所述目標(biāo)噪聲圖像用于指示所述待處理圖像的噪聲分布情況，其中，所述圖像處理模型還包括基于深度殘差網(wǎng)絡(luò)構(gòu)建的超分辨率模型；處理模塊，用于根據(jù)所述待處理圖像和所述目標(biāo)噪聲圖像，確定出目標(biāo)去噪圖像；超分模塊，用于利用所述超分辨率模型對(duì)所述目標(biāo)去噪圖像進(jìn)行圖像增強(qiáng)，得到目標(biāo)超分圖像，所述目標(biāo)超分圖像為去除噪聲且進(jìn)行圖像增強(qiáng)后的所述目標(biāo)分子篩的idpc-stem圖像。

10、在一種可能的實(shí)現(xiàn)方式中，所述裝置還包括訓(xùn)練模塊，用于：獲取各樣本分子篩的理想圖像和多張模擬圖像，各所述樣本分子篩的理想圖像用于指示對(duì)應(yīng)樣本分子篩的真實(shí)微觀結(jié)構(gòu)，各所述樣本分子篩的多張模擬圖像是在不同的電子劑量下成像得到的idpc-stem圖像；根據(jù)所有樣本分子篩的理想圖像和多張模擬圖像，構(gòu)建出訓(xùn)練樣本集；利用所述訓(xùn)練樣本集訓(xùn)練原始的圖像處理模型，直至計(jì)算出的圖像處理模型的損失函數(shù)值滿足預(yù)設(shè)條件，得到訓(xùn)練后的圖像處理模型，其中，所述損失函數(shù)值包括所述去噪模型的去噪損失值和所述超分辨率模型的超分損失值。

11、在一種可能的實(shí)現(xiàn)方式中，所述去噪損失值包括第一損失值和第二損失值，所述第一損失值是根據(jù)最新的圖像處理模型處理模擬圖像得到的樣本去噪圖像和該模擬圖像對(duì)應(yīng)的理想圖像計(jì)算出的，所述第二損失值是根據(jù)最新的圖像處理模型處理所述模擬圖像得到的樣本噪聲圖像和預(yù)設(shè)的正態(tài)分布計(jì)算出的；所述超分損失值是根據(jù)最新的圖像處理模型處理所述模擬圖像得到的樣本超分圖像和該模擬圖像對(duì)應(yīng)的理想圖像計(jì)算出的。

12、在一種可能的實(shí)現(xiàn)方式中，所述裝置還包括構(gòu)建模塊，用于：獲取各所述樣本分子篩的原子結(jié)構(gòu)信息，所述原子結(jié)構(gòu)信息包括對(duì)應(yīng)樣本分子篩中各原子的原子序數(shù)、原子坐標(biāo)、原子半徑；基于各所述樣本分子篩中各所述原子的原子序數(shù)確定出對(duì)應(yīng)樣本分子篩的對(duì)比度值，以及，基于各所述樣本分子篩中各所述原子的原子坐標(biāo)確定出對(duì)應(yīng)樣本分子篩的相對(duì)位置；基于各所述樣本分子篩中各所述原子的原子半徑以及對(duì)應(yīng)的對(duì)比度值和相對(duì)位置，構(gòu)建出對(duì)應(yīng)樣本分子篩的理想圖像。

13、在一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)超分圖像包括至少一個(gè)孔道區(qū)域；其中，所述裝置還包括檢測(cè)模塊，用于：對(duì)所述目標(biāo)超分圖像中所有孔道區(qū)域進(jìn)行單分子檢測(cè)，并對(duì)具有單分子結(jié)構(gòu)的所有孔道區(qū)域進(jìn)行標(biāo)注，得到檢測(cè)結(jié)果。

14、在一種可能的實(shí)現(xiàn)方式中，所述裝置還包括劃分模塊，用于：在所述待處理圖像的大小超過預(yù)設(shè)值的情況下，將所述待處理圖像劃分為多個(gè)；其中，所述裝置還包括拼接模塊，用于：在所述待處理圖像為多個(gè)的情況下，對(duì)每個(gè)所述待處理圖像對(duì)應(yīng)的目標(biāo)超分圖像進(jìn)行平滑處理后，按照對(duì)應(yīng)的待處理圖像的位置信息進(jìn)行拼接后得到最終的目標(biāo)超分圖像。

15、在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述待處理圖像和所述目標(biāo)噪聲圖像，確定出目標(biāo)去噪圖像，包括：利用所述待處理圖像減去所述目標(biāo)噪聲圖像，得到所述目標(biāo)去噪圖像。

16、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為在執(zhí)行所述存儲(chǔ)器存儲(chǔ)的指令時(shí)，實(shí)現(xiàn)上述方法。

17、根據(jù)本公開的另一方面，提供了一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其中，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法。

18、根據(jù)本公開的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀代碼，或者承載有計(jì)算機(jī)可讀代碼的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述計(jì)算機(jī)可讀代碼在電子設(shè)備的處理器中運(yùn)行時(shí)，所述電子設(shè)備中的處理器執(zhí)行上述方法。

19、根據(jù)下面參考附圖對(duì)示例性實(shí)施例的詳細(xì)說明，本公開的其它特征及方面將變得清楚。