本技術(shù)涉及終端，尤其涉及圖像處理方法以及相關(guān)裝置。

背景技術(shù)：

1、日常生活中，人們經(jīng)常會使用電子設(shè)備來拍攝多個對象，例如多人進(jìn)行合影的情形。通常情況下，對于合影人數(shù)較多的場景，選擇后置主攝或者超廣模式來進(jìn)行拍攝，保證所有人都在取景框內(nèi)。

2、然而，目前合影圖像中的人物的清晰度有待進(jìn)一步提升。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供一種圖像處理方法以及相關(guān)裝置，應(yīng)用于終端技術(shù)領(lǐng)域。本技術(shù)實施例通過比第二圖像的清晰度更高且視場角更低的多張第一圖像，對第二圖像中的目標(biāo)圖像進(jìn)行增強(qiáng)，解決了相關(guān)技術(shù)中的合影圖像中的對象清晰度不佳的技術(shù)問題，實現(xiàn)了提高合影圖像中的對象清晰度的技術(shù)效果。

2、第一方面，本技術(shù)實施例提出一種圖像處理方法，應(yīng)用于電子設(shè)備，方法包括：

3、顯示第一界面，第一界面包括第一預(yù)覽圖像和第一按鈕；響應(yīng)于針對第一按鈕的第一操作，顯示提示信息和第二按鈕，提示信息用于提示采集多個目標(biāo)對象的圖像；在目標(biāo)時間段內(nèi)，采用第一模式拍攝得到多張第一圖像，并分別顯示多張第一圖像；響應(yīng)于針對第二按鈕的第二操作，采用第二模式拍攝得到第二圖像，其中，目標(biāo)時間段內(nèi)第二按鈕持續(xù)顯示，目標(biāo)時間段包括從接收到第一操作到接收到第二操作之間的時間段，采用第一模式拍攝得到的圖像的清晰度，高于采用第二模式拍攝得到的圖像的清晰度，且采用第一模式拍攝得到的圖像的視場角，低于采用第二模式拍攝得到的圖像的視場角；采用拼接圖像對第二圖像中的目標(biāo)對象進(jìn)行增強(qiáng)，得到目標(biāo)圖像，拼接圖像包括對多張第一圖像拼接處理得到的圖像。

4、其中，第一界面可以是指進(jìn)行合影的界面?？蛇x的，第一界面可以是進(jìn)入合影模式的界面。第一按鈕可以是觸發(fā)電子設(shè)備以第一模式拍攝圖像的按鈕。

5、示例性的，第一界面可以是如圖5a或圖5b所示的界面，第一按鈕可以是如圖5a或圖5b的快門按鈕。

6、其中，第二按鈕可以是指觸發(fā)第一圖像拍攝結(jié)束的按鈕。

7、其中，目標(biāo)時間段內(nèi)可以是指拍攝第一圖像的時間段。需要說明的是，目標(biāo)時間段內(nèi)拍攝的第一圖像，僅代表第一圖像是在接收到第一按鈕的用戶操作以及接收到第二按鈕的用戶操作此時間段內(nèi)，拍攝的第一圖像，而并不代表電子設(shè)備實際在進(jìn)行計時。

8、示例性的，本實施例的多張第一圖像，可以是如6a-圖6b所示的預(yù)覽窗201顯示的圖像，或者是如圖6c-圖6d所示的預(yù)覽窗201顯示的圖像。

9、可選的，各第一圖像可以包括全部對象中的部分目標(biāo)對象，第二圖像可以包括全部目標(biāo)對象，目標(biāo)圖像包括全部目標(biāo)對象，且目標(biāo)圖像中各目標(biāo)對象的清晰度高于第二圖像中的目標(biāo)對象的清晰度。

10、在本技術(shù)實施例中，通過比第二圖像的清晰度更高且視場角更低的多張第一圖像，對第二圖像中的目標(biāo)圖像進(jìn)行增強(qiáng)，解決了相關(guān)技術(shù)中的合影圖像中的對象清晰度不佳的技術(shù)問題，實現(xiàn)了提高合影圖像中的對象清晰度的技術(shù)效果。

11、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，提示信息包括用于提示保持電子設(shè)備的姿態(tài)不變的信息，多張第一圖像是電子設(shè)備通過可移動的攝像頭拍攝得到的；

12、或者，提示信息包括用于引導(dǎo)移動軌跡的信息，多張第一圖像是移動電子設(shè)備拍攝得到的。

13、在本實施例中，具體的提示信息可以是與電子設(shè)備拍攝第一圖像的方式有關(guān)。示例性的，電子設(shè)備控制攝像頭移動，并在攝像頭移動的過程中拍攝第一圖像的提示信息，與用戶移動電子設(shè)備移動的過程中拍攝第一圖像的提示信息可以不同。

14、示例性的，第二按鈕可以是如圖6a-圖6e所示的“完成按鈕”，提示信息可以是如圖6a-圖6b所示的第一提示信息，或者是如圖6c-圖6d所示的第二提示信息，在此不作限制。

15、可以理解的是，通過提示信息提示保持電子設(shè)備的姿態(tài)不變的信息，以及通過電子設(shè)備控制攝像頭移動的過程中拍攝得到多張第一圖像是，則用戶可以不需要移動電子設(shè)備，可以減少用戶的操作步驟，提高電子設(shè)備拍攝的智能化程度以及便利性。

16、此外，通過提示信息引導(dǎo)電子設(shè)備的移動軌跡，并且通過用戶移動電子設(shè)備來拍攝得到多張第一圖像，這樣，可以不需要在電子設(shè)備中設(shè)置控制攝像頭移動的器件，這樣，可以簡化電子設(shè)備的結(jié)構(gòu)。

17、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，圖像處理方法還包括：

18、顯示第二界面，第二界面包括第二預(yù)覽圖像、第三按鈕和第四按鈕，第三按鈕為未選中狀態(tài)，第四按鈕為選中狀態(tài)，第二預(yù)覽圖像為在第四按鈕的模式下拍攝得到的預(yù)覽圖像；

19、顯示第一界面，包括：

20、響應(yīng)于針對第三按鈕的第三操作，顯示第一界面，第一界面中，第三按鈕為選中狀態(tài)，第四按鈕為未選中狀態(tài)。

21、其中，第二界面可以是指相機(jī)應(yīng)用打開時顯示的界面。第三按鈕可以是指觸發(fā)顯示第一界面的按鈕。

22、示例性的，第二界面可以是如圖4a所示的界面，第三按鈕可以是如圖4a所示的合影模式選項2021，第四按鈕可以是如圖4a所示的拍照模式選項。

23、在本技術(shù)實施例中，在第二界面可以直接顯示第三按鈕，從而在檢測到針對第三按鈕的第三操作時進(jìn)入第一界面，進(jìn)而可以在第一界面拍攝多張第一圖像，這樣，可以提高拍攝多張第一圖像的效率，進(jìn)而提升圖像增強(qiáng)的效率。

24、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，圖像處理方法還包括：

25、顯示第三界面，第三界面包括第二預(yù)覽圖像、第四按鈕和第五按鈕，第四按鈕為選中狀態(tài)，第二預(yù)覽圖像為在第四按鈕的模式下拍攝得到的預(yù)覽圖像，第五按鈕為未選中狀態(tài)；

26、響應(yīng)于針對第五按鈕的第四操作，顯示第四界面，第四界面包括第三按鈕，第三按鈕為未選中狀態(tài)；

27、顯示第一界面，包括：

28、響應(yīng)于針對第三按鈕的第三操作，顯示第一界面，第一界面中，第三按鈕為選中狀態(tài)，第四按鈕為未選中狀態(tài)。

29、其中，第三界面可以是指相機(jī)應(yīng)用打開時顯示的界面，第五按鈕可以是指觸發(fā)顯示第四界面的按鈕。

30、示例性的，第三界面可以是如圖4b所示的界面，則第四按鈕可以是如圖4b所示的拍攝模式選項，第五按鈕可以是更多按鈕。第四界面可以如圖4c所示，則第三按鈕可以是指圖4c所示的合影模式選項2021。

31、示例性的，第二界面或者第三界面的顯示，可以是電子設(shè)備檢測到作用于圖3所示的相機(jī)應(yīng)用圖標(biāo)101時，電子設(shè)備的顯示屏所顯示的界面。

32、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，采用拼接圖像對第二圖像中的目標(biāo)對象進(jìn)行增強(qiáng)，得到目標(biāo)圖像，包括：

33、將第二圖像進(jìn)行分割，得到對象區(qū)域掩膜；基于對象區(qū)域掩膜校正拼接圖像，得到參考圖像，參考圖像中的對象區(qū)域的尺寸與對象區(qū)域掩膜的尺寸相匹配；基于參考圖像和對象區(qū)域掩膜對第二圖像進(jìn)行超分，得到目標(biāo)圖像。

34、其中，對象區(qū)域可以是指需要進(jìn)行圖像增強(qiáng)的區(qū)域，例如，第二圖像為人物合影圖像，則對象區(qū)域可以是人像區(qū)域，又例如，第二圖像為拍攝多個植物的圖像，則對象區(qū)域可以是植物。參考圖像中的對象區(qū)域的尺寸與對象區(qū)域掩膜的尺寸相匹配，可以是指參考圖像中的對象區(qū)域的尺寸與對象區(qū)域掩膜的尺寸一致。

35、其中，目標(biāo)圖像可以理解為清晰度更高的第二圖像。具體的，目標(biāo)圖像中的對象的清晰度高于第二圖像中的對象的清晰度。

36、在本技術(shù)實施例中，將第二圖像進(jìn)行分割，得到對象區(qū)域掩膜；基于對象區(qū)域掩膜校正拼接圖像，得到參考圖像，參考圖像中的對象區(qū)域的尺寸與對象區(qū)域掩膜的尺寸相匹配；基于參考圖像和對象區(qū)域掩膜對第二圖像進(jìn)行超分，得到目標(biāo)圖像，也就是說，先校正了拼接圖像得到參考圖像，再基于參考圖像進(jìn)行超分，這樣，參考圖像相較于拼接圖像也與第二圖像中的對象區(qū)域更匹配，這樣，基于參考圖像進(jìn)行超分相較于拼接圖像進(jìn)行超分的準(zhǔn)確率和效率也可以更高。

37、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，基于參考圖像和對象區(qū)域掩膜對第二圖像進(jìn)行超分，得到目標(biāo)圖像，包括：

38、分別對參考圖像和第二圖像進(jìn)行特征提取，得到參考圖像的參考圖像特征和第二圖像的第二圖像特征；基于對象區(qū)域掩膜將參考圖像特征和第二圖像特征進(jìn)行特征對齊，得到像素級偏移地圖，像素級偏移地圖指示第二圖像中的各像素在參考圖像中的偏移信息；對參考圖像進(jìn)行編碼(encoder)，得到參考特征圖；基于像素級偏移地圖對參考特征圖進(jìn)行可變形卷積操作或者基于注意力的卷積操作，得到待遷移的紋理特征；將待遷移的紋理特征遷移至第二圖像，得到目標(biāo)圖像。

39、其中，紋理特征可以是指存在于圖像中個某一范圍內(nèi)的有規(guī)律地排列的圖案，紋理是圖像處理的重要特征之一。

40、在本技術(shù)實施例中，基于像素級偏移map可以確定第二圖像的各像素在參考圖像中的偏移方向和偏移量等，這樣，對編碼后特征圖的可變性卷積操作或者基于注意力的卷積操作考慮到了參考圖像與第二圖像的像素偏移情況，這樣，得到的遷移紋理特征與對象區(qū)域的相關(guān)性也越高，則遷移至第二圖像后得到的目標(biāo)圖像的增強(qiáng)區(qū)域也更準(zhǔn)確。

41、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，方法還包括：

42、將第二圖像進(jìn)行單幀超分，得到單幀超分后的第二圖像；

43、將待遷移的紋理特征遷移至第二圖像，得到目標(biāo)圖像，包括：

44、將待遷移的紋理特征遷移至單幀超分后的第二圖像，得到目標(biāo)圖像。

45、其中，進(jìn)行單幀超分可以是對整張第二圖像進(jìn)行超分，例如包括但不限于對對象區(qū)域的超分以及非對象區(qū)域的超分。以合影人像為例，則可以對人像區(qū)域和背景區(qū)域進(jìn)行超分。

46、在本技術(shù)實施例中，將第二圖像進(jìn)行單幀超分，得到單幀超分后的第二圖像，然后將待遷移的紋理特征遷移至單幀超分后的第二圖像，得到目標(biāo)圖像，也即進(jìn)行了至少兩級圖像超分，這樣，可以進(jìn)一步提高對象區(qū)域的超分效果，也即提高對象區(qū)域的清晰度。此外，還可以對非對象區(qū)域進(jìn)行超分，這樣，還提高了圖像整體的清晰度。

47、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，目標(biāo)圖像是通過預(yù)訓(xùn)練好的超分模型基于參考圖像、對象區(qū)域掩膜和第二圖像進(jìn)行超分得到的，預(yù)訓(xùn)練好的超分模型包括特征提取網(wǎng)絡(luò)、特征對齊網(wǎng)絡(luò)、編碼器、卷積網(wǎng)絡(luò)和紋理遷移網(wǎng)絡(luò)；特征提取網(wǎng)絡(luò)用于分別對參考圖像和第二圖像進(jìn)行特征提取，得到參考圖像的參考圖像特征和第二圖像的第二圖像特征；特征對齊網(wǎng)絡(luò)用于基于對象區(qū)域掩膜將參考圖像特征和第二圖像特征進(jìn)行特征對齊，得到像素級偏移地圖；編碼器用于對參考圖像進(jìn)行編碼，得到參考特征圖；卷積網(wǎng)絡(luò)用于基于像素級偏移地圖對參考特征圖進(jìn)行可變形卷積操作或者基于注意力的卷積操作，得到待遷移的紋理特征；紋理遷移網(wǎng)絡(luò)用于將待遷移的紋理特征遷移至第二圖像，得到目標(biāo)圖像。

48、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，目標(biāo)圖像是通過將待遷移的紋理特征遷移至單幀超分后的第二圖像得到的，預(yù)訓(xùn)練好的超分模型還包括單幀超分網(wǎng)絡(luò)；

49、單幀超分網(wǎng)絡(luò)用于將第二圖像進(jìn)行單幀超分，得到單幀超分后的第二圖像；

50、紋理遷移網(wǎng)絡(luò)用于將待遷移的紋理特征遷移至單幀超分后的第二圖像，得到目標(biāo)圖像。

51、結(jié)合第一方面，在一種可能的實現(xiàn)方式中，基于對象區(qū)域掩膜校正拼接圖像，得到參考圖像，包括：

52、將拼接圖像與對象區(qū)域掩膜進(jìn)行拼接，并對拼接了對象區(qū)域掩膜的拼接圖像進(jìn)行特征提取，得到拼接特征圖；基于拼接特征圖進(jìn)行n次校正處理，得到參考圖像，其中，n為不小于2的整數(shù)；

53、每一次校正處理，包括：

54、對輸入進(jìn)行網(wǎng)絡(luò)回歸，以及網(wǎng)格運動和彎曲處理，得到輸出；

55、其中，第1次校正處理的輸入為拼接了對象區(qū)域掩膜的拼接圖像，第m次校正處理的輸入為第m-1次校正處理得到的輸出，第n次校正處理得到的輸出作為參考圖像，1＜m≤n，且m為整數(shù)。

56、在本技術(shù)實施例中，經(jīng)過n次校正處理，也就是說，進(jìn)行了多級校正處理，則可以依次進(jìn)行粗略的校正處理以及精細(xì)化的校正處理，這樣，可以提高校正處理的效果，進(jìn)而可以提高圖像增強(qiáng)的效果。

57、第二方面，本技術(shù)實施例還提出一種圖像處理方法，包括：

58、獲取第二圖像和多張第一圖像，多張第一圖像是采用第一模式拍攝得到的，第二圖像是采用第二模式拍攝得到的，其中，采用第一模式拍攝得到的圖像的清晰度，高于采用第二模式拍攝得到的圖像的清晰度，且采用第一模式拍攝得到的圖像的視場角，低于采用第二模式拍攝得到的圖像的視場角；對多張第一圖像拼接處理，得到拼接圖像；采用拼接圖像對第二圖像中的目標(biāo)對象進(jìn)行增強(qiáng)，得到目標(biāo)圖像。

59、在本技術(shù)實施例中，還可以是通過服務(wù)器執(zhí)行圖像處理方法。示例性的，可以是電子設(shè)備拍攝到第一圖像和第二圖像后，向服務(wù)器發(fā)送，則服務(wù)器基于第一圖像和第二圖像返回目標(biāo)圖像，電子設(shè)備則存儲目標(biāo)圖像。

60、第三方面，本技術(shù)實施例還提出一種超分模型的訓(xùn)練方法，方法包括：

61、獲取待訓(xùn)練的超分模型和訓(xùn)練樣本，待訓(xùn)練的超分模型包括特征提取網(wǎng)絡(luò)、特征對齊網(wǎng)絡(luò)、編碼器、卷積網(wǎng)絡(luò)和解碼器，特征提取網(wǎng)絡(luò)用于分別對參考圖像和第二圖像進(jìn)行特征提取，得到參考圖像的參考圖像特征和第二圖像的第二圖像特征，特征對齊網(wǎng)絡(luò)用于基于對象區(qū)域掩膜將參考圖像特征和第二圖像特征進(jìn)行特征對齊，得到像素級偏移地圖，像素級偏移地圖指示第二圖像中的各像素在參考圖像中的偏移信息，對象區(qū)域掩膜是將第二圖像進(jìn)行分割得到的，編碼器用于對參考圖像進(jìn)行編碼，得到參考特征圖，卷積網(wǎng)絡(luò)用于基于像素級偏移地圖對參考特征圖進(jìn)行可變形卷積操作或者基于注意力的卷積操作，得到待遷移的紋理特征，解碼器用于對紋理特征進(jìn)行解碼(decoder)，得到紋理信息，紋理信息用于對待訓(xùn)練的超分模型的訓(xùn)練過程進(jìn)行監(jiān)督；基于訓(xùn)練樣本對待訓(xùn)練的超分模型訓(xùn)練，直至待訓(xùn)練的超分模型訓(xùn)練結(jié)束，得到預(yù)訓(xùn)練好的超分模型。

62、在本技術(shù)實施例中，訓(xùn)練得到超分模型后，可以基于訓(xùn)練好的超分模型進(jìn)行圖像增強(qiáng)處理，這樣，可以提高圖像中的對象的清晰度。

63、第四方面，本技術(shù)實施例提供一種圖像處理裝置，該圖像處理裝置可以是電子設(shè)備，也可以是電子設(shè)備內(nèi)的芯片或者芯片系統(tǒng)。該圖像處理裝置可以包括顯示單元和處理單元。當(dāng)該圖像處理裝置是電子設(shè)備時，該處顯示單元可以是顯示屏。該顯示單元用于執(zhí)行顯示的步驟，以使該電子設(shè)備實現(xiàn)第一方面或第一方面的任意一種可能的實現(xiàn)方式中描述的一種圖像處理方法。當(dāng)該圖像處理裝置是電子設(shè)備時，該處理單元可以是處理器。該圖像處理裝置還可以包括存儲單元，該存儲單元可以是存儲器。該存儲單元用于存儲指令，該處理單元執(zhí)行該存儲單元所存儲的指令，以使該電子設(shè)備實現(xiàn)第一方面或第一方面的任意一種可能的實現(xiàn)方式中描述的一種圖像處理方法。當(dāng)該圖像處理裝置是電子設(shè)備內(nèi)的芯片或者芯片系統(tǒng)時，該處理單元可以是處理器。該處理單元執(zhí)行存儲單元所存儲的指令，以使該電子設(shè)備實現(xiàn)第一方面或第一方面的任意一種可能的實現(xiàn)方式中描述的一種圖像處理方法。該存儲單元可以是該芯片內(nèi)的存儲單元(例如，寄存器、緩存等)，也可以是該電子設(shè)備內(nèi)的位于該芯片外部的存儲單元(例如，只讀存儲器、隨機(jī)存取存儲器等)。

64、第五方面，本技術(shù)實施例提供一種電子設(shè)備，包括處理器和存儲器，存儲器用于存儲代碼指令，處理器用于運行代碼指令，以執(zhí)行第一方面、第二方面、第三方面、第一方面的任意一種可能的實現(xiàn)方式、第二方面的任意一種可能的實現(xiàn)方式中或第三方面的任意一種可能的實現(xiàn)方式中描述的方法。

65、第六方面，本技術(shù)實施例提供一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)程序或指令，當(dāng)計算機(jī)程序或指令在計算機(jī)上運行時，使得計算機(jī)執(zhí)行第一方面、第二方面、第三方面、第一方面的任意一種可能的實現(xiàn)方式、第二方面的任意一種可能的實現(xiàn)方式中或第三方面的任意一種可能的實現(xiàn)方式中描述的方法。

66、第七方面，本技術(shù)實施例提供一種包括計算機(jī)程序的計算機(jī)程序產(chǎn)品，當(dāng)計算機(jī)程序在計算機(jī)上運行時，使得計算機(jī)執(zhí)行第一方面、第二方面、第三方面、第一方面的任意一種可能的實現(xiàn)方式、第二方面的任意一種可能的實現(xiàn)方式中或第三方面的任意一種可能的實現(xiàn)方式中描述的方法。

67、第八方面，本技術(shù)提供一種芯片或者芯片系統(tǒng)，該芯片或者芯片系統(tǒng)包括至少一個處理器和通信接口，通信接口和至少一個處理器通過線路互聯(lián)，至少一個處理器用于運行計算機(jī)程序或指令，以執(zhí)行第一方面、第二方面、第三方面、第一方面的任意一種可能的實現(xiàn)方式、第二方面的任意一種可能的實現(xiàn)方式中或第三方面的任意一種可能的實現(xiàn)方式中描述的方法。其中，芯片中的通信接口可以為輸入/輸出接口、管腳或電路等。

68、在一種可能的實現(xiàn)中，本技術(shù)中上述描述的芯片或者芯片系統(tǒng)還包括至少一個存儲器，該至少一個存儲器中存儲有指令。該存儲器可以為芯片內(nèi)部的存儲單元，例如，寄存器、緩存等，也可以是該芯片的存儲單元(例如，只讀存儲器、隨機(jī)存取存儲器等)。

69、應(yīng)當(dāng)理解的是，本技術(shù)的第二方面至第六方面與本技術(shù)的第一方面的技術(shù)方案相對應(yīng)，各方面及對應(yīng)的可行實施方式所取得的有益效果相似，不再贅述。