1.本技術(shù)涉及曝光成像領(lǐng)域，尤其涉及一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。


背景技術(shù)：

2.數(shù)碼成像的傳感器在進(jìn)行拍攝時(shí)，會(huì)交織輸出多種曝光幀。相關(guān)技術(shù)中，將交織輸出的多個(gè)曝光幀分開，并將分開后的每個(gè)曝光幀分別通過不同的通路輸入對應(yīng)的處理器進(jìn)行圖像信號處理。導(dǎo)致通路占用過多，資源消耗較大。


技術(shù)實(shí)現(xiàn)要素：

3.本技術(shù)的目的旨在至少在一定程度上解決上述技術(shù)中的技術(shù)問題之一。
4.本技術(shù)第一方面提供了一種圖像處理方法，包括：獲取行交織信號，并根據(jù)所述行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀；將所述不同曝光幀的全部所述單行幀進(jìn)行組合，生成待處理組合幀；對所述待處理組合幀進(jìn)行圖像處理，生成所述每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
5.本技術(shù)第一方面提供的一種圖像處理方法，還具備如下技術(shù)特征，包括：
6.根據(jù)本技術(shù)一實(shí)施例，所述生成不同曝光幀各自的單行幀，包括：按序逐行獲取所述行交織信號中的每個(gè)單行信號，從所述每個(gè)單行信號的屬性信息中，確定所述每個(gè)單行信號的所屬曝光類型；根據(jù)所述曝光類型，生成所述每個(gè)單行信號對應(yīng)的所述單行幀。
7.根據(jù)本技術(shù)一實(shí)施例，所述將所述不同曝光幀的全部所述單行幀進(jìn)行組合，生成待處理組合幀，包括：對每個(gè)單行幀進(jìn)行擴(kuò)邊；將屬于同組的擴(kuò)邊后的所述每個(gè)單行幀進(jìn)行拼接，生成單行組合幀；將全部的單行組合幀進(jìn)行組合，生成待處理組合幀。
8.根據(jù)本技術(shù)一實(shí)施例，所述對每個(gè)單行幀進(jìn)行擴(kuò)邊，包括：基于圖像處理器中的濾波窗的處理距離，確定所述每個(gè)單行幀的縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域；根據(jù)所述縱向擴(kuò)邊區(qū)域和所述橫向擴(kuò)邊區(qū)域，生成所述每個(gè)單行幀的所述擴(kuò)邊區(qū)域。
9.根據(jù)本技術(shù)一實(shí)施例，所述基于濾波窗的處理距離，確定所述每個(gè)單行幀的縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域，包括：基于所述處理距離與所述每個(gè)單行幀的高度，確定所述每個(gè)單行幀的縱向擴(kuò)邊區(qū)域，其中，所述縱向擴(kuò)邊區(qū)域與所屬的單行幀相鄰，且所述屬于同組的每個(gè)單行幀的縱向擴(kuò)邊區(qū)域相鄰且不重疊；基于所述處理距離與所述每個(gè)單行幀的寬度，確定所述每個(gè)單行幀的橫向擴(kuò)邊區(qū)域，其中，所述橫向擴(kuò)邊區(qū)域與所屬的所述單行幀相鄰；將所述縱向擴(kuò)邊區(qū)域和所述橫向擴(kuò)邊區(qū)域沿所屬的所述單行幀進(jìn)行組合，生成所述每個(gè)單行幀的所述擴(kuò)邊區(qū)域。
10.根據(jù)本技術(shù)一實(shí)施例，確定所述單行幀為屬于同組的單行幀，包括：獲取所述單行幀的坐標(biāo)信息；將所述坐標(biāo)信息中縱坐標(biāo)相同的所述單行幀，確定為所述屬于同組的單行幀，其中，所述屬于同組的單行幀包括至少一個(gè)單行幀。
11.根據(jù)本技術(shù)一實(shí)施例，所述將屬于同組的擴(kuò)邊后的所述每個(gè)單行幀進(jìn)行拼接時(shí)存
在空白區(qū)域，其中，所述空白區(qū)域的識別，包括：確定所述屬于同組的單行幀數(shù)量的門限值，其中，所述門限值基于所述不同曝光幀的數(shù)量確定；響應(yīng)于所述同組的擴(kuò)邊后的所述單行幀的數(shù)量小于所述門限值，則將所述同組的單行幀的所屬成像覆蓋區(qū)域中，所述單行幀和對應(yīng)的擴(kuò)邊區(qū)域未占用的區(qū)域，確定為所述空白區(qū)域。
12.根據(jù)本技術(shù)一實(shí)施例，所述將屬于同組的擴(kuò)邊后的所述每個(gè)單行幀進(jìn)行拼接，生成單行組合幀，包括：獲取所述擴(kuò)邊區(qū)域的第一數(shù)據(jù)，并使用所述第一數(shù)據(jù)對所述擴(kuò)邊區(qū)域進(jìn)行填充，其中，所述第一數(shù)據(jù)為所述擴(kuò)邊區(qū)域所屬的所述單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種；獲取所述空白區(qū)域的第二數(shù)據(jù)，并使用所述第二數(shù)據(jù)對所述空白區(qū)域進(jìn)行填充，其中，所述第二數(shù)據(jù)為空白字符；將所述屬于同組的每個(gè)單行幀，和所述屬于同組的每個(gè)單行幀對應(yīng)的填充后的所述空白區(qū)域以及所述擴(kuò)邊區(qū)域按序拼接，生成所述單行組合幀。
13.根據(jù)本技術(shù)一實(shí)施例，所述將全部的單行組合幀進(jìn)行組合，生成待處理組合幀，包括：根據(jù)每個(gè)單行組合幀生成時(shí)序，將所述每個(gè)單行組合幀進(jìn)行拼接，并基于拼接后的全部單行組合幀，生成所述待處理組合幀。
14.根據(jù)本技術(shù)一實(shí)施例，所述對所述待處理組合幀進(jìn)行圖像處理，生成所述每個(gè)曝光幀對應(yīng)的目標(biāo)幀，包括：將所述待處理組合幀中所述每個(gè)曝光幀的首行幀首位像素點(diǎn)的位置，確定為所述每個(gè)曝光幀的起始位置；從所述每個(gè)曝光幀的所述起始位置開始，使用所述起始位置對應(yīng)的曝光幀的匹配參數(shù)進(jìn)行圖像處理，并在下一個(gè)曝光幀的所述起始位置，將所述匹配參數(shù)變更為所述下一個(gè)曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對所述下一個(gè)曝光幀進(jìn)行圖像處理，直至所述每個(gè)曝光幀處理完畢，生成所述每個(gè)曝光幀對應(yīng)的所述目標(biāo)幀。
15.本技術(shù)第二方面提供了一種圖像處理裝置，包括：提取生成模塊，用于獲取行交織信號，并根據(jù)所述行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀；組合模塊，用于將所述不同曝光幀的全部所述單行幀進(jìn)行組合，生成待處理組合幀；成像模塊，用于對所述待處理組合幀進(jìn)行圖像處理，生成所述每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
16.本技術(shù)第二方面提供的一種圖像處理裝置，還具備如下技術(shù)特征，包括：
17.根據(jù)本技術(shù)一實(shí)施例，所述提取生成模塊，還用于：按序逐行獲取所述行交織信號中的每個(gè)單行信號，從所述每個(gè)單行信號的屬性信息中，確定所述每個(gè)單行信號的所屬曝光類型；根據(jù)所述曝光類型，生成所述每個(gè)單行信號對應(yīng)的所述單行幀。
18.根據(jù)本技術(shù)一實(shí)施例，所述組合模塊，還用于：對每個(gè)單行幀進(jìn)行擴(kuò)邊；將屬于同組的擴(kuò)邊后的所述每個(gè)單行幀進(jìn)行拼接，生成單行組合幀；將全部的單行組合幀進(jìn)行組合，生成待處理組合幀。
19.根據(jù)本技術(shù)一實(shí)施例，所述組合模塊，還用于：基于圖像處理器中的濾波窗的處理距離，確定所述每個(gè)單行幀的縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域；根據(jù)所述縱向擴(kuò)邊區(qū)域和所述橫向擴(kuò)邊區(qū)域，生成所述每個(gè)單行幀的所述擴(kuò)邊區(qū)域。
20.根據(jù)本技術(shù)一實(shí)施例，所述組合模塊，還用于：基于所述處理距離與所述每個(gè)單行幀的高度，確定所述每個(gè)單行幀的縱向擴(kuò)邊區(qū)域，其中，所述縱向擴(kuò)邊區(qū)域與所屬的單行幀相鄰，且所述屬于同組的每個(gè)單行幀的縱向擴(kuò)邊區(qū)域相鄰且不重疊；基于所述處理距離與所述每個(gè)單行幀的寬度，確定所述每個(gè)單行幀的橫向擴(kuò)邊區(qū)域，其中，所述橫向擴(kuò)邊區(qū)域與
所屬的所述單行幀相鄰；將所述縱向擴(kuò)邊區(qū)域和所述橫向擴(kuò)邊區(qū)域沿所屬的所述單行幀進(jìn)行組合，生成所述每個(gè)單行幀的所述擴(kuò)邊區(qū)域。
21.根據(jù)本技術(shù)一實(shí)施例，確定組合模塊，還用于：獲取所述單行幀的坐標(biāo)信息；將所述坐標(biāo)信息中縱坐標(biāo)相同的所述單行幀，確定為所述屬于同組的單行幀，其中，所述屬于同組的單行幀包括至少一個(gè)單行幀。
22.根據(jù)本技術(shù)一實(shí)施例，所述組合模塊，還用于：確定所述屬于同組的單行幀數(shù)量的門限值，其中，所述門限值基于所述不同曝光幀的數(shù)量確定；響應(yīng)于所述同組的擴(kuò)邊后的所述單行幀的數(shù)量小于所述門限值，則將所述同組的單行幀的所屬成像覆蓋區(qū)域中，所述單行幀和對應(yīng)的擴(kuò)邊區(qū)域未占用的區(qū)域，確定為所述空白區(qū)域。
23.根據(jù)本技術(shù)一實(shí)施例，所述組合模塊，還用于：獲取所述擴(kuò)邊區(qū)域的第一數(shù)據(jù)，并使用所述第一數(shù)據(jù)對所述擴(kuò)邊區(qū)域進(jìn)行填充，其中，所述第一數(shù)據(jù)為所述擴(kuò)邊區(qū)域所屬的所述單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種；獲取所述空白區(qū)域的第二數(shù)據(jù)，并使用所述第二數(shù)據(jù)對所述空白區(qū)域進(jìn)行填充，其中，所述第二數(shù)據(jù)為空白字符；將所述屬于同組的每個(gè)單行幀，和所述屬于同組的每個(gè)單行幀對應(yīng)的填充后的所述空白區(qū)域以及所述擴(kuò)邊區(qū)域按序拼接，生成所述單行組合幀。
24.根據(jù)本技術(shù)一實(shí)施例，所述組合模塊，還用于：根據(jù)每個(gè)單行組合幀生成時(shí)序，將所述每個(gè)單行組合幀進(jìn)行拼接，并基于拼接后的全部單行組合幀，生成所述待處理組合幀。
25.根據(jù)本技術(shù)一實(shí)施例，所述成像模塊，還用于：將所述待處理組合幀中所述每個(gè)曝光幀的首行幀首位像素點(diǎn)的位置，確定為所述每個(gè)曝光幀的起始位置；從所述每個(gè)曝光幀的所述起始位置開始，使用所述起始位置對應(yīng)的曝光幀的匹配參數(shù)進(jìn)行圖像處理，并在下一個(gè)曝光幀的所述起始位置，將所述匹配參數(shù)變更為所述下一個(gè)曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對所述下一個(gè)曝光幀進(jìn)行圖像處理，直至所述每個(gè)曝光幀處理完畢，生成所述每個(gè)曝光幀對應(yīng)的所述目標(biāo)幀。
26.本技術(shù)第三方面實(shí)施例提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本技術(shù)第一方面提供的圖像處理方法。
27.本技術(shù)第四方面實(shí)施例提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行本技術(shù)第一方面提供的圖像處理方法。
28.本技術(shù)第五方面實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令處理器執(zhí)行時(shí)，執(zhí)行本技術(shù)第一方面提供的圖像處理方法。
29.本技術(shù)提供的圖像處理方法及裝置，逐行根據(jù)行交織信號中的行信號，生成不同曝光幀的單行幀，并對不同曝光幀的單行幀進(jìn)行組合，從而獲取對應(yīng)的待處理組合幀。對待處理組合幀進(jìn)行圖像處理，從而生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。本技術(shù)中，基于時(shí)分復(fù)用技術(shù)實(shí)現(xiàn)了行交織信號的生成和提取，通過對不同曝光幀的組合處理，使得圖像處理器可以同時(shí)處理多個(gè)曝光幀，有效減少了圖像處理器的通路占用，節(jié)約了對曝光幀進(jìn)行圖像處理的資源消耗。
30.本技術(shù)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。
附圖說明
31.本技術(shù)上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得明顯和容易理解，其中：
32.圖1為本技術(shù)一實(shí)施例的圖像處理方法的流程示意圖；
33.圖2為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖；
34.圖3為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖；
35.圖4為本技術(shù)一實(shí)施例的待處理組合幀的結(jié)構(gòu)示意圖；
36.圖5為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖；
37.圖6為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖；
38.圖7為本技術(shù)一實(shí)施例的圖像處理裝置的結(jié)構(gòu)示意圖；
39.圖8為本技術(shù)另一實(shí)施例的圖像處理裝置的結(jié)構(gòu)示意圖；
40.圖9是本技術(shù)一實(shí)施例的電子設(shè)備的框圖。
具體實(shí)施方式
41.下面詳細(xì)描述本技術(shù)的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本技術(shù)，而不能理解為對本技術(shù)的限制。
42.下面參考附圖描述本技術(shù)實(shí)施例的圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
43.圖1為本技術(shù)一實(shí)施例的圖像處理方法的流程示意圖，如圖1所示，該方法包括：
44.s101，獲取行交織信號，并根據(jù)行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀。
45.實(shí)現(xiàn)中，數(shù)碼成像傳感器(sensor)可以通過行交織信號的方式輸出多種曝光類型的曝光幀的成像信號，其中，可以根據(jù)曝光幀的曝光時(shí)間確定對應(yīng)的曝光類型。比如長曝光類型、短曝光類型、超短曝光類型等等。
46.可選地，基于sensor對拍攝對象的不同曝光時(shí)間的拍攝，從而生成不同曝光類型的曝光幀的成像信號。并基于時(shí)分復(fù)用技術(shù)(time-division multiplexing,tdm)將不同的曝光類型的曝光幀信號相互交織在不同的時(shí)間段內(nèi)，并沿同一個(gè)信道傳輸，從而生成對應(yīng)的行交織信號。
47.進(jìn)一步地，在行交織信號傳輸?shù)男诺赖妮敵龆丝?，再基于tdm對行交織信號中每個(gè)時(shí)間段內(nèi)的信號逐行提取并還原，從而獲取不同曝光幀的每一行的成像信號，進(jìn)而生成每一行成像信號對應(yīng)的曝光幀中的單行幀。
48.比如，設(shè)定行交織信號中攜帶有長曝光、短曝光兩種曝光類型的曝光幀的成像信號，長曝光的成像信號先行輸出，間隔設(shè)定時(shí)間后，短曝光的成像信號開始輸出，其中，長曝光的成像信號與短曝光的成像信號通過行交織的方式輸出。通過tdm對其中的長曝光的成像信號與短曝光的成像信號進(jìn)行提取。
49.當(dāng)從行交織信號中提取到長曝光幀的成像信號時(shí)，則基于行交織信號中每一行的長曝光幀的成像信號，逐行生成對應(yīng)的單行幀。
50.當(dāng)從行交織信號中提取到長曝光的成像幀信號和短曝光幀的成像信號交織輸出時(shí)，則在提取到某一行長曝光幀的成像信號時(shí)，生成對應(yīng)的長曝光幀的單行幀，在提取到下
一行短曝光幀的成像信號時(shí)，則生成對應(yīng)的短曝光幀的單行幀。
51.s102，將不同曝光幀的全部單行幀進(jìn)行組合，生成待處理組合幀。
52.實(shí)現(xiàn)中，可以通過圖像處理器對不同的曝光幀進(jìn)行圖像處理，比如圖像信號處理(image signal processing，isp)。
53.基于與isp連接的通路，將曝光幀輸入對應(yīng)的isp，基于isp的圖像處理生成曝光幀對應(yīng)的人眼可視的圖像。
54.本技術(shù)實(shí)施例中，可以將基于sensor輸出的行交織信號生成的不同的曝光幀進(jìn)行組合，使得isp可以對組合狀態(tài)下的曝光幀進(jìn)行圖像處理。
55.其中，可以對生成的不同曝光幀的單行幀分別進(jìn)行組合，生成對應(yīng)的組合單行幀，并將每個(gè)組合單行幀進(jìn)行進(jìn)一步的組合，從而實(shí)現(xiàn)行交織信號中攜帶的成像信號對應(yīng)的不同曝光幀的組合。
56.進(jìn)一步地，可以將不同的曝光幀的組合確定為待處理組合幀。
57.可選地，不同的曝光幀的單行幀的成像位置存在不同，因此，可以將位置上存在關(guān)聯(lián)關(guān)系的單行幀進(jìn)行組合。
58.比如，在上述示例的基礎(chǔ)上，逐行生成長曝光幀的單行幀和短曝光幀的單行幀后，可以針對其中某一行長曝光幀的單行幀和某一行短曝光幀的單行幀，獲取二者之間的位置關(guān)系。若確定二者之間的位置存在關(guān)系關(guān)聯(lián)，則可以將該長曝光幀的單行幀和該短曝光幀的單行幀進(jìn)行組合，從而生成該長曝光幀的單行幀和該短曝光幀的單行幀對應(yīng)的組合單行幀。
59.進(jìn)一步地，對基于行交織信號生成的每一個(gè)曝光幀的單行幀與位置關(guān)聯(lián)的單行幀之間進(jìn)行組合，并對組合獲取到的全部的組合單行幀進(jìn)行進(jìn)一步組合，從而生成對應(yīng)的待處理組合幀。
60.s103，對待處理組合幀進(jìn)行圖像處理，生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
61.本技術(shù)實(shí)施例中，可以通過圖像處理器對待處理組合幀中的每個(gè)曝光幀分別進(jìn)行圖像處理。
62.可選地，isp可以對待處理組合幀中的每一個(gè)曝光幀，分別進(jìn)行自動(dòng)曝光控制(aec)、自動(dòng)增益控制(agc)、自動(dòng)白平衡(awb)、色彩校正、祛除壞點(diǎn)、鏡頭陰影(lens shading)、黑色電平自動(dòng)校正(auto black level)、白色電平自動(dòng)校正(auto white level)等處理，從而生成每一個(gè)曝光幀對應(yīng)的人眼可視的圖像。
63.進(jìn)一步地，基于對待處理組合幀中的每一個(gè)曝光幀的分別處理，從而生成每一個(gè)曝光幀對應(yīng)的人眼可視的目標(biāo)幀。
64.本技術(shù)提供的圖像處理方法，逐行根據(jù)行交織信號中的行信號，生成不同曝光幀的單行幀，并對不同曝光幀的單行幀進(jìn)行組合，從而獲取對應(yīng)的待處理組合幀。對待處理組合幀進(jìn)行圖像處理，從而生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。本技術(shù)中，基于時(shí)分復(fù)用技術(shù)實(shí)現(xiàn)了行交織信號的生成和提取，通過對不同曝光幀的組合處理，使得圖像處理器可以同時(shí)處理多個(gè)曝光幀，有效減少了圖像處理器的通路占用，節(jié)約了對曝光幀進(jìn)行圖像處理的資源消耗。
65.上述實(shí)施例中，關(guān)于不同曝光幀的單行幀的生成，可結(jié)合圖2進(jìn)一步理解，圖2本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖，如圖2所示，該方法包括：
66.s201，按序逐行獲取行交織信號中的每個(gè)單行信號，從每個(gè)單行信號的屬性信息中，確定每個(gè)單行信號的所屬曝光類型。
67.實(shí)現(xiàn)中，sensor會(huì)對拍攝對象采用的不同的曝光時(shí)間進(jìn)行曝光，從而獲取到不同視覺效果的圖像。比如通過長曝光可以捕捉拍攝對象在時(shí)間流逝中的狀態(tài)變化等等。
68.進(jìn)一步地，可以從行交織信號中的每個(gè)單行信號的屬性信息中讀取相關(guān)參數(shù)，并根據(jù)參數(shù)中的標(biāo)識信息，從而確定所讀取的屬性信息所屬的單行信號對應(yīng)的曝光幀的曝光類型。
69.比如，設(shè)定長曝光、短曝光以及超短曝光等不同的曝光類型存在設(shè)定的曝光時(shí)間區(qū)間限定。
70.當(dāng)讀取到某一個(gè)單行信號的屬性信息中，其曝光時(shí)間落在短曝光對應(yīng)的曝光時(shí)間區(qū)間內(nèi)時(shí)，則可以判斷當(dāng)前讀取的屬性信息所屬的單行信號對應(yīng)的曝光類型為短曝光。
71.或者，當(dāng)讀取到某一行單行信號的屬性信息中，其曝光時(shí)間落在超短曝光幀對應(yīng)的曝光時(shí)間區(qū)間內(nèi)時(shí)，則可以判斷當(dāng)前讀取的屬性信息所屬的單行信號對應(yīng)的曝光類型為超短曝光。
72.進(jìn)一步地，從行交織信號中逐行讀取每個(gè)單行信號的屬性信息，進(jìn)而確定每個(gè)單行信號所屬的曝光類型。
73.s202，根據(jù)曝光類型，生成每個(gè)單行信號對應(yīng)的單行幀。
74.本技術(shù)實(shí)施例中，不同曝光幀的生成存在設(shè)定的位置，因此，提取到行交織信號中的每個(gè)單行信號后，需要對每個(gè)單行信號的曝光類型進(jìn)行判斷，從而確定基于每個(gè)單行信號生成的單行幀的成像位置。
75.進(jìn)一步地，確定每個(gè)單行信號所屬的曝光類型后，基于不同曝光類型的曝光幀的生成位置，生成每個(gè)單行信號對應(yīng)的單行幀。
76.本技術(shù)提供的圖像處理方法，根據(jù)行交織中的每個(gè)單行信號的屬性信息，確定每個(gè)單行信號所屬的曝光類型，進(jìn)而生成對應(yīng)的單行幀。為后續(xù)基于單行幀的組合從而實(shí)現(xiàn)的曝光幀的組合提供了操作基礎(chǔ)。
77.進(jìn)一步地，對不同曝光幀的單行幀進(jìn)行組合生成待處理組合幀，可結(jié)合圖3理解，圖3為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖，如圖3所示，該方法包括：
78.s301，對每個(gè)單行幀進(jìn)行擴(kuò)邊。
79.本技術(shù)實(shí)施例中，圖像處理器可以通過其中的濾波窗對待處理組合幀進(jìn)行圖像處理，從而生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
80.進(jìn)一步地，基于圖像處理器中的濾波窗的處理距離，確定每個(gè)單行幀的縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域。
81.可選地，圖像處理器中的濾波窗存在設(shè)定尺寸，根據(jù)濾波窗進(jìn)行圖像處理的位置，以及其設(shè)定尺寸可以確定濾波窗的處理距離。其中，濾波窗可以通過其中心位置的處理窗口對待處理組合幀進(jìn)行圖像處理。
82.比如，設(shè)定濾波窗的尺寸為3
×
3大小，則濾波窗的處理距離為2個(gè)像素點(diǎn)。再比如，設(shè)定濾波窗的尺寸為5
×
5大小，則濾波窗的處理距離為3個(gè)像素點(diǎn)。
83.因此，為了使得待處理組合幀的每個(gè)像素點(diǎn)均可以被濾波窗正常處理，需要對每個(gè)曝光幀進(jìn)行擴(kuò)邊。進(jìn)一步地，為了實(shí)現(xiàn)擴(kuò)邊和組合的效率，可以對每個(gè)單行幀進(jìn)行擴(kuò)邊。
84.進(jìn)一步地，可以根據(jù)濾波窗的處理距離分別確定單行幀的縱向方向和橫向方向上的擴(kuò)邊區(qū)域。
85.可選地，基于處理距離與每個(gè)單行幀的高度，確定每個(gè)單行幀的縱向擴(kuò)邊區(qū)域，其中，縱向擴(kuò)邊區(qū)域與所屬的單行幀相鄰，且屬于同組的每個(gè)單行幀的縱向擴(kuò)邊區(qū)域相鄰且不重疊。
86.本技術(shù)實(shí)施例中，每個(gè)單行幀的縱向擴(kuò)邊區(qū)域均與所屬的單行幀相鄰，因此，可以基于濾波窗的處理距離和每個(gè)單行幀的高度，確定其對應(yīng)的縱向擴(kuò)邊區(qū)域。
87.比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個(gè)像素點(diǎn)。如圖4所示，曝光幀i的單行幀n1和單行幀n2的尺寸為8個(gè)像素點(diǎn)
×
高度1個(gè)像素點(diǎn)，其中，單行幀n1為曝光幀i的首行幀，單行幀n2為曝光幀i的非首行幀。
88.則可以確定單行幀n1的縱向擴(kuò)邊區(qū)域?yàn)閱涡袔琻1兩側(cè)的分別為1個(gè)像素點(diǎn)對應(yīng)的區(qū)域a1和區(qū)域a1’。單行幀n2的縱向擴(kuò)邊區(qū)域?yàn)閱涡袔琻2兩側(cè)的分別為1個(gè)像素點(diǎn)對應(yīng)的區(qū)域b1和區(qū)域b1’。
89.再比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個(gè)像素點(diǎn)。如圖4所示，曝光幀ii的單行幀m1和單行幀m2的尺寸為8個(gè)像素點(diǎn)
×
高度1個(gè)像素點(diǎn)，其中，單行幀m1為曝光幀ii的首行幀，單行幀m2為曝光幀ii的非首行幀。
90.則可以確定單行幀m1的縱向擴(kuò)邊區(qū)域?yàn)閱涡袔琺1兩側(cè)的分別為1個(gè)像素點(diǎn)對應(yīng)的區(qū)域a2和區(qū)域a2’。單行幀m2的縱向擴(kuò)邊區(qū)域?yàn)閱涡袔琺2兩側(cè)的分別為1個(gè)像素點(diǎn)對應(yīng)的區(qū)域b2和區(qū)域b2’。
91.可選地，基于處理距離與每個(gè)單行幀的寬度，確定每個(gè)單行幀的橫向擴(kuò)邊區(qū)域，其中，橫向擴(kuò)邊區(qū)域與所屬的單行幀相鄰。
92.本技術(shù)實(shí)施例中，每個(gè)單行幀的橫向擴(kuò)邊區(qū)域均與所屬的單行幀相鄰，因此，可以基于濾波窗的處理距離和每個(gè)單行幀的寬度，確定其對應(yīng)的橫向擴(kuò)邊區(qū)域。
93.比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個(gè)像素點(diǎn)。如圖4所示，曝光幀i的單行幀n1、單行幀n2和單行幀nn的尺寸為8個(gè)像素點(diǎn)
×
高度1個(gè)像素點(diǎn)，其中，單行幀n1為曝光幀i的首行幀，單行幀n2為曝光幀i的非首行幀，單行幀nn為曝光幀i的尾行幀。
94.則可以確定單行幀n1的橫向擴(kuò)邊區(qū)域?yàn)閱涡袔琻1上側(cè)的10個(gè)像素點(diǎn)對應(yīng)的區(qū)域t1。單行幀nn的橫向擴(kuò)邊區(qū)域?yàn)閱涡袔琻n下側(cè)的10個(gè)像素點(diǎn)對應(yīng)的區(qū)域t1’。
95.由于單行幀n2上側(cè)拼接的是單行幀n1，下側(cè)拼接的是單行幀n3，因此，單行幀n2無需進(jìn)行橫向方向的擴(kuò)邊處理。
96.再比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個(gè)像素點(diǎn)。如圖4所示，曝光幀ii的單行幀m1、單行幀m2和單行幀mn的尺寸為8個(gè)像素點(diǎn)
×
高度1個(gè)像素點(diǎn)，其中，單行幀m1為曝光幀ii的首行幀，單行幀m2為曝光幀ii的非首行幀，單行幀mn為曝光幀ii的尾行幀。
97.則可以確定單行幀m1的橫向擴(kuò)邊區(qū)域?yàn)閱涡袔琺1上側(cè)的8個(gè)像素點(diǎn)對應(yīng)的區(qū)域t2。單行幀mn的橫向擴(kuò)邊區(qū)域?yàn)閱涡袔琺n下側(cè)的10個(gè)像素點(diǎn)對應(yīng)的區(qū)域t2’。
98.由于單行幀m2上側(cè)拼接的是單行幀m1，下側(cè)拼接的是單行幀m3，因此，單行幀m2無需進(jìn)行橫向方向的擴(kuò)邊處理。
99.需要說明的是，為了使得圖像處理器可以生成待處理組合幀中每個(gè)曝光幀對應(yīng)的單獨(dú)的目標(biāo)幀，不同曝光幀之間的擴(kuò)邊區(qū)域相鄰但不重疊，且每個(gè)擴(kuò)邊區(qū)域與其所屬的單行幀相鄰。
100.如圖4所示，單行幀n1的縱向擴(kuò)邊區(qū)域a1’與單行幀m1的縱向擴(kuò)邊區(qū)域a2相鄰但不重疊，單行幀n2的縱向擴(kuò)邊區(qū)域b1’與單行幀m2的縱向擴(kuò)邊區(qū)域b2相鄰但不重疊。
101.曝光幀i中，縱向擴(kuò)邊區(qū)域a1、a1’和橫向擴(kuò)邊區(qū)域t1，與其所屬的單行幀n1相鄰。縱向擴(kuò)邊區(qū)域b1、b1’與其所屬的單行幀n2相鄰。
102.曝光幀ii中，縱向擴(kuò)邊區(qū)域a2、a2’和橫向擴(kuò)邊區(qū)域t2，與其所屬的單行幀m1相鄰?？v向擴(kuò)邊區(qū)域b2、b2’與其所屬的單行幀m2相鄰。
103.進(jìn)一步地，根據(jù)縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域，生成每個(gè)單行幀的擴(kuò)邊區(qū)域。
104.本技術(shù)實(shí)施例中，確定每個(gè)單行幀的橫向擴(kuò)邊區(qū)域和縱向擴(kuò)邊區(qū)域后，可以對兩個(gè)方向的擴(kuò)邊區(qū)域進(jìn)行整合，從而生成每個(gè)單行幀的擴(kuò)邊區(qū)域。
105.進(jìn)一步地，將縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域沿所屬的單行幀進(jìn)行組合，生成每個(gè)單行幀的擴(kuò)邊區(qū)域。
106.其中，每個(gè)單行幀的縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域均與其所屬的單行幀相鄰，因此，可以沿著每個(gè)單行幀的邊界對橫向擴(kuò)邊區(qū)域和縱向擴(kuò)邊區(qū)域進(jìn)行組合。
107.比如，如圖4所示，可以將曝光幀i的單行幀n1的縱向擴(kuò)邊區(qū)域a1和a1’，以及橫向擴(kuò)邊區(qū)域t1沿曝光幀i的邊界進(jìn)行組合，進(jìn)而生成單行幀的擴(kuò)邊區(qū)域a1+t1+a1’。
108.再比如，如圖4所示，可以將曝光幀ii的單行幀m2的縱向擴(kuò)邊區(qū)域b2和b2’進(jìn)行組合，從而生成單行幀m2的擴(kuò)邊區(qū)域b2+b2’。
109.實(shí)現(xiàn)中，濾波窗的處理范圍內(nèi)，每個(gè)位置都需要存在有效數(shù)據(jù)，因此，為了使得濾波窗可以對曝光幀進(jìn)行有效的圖像處理，對于每個(gè)單行幀的擴(kuò)邊區(qū)域需要進(jìn)行數(shù)據(jù)填充。
110.進(jìn)一步地，獲取擴(kuò)邊區(qū)域的第一數(shù)據(jù)，并使用第一數(shù)據(jù)對擴(kuò)邊區(qū)域進(jìn)行填充，其中，第一數(shù)據(jù)為擴(kuò)邊區(qū)域所屬的單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種。
111.本技術(shù)實(shí)施例中，為了不影響曝光幀的成像效果，可以選擇與每個(gè)單行幀存在相似關(guān)聯(lián)的數(shù)據(jù)，或者空白數(shù)據(jù)進(jìn)行擴(kuò)邊區(qū)域的填充，其中，可以將對擴(kuò)邊區(qū)域進(jìn)行填充的數(shù)據(jù)標(biāo)識為擴(kuò)邊區(qū)域的第一數(shù)據(jù)。
112.可選地，可以選擇復(fù)制每個(gè)單行幀對應(yīng)的字符串，并將復(fù)制后的字符串填充至對應(yīng)的擴(kuò)邊區(qū)域，填充后的擴(kuò)邊區(qū)域與其所屬的單行幀的內(nèi)容相同。
113.可選地，可以選擇對每個(gè)單行幀對應(yīng)的字符串進(jìn)行鏡像處理，將鏡像處理后的字符串填充至對應(yīng)的擴(kuò)邊區(qū)域，填充后的擴(kuò)邊區(qū)域與其所屬的單行幀呈現(xiàn)鏡像的相反內(nèi)容。
114.可選地，可以選擇空白數(shù)據(jù)對每個(gè)單行幀的擴(kuò)邊區(qū)域進(jìn)行填充。
115.基于上述三種填充數(shù)據(jù)的選擇，濾波窗可以有效對擴(kuò)邊區(qū)域進(jìn)行識別，從而避免了對于曝光幀的成像效果的影響。
116.s302，將屬于同組的擴(kuò)邊后的每個(gè)單行幀進(jìn)行拼接，生成單行組合幀。
117.本技術(shù)實(shí)施例中，可以在單行幀的維度上實(shí)現(xiàn)拼接組合。其中，可以將屬于同一組的每個(gè)擴(kuò)邊后的單行幀進(jìn)行拼接組合，從而生成每一組的單行組合幀。
118.可選地，可以根據(jù)每個(gè)單行幀的坐標(biāo)信息，對每個(gè)單行幀及與其屬于同組的單行
幀進(jìn)行判斷。
119.進(jìn)一步地，獲取單行幀的坐標(biāo)信息。
120.實(shí)現(xiàn)中，可以從每個(gè)單行信號的屬性參數(shù)中讀取每個(gè)單行信號生成的單行幀對應(yīng)的生成坐標(biāo)，包括單行幀上每個(gè)像素點(diǎn)的生成坐標(biāo)，其中，每個(gè)像素點(diǎn)的坐標(biāo)包括縱坐標(biāo)和橫坐標(biāo)。
121.進(jìn)一步地，將坐標(biāo)信息中縱坐標(biāo)相同的單行幀，確定為屬于同組的單行幀，其中，屬于同組的單行幀包括至少一個(gè)單行幀。
122.實(shí)現(xiàn)中，可以通過縱坐標(biāo)判斷單行幀與單行幀之間是否屬于同組關(guān)系。
123.可選地，如圖4所示，可以將屬于同組關(guān)系的若干單行幀理解為生成位置處于同一行的若干單行幀。
124.設(shè)定單行幀n4的首個(gè)像素點(diǎn)的坐標(biāo)為(x2,y5)，單行幀m1的首個(gè)像素點(diǎn)的坐標(biāo)為(x12,y5)，由二者的縱坐標(biāo)可知，單行幀n4和單行幀m1為屬于同組關(guān)系。
125.則可以將擴(kuò)邊后的單行幀n4和擴(kuò)邊后的單行幀m1進(jìn)行組合，從而生成對應(yīng)的單行組合幀。
126.進(jìn)一步地，如圖4所示，擴(kuò)邊后的單行幀n1屬于同組的為擴(kuò)邊后的單行幀n1本身，因此，可以基于擴(kuò)邊后的單行幀n1生成對應(yīng)的單行組合幀。同樣的，擴(kuò)邊后的單行幀n2、n3均與擴(kuò)邊后的單行幀n1狀況相同，因此，可以基于其自身分別生成對應(yīng)的單行組合幀。
127.擴(kuò)邊后的單行幀n4屬于同組的為擴(kuò)邊后的單行幀m1，因此，可以基于擴(kuò)邊后的單行幀n4和擴(kuò)邊后的單行幀m1生成對應(yīng)的單行組合幀。同樣的，擴(kuò)邊后的單行幀m3、m4與擴(kuò)邊后的單行幀m1，因此，可以分別基于與擴(kuò)邊后的單行幀m3、m4屬于同組的每個(gè)擴(kuò)邊后的單行幀，生成對應(yīng)的單行組合幀。
128.s303，將全部的單行組合幀進(jìn)行組合，生成待處理組合幀。
129.實(shí)現(xiàn)中，圖像處理器可以基于不同曝光幀組合生成的待處理組合幀進(jìn)行圖像處理。為了提高待處理組合幀的生成效率，可以針對屬于同組的每個(gè)單行幀進(jìn)行組合，生成對應(yīng)的單行組合幀，并對單行組合幀進(jìn)行組合，從而生成不同曝光幀對應(yīng)的待處理組合幀。
130.進(jìn)一步地，根據(jù)每個(gè)單行組合幀生成時(shí)序，將每個(gè)單行組合幀進(jìn)行拼接，并基于拼接后的全部單行組合幀，生成待處理組合幀。
131.本技術(shù)實(shí)施例中，不同的曝光類型的曝光幀的曝光時(shí)間不同，因此，行交織信號中對于不同曝光類型的曝光幀的單行信號的輸出存在時(shí)序。由此可知，基于行交織信號中的單行信號生成的不同曝光幀的單行幀同樣存在生成時(shí)序。
132.因此，可以基于每個(gè)單行組合幀內(nèi)的每個(gè)單行幀的生成時(shí)序，確定每個(gè)單行組合幀的生成時(shí)序?？梢詫γ總€(gè)單行組合幀內(nèi)的每個(gè)單行幀的時(shí)序進(jìn)行組合，從而生成每個(gè)單行組合幀的組合時(shí)序。
133.進(jìn)一步地，針對任兩組單行組合幀，當(dāng)其中一個(gè)單行組合幀內(nèi)的組合時(shí)序早于另一個(gè)單行組合幀時(shí)，則組合時(shí)序較晚的單行組合幀拼接于組合時(shí)序較早的單行組合幀之后。
134.可選地，可以在當(dāng)前組的單行幀生成之后，下一組單行幀生成之前，完成當(dāng)前組的單行幀的擴(kuò)邊以及對應(yīng)的單行組合幀的組合操作，生成當(dāng)前組的單行幀對應(yīng)的單行組合幀。
135.進(jìn)一步地，在當(dāng)前組的單行幀對應(yīng)的單行組合幀生成之后，再進(jìn)行下一組的單行幀生成、擴(kuò)邊和對應(yīng)的單行組合幀的組合操作，并順序?qū)⑾乱唤M的單行幀對應(yīng)的單行組合幀拼接至當(dāng)前組的單行幀對應(yīng)的單行組合幀之后。進(jìn)一步地，實(shí)現(xiàn)全部的單行組合幀的順序拼接，進(jìn)而生成待處理組合幀。
136.依然如圖4所示，在上述示例的基礎(chǔ)上，可以在基于擴(kuò)邊后的單行幀n1生成對應(yīng)的單行組合幀后，順序拼接基于擴(kuò)邊后的單行幀n2生成對應(yīng)的單行組合幀，后順序拼接基于擴(kuò)邊后的單行幀n3生成對應(yīng)的單行組合幀，然后將基于擴(kuò)邊后的單行幀n4和擴(kuò)邊后的單行幀m1生成對應(yīng)的單行組合幀順序拼接于基于擴(kuò)邊后的單行幀n3生成對應(yīng)的單行組合幀之后。
137.基于順序?qū)⑷康膯涡薪M合幀拼接完畢，從而生成如圖4所示的待處理組合幀。
138.本技術(shù)提供的圖像處理的方法，通過將每個(gè)單行幀進(jìn)行擴(kuò)邊，并將屬于同組的擴(kuò)邊后的單行幀進(jìn)行組合，從而生成對應(yīng)的單行組合幀。通過基于每個(gè)單行組合幀的生成時(shí)序?qū)θ康膯涡薪M合幀進(jìn)行拼接，從而生成對應(yīng)的待處理組合幀。本技術(shù)中，為單行幀進(jìn)行擴(kuò)邊，并選擇相應(yīng)的數(shù)據(jù)對擴(kuò)邊區(qū)域進(jìn)行填充，保證了濾波窗可以對曝光幀實(shí)現(xiàn)正常的圖像處理，避免了對曝光幀的成像效果的影響。基于屬于同組的擴(kuò)邊后的單行幀生成的單行組合幀，實(shí)現(xiàn)待處理組合幀的生成，有效提高了待處理組合幀的生成效率，從而提高了圖像處理的效率。
139.進(jìn)一步地，在對屬于同組的擴(kuò)邊后的單行幀進(jìn)行拼接時(shí)，可能存在空白區(qū)域，其中，對于空白區(qū)域的識別，以及在存在空白區(qū)域的場景中如何實(shí)現(xiàn)單行組合幀的拼接生成，可以結(jié)合圖5進(jìn)一步理解，圖5為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖，如圖5所示，該方法包括：
140.s501，確定屬于同組的單行幀數(shù)量的門限值，其中，門限值基于不同曝光幀的數(shù)量確定。
141.實(shí)現(xiàn)中，圖像處理器對于待處理組合幀中包括的曝光幀的數(shù)量存在限制，因此，在將同組的每個(gè)單行幀組合生成對應(yīng)的單行組合幀時(shí)，每組的單行幀的數(shù)量同樣存在限制。其中，可以將該數(shù)量限制確定為屬于同組的單行幀的數(shù)量的門限值。
142.比如，若行交織信號中傳輸了3個(gè)曝光幀的成像信號，則該場景下，屬于同組的單行幀的數(shù)量的門限值為3。再比如，若行交織信號中傳輸了5個(gè)曝光幀的成像信號，則該場景下，屬于同組的單行幀的數(shù)量的門限值為5。
143.再比如，如圖4所示，圖4中存在曝光幀i、曝光幀ii和曝光幀iii，則圖4中屬于同組的單行幀的數(shù)量的門限值為3。
144.s502，響應(yīng)于同組的擴(kuò)邊后的單行幀的數(shù)量小于門限值，則將同組的單行幀的所屬成像覆蓋區(qū)域中，單行幀和對應(yīng)的擴(kuò)邊區(qū)域未占用的區(qū)域，確定為空白區(qū)域。
145.實(shí)現(xiàn)中，屬于同組的單行幀的數(shù)量的門限值即為同組中的單行幀數(shù)量的上限值，因此，當(dāng)某一組中的單行幀數(shù)量與門限值相同時(shí)，可以判斷，在對該組中的單行幀進(jìn)行擴(kuò)邊并組合生成單行組合幀的過程中，不會(huì)存在空白區(qū)域。
146.可以理解為，當(dāng)屬于同組的單行幀的數(shù)量小于門限值時(shí)，該組中存在部分區(qū)域沒有覆蓋到單行幀，因此，在該場景中，屬于同組的單行幀在進(jìn)行擴(kuò)邊和組合生成單行組合幀的過程中，存在空白區(qū)域。
147.本技術(shù)實(shí)施例中，針對某一組的單行幀，可以將該組中的每個(gè)單行幀與其對應(yīng)的擴(kuò)邊區(qū)域沒有占用的區(qū)域，確定為該組單行幀的空白區(qū)域。
148.可選地，可以根據(jù)單行幀的尺寸實(shí)現(xiàn)空白區(qū)域的計(jì)算。
149.實(shí)現(xiàn)中，sensor生成不同曝光幀的行交織信號時(shí)，每個(gè)曝光幀的寬度和高度已經(jīng)設(shè)定完成，并通過每個(gè)曝光幀對應(yīng)的單行信號的屬性信息體現(xiàn)。因此，可以通過不同曝光幀的寬度和高度、和不同曝光幀的擴(kuò)邊區(qū)域的寬度和高度，確定生成的待處理組合幀的寬度和高度。
150.如圖4所示，將曝光幀i與其橫向擴(kuò)邊區(qū)域的寬度、曝光幀ii與其橫向擴(kuò)邊區(qū)域的寬度和曝光幀iii與其橫向擴(kuò)邊區(qū)域的寬度進(jìn)行加和計(jì)算，計(jì)算結(jié)果即為待處理組合幀的寬度。
151.需要說明的是，由于本技術(shù)實(shí)施例中，是在屬于同組的每個(gè)單行幀生成后，對改組內(nèi)的單行幀進(jìn)行擴(kuò)邊組合操作，因此，可以通過計(jì)算每組單行幀內(nèi)的空白區(qū)域，從而實(shí)現(xiàn)對于待處理組合幀中的空白區(qū)域的計(jì)算。
152.比如，針對曝光幀i的單行幀n1，可以將待處理組合幀的寬度與單行幀n1和其橫向擴(kuò)邊區(qū)域的寬度相減求差，該差值即為單行幀n1對應(yīng)的空白區(qū)域的寬度。將單行幀n1的高度和其橫向擴(kuò)邊區(qū)域t1的高度相加，即可獲取單行幀n1對應(yīng)的空白區(qū)域的高度。進(jìn)一步地，基于獲取到的高度和寬度，即可生成單行幀n1對應(yīng)的空白區(qū)域x1。
153.進(jìn)一步地，基于單行幀的生成時(shí)序，確定屬于同組的每組單行幀對應(yīng)的空白區(qū)域。
154.由于圖像處理器需要基于完成的圖像進(jìn)行相關(guān)的處理操作，因此，對于空白區(qū)域需要進(jìn)行數(shù)據(jù)填充。
155.進(jìn)一步地，獲取空白區(qū)域的第二數(shù)據(jù)，并使用第二數(shù)據(jù)對空白區(qū)域進(jìn)行填充，其中，第二數(shù)據(jù)為空白字符。
156.本技術(shù)實(shí)施例中，為了避免空白區(qū)域填充的數(shù)據(jù)對曝光幀的成像產(chǎn)生影響，可以通過空白數(shù)據(jù)對每組單行幀的空白區(qū)域進(jìn)行數(shù)據(jù)填充。填充后的空白區(qū)域內(nèi)均為空白數(shù)據(jù)，圖像處理器可以實(shí)現(xiàn)該區(qū)域的有效識別，從而避免空白區(qū)域的數(shù)據(jù)對于圖像處理的效果的影響。
157.其中，可以將對空白區(qū)域進(jìn)行填充的數(shù)據(jù)確定為空白區(qū)域的第二數(shù)據(jù)。
158.s503，將屬于同組的每個(gè)單行幀，和屬于同組的每個(gè)單行幀對應(yīng)的填充后的空白區(qū)域以及擴(kuò)邊區(qū)域按序拼接，生成單行組合幀。
159.本技術(shù)實(shí)施例中，在存在空白區(qū)域的場景下，需要基于屬于同組的每個(gè)單行幀、每個(gè)單行幀填充后的擴(kuò)邊區(qū)域以及每組單行幀填充后的空白區(qū)域，生成對應(yīng)的單行組合幀。
160.可選地，可以基于設(shè)定的順序，將屬于同組的每個(gè)單行幀、每個(gè)單行幀的擴(kuò)邊區(qū)域和空白區(qū)域進(jìn)行拼接。
161.如圖4所示，單行幀n5和單行幀m2為屬于同組的單行幀，且該組單行幀存在空白區(qū)域。因此，在進(jìn)行空白區(qū)域的確定和數(shù)據(jù)填充后，可以基于如圖4中所示的順序，將擴(kuò)邊區(qū)域e1、單行幀n5、擴(kuò)邊區(qū)域e1’、擴(kuò)邊區(qū)域b2、單行幀m2、擴(kuò)邊區(qū)域b2’和空白區(qū)域x2進(jìn)行拼接，從而生成屬于同組的單行幀n5和單行幀m2對應(yīng)的單行組合幀。
162.本技術(shù)提供的圖像處理方法，確定每組單行幀的空白區(qū)域后，使用空白數(shù)據(jù)對空白區(qū)域進(jìn)行填充，并基于填充后的空白區(qū)域生成每組單行幀的單行組合幀。有效提高了待
處理組合幀生成的穩(wěn)定性，保證了待處理組合幀的可用性。
163.上述實(shí)施例中，關(guān)于待處理組合幀的處理，可結(jié)合圖6進(jìn)一步理解，圖6為本技術(shù)另一實(shí)施例的圖像處理方法的流程示意圖，如圖6所示，該方法包括：
164.s601，將待處理組合幀中每個(gè)曝光幀的首行幀首位像素點(diǎn)的位置，確定為每個(gè)曝光幀的起始位置。
165.本技術(shù)實(shí)施例中，可以通過圖像處理器對待處理組合幀中的每一個(gè)曝光幀進(jìn)行圖像處理，以生成對應(yīng)的目標(biāo)幀。
166.其中，圖像處理器可以是isp，待處理組合幀通過某一個(gè)通路輸入isp，開始進(jìn)行曝光幀的成像處理。
167.實(shí)現(xiàn)中，sensor對拍攝對象的曝光、以及后續(xù)曝光成像信號的傳輸、曝光幀的成像、圖像處理等等相關(guān)操作步驟，可以通過設(shè)定的驅(qū)動(dòng)進(jìn)行流程的控制。進(jìn)一步地，當(dāng)sensor生成行交織信號并開始輸出時(shí)，圖像處理器可以通過設(shè)定的驅(qū)動(dòng)獲取待處理組合幀中，每個(gè)曝光幀的位置信息，即每個(gè)曝光幀中的每個(gè)像素點(diǎn)的位置信息。
168.進(jìn)一步地，可以將每個(gè)曝光幀的首行幀的首位像素點(diǎn)的位置信息，確定為每個(gè)曝光幀的起始位置，基于每個(gè)曝光幀的起始位置對其進(jìn)行圖像處理。
169.比如，如圖4所示，設(shè)定曝光幀ii的曝光類型為短曝光，曝光幀iii的曝光類型為超短曝光。則isp基于曝光幀ii的起始位置，開始基于對應(yīng)的匹配參數(shù)對曝光幀ii進(jìn)行圖像處理，當(dāng)曝光幀ii處理結(jié)束后，再基于曝光幀iii的起始位置開始對曝光幀iii進(jìn)行圖像處理。
170.s602，從每個(gè)曝光幀的起始位置開始，使用起始位置對應(yīng)的曝光幀的匹配參數(shù)進(jìn)行圖像處理，并在下一個(gè)曝光幀的起始位置，將匹配參數(shù)變更為下一個(gè)曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對下一個(gè)曝光幀進(jìn)行圖像處理，直至每個(gè)曝光幀處理完畢，生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
171.為了使得待處理組合幀中的每個(gè)曝光幀可以基于圖像處理器分別獲取單獨(dú)的人眼可視的目標(biāo)幀，圖像處理器在進(jìn)行圖像處理器時(shí)，需要以每個(gè)曝光幀為單位逐個(gè)處理。
172.進(jìn)一步地，可以從每個(gè)曝光幀的起始位置開始，使用對應(yīng)的匹配參數(shù)進(jìn)行圖像處理。
173.實(shí)現(xiàn)中，圖像處理器對不同曝光類型的曝光幀進(jìn)行圖像處理時(shí)，其所需匹配參數(shù)存在不同，因此，需要圖像處理器根據(jù)不同的曝光幀的曝光類型，對匹配參數(shù)進(jìn)行調(diào)整，從而使得圖像處理器可以適應(yīng)對不同曝光類型的曝光幀的圖像處理。
174.可選地，圖像處理器可以對其進(jìn)行圖像處理的匹配參數(shù)實(shí)現(xiàn)動(dòng)態(tài)的調(diào)整，可以理解為，圖像處理器對待處理組合幀中的某一個(gè)曝光幀處理完畢后，下一個(gè)曝光幀開始處理之前，會(huì)對下一個(gè)待處理的曝光幀的曝光類型進(jìn)行判斷，并根據(jù)判斷的結(jié)果調(diào)整當(dāng)前圖像處理器的各項(xiàng)匹配參數(shù)，從而使得調(diào)整后的匹配參數(shù)可以對下一個(gè)曝光幀實(shí)現(xiàn)圖像處理。
175.進(jìn)一步地，可以基于每個(gè)曝光幀的起始位置，使用相應(yīng)的匹配參數(shù)對其進(jìn)行圖像處理，并基于每個(gè)曝光幀的尾行幀的末位像素點(diǎn)的位置，開始對圖像處理器的匹配參數(shù)進(jìn)行調(diào)整。
176.可以理解為，圖像處理器中的濾波窗在進(jìn)行圖像處理時(shí)，可以同時(shí)獲取當(dāng)前正在處理的曝光幀中的像素點(diǎn)的位置信息，當(dāng)獲取到的位置信息為某個(gè)曝光幀的首行幀的首位像素點(diǎn)的位置信息時(shí)，則可以開始對該曝光幀進(jìn)行圖像處理，當(dāng)獲取到該曝光幀的尾行幀
的末位像素點(diǎn)的位置信息時(shí)，則可以判斷該曝光幀已經(jīng)處理完畢。
177.比如，如圖4所示，設(shè)定曝光幀ii的曝光類型為短曝光，曝光幀iii的曝光類型為超短曝光。則isp基于曝光幀ii的起始位置，開始基于對應(yīng)的匹配參數(shù)對曝光幀ii進(jìn)行圖像處理，當(dāng)處理到曝光幀ii的尾行幀的末位像素點(diǎn)時(shí)，則可以判斷處理曝光幀ii處理結(jié)束。
178.在曝光幀ii處理結(jié)束后，開始獲取曝光幀iii的曝光類型，并將當(dāng)前可以處理短曝光類型的曝光幀的匹配參數(shù)調(diào)整成，可以處理超短曝光類型的曝光幀的匹配參數(shù)，再基于曝光幀iii的起始位置開始對曝光幀iii進(jìn)行圖像處理。
179.進(jìn)一步地，完成待處理組合幀中的每個(gè)曝光幀的圖像處理，從而單獨(dú)生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
180.本技術(shù)提供的圖像處理方法，圖像處理器通過某個(gè)通路獲取待處理組合幀，并對其中的每個(gè)曝光幀逐個(gè)進(jìn)行圖像處理，并根據(jù)不同的曝光幀所屬的不同的曝光類型實(shí)現(xiàn)匹配參數(shù)的動(dòng)態(tài)調(diào)整，從而生成待處理組合幀中每個(gè)曝光幀對應(yīng)的目標(biāo)幀。本技術(shù)中，通過匹配參數(shù)的動(dòng)態(tài)調(diào)整，實(shí)現(xiàn)了不同曝光類型的曝光幀組合生成的待處理組合幀的圖像處理，有效減少了圖像處理器的通路的占用，節(jié)約了資源消耗。
181.與上述幾種實(shí)施例提供的圖像處理方法相對應(yīng)，本技術(shù)的一個(gè)實(shí)施例還提供了一種圖像處理裝置，由于本技術(shù)實(shí)施例提供的圖像處理裝置與上述幾種實(shí)施例提供的圖像處理方法相對應(yīng)，因此上述圖像處理方法的實(shí)施方式也適用于本技術(shù)實(shí)施例提供的圖像處理裝置，在下述實(shí)施例中不再詳細(xì)描述。
182.圖7為本技術(shù)一實(shí)施例的圖像處理裝置的結(jié)構(gòu)示意圖，如圖7所示，圖像處理裝置700，包括提取生成模塊71、組合模塊72、成像模塊73，其中：
183.提取生成模塊71，用于獲取行交織信號，并根據(jù)行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀；
184.組合模塊72，用于將不同曝光幀的全部單行幀進(jìn)行組合，生成待處理組合幀；
185.成像模塊73，用于對待處理組合幀進(jìn)行圖像處理，生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
186.圖8為本技術(shù)另一實(shí)施例的圖像處理裝置的結(jié)構(gòu)示意圖，如圖8所示，圖像處理裝置800，包括提取生成模塊81、組合模塊82、成像模塊83，其中：
187.需要說明的是，提取生成模塊71、組合模塊72、成像模塊73，與提取生成模塊81、組合模塊82、成像模塊83，具備相同的結(jié)構(gòu)和功能。
188.本技術(shù)實(shí)施例中，提取生成模塊81，還用于：按序逐行獲取行交織信號中的每個(gè)單行信號，從每個(gè)單行信號的屬性信息中，確定每個(gè)單行信號的所屬曝光類型；根據(jù)曝光類型，生成每個(gè)單行信號對應(yīng)的單行幀。
189.本技術(shù)實(shí)施例中，組合模塊82，還用于：對每個(gè)單行幀進(jìn)行擴(kuò)邊；將屬于同組的擴(kuò)邊后的每個(gè)單行幀進(jìn)行拼接，生成單行組合幀；將全部的單行組合幀進(jìn)行組合，生成待處理組合幀。
190.本技術(shù)實(shí)施例中，組合模塊82，還用于：基于圖像處理器中的濾波窗的處理距離，確定每個(gè)單行幀的縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域；根據(jù)縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域，生成每個(gè)單行幀的擴(kuò)邊區(qū)域。
191.本技術(shù)實(shí)施例中，組合模塊82，還用于：基于處理距離與每個(gè)單行幀的高度，確定每個(gè)單行幀的縱向擴(kuò)邊區(qū)域，其中，縱向擴(kuò)邊區(qū)域與所屬的單行幀相鄰，且屬于同組的每個(gè)
單行幀的縱向擴(kuò)邊區(qū)域相鄰且不重疊；基于處理距離與每個(gè)單行幀的寬度，確定每個(gè)單行幀的橫向擴(kuò)邊區(qū)域，其中，橫向擴(kuò)邊區(qū)域與所屬的單行幀相鄰；將縱向擴(kuò)邊區(qū)域和橫向擴(kuò)邊區(qū)域沿所屬的單行幀進(jìn)行組合，生成每個(gè)單行幀的擴(kuò)邊區(qū)域。
192.本技術(shù)實(shí)施例中，確定組合模塊82，還用于：獲取單行幀的坐標(biāo)信息；將坐標(biāo)信息中縱坐標(biāo)相同的單行幀，確定為屬于同組的單行幀，其中，屬于同組的單行幀包括至少一個(gè)單行幀。
193.本技術(shù)實(shí)施例中，組合模塊82，還用于：確定屬于同組的單行幀數(shù)量的門限值，其中，門限值基于不同曝光幀的數(shù)量確定；響應(yīng)于同組的擴(kuò)邊后的單行幀的數(shù)量小于門限值，則將同組的單行幀的所屬成像覆蓋區(qū)域中，單行幀和對應(yīng)的擴(kuò)邊區(qū)域未占用的區(qū)域，確定為空白區(qū)域。
194.本技術(shù)實(shí)施例中，組合模塊82，還用于：獲取擴(kuò)邊區(qū)域的第一數(shù)據(jù)，并使用第一數(shù)據(jù)對擴(kuò)邊區(qū)域進(jìn)行填充，其中，第一數(shù)據(jù)為擴(kuò)邊區(qū)域所屬的單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種；獲取空白區(qū)域的第二數(shù)據(jù)，并使用第二數(shù)據(jù)對空白區(qū)域進(jìn)行填充，其中，第二數(shù)據(jù)為空白字符；將屬于同組的每個(gè)單行幀，和屬于同組的每個(gè)單行幀對應(yīng)的填充后的空白區(qū)域以及擴(kuò)邊區(qū)域按序拼接，生成單行組合幀。
195.本技術(shù)實(shí)施例中，組合模塊82，還用于：根據(jù)每個(gè)單行組合幀生成時(shí)序，將每個(gè)單行組合幀進(jìn)行拼接，并基于拼接后的全部單行組合幀，生成待處理組合幀。
196.本技術(shù)實(shí)施例中，成像模塊83，還用于：將待處理組合幀中每個(gè)曝光幀的首行幀首位像素點(diǎn)的位置，確定為每個(gè)曝光幀的起始位置；從每個(gè)曝光幀的起始位置開始，使用起始位置對應(yīng)的曝光幀的匹配參數(shù)進(jìn)行圖像處理，并在下一個(gè)曝光幀的起始位置，將匹配參數(shù)變更為下一個(gè)曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對下一個(gè)曝光幀進(jìn)行圖像處理，直至每個(gè)曝光幀處理完畢，生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。
197.本技術(shù)提供的圖像處理裝置，逐行根據(jù)行交織信號中的行信號，生成不同曝光幀的單行幀，并對不同曝光幀的單行幀進(jìn)行組合，從而獲取對應(yīng)的待處理組合幀。對待處理組合幀進(jìn)行圖像處理，從而生成每個(gè)曝光幀對應(yīng)的目標(biāo)幀。本技術(shù)中，基于時(shí)分復(fù)用技術(shù)實(shí)現(xiàn)了行交織信號的生成和提取，通過對不同曝光幀的組合處理，使得圖像處理器可以同時(shí)處理多個(gè)曝光幀，有效減少了圖像處理器的通路占用，節(jié)約了對曝光幀進(jìn)行圖像處理的資源消耗。
198.為達(dá)到上述實(shí)施例，本技術(shù)還提供了一種電子設(shè)備、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和一種計(jì)算機(jī)程序產(chǎn)品。
199.圖9為本技術(shù)一實(shí)施例的電子設(shè)備的框圖，根據(jù)如圖9所示的電子設(shè)備可以實(shí)現(xiàn)執(zhí)行圖1至圖6的實(shí)施例的圖像處理方法。
200.為了實(shí)現(xiàn)上述實(shí)施例，本技術(shù)還提供一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行圖1至圖6的實(shí)施例的圖像處理方法。
201.為了實(shí)現(xiàn)上述實(shí)施例，本技術(shù)還提供一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)程序產(chǎn)品中的指令處理器執(zhí)行時(shí)，執(zhí)行圖1至圖6的實(shí)施例的圖像處理方法。
202.在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本技術(shù)的至少一個(gè)實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不
必須針對的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
203.此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本技術(shù)的描述中，“多個(gè)”的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。
204.流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)定制邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本技術(shù)的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本技術(shù)的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
205.在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，"計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下：具有一個(gè)或多個(gè)布線的電連接部(電子裝置)，便攜式計(jì)算機(jī)盤盒(磁裝置)，隨機(jī)存取存儲(chǔ)器(ram)，只讀存儲(chǔ)器(rom)，可擦除可編輯只讀存儲(chǔ)器(eprom或閃速存儲(chǔ)器)，光纖裝置，以及便攜式光盤只讀存儲(chǔ)器(cdrom)。另外，計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因?yàn)榭梢岳缤ㄟ^對紙或其他介質(zhì)進(jìn)行光學(xué)掃描，接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來以電子方式獲得所述程序，然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。
206.應(yīng)當(dāng)理解，本技術(shù)的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。如，如果用硬件來實(shí)現(xiàn)和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn)：具有用于對數(shù)據(jù)信號實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現(xiàn)場可編程門陣列(fpga)等。
207.本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。
208.此外，在本技術(shù)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
209.上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。盡管上面已經(jīng)示出和描述了本技術(shù)的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對本技術(shù)的限制，本領(lǐng)域的普通技術(shù)人員在本技術(shù)的范圍內(nèi)可以對上述實(shí)施例進(jìn)行變化、修改、替換和變型。