本發(fā)明涉及通信，尤其涉及一種圖像處理方法及電子設(shè)備。

背景技術(shù)：

1、目前，終端的解鎖、支付和身份認(rèn)證等領(lǐng)域均涉及對(duì)人臉、人眼等敏感圖像的處理。通常在終端的可信執(zhí)行環(huán)境(trusted?execution?environment，簡(jiǎn)稱tee)側(cè)使用處理器(central?processing?unit，cpu)運(yùn)行人工智能(artificial?intelligence，ai)算法對(duì)圖像進(jìn)行處理，再將得到的處理結(jié)果返回至終端設(shè)備的通用執(zhí)行環(huán)境(rich?executionenvironment，簡(jiǎn)稱ree)側(cè)。

2、然而，受限于tee側(cè)使用的cpu核數(shù)量和cpu運(yùn)行ai算法的處理性能，圖像處理的效率低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種圖像處理方法及電子設(shè)備，解決圖像處理的效率低的問(wèn)題。

2、第一方面，本發(fā)明實(shí)施例提供了一種圖像處理方法，應(yīng)用于電子設(shè)備，電子設(shè)備包括可信執(zhí)行環(huán)境tee和通用執(zhí)行環(huán)境ree，方法包括：

3、在ree中響應(yīng)于接收到的用戶操作，通過(guò)飛行時(shí)間tof攝像頭獲取tof數(shù)據(jù)；

4、在tee中對(duì)tof數(shù)據(jù)進(jìn)行處理，得到tof圖像；

5、在tee中通過(guò)在神經(jīng)網(wǎng)絡(luò)處理器npu運(yùn)行的目標(biāo)算法對(duì)tof圖像進(jìn)行運(yùn)算，得到運(yùn)算結(jié)果；

6、在ree中根據(jù)運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令。

7、上述方法，通過(guò)在tee硬件npu運(yùn)算，實(shí)現(xiàn)了硬件加速，提高運(yùn)算效率。

8、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，該方法還可以包括：在ree將tof數(shù)據(jù)和tof數(shù)據(jù)的標(biāo)識(shí)存儲(chǔ)在安全緩沖內(nèi)存區(qū)；在tee基于標(biāo)識(shí)從安全緩沖內(nèi)存區(qū)獲取tof數(shù)據(jù)。

9、上述方法，提供了一種ree和tee之間數(shù)據(jù)通信的機(jī)制，更加安全。

10、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，電子設(shè)備包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、客戶端應(yīng)用ca、ca對(duì)應(yīng)的hal、ca對(duì)應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；該方法還可以包括：tof攝像頭將標(biāo)識(shí)發(fā)送至tof攝像頭hal；tof攝像頭hal將標(biāo)識(shí)至tof攝像頭服務(wù)；tof攝像頭服務(wù)將標(biāo)識(shí)發(fā)送至ca對(duì)應(yīng)的hal；ca對(duì)應(yīng)的hal將標(biāo)識(shí)發(fā)送至ca；ca將標(biāo)識(shí)發(fā)送至ta；其中，ta用于基于標(biāo)識(shí)從安全緩沖內(nèi)存區(qū)獲取tof數(shù)據(jù)。

11、可選地，ta還用于將tof數(shù)據(jù)進(jìn)行處理得到tof圖像；該方法還可以包括：

12、ta將tof圖像發(fā)送至神經(jīng)網(wǎng)絡(luò)處理器npu。

13、可選地，ta將tof圖像發(fā)送至神經(jīng)網(wǎng)絡(luò)處理器npu，具體包括：ta將tof圖像存儲(chǔ)在安全共享緩存區(qū)；ta向npu發(fā)送第一通知，第一通知用于指示已存儲(chǔ)tof圖像；npu響應(yīng)于第一通知，從安全共享緩存區(qū)獲取tof圖像。

14、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，該方法還可以包括：在tee基于tof數(shù)據(jù)進(jìn)行人眼安全檢測(cè)，得到檢測(cè)結(jié)果，檢測(cè)結(jié)果用于指示tof攝像頭發(fā)送的光對(duì)人眼是否安全；在檢測(cè)結(jié)果指示不安全時(shí)，停止通過(guò)tof攝像頭獲取tof數(shù)據(jù)。

15、上述方法，及時(shí)進(jìn)行人眼安全檢測(cè)，保證用戶的安全。

16、可選地，電子設(shè)備還包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、tof攝像頭驅(qū)動(dòng)、客戶端應(yīng)用ca、ca對(duì)應(yīng)的hal、ca對(duì)應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；ta用于基于tof數(shù)據(jù)進(jìn)行人眼安全檢測(cè)，得到檢測(cè)結(jié)果；該方法還可以包括：ta向ca發(fā)送檢測(cè)結(jié)果；ca將檢測(cè)結(jié)果發(fā)送至ca對(duì)應(yīng)的hal；ca對(duì)應(yīng)的hal將檢測(cè)結(jié)果發(fā)送至tof攝像頭服務(wù)；tof攝像頭服務(wù)將檢測(cè)結(jié)果發(fā)送至tof攝像頭hal；tof攝像頭hal在檢測(cè)結(jié)果為不安全時(shí)，向tof攝像頭驅(qū)動(dòng)發(fā)送第一指令，第一指令用于指示tof攝像頭驅(qū)動(dòng)停止通過(guò)tof攝像頭獲取tof數(shù)據(jù)。

17、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，該方法還可以包括：在tee基于tof數(shù)據(jù)確定tof攝像頭的曝光參數(shù)值；在ree基于曝光參數(shù)值調(diào)整tof攝像頭的曝光參數(shù)。

18、上述方法，可以實(shí)現(xiàn)tof攝像頭的曝光參數(shù)的動(dòng)態(tài)調(diào)整，以得到更高質(zhì)量的tof數(shù)據(jù)。

19、可選地，電子設(shè)備還包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、tof攝像頭驅(qū)動(dòng)、客戶端應(yīng)用ca、ca對(duì)應(yīng)的hal、ca對(duì)應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；ta用于基于tof數(shù)據(jù)進(jìn)行確定tof攝像頭的曝光參數(shù)值；該方法還可以包括：ta向ca發(fā)送曝光參數(shù)值；ca將曝光參數(shù)值發(fā)送至ca對(duì)應(yīng)的hal；ca對(duì)應(yīng)的hal將曝光參數(shù)值發(fā)送至tof攝像頭服務(wù)；tof攝像頭服務(wù)將曝光參數(shù)值發(fā)送至tof攝像頭hal；tof攝像頭hal向tof攝像頭驅(qū)動(dòng)發(fā)送曝光參數(shù)值；tof攝像頭驅(qū)動(dòng)設(shè)置tof攝像頭的曝光參數(shù)為曝光參數(shù)值。

20、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，電子設(shè)備還包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、tof攝像頭驅(qū)動(dòng)、客戶端應(yīng)用ca、ca對(duì)應(yīng)的hal、ca對(duì)應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；該方法還可以包括：npu向ta發(fā)送運(yùn)算結(jié)果；ta向ca發(fā)送運(yùn)算結(jié)果；ca將運(yùn)算結(jié)果發(fā)送至ca對(duì)應(yīng)的hal；ca對(duì)應(yīng)的hal將運(yùn)算結(jié)果發(fā)送至ca對(duì)應(yīng)的服務(wù)，ca對(duì)應(yīng)的服務(wù)再將運(yùn)算結(jié)果發(fā)送至應(yīng)用程序；在ree中基于運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令，包括應(yīng)用程序基于運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令。

21、可選地，npu向ta發(fā)送運(yùn)算結(jié)果的一種實(shí)現(xiàn)可以包括：npu將運(yùn)算結(jié)果存儲(chǔ)到安全共享緩存區(qū)；npu向ta發(fā)送第二通知，第二通知用于指示運(yùn)算完成；ca響應(yīng)于第二通知，從安全共享緩存區(qū)讀取運(yùn)算結(jié)果。

22、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，在tee中通過(guò)在神經(jīng)網(wǎng)絡(luò)處理器npu運(yùn)行的目標(biāo)算法對(duì)tof圖像進(jìn)行運(yùn)算，到運(yùn)算結(jié)果之前，該方法還可以包括：響應(yīng)于ree的調(diào)用指令，在npu中加載目標(biāo)算法，調(diào)用指令包括目標(biāo)算法的標(biāo)識(shí)。

23、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，該方法還可以包括：將npu的模式配置成安全模式。

24、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，用戶操作為電子設(shè)備在處于鎖屏狀態(tài)時(shí)檢測(cè)到的解鎖操作；tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為人臉識(shí)別算法和活體校驗(yàn)算法；

25、在ree中根據(jù)運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令，包括：在ree中，當(dāng)運(yùn)算結(jié)果指示通過(guò)人臉識(shí)別且通過(guò)活體校驗(yàn)算法時(shí)，解鎖屏幕。

26、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，用戶操作為電子設(shè)備在支付界面時(shí)檢測(cè)到的支付操作；tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為人臉識(shí)別算法和活體校驗(yàn)算法；

27、在ree中根據(jù)運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令，包括：在ree中，當(dāng)運(yùn)算結(jié)果指示通過(guò)人臉識(shí)別且通過(guò)活體校驗(yàn)算法時(shí)，進(jìn)行支付。

28、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，用戶操作為用于開(kāi)啟姿態(tài)控制的用戶操作，tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為姿態(tài)識(shí)別算法和活體校驗(yàn)算法；

29、在ree中根據(jù)運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令，包括：在ree中，當(dāng)運(yùn)算結(jié)果指示第一姿態(tài)且通過(guò)活體校驗(yàn)算法時(shí)，執(zhí)行第一姿態(tài)對(duì)應(yīng)的指令。

30、結(jié)合第一方面，在一種可能的實(shí)現(xiàn)中，用戶操作為用于開(kāi)啟手勢(shì)控制的用戶操作，tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為手勢(shì)識(shí)別算法和活體校驗(yàn)算法；

31、在ree中根據(jù)運(yùn)算結(jié)果執(zhí)行用戶操作對(duì)應(yīng)的指令，包括：在ree中，當(dāng)運(yùn)算結(jié)果指示第一手勢(shì)且通過(guò)活體校驗(yàn)算法時(shí)，執(zhí)行第一手勢(shì)對(duì)應(yīng)的指令。

32、第二方面，本發(fā)明實(shí)施例提供了一種電子設(shè)備，包括多個(gè)處理器和一個(gè)或多個(gè)存儲(chǔ)器；其中，多個(gè)處理器包括神經(jīng)網(wǎng)絡(luò)處理器npu，一個(gè)或多個(gè)存儲(chǔ)器與一個(gè)或多個(gè)處理器耦合，一個(gè)或多個(gè)存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序代碼，計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，當(dāng)一個(gè)或多個(gè)處理器執(zhí)行計(jì)算機(jī)指令時(shí)，使得處理器執(zhí)行第一方面或第一方面任意一種可能的實(shí)現(xiàn)中電子是本執(zhí)行的方法。

33、第三方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)指令在電子設(shè)備上運(yùn)行時(shí)，使得電子設(shè)備執(zhí)行第一方面或第一方面任意一種可能的實(shí)現(xiàn)中電子是本執(zhí)行的方法。

34、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)指令在電子設(shè)備上運(yùn)行時(shí)，使得電子設(shè)備執(zhí)行第一方面或第一方面任意一種可能的實(shí)現(xiàn)中電子是本執(zhí)行的方法。