本發(fā)明涉及計算機，更具體地，涉及一種終端設備自動化操作的方法和裝置。

背景技術：

1、近年來，隨著人工智能技術的發(fā)展，各種智能終端設備進入到人們的日常生活中，為人們的生活提供了很多便利，以智能手機為例，用戶的工作、生活、出行、購物和娛樂等都可以通過智能手機中的各種應用程序實現(xiàn)，用戶在較為忙碌的時刻，需要智能手機實現(xiàn)自動化操作，節(jié)約自己的時間。

2、現(xiàn)有技術中，隨著大型語言模型(large?language?model，llm)技術的廣泛應用，上述llm在解自然語言和執(zhí)行復雜指令方面取得了顯著進展，上述llm能夠理解終端設備的屏幕上的內容，并根據用戶的指令在移動設備上執(zhí)行操作，例如，在購物網站上購買商品，但是由于llm需要分析屏幕內容、理解用戶指令并生成操作步驟，整個過程耗時較長，在此期間，自動化操作過程會占用手機屏幕和系統(tǒng)資源，干擾用戶正常使用手機，影響用戶的體驗。

3、綜上所述，如何在不占用用戶終端設備屏幕的情況下實現(xiàn)終端設備的自動化操作，提高用戶的體驗，是目前需要解決的問題。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明實施例提供了一種終端設備自動化操作的方法和裝置，可以在不占用用戶終端設備屏幕的情況下實現(xiàn)終端設備的自動化操作，提高用戶的體驗。

2、第一方面，本發(fā)明實施例提供了一種終端設備自動化操作的方法，所述方法包括：

3、獲取用戶指令信息；

4、根據所述用戶指令信息在終端設備的后臺生成虛擬顯示屏幕；

5、在所述虛擬顯示屏幕上加載所述用戶指令信息對應的應用程序；

6、獲取當前時刻所述虛擬顯示屏幕上顯示的目標圖像；

7、將所述用戶指令信息與所述目標圖像輸入到大型語言模型，生成自動化操作步驟；

8、在所述虛擬顯示屏幕上執(zhí)行所述自動化操作步驟。

9、可選的，所述方法還包括：

10、根據所述自動化操作步驟更新所述顯示屏幕上顯示的目標圖像。

11、可選的，所述方法還包括：

12、確定所述自動化操作步驟生成的結果；

13、將所述結果發(fā)送至所述終端設備的真實顯示屏幕。

14、可選的，所述方法還包括：

15、接收到用戶發(fā)送的確認反饋信息，其中，所述確認反饋信息表示用戶確認生成的所述結果。

16、可選的，所述方法還包括：

17、接收到用戶發(fā)送的修改指令信息，其中，所述修改指令信息表示用戶對生成的所述結果進行修改。

18、可選的，所述方法還包括：

19、所述虛擬顯示屏幕在所述終端設備的真實顯示屏幕通過小窗形式顯示，其中，所述小窗占據所述真實顯示屏幕的局部區(qū)域。

20、可選的，所述在所述虛擬顯示屏幕上加載所述用戶指令信息對應的應用程序，具體包括：

21、根據所述大型語言模型對所述用戶指令信息進行分析，確定所述用戶指令信息對應的應用程序；

22、在所述虛擬顯示屏幕上加載所述應用程序。

23、第二方面，本發(fā)明實施例提供了一種終端設備自動化操作的裝置，所述裝置包括：

24、獲取單元，用于獲取用戶指令信息；

25、生成單元，用于根據所述用戶指令信息在終端設備的后臺生成虛擬顯示屏幕；

26、處理單元，用于在所述虛擬顯示屏幕上加載所述用戶指令信息對應的應用程序；

27、所述獲取單元還用于，獲取當前時刻所述虛擬顯示屏幕上顯示的目標圖像；

28、所述生成單元還用于，將所述用戶指令信息與所述目標圖像輸入到大型語言模型，生成自動化操作步驟；

29、執(zhí)行單元，用于在所述虛擬顯示屏幕上執(zhí)行所述自動化操作步驟。

30、可選的，所述裝置還包括：

31、更新單元，用于根據所述自動化操作步驟更新所述顯示屏幕上顯示的目標圖像。

32、可選的，所述裝置還包括：

33、確定單元，用于確定所述自動化操作步驟生成的結果；

34、發(fā)送單元，用于將所述結果發(fā)送至所述終端設備的真實顯示屏幕。

35、可選的，所述裝置還包括：

36、接收單元，用于接收到用戶發(fā)送的確認反饋信息，其中，所述確認反饋信息表示用戶確認生成的所述結果。

37、可選的，所述接收單元還用于：

38、接收到用戶發(fā)送的修改指令信息，其中，所述修改指令信息表示用戶對生成的所述結果進行修改。

39、可選的，所述裝置還包括：

40、顯示單元，用于在所述終端設備的真實顯示屏幕通過小窗形式顯示所述虛擬顯示屏幕，其中，所述小窗占據所述真實顯示屏幕的局部區(qū)域。

41、可選的，所述處理單元具體用于：

42、根據所述大型語言模型對所述用戶指令信息進行分析，確定所述用戶指令信息對應的應用程序；

43、在所述虛擬顯示屏幕上加載所述應用程序。

44、第三方面，本發(fā)明實施例提供了一種電子設備，包括存儲器和處理器，所述存儲器用于存儲一條或多條計算機程序指令，其中，所述一條或多條計算機程序指令被所述處理器執(zhí)行以實現(xiàn)如第一方面或第一方面任一種可能中任一項所述的方法。

45、第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質，其上存儲計算機程序指令，所述計算機程序指令在被處理器執(zhí)行時實現(xiàn)如第一方面或第一方面任一種可能中任一項所述的方法。

46、本發(fā)明實施例中，通過獲取用戶指令信息；根據所述用戶指令信息在終端設備的后臺生成虛擬顯示屏幕；在所述虛擬顯示屏幕上加載所述用戶指令信息對應的應用程序；獲取當前時刻所述虛擬顯示屏幕上顯示的目標圖像；將所述用戶指令信息與所述目標圖像輸入到大型語言模型，生成自動化操作步驟；在所述虛擬顯示屏幕上執(zhí)行所述自動化操作步驟。通過上述方法，可以在不占用用戶終端設備屏幕的情況下，在虛擬顯示屏幕上加載對應的應用程序并執(zhí)行自動化操作步驟，實現(xiàn)終端設備的自動化操作，提高用戶的體驗。

技術特征：

1.一種終端設備自動化操作的方法，其特征在于，所述方法包括：

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

7.根據權利要求1所述的方法，其特征在于，所述在所述虛擬顯示屏幕上加載所述用戶指令信息對應的應用程序，具體包括：

8.一種終端設備自動化操作的裝置，其特征在于，所述裝置包括：

9.一種電子設備，包括存儲器和處理器，其特征在于，所述存儲器用于存儲一條或多條計算機程序指令，其中，所述一條或多條計算機程序指令被所述處理器執(zhí)行以實現(xiàn)如權利要求1-7中任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1-7中任一項所述的方法。

技術總結
本發(fā)明實施例公開了一種終端設備自動化操作的方法和裝置。本發(fā)明實施例中，通過獲取用戶指令信息；根據所述用戶指令信息在終端設備的后臺生成虛擬顯示屏幕；在所述虛擬顯示屏幕上加載所述用戶指令信息對應的應用程序；獲取當前時刻所述虛擬顯示屏幕上顯示的目標圖像；將所述用戶指令信息與所述目標圖像輸入到大型語言模型，生成自動化操作步驟；在所述虛擬顯示屏幕上執(zhí)行所述自動化操作步驟。通過上述方法，可以在不占用用戶終端設備屏幕的情況下，在虛擬顯示屏幕上實現(xiàn)終端設備的自動化操作，提高用戶的體驗。

技術研發(fā)人員：黃賢校,徐晶,楊師正
受保護的技術使用者：浙江未來精靈人工智能科技有限公司
技術研發(fā)日：
技術公布日：2025/1/9