本發(fā)明涉及智能硬件,尤其涉及一種基于智能語音交互的自動駕駛輪椅導航方法和系統(tǒng)。
背景技術:
1、自動駕駛輪椅在交通場站場景中開始逐漸得到應用,盡管自動駕駛輪椅應用技術已經取得了顯著進展,但大多數現有自動駕駛輪椅導航系統(tǒng)仍然依賴于預定義的導航任務和路徑規(guī)劃。
2、預定義的導航任務和路徑規(guī)劃具有靈活性差的缺陷,在實際使用過程中自動駕駛輪椅無法根據實時情況和用戶需求快速調整導航指令,影響自動駕駛輪椅的使用體驗。
技術實現思路
1、本發(fā)明實施例的目的是提供一種基于智能語音交互的自動駕駛輪椅導航方法和系統(tǒng),能夠解決現有技術中存在的自動駕駛輪椅無法根據實時情況和用戶需求快速調整導航指令的問題。
2、為解決上述技術問題,本發(fā)明提供如下技術方案:
3、本發(fā)明實施例提供了一種基于智能語音交互的自動駕駛輪椅導航方法,其中,所述方法包括:
4、響應于語音喚醒指令,開啟自動駕駛輪椅的語音交互系統(tǒng)、視覺感知系統(tǒng)以及導航系統(tǒng);
5、調用所述語音交互系統(tǒng)輸出導航目的地詢問指令,并接收用戶輸入的導航目的地反饋信息;
6、在移動過程中調用所述視覺感知系統(tǒng)生成包含語義信息和運行環(huán)境的三維語義點云地圖模型;
7、在所述三維語義點云地圖模型中標記所述導航目的地反饋信息中的目標位置信息;
8、調用所述導航系統(tǒng)依據所述自動駕駛輪椅的當前位置信息、標記有所述目標位置信息的三維語義點云地圖模型生成移動路徑;
9、依據所述移動路徑控制所述自動駕駛輪椅移動。
10、可選地,所述語音交互系統(tǒng)輸出導航目的地詢問指令,并接收用戶輸入的導航目的地反饋信息的步驟,包括:
11、所述語音交互系統(tǒng)輸出中預設的導航目的地詢問指令,其中,所述導航目的地詢問指令可引導用戶輸入符合預設格式的導航目的地信息;
12、監(jiān)測預設時間內是否接收到用戶輸入的導航目的地反饋信息;
13、若否,則再次輸出所述導航目的地詢問指令,直至接收到用戶輸入的導航目的地反饋信息為止。
14、可選地,在移動過程中調用所述視覺感知系統(tǒng)生成包含語義信息和運行環(huán)境的三維語義點云地圖模型的步驟包括:
15、在移動過程中,調用所述視覺感知系統(tǒng)實時采集包括周圍環(huán)境的空間深度信息和圖像色彩信息的環(huán)境感知視頻流;
16、依據所述環(huán)境感知視頻流生成運行環(huán)境三維點云地圖模型;
17、利用圖像語義分割算法對所述環(huán)境感知視頻流中的每幀環(huán)境感知圖像進行語義分割,將分割結果渲染到所述運行環(huán)境三維點云地圖模型上,生成包含語義信息和運行環(huán)境的三維語義點云地圖模型。
18、可選地,依據所述環(huán)境感知視頻流生成運行環(huán)境三維點云地圖模型的步驟,包括:
19、將所述環(huán)境感知視頻流劃分為多個單幀環(huán)境感知圖像;
20、針對每幀環(huán)境感知圖像,依據所述環(huán)境感知圖像中的空間深度信息和圖像色彩信息構建對應的點云地圖;
21、采用點云融合算法將每幀環(huán)境感知圖像對應的點云地圖進行融合,生成運行環(huán)境三維點云地圖模型。
22、可選地,在移動過程中調用所述視覺感知系統(tǒng)生成包含語義信息和運行環(huán)境的三維語義點云地圖模型的步驟之前,所述方法還包括:
23、在接收到所述導航目的地反饋信息后,按照第一速度移動;其中,所述第一移動速度小于依據所述移動路徑控制所述自動駕駛輪椅移動的速度。
24、本發(fā)明實施例還提供了一種基于智能語音交互的自動駕駛輪椅導航系統(tǒng),設置于自動駕駛輪椅中,其中,所述基于智能語音交互的自動駕駛輪椅導航系統(tǒng)包括:控制系統(tǒng)、語音交互系統(tǒng)、視覺感知系統(tǒng)以及導航系統(tǒng);
25、所述控制系統(tǒng),用于響應于語音喚醒指令,開啟自動駕駛輪椅的所述語音交互系統(tǒng)、所述視覺感知系統(tǒng)以及所述導航系統(tǒng);
26、所述語音交互系統(tǒng),用于輸出導航目的地詢問指令,并接收用戶輸入的導航目的地反饋信息;
27、所述視覺感知系統(tǒng),用于在所述自動駕駛輪椅移動過程中生成包含語義信息和運行環(huán)境的三維語義點云地圖模型;
28、所述導航系統(tǒng),用于在所述三維語義點云地圖模型中標記所述語音交互系統(tǒng)發(fā)送的所述導航目的地反饋信息中的目標位置信息;依據所述自動駕駛輪椅的當前位置信息、標記有所述目標位置信息的三維語義點云地圖模型生成移動路徑;
29、所述控制系統(tǒng),還用于依據所述導航系統(tǒng)發(fā)送的移動路徑控制所述自動駕駛輪椅移動。
30、可選地,所述語音交互系統(tǒng)包括:
31、輸出模塊,用于輸出中預設的導航目的地詢問指令,其中,所述導航目的地詢問指令可引導用戶輸入符合預設格式的導航目的地信息;
32、監(jiān)測模塊,用于監(jiān)測預設時間內是否接收到用戶輸入的導航目的地反饋信息;若否,則再次調用輸出模塊輸出所述導航目的地詢問指令,直至接收到用戶輸入的導航目的地反饋信息為止。
33、可選地,所述視覺感知系統(tǒng)包括:
34、啟動模塊,用于啟動預設設備實時采集包括周圍環(huán)境的空間深度信息和圖像色彩信息的環(huán)境感知視頻流;
35、第一生成模塊,用于依據所述環(huán)境感知視頻流生成運行環(huán)境三維點云地圖模型;
36、第二生成模塊,用于利用圖像語義分割算法對所述環(huán)境感知視頻流中的每幀環(huán)境感知圖像進行語義分割,將分割結果渲染到所述運行環(huán)境三維點云地圖模型上,生成包含語義信息和運行環(huán)境的三維語義點云地圖模型。
37、可選地,所述第一生成模塊具體用于:
38、將所述環(huán)境感知視頻流劃分為多個單幀環(huán)境感知圖像;
39、針對每幀環(huán)境感知圖像,依據所述環(huán)境感知圖像中的空間深度信息和圖像色彩信息構建對應的點云地圖;
40、采用點云融合算法將每幀環(huán)境感知圖像對應的點云地圖進行融合,生成運行環(huán)境三維點云地圖模型。
41、可選地,所述控制系統(tǒng)還用于:
42、在接收到所述導航目的地反饋信息后,控制所述自動駕駛輪椅按照第一速度移動;其中,所述第一移動速度小于依據所述移動路徑移動的速度。
43、本發(fā)明實施例還提供了一種基于智能語音交互的自動駕駛輪椅導航裝置,
44、本發(fā)明實施例提供了一種電子設備,該電子設備包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令,所述程序或指令被所述處理器執(zhí)行時實現上述任意一種基于智能語音交互的自動駕駛輪椅導航方法的步驟。
45、本發(fā)明實施例提供了一種可讀存儲介質,所述可讀存儲介質上存儲程序或指令,所述程序或指令被處理器執(zhí)行時實現上述任意一種基于智能語音交互的自動駕駛輪椅導航方法的步驟。
46、本發(fā)明實施例提供的基于智能語音交互的自動駕駛輪椅導航方案,響應于語音喚醒指令,開啟自動駕駛輪椅的語音交互系統(tǒng)、視覺感知系統(tǒng)以及導航系統(tǒng);調用語音交互系統(tǒng)輸出導航目的地詢問指令,并接收用戶輸入的導航目的地反饋信息;在移動過程中調用視覺感知系統(tǒng)生成包含語義信息和運行環(huán)境的三維語義點云地圖模型;在三維語義點云地圖模型中標記導航目的地反饋信息中的目標位置信息;調用導航系統(tǒng)依據自動駕駛輪椅的當前位置信息、標記有目標位置信息的三維語義點云地圖模型生成移動路徑;依據移動路徑控制自動駕駛輪椅移動。本發(fā)明實施例提供的該導航方案,依據語音交互系統(tǒng)實時接收用戶輸入的導航目的地信息,依據視覺感知系統(tǒng)生成三維語義點云地圖模型,使得自動駕駛輪椅在實際使用過程中可以根據實時情況和用戶需求快速調整導航指令,規(guī)劃導航路徑,實現自動駕駛輪椅的靈活控制。