本發(fā)明涉及無人機(jī)控制，特別是一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法。

背景技術(shù)：

1、通信技術(shù)是其無人機(jī)系統(tǒng)的核心部分，旨在實(shí)現(xiàn)穩(wěn)定和高效的無人機(jī)遙控與數(shù)據(jù)傳輸?，F(xiàn)有技術(shù)中，無人機(jī)與地面站（例如，遙控器）之間主要采用2.4?ghz和5.8?ghz頻段的無線信號(hào)傳輸。2.4?ghz頻段提供更廣的覆蓋范圍，但在高密度環(huán)境中可能受到其他設(shè)備（如wi-fi）的干擾；而5.8?ghz頻段則在信號(hào)質(zhì)量上表現(xiàn)更好，但覆蓋范圍相對(duì)較小。

2、為了應(yīng)對(duì)變化的環(huán)境，現(xiàn)有地面站（例如，遙控器）采用了自適應(yīng)調(diào)制技術(shù)，能夠根據(jù)實(shí)時(shí)的信號(hào)質(zhì)量動(dòng)態(tài)調(diào)整數(shù)據(jù)傳輸速率。這種智能化的設(shè)計(jì)確保了在信號(hào)較差的情況下，仍能保持穩(wěn)定的連接和數(shù)據(jù)傳輸。同時(shí)，現(xiàn)有地面站（例如，遙控器）支持高清視頻傳輸，通過專有的數(shù)字視頻傳輸協(xié)議（如ocusync協(xié)議），實(shí)現(xiàn)低延遲的實(shí)時(shí)畫面反饋，極大提升了用戶的飛行體驗(yàn)。

3、然而，現(xiàn)有無人機(jī)與地面站（例如，遙控器）之間的遙控與數(shù)據(jù)傳輸存在一些明顯的缺點(diǎn)：

4、（1）無人機(jī)遙控與數(shù)據(jù)傳輸存在技術(shù)壁壘，無法移植到更廣泛的無人機(jī)上，即無法通用所有無人機(jī)的遙控與數(shù)據(jù)傳輸。

5、（2）通信距離有限，超出無人機(jī)遙控的范圍后，無人機(jī)將無法被控制信號(hào)也容易受到建筑物的干擾。

6、（3）、隨著無人機(jī)與地面站（例如，遙控器）之間距離的增加，傳輸速率也會(huì)下降，距離越大則無人機(jī)控制的延遲或者無人機(jī)實(shí)時(shí)畫面的延遲越大。

7、現(xiàn)有技術(shù)中也存在一些使用4g/5g通信的方式來實(shí)現(xiàn)無人機(jī)與地面站（例如，遙控器）之間的遠(yuǎn)距離遙控與數(shù)據(jù)傳輸。但是現(xiàn)有技術(shù)中，在面對(duì)遠(yuǎn)距離遙控與數(shù)據(jù)傳輸時(shí)，缺乏無人機(jī)遠(yuǎn)程控制的手勢(shì)識(shí)別功能。無人機(jī)遠(yuǎn)程控制進(jìn)行巡檢時(shí)，無法實(shí)現(xiàn)無人機(jī)遠(yuǎn)程手勢(shì)識(shí)別，導(dǎo)致無人機(jī)遠(yuǎn)程巡檢效率低，巡檢準(zhǔn)確率低，出現(xiàn)巡檢錯(cuò)誤的情形。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法，以解決無人機(jī)遠(yuǎn)程控制進(jìn)行巡檢時(shí)，無法實(shí)現(xiàn)無人機(jī)遠(yuǎn)程手勢(shì)識(shí)別，導(dǎo)致無人機(jī)遠(yuǎn)程巡檢效率低，巡檢準(zhǔn)確率低，出現(xiàn)巡檢錯(cuò)誤的技術(shù)問題。

2、本發(fā)明的一個(gè)方面在于提供一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制系統(tǒng)，其特征在于，所述無人機(jī)遠(yuǎn)程控制系統(tǒng)，包括：

3、部署在無人機(jī)上的邊緣計(jì)算機(jī)和相機(jī)、部署在中轉(zhuǎn)站的中轉(zhuǎn)服務(wù)器，以及配置在地面站的地面站應(yīng)用端；

4、其中，所述邊緣計(jì)算機(jī)配置無人機(jī)系統(tǒng)和python服務(wù)系統(tǒng)，所述python服務(wù)系統(tǒng)集成識(shí)別模型；

5、所述無人機(jī)系統(tǒng)，用于獲取相機(jī)拍攝的第一視頻流，對(duì)第一視頻流抽取第一單幀圖像，并將第一單幀圖像發(fā)送至所述識(shí)別模型；

6、所述識(shí)別模型，用于對(duì)第一單幀圖像進(jìn)行人體位置檢測(cè)，并將人體位置檢測(cè)結(jié)果返回至所述無人機(jī)系統(tǒng)；

7、所述無人機(jī)系統(tǒng)，還用于根據(jù)人體位置檢測(cè)結(jié)果控制無人機(jī)移動(dòng)，使人體位于相機(jī)鏡頭的中間位置；

8、當(dāng)人體位于相機(jī)鏡頭的中間位置后，所述無人機(jī)系統(tǒng)獲取相機(jī)拍攝的第二視頻流，對(duì)第二視頻流抽取第二單幀圖像，并將第二單幀圖像發(fā)送至所述識(shí)別模型；

9、所述識(shí)別模型，還用于對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成識(shí)別結(jié)果，并將識(shí)別結(jié)果返回至所述無人機(jī)系統(tǒng)；

10、所述無人機(jī)系統(tǒng)，根據(jù)識(shí)別結(jié)果控制相機(jī)對(duì)人體進(jìn)行拍照生成手勢(shì)識(shí)別圖像，并獲取相機(jī)拍攝的手勢(shì)識(shí)別圖像發(fā)送至所述python服務(wù)系統(tǒng)；

11、其中，所述中轉(zhuǎn)服務(wù)器，至少配置java服務(wù)端；所述java服務(wù)端，用于獲取所述python服務(wù)系統(tǒng)的手勢(shì)識(shí)別圖像，并將手勢(shì)識(shí)別圖像發(fā)送至所述地面站應(yīng)用端。

12、在一個(gè)優(yōu)選的實(shí)施例中，當(dāng)所述識(shí)別模型對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成的識(shí)別結(jié)果是指定手勢(shì)；

13、則所述無人機(jī)系統(tǒng)控制相機(jī)對(duì)人體進(jìn)行拍照生成手勢(shì)識(shí)別圖像，并獲取相機(jī)拍攝的手勢(shì)識(shí)別圖像；

14、當(dāng)所述識(shí)別模型對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成的識(shí)別結(jié)果不是指定手勢(shì)；

15、則所述無人機(jī)系統(tǒng)不控制相機(jī)對(duì)人體進(jìn)行拍照。

16、在一個(gè)優(yōu)選的實(shí)施例中，所述中轉(zhuǎn)服務(wù)器還配置srs流媒體服務(wù)端；

17、所述無人機(jī)系統(tǒng)，將獲取的第一視頻流和/或第二視頻流推送至所述srs流媒體服務(wù)端；所述地面站應(yīng)用端拉取所述srs流媒體服務(wù)端上的第一視頻流和/或第二視頻流，并實(shí)時(shí)進(jìn)行視頻播放。

18、在一個(gè)優(yōu)選的實(shí)施例中，所述中轉(zhuǎn)服務(wù)器還配置mqtt服務(wù)端；

19、所述無人機(jī)系統(tǒng)，還用于獲取無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至所述mqtt服務(wù)端；

20、所述mqtt服務(wù)端，用于獲取所述無人機(jī)系統(tǒng)發(fā)送的無人機(jī)狀態(tài)信息；

21、所述java服務(wù)端，還用于訂閱所述mqtt服務(wù)端獲取的無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至所述地面站應(yīng)用端。

22、在一個(gè)優(yōu)選的實(shí)施例中，所述地面站應(yīng)用端，用于觸發(fā)控制請(qǐng)求，并將控制請(qǐng)求發(fā)送至所述java服務(wù)端；

23、所述java服務(wù)端，對(duì)所述控制請(qǐng)求封裝成mqtt指令，并將mqtt指令發(fā)送至所述mqtt服務(wù)端；

24、所述無人機(jī)系統(tǒng)，訂閱所述mqtt服務(wù)端的mqtt指令，根據(jù)mqtt指令控制無人機(jī)執(zhí)行控制請(qǐng)求。

25、在一個(gè)優(yōu)選的實(shí)施例中，所述java服務(wù)端對(duì)封裝的mqtt指令指定mqtt主題，將mqtt主題發(fā)送至所述mqtt服務(wù)端；

26、所述mqtt服務(wù)端獲取mqtt主題，并對(duì)mqtt主題進(jìn)行解析，得到mqtt指令。

27、本發(fā)明的另一個(gè)方面在于提供一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制方法，使用本發(fā)明提供的一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制系統(tǒng)進(jìn)行手勢(shì)識(shí)別，包括如下方法步驟：

28、s1、地面站應(yīng)用端觸發(fā)控制請(qǐng)求，并將控制請(qǐng)求發(fā)送至中轉(zhuǎn)服務(wù)器的java服務(wù)端；其中，控制請(qǐng)求包括指定手勢(shì)；

29、s2、java服務(wù)端，對(duì)控制請(qǐng)求封裝成mqtt指令，并將mqtt指令發(fā)送至mqtt服務(wù)端；

30、無人機(jī)系統(tǒng)，訂閱mqtt服務(wù)端的mqtt指令，根據(jù)mqtt指令控制無人機(jī)執(zhí)行控制請(qǐng)求；其中，無人機(jī)系統(tǒng)將控制請(qǐng)求中的指定手勢(shì)發(fā)送至識(shí)別模型；

31、s3、無人機(jī)系統(tǒng)，獲取相機(jī)拍攝的第一視頻流，對(duì)第一視頻流抽取第一單幀圖像，并將第一單幀圖像發(fā)送至識(shí)別模型；

32、識(shí)別模型，對(duì)第一單幀圖像進(jìn)行人體位置檢測(cè)，并將人體位置檢測(cè)結(jié)果返回至無人機(jī)系統(tǒng)；

33、無人機(jī)系統(tǒng)，根據(jù)人體位置檢測(cè)結(jié)果控制無人機(jī)移動(dòng)，使人體位于相機(jī)鏡頭的中間位置；

34、s4、當(dāng)人體位于相機(jī)鏡頭的中間位置后，無人機(jī)系統(tǒng)獲取相機(jī)拍攝的第二視頻流，對(duì)第二視頻流抽取第二單幀圖像，并將第二單幀圖像發(fā)送至識(shí)別模型；

35、識(shí)別模型，對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成識(shí)別結(jié)果，并將識(shí)別結(jié)果返回至無人機(jī)系統(tǒng)；

36、無人機(jī)系統(tǒng)，根據(jù)識(shí)別結(jié)果控制相機(jī)對(duì)人體進(jìn)行拍照生成手勢(shì)識(shí)別圖像，并獲取相機(jī)拍攝的手勢(shì)識(shí)別圖像發(fā)送至所述python服務(wù)系統(tǒng)；

37、s5、java服務(wù)端，獲取所述python服務(wù)系統(tǒng)的手勢(shì)識(shí)別圖像，并將手勢(shì)識(shí)別圖像發(fā)送至所述地面站應(yīng)用端。

38、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s4中，當(dāng)識(shí)別模型對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成的識(shí)別結(jié)果是控制請(qǐng)求中的指定手勢(shì)；

39、則無人機(jī)系統(tǒng)控制相機(jī)對(duì)人體進(jìn)行拍照生成手勢(shì)識(shí)別圖像，并獲取相機(jī)拍攝的手勢(shì)識(shí)別圖像；

40、當(dāng)識(shí)別模型對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成的識(shí)別結(jié)果不是控制請(qǐng)求中的指定手勢(shì)；

41、則無人機(jī)系統(tǒng)不控制相機(jī)對(duì)人體進(jìn)行拍照。

42、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s1中，地面站應(yīng)用端觸發(fā)的控制請(qǐng)求，還包括控制無人機(jī)起飛、降落、飛行、懸停、拍攝視頻流的控制信號(hào)；

43、在步驟s2中，無人機(jī)系統(tǒng)控制無人機(jī)執(zhí)行控制請(qǐng)求，包括控制無人機(jī)起飛、降落、飛行、懸停、拍攝視頻流的至少一種飛行方式。

44、在一個(gè)優(yōu)選的實(shí)施例中，所述無人機(jī)遠(yuǎn)程控制方法還包括：

45、s6、無人機(jī)系統(tǒng)，將獲取的第一視頻流和/或第二視頻流推送至所述srs流媒體服務(wù)端；所述地面站應(yīng)用端拉取所述srs流媒體服務(wù)端上的第一視頻流和/或第二視頻流，并實(shí)時(shí)進(jìn)行視頻播放。

46、在一個(gè)優(yōu)選的實(shí)施例中，所述無人機(jī)遠(yuǎn)程控制方法還包括：

47、s7、無人機(jī)系統(tǒng)，獲取無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至mqtt服務(wù)端；

48、mqtt服務(wù)端，獲取所述無人機(jī)系統(tǒng)發(fā)送的無人機(jī)狀態(tài)信息；java服務(wù)端，訂閱所述mqtt服務(wù)端獲取的無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至地面站應(yīng)用端。

49、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

50、本發(fā)明提出的一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法，在無人機(jī)上部署邊緣計(jì)算機(jī)和相機(jī)，邊緣計(jì)算機(jī)配置無人機(jī)系統(tǒng)和識(shí)別模型；無人機(jī)系統(tǒng)對(duì)第一視頻流抽取第一單幀圖像，識(shí)別模型對(duì)第一單幀圖像進(jìn)行人體位置檢測(cè)，調(diào)整人體位于相機(jī)鏡頭的中間位置，并當(dāng)人體位于相機(jī)鏡頭的中間位置后，無人機(jī)系統(tǒng)對(duì)第二視頻流抽取第二單幀圖像，識(shí)別模型對(duì)第二單幀圖像中人體的手勢(shì)進(jìn)行手勢(shì)識(shí)別，生成識(shí)別結(jié)果，無人機(jī)系統(tǒng)根據(jù)識(shí)別結(jié)果控制相機(jī)對(duì)人體進(jìn)行拍照，生成手勢(shì)識(shí)別圖像。

51、本發(fā)明提出的一種實(shí)現(xiàn)手勢(shì)識(shí)別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法，在地面站配置地面站應(yīng)用端，由地面站應(yīng)用端觸發(fā)具有指定手勢(shì)的控制請(qǐng)求，在中轉(zhuǎn)站部署中轉(zhuǎn)服務(wù)器，通過中轉(zhuǎn)服務(wù)器將具有指定手勢(shì)的控制請(qǐng)求轉(zhuǎn)發(fā)至無人機(jī)系統(tǒng)。無人機(jī)系統(tǒng)根據(jù)識(shí)別型生成的識(shí)別結(jié)果是否為指定手勢(shì)，控制相機(jī)對(duì)人體進(jìn)行拍照，生成手勢(shì)識(shí)別圖像，并將手勢(shì)識(shí)別圖像通過中轉(zhuǎn)服務(wù)器轉(zhuǎn)發(fā)至地面站應(yīng)用端，從而在無人機(jī)遠(yuǎn)程控制過程中實(shí)現(xiàn)手勢(shì)識(shí)別，使無人機(jī)遠(yuǎn)程進(jìn)行巡檢時(shí)實(shí)現(xiàn)無人機(jī)遠(yuǎn)程手勢(shì)識(shí)別，提高無人機(jī)遠(yuǎn)程巡檢效率，巡檢準(zhǔn)確率，避免出現(xiàn)巡檢錯(cuò)誤。