本申請涉及視景仿真的，具體而言，涉及一種基于多智能體視景仿真的多路視頻流的導(dǎo)出方法及系統(tǒng)、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、視景仿真技術(shù)是計算機圖形圖像技術(shù)和虛擬現(xiàn)實技術(shù)的結(jié)合，其通過構(gòu)建三維模型或再現(xiàn)真實環(huán)境來實現(xiàn)各種信息的表達和模擬。

2、視景仿真軟件(unrealengine虛幻引擎或airsim開源仿真平臺)為創(chuàng)建和體驗三維虛擬環(huán)境的基礎(chǔ)工具，其可以集成圖形渲染、物理模擬等多種核心技術(shù)，通過虛擬攝像機的切換應(yīng)用，使得用戶可以精準模擬真實世界中的各類場景(如城市景觀、太空環(huán)境探索等)、物體或動作行為的交互(如行走、駕駛或設(shè)備操作訓(xùn)練等)。

3、在多智能體視景仿真場景(包括多個交互作用的單個智能體)中，為滿足對虛擬環(huán)境態(tài)勢的全面感知，需要視景仿真軟件可以支持同時導(dǎo)出多個智能體的實時視頻流。

4、但本申請的發(fā)明人發(fā)現(xiàn)，目前大部分視景仿真軟件僅可以支持虛擬攝像機視角切換功能和圖片導(dǎo)出功能，其一般只能將錄制的各個虛擬攝像機的畫面存儲為視頻文件，而并不支持多路實時視頻流的導(dǎo)出功能。

5、另外，還有一部分視景仿真軟件雖然可以支持實時視頻流的導(dǎo)出，但其對視頻導(dǎo)出頻率的要求相對較高(如25-60hz)，從而使得多路實時視頻流同時導(dǎo)出時容易造型仿真電腦機器渲染或io性能瓶頸，使得實時視頻流的路數(shù)受到限制(如受限于8路內(nèi))，而不能實現(xiàn)多路視頻流的導(dǎo)出。

技術(shù)實現(xiàn)思路

1、根據(jù)本申請的一方面，本申請?zhí)峁┝艘环N基于多智能體視景仿真的多路視頻流的導(dǎo)出方法，包括根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對應(yīng)的仿真圖像生成對應(yīng)的仿真圖像組；通過仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息，數(shù)據(jù)信息包括圖像信息和預(yù)設(shè)字符串圖像；通過仿真處理端將數(shù)據(jù)信息存儲至預(yù)設(shè)數(shù)據(jù)庫中；建立推流端與預(yù)設(shè)數(shù)據(jù)庫的通信連接，以使得推流端從數(shù)據(jù)信息中獲取預(yù)設(shè)字符串圖像；通過推流端將預(yù)設(shè)字符串圖像解碼為圖像字節(jié)流型數(shù)據(jù)；通過推流端將圖像字節(jié)流型數(shù)據(jù)以預(yù)設(shè)方式推送至推流端的消息隊列中；通過推流端將圖像字節(jié)流型數(shù)據(jù)異步寫入預(yù)設(shè)緩存區(qū)，以將圖像字節(jié)流型數(shù)據(jù)推流至預(yù)設(shè)推流中心；通過拉流端從預(yù)設(shè)推流中心拉流每一智能體所對應(yīng)的視頻流。

2、根據(jù)本申請的一些實施例，根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對應(yīng)的仿真圖像生成對應(yīng)的仿真圖像組包括：通過視景仿真端基于仿真圖像生成仿真圖像組，或者通過文件監(jiān)控服務(wù)基于仿真圖像生成仿真圖像組。

3、根據(jù)本申請的一些實施例，通過仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息包括：通過仿真處理端解析仿真圖像組，以得到仿真圖像組的圖像信息；通過仿真處理端將仿真圖像組轉(zhuǎn)換為字節(jié)型數(shù)組格式；通過仿真處理端將字節(jié)型數(shù)組格式的仿真圖像組轉(zhuǎn)換為預(yù)設(shè)字符串圖像。

4、根據(jù)本申請的一些實施例，預(yù)設(shè)方式為升高頻率的采樣方式。

5、根據(jù)本申請的又一方面，本申請?zhí)峁┝艘环N基于多智能體視景仿真的多路視頻流的導(dǎo)出系統(tǒng)，所述導(dǎo)出系統(tǒng)包括圖像處理模塊、通信連接模塊、推流處理模塊和拉流處理模塊。圖像處理模塊根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對應(yīng)的仿真圖像生成對應(yīng)的仿真圖像組，通過仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息，數(shù)據(jù)信息包括圖像信息和預(yù)設(shè)字符串圖像，以及通過仿真處理端將數(shù)據(jù)信息存儲至預(yù)設(shè)數(shù)據(jù)庫中；通信連接模塊建立推流端與預(yù)設(shè)數(shù)據(jù)庫的通信連接，以使得推流端從數(shù)據(jù)信息中獲取預(yù)設(shè)字符串圖像；推流處理模塊通過推流端將預(yù)設(shè)字符串圖像解碼為圖像字節(jié)流型數(shù)據(jù)，通過推流端將圖像字節(jié)流型數(shù)據(jù)以預(yù)設(shè)方式推送至推流端的消息隊列中，以及通過推流端將圖像字節(jié)流型數(shù)據(jù)異步寫入預(yù)設(shè)緩存區(qū)，以將圖像字節(jié)流型數(shù)據(jù)推流至預(yù)設(shè)推流中心；拉流處理模塊通過拉流端從預(yù)設(shè)推流中心拉流每一智能體所對應(yīng)的視頻流。

6、根據(jù)本申請的一些實施例，圖像處理模塊通過視景仿真端基于仿真圖像生成仿真圖像組；或者圖像處理模塊通過文件監(jiān)控服務(wù)基于仿真圖像生成仿真圖像組。

7、根據(jù)本申請的一些實施例，圖像處理模塊通過仿真處理端解析仿真圖像組，以得到仿真圖像組的圖像信息；圖像處理模塊通過仿真處理端將仿真圖像組轉(zhuǎn)換為字節(jié)型數(shù)組格式；圖像處理模塊通過仿真處理端將字節(jié)型數(shù)組格式的仿真圖像組轉(zhuǎn)換為預(yù)設(shè)字符串圖像。

8、根據(jù)本申請的一些實施例，預(yù)設(shè)方式為升高頻率的采樣方式。

9、根據(jù)本申請的又一方面，本申請還提供了一種電子設(shè)備。電子設(shè)備包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當一個或多個程序被一個或多個處理器執(zhí)行時，使得一個或多個處理器，能夠?qū)崿F(xiàn)如上文所述的導(dǎo)出方法。

10、根據(jù)本申請的又一方面，本申請還提供了一種非易失性計算機可讀存儲介質(zhì)。該存儲介質(zhì)上存儲有計算機程序，該計算機程序被處理器執(zhí)行時能夠?qū)崿F(xiàn)如上文所述的導(dǎo)出方法。

11、本申請通過將視景仿真端的仿真圖像組的圖片進行導(dǎo)出，并通過仿真處理端對仿真圖像組的程序監(jiān)控與解析，以及通過推流電腦側(cè)的異步控制程序的處理，可以將低頻的圖片數(shù)據(jù)流轉(zhuǎn)化為實時視頻流。

12、本申請?zhí)峁┑幕诙嘀悄荏w視景仿真的多路視頻流的導(dǎo)出方法，可以使得多路視頻流的導(dǎo)出過程中互不干涉，在同樣的性能負載的情況下，本申請可以導(dǎo)出成倍的視頻流的路數(shù)，可以實現(xiàn)多路視頻流的導(dǎo)出，從而可以為用戶提供更加精準、全面的虛擬環(huán)境感知能力。

技術(shù)特征：

1.一種基于多智能體視景仿真的多路視頻流的導(dǎo)出方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的導(dǎo)出方法，其特征在于，所述根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對應(yīng)的仿真圖像生成對應(yīng)的仿真圖像組包括：

3.根據(jù)權(quán)利要求1所述的導(dǎo)出方法，其特征在于，所述通過仿真處理端處理所述仿真圖像組，以得到所述仿真圖像組的數(shù)據(jù)信息包括：

4.根據(jù)權(quán)利要求1所述的導(dǎo)出方法，其特征在于，所述預(yù)設(shè)方式為升高頻率的采樣方式。

5.一種基于多智能體視景仿真的多路視頻流的導(dǎo)出系統(tǒng)，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的導(dǎo)出系統(tǒng)，其特征在于，所述圖像處理模塊通過所述視景仿真端基于所述仿真圖像生成所述仿真圖像組；或者

7.根據(jù)權(quán)利要求5所述的導(dǎo)出系統(tǒng)，其特征在于，所述圖像處理模塊通過所述仿真處理端解析所述仿真圖像組，以得到所述仿真圖像組的所述圖像信息；

8.根據(jù)權(quán)利要求5所述的導(dǎo)出系統(tǒng)，其特征在于，所述預(yù)設(shè)方式為升高頻率的采樣方式。

9.一種電子設(shè)備，其特征在于，包括：

10.一種非易失性計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-4任一所述的導(dǎo)出方法。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N基于多智能體視景仿真的多路視頻流的導(dǎo)出方法及系統(tǒng)、電子設(shè)備和存儲介質(zhì)。所述導(dǎo)出方法包括根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對應(yīng)的仿真圖像生成對應(yīng)的仿真圖像組；通過仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息，數(shù)據(jù)信息包括圖像信息和預(yù)設(shè)字符串圖像；通過仿真處理端將數(shù)據(jù)信息存儲至預(yù)設(shè)數(shù)據(jù)庫中；建立推流端與預(yù)設(shè)數(shù)據(jù)庫的通信連接，以使得推流端從數(shù)據(jù)信息中獲取預(yù)設(shè)字符串圖像；通過推流端將預(yù)設(shè)字符串圖像解碼為圖像字節(jié)流型數(shù)據(jù)；通過推流端將圖像字節(jié)流型數(shù)據(jù)以預(yù)設(shè)方式推送至推流端的消息隊列中；通過推流端將圖像字節(jié)流型數(shù)據(jù)異步寫入預(yù)設(shè)緩存區(qū)，以將圖像字節(jié)流型數(shù)據(jù)推流至預(yù)設(shè)推流中心；通過拉流端從預(yù)設(shè)推流中心拉流每一智能體所對應(yīng)的視頻流。

技術(shù)研發(fā)人員：石龍,趙千川,李頻捷,李彬,靳曉強,韓帥,孫亞朋,歐鵬,李興魯,郭曜瑞,陳妍,王正華,朱金輝
受保護的技術(shù)使用者：啟元實驗室
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6