本發(fā)明涉及視頻數(shù)據(jù)處理，具體涉及一種基于視頻邊緣ai推理集群的架構(gòu)方法。

背景技術(shù)：

1、隨著技術(shù)發(fā)展，視頻邊緣ai推理是指在視頻處理系統(tǒng)中，將人工智能(ai)推理服務(wù)模型直接部署在靠近數(shù)據(jù)源的邊緣設(shè)備上，從而通過(guò)在邊緣設(shè)備上運(yùn)行數(shù)據(jù)模型，使得系統(tǒng)可以快速響應(yīng)并減少遠(yuǎn)程服務(wù)器或云端的算力消耗。隨著目前ai推理的進(jìn)程需求多樣，當(dāng)前邊緣設(shè)備的部署方式容易受到邊緣設(shè)備的資源限制。然而現(xiàn)有邊緣推理主流是采用指定的方式進(jìn)行任務(wù)分配，當(dāng)邊緣設(shè)備的負(fù)載出現(xiàn)變化時(shí)，其系統(tǒng)可能缺乏有效的處理效率，一方面，邊緣設(shè)備通常計(jì)算能力和存儲(chǔ)容量有限，難以處理大量并發(fā)任務(wù)，特別是所有邊緣設(shè)備將原始數(shù)據(jù)或處理結(jié)果傳回中心服務(wù)器，會(huì)造成網(wǎng)絡(luò)帶寬的浪費(fèi)；另一方面，針對(duì)少量任務(wù)，并且連續(xù)視頻幀中可能包含大量相似信息，使得推理過(guò)程中容易產(chǎn)生冗余，導(dǎo)致資源分配不均或浪費(fèi)；特別是對(duì)于數(shù)據(jù)量較大的視頻流時(shí)，原布局方式，不利于性能優(yōu)化措施不足，重新進(jìn)行設(shè)備的配置周期較長(zhǎng)，整體靈活性欠佳，使得應(yīng)用場(chǎng)景服務(wù)性能有所欠缺。因此如何使用邊緣設(shè)備進(jìn)行視頻邊緣ai推理，是值得研究的。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于視頻邊緣ai推理集群的架構(gòu)方法，以期望改善當(dāng)前邊緣設(shè)備進(jìn)行ai推理時(shí)，可能因?yàn)檫吘壴O(shè)備本身資源限制，出現(xiàn)導(dǎo)致資源分配不均或浪費(fèi)的情況。

2、本發(fā)明的一個(gè)實(shí)施例提供一種從裝置處理圖片的方式，通過(guò)對(duì)幀圖片進(jìn)行處理抽取，以期望保留關(guān)鍵幀圖像的處理，并減少不必要的圖像處理量，從而降低推理服務(wù)的計(jì)算復(fù)雜度和處理時(shí)間。

3、本發(fā)明的一個(gè)實(shí)施例提供了一種邊緣設(shè)備的配置策略，通過(guò)設(shè)置邊緣設(shè)備的健康度配合負(fù)載注冊(cè)表進(jìn)行邊緣設(shè)備配置，以期望通過(guò)邊緣設(shè)備在執(zhí)行任務(wù)時(shí)進(jìn)行替換或協(xié)助處理，應(yīng)付裝置異?；蚋卟l(fā)任務(wù)的影響。

4、為解決上述的技術(shù)問(wèn)題，本發(fā)明采用以下技術(shù)方案：

5、一種基于視頻邊緣ai推理集群的架構(gòu)方法，包括如下步驟，s100，配置推理集群，推理集群包括多個(gè)邊緣裝置，上述邊緣裝置接入服務(wù)器；上述邊緣裝置之間信號(hào)交互；上述服務(wù)器指定一個(gè)邊緣裝置的身份為主裝置，指定多個(gè)邊緣裝置的身份為從裝置。

6、s200，上述服務(wù)器配置負(fù)載注冊(cè)表，上述負(fù)載注冊(cè)表包含每個(gè)邊緣裝置的身份、負(fù)載信息和優(yōu)先級(jí)；上述主裝置通過(guò)服務(wù)器獲取負(fù)載注冊(cè)表并建立分配決策。

7、s300，上述主裝置獲取數(shù)據(jù)采集節(jié)點(diǎn)的視頻流并將視頻流進(jìn)行解碼轉(zhuǎn)換為圖片格式，得到若干個(gè)連續(xù)的第一圖像數(shù)據(jù)；同時(shí)主裝置訪問(wèn)負(fù)載注冊(cè)表并將第一圖像數(shù)據(jù)按照分配決策發(fā)送至對(duì)應(yīng)從裝置，由從裝置調(diào)用推理模型進(jìn)行推理服務(wù)。其中，視頻流為數(shù)據(jù)采集節(jié)點(diǎn)實(shí)時(shí)捕獲視頻的數(shù)字信號(hào)；其中，第一圖像數(shù)據(jù)包含若干連貫幀的單幀圖片。

8、其中，上述主裝置建立分配決策包括如下步驟：

9、s210，上述主裝置從服務(wù)器下載負(fù)載注冊(cè)表并提取負(fù)載信息，通過(guò)負(fù)載信息計(jì)算負(fù)載健康度；s220，將負(fù)載注冊(cè)表中的從裝置按照負(fù)載健康度進(jìn)行排序生成優(yōu)先級(jí)表格；s230，上述主裝置根據(jù)設(shè)定數(shù)量從優(yōu)先級(jí)表格中選擇從裝置建立初始連接并獲取從裝置的任務(wù)進(jìn)程數(shù)；由主裝置根據(jù)任務(wù)進(jìn)程數(shù)確定分配順序；其中，主裝置與從裝置建立初始連接時(shí)，上述主裝置向服務(wù)器反饋連接狀態(tài)，由服務(wù)器對(duì)負(fù)載注冊(cè)表中對(duì)應(yīng)的從裝置進(jìn)行工作標(biāo)記。

10、作為優(yōu)選，還包括s400，上述從裝置將第一圖像數(shù)據(jù)通過(guò)推理服務(wù)生成圖片數(shù)據(jù)，上述圖片數(shù)據(jù)通過(guò)負(fù)載均衡接口返回主裝置，上述主裝置轉(zhuǎn)發(fā)圖片數(shù)據(jù)至服務(wù)器，由服務(wù)器通過(guò)通道websocket給前端web頁(yè)面顯示。

11、進(jìn)一步的技術(shù)方案是，上述從裝置進(jìn)行推理服務(wù)時(shí)，上述從裝置調(diào)用推理模型，將第一圖像數(shù)據(jù)通過(guò)推理模型生成圖片數(shù)據(jù)；上述推理服務(wù)的執(zhí)行步驟是：

12、s410，提取第一圖像數(shù)據(jù)中的所有單幀圖片，確定第一圖像數(shù)據(jù)中的關(guān)鍵幀和中間幀。

13、s420，將關(guān)鍵幀所對(duì)應(yīng)的單幀圖片設(shè)置為重點(diǎn)圖片，將重點(diǎn)圖片相鄰的單幀圖片設(shè)置為校驗(yàn)圖片。

14、其中，第一圖像數(shù)據(jù)提取的關(guān)鍵幀為多個(gè)，且每個(gè)關(guān)鍵幀均設(shè)置為重點(diǎn)圖片。

15、s430，從裝置調(diào)用內(nèi)置的預(yù)設(shè)模型分別對(duì)重點(diǎn)圖片和校驗(yàn)圖片進(jìn)行數(shù)據(jù)處理，由預(yù)設(shè)模型提取重點(diǎn)圖片和校驗(yàn)圖片的邊緣特征分別生成第一邊緣圖片和第二邊緣圖片。

16、其中，預(yù)設(shè)模型可以是vggnet、resnet或inception模型的任意一種；

17、s440，上述從裝置設(shè)置相似度參數(shù)，將重點(diǎn)圖片的第一邊緣圖片與對(duì)應(yīng)校驗(yàn)圖片的第二邊緣圖片進(jìn)行相似度判斷，確定關(guān)鍵幀的選取是否正常；當(dāng)相似度大于等于相似度參數(shù)，則表示關(guān)鍵幀的選取正常，上述從裝置將第一邊緣圖片進(jìn)行壓縮得到壓縮圖片，并執(zhí)行s450；當(dāng)相似度小于相似度參數(shù)，則表示關(guān)鍵幀的選取不正常，該關(guān)鍵幀調(diào)整為中間幀。

18、s450，將壓縮圖片整合為圖片數(shù)據(jù)，上述圖片數(shù)據(jù)包含了第一圖像數(shù)據(jù)對(duì)應(yīng)的所有壓縮圖片。

19、更進(jìn)一步的技術(shù)方案是，執(zhí)行s410時(shí)，上述從裝置設(shè)定累積數(shù)；獲取第一圖像數(shù)據(jù)中的所有單幀圖片的個(gè)數(shù)并判斷單幀圖片的個(gè)數(shù)是否超過(guò)圖片累積數(shù)；當(dāng)單幀圖片的個(gè)數(shù)超過(guò)累積數(shù)時(shí)，上述從裝置執(zhí)行預(yù)設(shè)的動(dòng)態(tài)策略，從裝置將第一圖像數(shù)據(jù)分割為第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)，上述第二圖像數(shù)據(jù)用于執(zhí)行s420至s450的步驟。

20、其中，第二圖像數(shù)據(jù)包含與圖片累積數(shù)相同個(gè)數(shù)的單幀圖片。

21、其中，第三圖像數(shù)據(jù)包含第一圖像數(shù)據(jù)超過(guò)累積數(shù)的單幀圖片。

22、其中，上述從裝置向服務(wù)器發(fā)送請(qǐng)求，服務(wù)器從負(fù)載注冊(cè)表中選取閑置的邊緣裝置并將身份設(shè)置協(xié)助裝置，由從裝置轉(zhuǎn)發(fā)第三圖像數(shù)據(jù)至協(xié)助裝置，協(xié)助裝置執(zhí)行s420至s450的步驟。

23、進(jìn)一步的技術(shù)方案是，執(zhí)行s440時(shí)，上述從裝置設(shè)置的相似度參數(shù)為t，獲取第一邊緣圖片與對(duì)應(yīng)第二邊緣圖片的相似度；其相似度s的計(jì)算公式是：

24、

25、式中，ua為第一邊緣圖片的平均亮度；ub為第二邊緣圖片的平均亮度；βab為第一邊緣圖片與第二邊緣圖片的協(xié)方差；為第一邊緣圖片的方差；為第二邊緣圖片的方差；l1和l2分別為第一邊緣圖片和第二邊緣圖片的穩(wěn)定性常數(shù)。

26、其中，上述s≥t時(shí)，則認(rèn)為關(guān)鍵幀的選取正常；上述s＜t時(shí)，則認(rèn)為關(guān)鍵幀的選取不正常。

27、其中的一個(gè)技術(shù)方案是，第二邊緣圖片的數(shù)量等于1時(shí)，上述第一邊緣圖片為第一圖像數(shù)據(jù)的開(kāi)始幀或結(jié)束幀，通過(guò)上述直接獲取第一邊緣圖片與對(duì)應(yīng)第二邊緣圖片的相似度s。

28、其中的一個(gè)技術(shù)方案是，第二邊緣圖片的數(shù)量等于2時(shí)，上述第二邊緣圖片分別為第一邊緣圖片的前后兩幀；按照上述公式獲取前一幀的第二邊緣圖片與第一邊緣圖片的相識(shí)度s1，以及后一幀的第二邊緣圖片與第一邊緣圖片的相識(shí)度s2；上述第一邊緣圖片與對(duì)應(yīng)第二邊緣圖片的相似度s為s1與s2的平均值。

29、作為優(yōu)選，在s300中，上述主裝置將第一圖像數(shù)據(jù)發(fā)送至從裝置進(jìn)行推理時(shí)，上述主裝置設(shè)置監(jiān)控時(shí)間，上述主裝置在監(jiān)控時(shí)間內(nèi)持續(xù)監(jiān)聽(tīng)對(duì)應(yīng)從裝置的推理時(shí)的進(jìn)度，并判斷該從裝置的處理效率是否正常。

30、其中，主裝置在監(jiān)控時(shí)間內(nèi)收到從裝置返回的圖片數(shù)據(jù)，則表示從裝置處理效率正常。

31、其中，主裝置在監(jiān)控時(shí)間內(nèi)未收到圖片數(shù)據(jù)，則表示該從裝置處理效率異常，當(dāng)從裝置處理效率為異常時(shí)，上述主裝置執(zhí)行替換策略，由主裝置從負(fù)載注冊(cè)表中選出一個(gè)從裝置作為臨時(shí)裝置，上述主裝置再次發(fā)送第一圖像數(shù)據(jù)至臨時(shí)裝置進(jìn)行推理服務(wù)。

32、進(jìn)一步的技術(shù)方案是，上述主裝置執(zhí)行替換策略時(shí)，上述主裝置再次從服務(wù)下載當(dāng)前的負(fù)載注冊(cè)表，上述主裝置在負(fù)載注冊(cè)表中剔除被工作標(biāo)記的從裝置，并通過(guò)剩余從裝置的負(fù)載信息重新建立新的優(yōu)先級(jí)表格；上述主裝置從新的優(yōu)先級(jí)表格中選擇靠前的從裝置作為臨時(shí)裝置。

33、進(jìn)一步的技術(shù)方案是，上述主裝置在監(jiān)控時(shí)間內(nèi)收到臨時(shí)裝置返回的圖片數(shù)據(jù)，則臨時(shí)裝置替換效率異常的從裝置；同時(shí)主裝置向服務(wù)器發(fā)送更新請(qǐng)求，上述服務(wù)器用于在負(fù)載注冊(cè)表對(duì)處理效率異常的從裝置進(jìn)行異常標(biāo)記。

34、作為優(yōu)選，上述負(fù)載注冊(cè)表中記載的負(fù)載信息包括cpu總占用率、npu總占用率、內(nèi)存占用率和網(wǎng)絡(luò)延遲數(shù)據(jù)；上述步驟s210中負(fù)載健康度p的計(jì)算公式是：

35、p＝kc×log(1-c+z)+kn×log(1-n+z)+km×log(1-m+z)+kd×e-α·d；

36、式中，c為cpu總占用率，n為npu總占用率，m為內(nèi)存占用率，d為以毫秒計(jì)的網(wǎng)絡(luò)延遲，kc為cpu總占用率在優(yōu)先級(jí)排序的權(quán)重系數(shù)，kn為npu總占用率在優(yōu)先級(jí)排序的權(quán)重系數(shù)；kd為網(wǎng)絡(luò)延遲在優(yōu)先級(jí)排序的權(quán)重系數(shù)；km為內(nèi)存占用率在優(yōu)先級(jí)排序的權(quán)重系數(shù)；z為設(shè)定0至0.001之間的初始系數(shù)；α為正的比例系數(shù)并用于調(diào)整網(wǎng)絡(luò)延遲的影響。其中，kc+kn+kd+km＝1，上述c、n和m取值范圍均為0至1，上述1表示100％的占用。

37、進(jìn)一步的技術(shù)方案是，還包括步驟s500，上述服務(wù)器定期收集邊緣裝置的負(fù)載信息并根據(jù)獲取的負(fù)載信息更新負(fù)載注冊(cè)表；上述服務(wù)器設(shè)定負(fù)載健康度p的閾值，當(dāng)任意邊緣裝置的負(fù)載健康度p低于閾值，則服務(wù)器從負(fù)載注冊(cè)表重新設(shè)置選出一個(gè)邊緣裝置進(jìn)行替換，并更新負(fù)載注冊(cè)表中的身份。

38、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果至少是如下之一：

39、本發(fā)明的邊緣設(shè)備采用主裝置和多個(gè)從裝置的協(xié)同架構(gòu)，針對(duì)視頻流的特殊性，通過(guò)主裝置將視頻流解碼轉(zhuǎn)換為圖片格式后分發(fā)到不同的從裝置，其視頻流解碼為圖片格式，可以減少了需要通過(guò)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量。通過(guò)主裝置能實(shí)時(shí)監(jiān)控從裝置的運(yùn)行狀態(tài)，結(jié)合服務(wù)器建立的負(fù)載注冊(cè)表，一方面服務(wù)器可以靈活適應(yīng)邊緣設(shè)備的動(dòng)態(tài)加入和退出，保證主裝置與從裝置的穩(wěn)定連接，另一方面負(fù)載注冊(cè)表的設(shè)置有利選出負(fù)載較輕、處理能力更強(qiáng)的邊緣設(shè)備，通過(guò)負(fù)載健康度獲取邊緣設(shè)備的狀態(tài)并建立優(yōu)先級(jí)表格，其優(yōu)先級(jí)表格通過(guò)實(shí)時(shí)更新的負(fù)載信息結(jié)合，使得選擇的設(shè)備能夠迅速適應(yīng)網(wǎng)絡(luò)或硬件狀態(tài)的變動(dòng)，通過(guò)動(dòng)態(tài)的資源分配機(jī)制確保了邊緣計(jì)算資源被高效利用。

40、本發(fā)明通過(guò)從裝置對(duì)接收到的第一圖像數(shù)據(jù)進(jìn)行推理服務(wù)，利用負(fù)載均衡接口的方式，保證了數(shù)據(jù)處理和傳輸?shù)母咝浴Ｌ貏e是針對(duì)數(shù)據(jù)流量大或計(jì)算請(qǐng)求頻繁的場(chǎng)景，本發(fā)明可通過(guò)智能的負(fù)載均衡，能夠有效分散處理壓力，避免了單點(diǎn)過(guò)載，加快了數(shù)據(jù)處理和轉(zhuǎn)發(fā)速度。同時(shí)，處理后的圖片數(shù)據(jù)經(jīng)主裝置轉(zhuǎn)發(fā)至服務(wù)器，再通過(guò)websocket通道實(shí)時(shí)推送到前端web頁(yè)面的方式，實(shí)現(xiàn)了數(shù)據(jù)處理結(jié)果的即時(shí)可視化。

41、本發(fā)明在面對(duì)高并發(fā)任務(wù)時(shí)，本發(fā)明通過(guò)關(guān)鍵幀和中間幀的選擇性處理，可以有效的減少需通過(guò)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，降低了網(wǎng)絡(luò)帶寬消耗，同時(shí)提高了數(shù)據(jù)處理的效率，并確保整個(gè)處置過(guò)程的穩(wěn)定和高效。