本公開涉及網(wǎng)絡(luò)安全，尤其涉及一種跨網(wǎng)日志處理方法、裝置、存儲介質(zhì)、程序產(chǎn)品。

背景技術(shù)：

1、在現(xiàn)代信息系統(tǒng)中，日志記錄是系統(tǒng)運維和安全審計的關(guān)鍵組成部分。對于某些具有嚴格安全要求的項目，尤其是需要在內(nèi)網(wǎng)與外網(wǎng)之間進行信息隔離的場景中，通常通過網(wǎng)閘實現(xiàn)數(shù)據(jù)傳輸，即將一個網(wǎng)絡(luò)產(chǎn)生的日志通過網(wǎng)閘上傳至另一個網(wǎng)絡(luò)。但是日志的生成速率可能存在顯著波動，影響傳輸。

技術(shù)實現(xiàn)思路

1、有鑒于此，本公開實施例提供了一種跨網(wǎng)日志處理方法、裝置、存儲介質(zhì)、程序產(chǎn)品，能夠在日志的生成速率產(chǎn)生波動時作出有效的調(diào)整，實現(xiàn)日志寫入和上傳的穩(wěn)定運行。

2、第一方面，本公開實施例提供了一種跨網(wǎng)日志處理方法，采用如下技術(shù)方案：

3、實時接收來自第一網(wǎng)絡(luò)的日志；

4、當?shù)谝蝗罩娟犃械拇鎯θ萘繚M足條件時，將所述日志存儲到第一日志隊列中；

5、當所述第一日志隊列的存儲容量達到容量閾值并且無第二日志隊yy+242252p

6、列時，創(chuàng)建第二日志隊列存儲所述日志；

7、通過第一消費線程將存儲的日志寫入預(yù)設(shè)的文件；

8、當所述第二日志隊列的存儲容量達到所述容量閾值并且當前日志接收速率呈增長趨勢時，創(chuàng)建第二消費線程將所述第二日志隊列中的日志寫入所述文件；

9、在所述文件寫入完成后，將所述文件上傳至第二網(wǎng)絡(luò)。

10、可選地，當所述第一日志隊列和已存在的所述第二日志文件的存儲容量均達到容量閾值時，創(chuàng)建新的第二日志隊列存儲日志。

11、可選地，當所述第二日志隊列在預(yù)設(shè)的過期時間內(nèi)未存儲新的日志時，對所述第二日志隊列進行延遲銷毀。

12、可選地，所述通過第一消費線程將存儲的日志寫入預(yù)設(shè)的文件，包括：

13、所述第一消費線程優(yōu)先將所述第一日志隊列中的日志寫入所述文件；

14、若所述第一日志隊列為空，則按照創(chuàng)建順序訪問所述第二日志隊列，若訪問的第二日志隊列中有日志且無對應(yīng)的第二消費線程，則所述第一日志隊列將所述被訪問的第二日志隊列中的日志寫入文件。

15、可選地，每個第二日志隊列均具有一個速率閾值；

16、當具有第二消費線程的第二日志隊列中沒有日志，并且所述當前日志接收速率小于對應(yīng)的速率閾值時，關(guān)閉所述第二消費線程。

17、可選地，當寫入所述文件的日志數(shù)量達到預(yù)設(shè)的數(shù)量閾值，或者所述文件的寫入時間達到預(yù)設(shè)的時間閾值時，判定所述文件寫入完成。

18、可選地，當所述文件寫入完成并且所述文件隊列不為空時，創(chuàng)建新的文件用于寫入日志。

19、可選地，所述在所述文件寫入完成后，將所述文件上傳至第二網(wǎng)絡(luò)，包括：

20、通過預(yù)設(shè)的文件隊列和上傳線程組將所述文件上傳至第二網(wǎng)絡(luò)；

21、所述第一日志隊列為常駐日志隊列，所述第二日志隊列為臨時日志隊列；所述第一消費線程為常駐消費線程，所述第二消費線程為臨時消費線程。

22、可選地，所述通過預(yù)設(shè)的文件隊列和上傳線程組將所述文件上傳至第二網(wǎng)絡(luò)，包括：

23、在預(yù)設(shè)的時間間隔內(nèi)，獲取所述文件隊列在每個時間步的生產(chǎn)速率和消費速率；

24、基于所述生產(chǎn)速率和所述消費速率，獲取每個時間步所需的理想線程數(shù)；

25、在達到所述時間間隔時，基于每個時間步所需的理想線程數(shù)調(diào)整上傳線程組的當前線程數(shù)；

26、將寫入完成的文件的路徑添加到所述文件隊列中，所述上傳線程組基于所述路徑將對應(yīng)的文件上傳至第二網(wǎng)絡(luò)；

27、其中，所述理想線程數(shù)的計算公式為：

28、lt＝st(xt/lt)；

29、其中，t為當時時間步；lt為在當時時間步的理想線程數(shù)；st為文件隊列在當時時間步的生產(chǎn)速率；xt為文件隊列在當時時間步的消費yy+242252p

30、速率；lt為在當時時間步的上傳線程組的實際線程數(shù)。

31、第二方面，本公開實施例還提供了一種跨網(wǎng)日志處理系統(tǒng)，采用如下技術(shù)方案：

32、日志實時接收模塊，用于實時接收來自第一網(wǎng)絡(luò)的日志；

33、日志存儲隊列模塊，用于當?shù)谝蝗罩娟犃械拇鎯θ萘繚M足條件時，將所述日志存儲到第一日志隊列中；

34、日志隊列創(chuàng)建模塊，用于當所述第一日志隊列的存儲容量達到容量閾值并且無第二日志隊列時，創(chuàng)建第二日志隊列存儲所述日志；

35、第一日志寫入模塊，用于通過第一消費線程將存儲的日志寫入預(yù)設(shè)的文件；

36、第二日志寫入模塊，用于當所述第二日志隊列的存儲容量達到所述容量閾值并且當前日志接收速率呈增長趨勢時，創(chuàng)建第二消費線程將所述第二日志隊列中的日志寫入所述文件；

37、文件上傳網(wǎng)絡(luò)模塊，用于在所述文件寫入完成后，將所述文件上傳至第二網(wǎng)絡(luò)。

38、第三方面，本公開實施例還提供了一種計算機裝置，采用如下技術(shù)方案：

39、所述計算機裝置包括：

40、至少一個處理器；以及，

41、與所述至少一個處理器通信連接的存儲器；其中，

42、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行以yy+242252p

43、上任一所述的跨網(wǎng)日志處理方法。

44、第四方面，本公開實施例還提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)存儲計算機指令，該計算機指令用于使計算機執(zhí)行以上任一所述的跨網(wǎng)日志處理方法。

45、第五方面，本公開實施例還提供了一種計算機程序產(chǎn)品，包括計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)以上任一項所述方法的步驟。

46、本公開實施例提供的跨網(wǎng)日志處理方法，通過第一日志隊列和第二日志隊列的動態(tài)管理，可以及時完成對日志的存儲，有效避免日志數(shù)據(jù)丟失，確保日志的完整性和連續(xù)性。根據(jù)日志量的變化靈活調(diào)整存儲策略，支持創(chuàng)建新的第二日志隊列，以適應(yīng)不同的日志接收速率。第二日志隊列的容量監(jiān)控和分配，使得存儲資源得到合理利用，減少不必要的資源浪費。這種實時接收和處理日志，并根據(jù)容量閾值的判斷，能夠快速響應(yīng)日志流量的變化，提高系統(tǒng)的處理效率。進一步地，通過第一消費線程和第二消費線程的分工，能夠降低系統(tǒng)在高負載情況下的壓力，保證日志寫入的穩(wěn)定性。通過上傳線程組將日志文件上傳至第二網(wǎng)絡(luò)，增強了日志數(shù)據(jù)的安全性和備份能力，防止數(shù)據(jù)丟失。可見，該方法能夠有效適應(yīng)日志的生成速率的波動，在生成速率的波動時作出有效的調(diào)整。而且利用多種隊列對寫入文件和上傳文件解耦，提高并發(fā)處理能力，實現(xiàn)更高的系統(tǒng)靈活性和效率，便于監(jiān)控與管理。

47、上述說明僅是本公開技術(shù)方案的概述，為了能更清楚了解本公開的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為讓本公開的上述和其他目的、特征和優(yōu)點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下。

技術(shù)特征：

1.一種跨網(wǎng)日志處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的跨網(wǎng)日志處理方法，其特征在于，當所述第一日志隊列和已存在的所述第二日志文件的存儲容量均達到容量閾值時，創(chuàng)建新的第二日志隊列存儲日志。

3.根據(jù)權(quán)利要求1所述的跨網(wǎng)日志處理方法，其特征在于，當所述第二日志隊列在預(yù)設(shè)的過期時間內(nèi)未存儲新的日志時，對所述第二日志隊列進行延遲銷毀。

4.根據(jù)權(quán)利要求3所述的跨網(wǎng)日志處理方法，其特征在于，所述通過第一消費線程將存儲的日志寫入預(yù)設(shè)的文件，包括：

5.根據(jù)權(quán)利要求1所述的跨網(wǎng)日志處理方法，其特征在于，每個第二日志隊列均具有一個速率閾值；

6.根據(jù)權(quán)利要求1所述的跨網(wǎng)日志處理方法，其特征在于，當寫入所述文件的日志數(shù)量達到預(yù)設(shè)的數(shù)量閾值，或者所述文件的寫入時間達到預(yù)設(shè)的時間閾值時，判定所述文件寫入完成。

7.根據(jù)權(quán)利要求1所述的跨網(wǎng)日志處理方法，其特征在于，當所述文件寫入完成并且所述文件隊列不為空時，創(chuàng)建新的文件用于寫入日志。

8.根據(jù)權(quán)利要求1所述的跨網(wǎng)日志處理方法，其特征在于，所述在所述文件寫入完成后，將所述文件上傳至第二網(wǎng)絡(luò)，包括：

9.根據(jù)權(quán)利要求8所述的跨網(wǎng)日志處理方法，其特征在于，所述通過預(yù)設(shè)的文件隊列和上傳線程組將所述文件上傳至第二網(wǎng)絡(luò)，包括：

10.一種計算機裝置，其特征在于，所述計算機裝置包括：

11.一種計算機可讀存儲介質(zhì)，其特征在于，該計算機可讀存儲介質(zhì)存儲計算機指令，該計算機指令用于使計算機執(zhí)行權(quán)利要求1-9任一所述的跨網(wǎng)日志處理方法。

12.一種計算機程序產(chǎn)品，包括計算機指令，其特征在于，該計yy+242252p

技術(shù)總結(jié)
本公開實施例公開了一種跨網(wǎng)日志處理方法、裝置、存儲介質(zhì)、程序產(chǎn)品。其中，方法包括：實時接收來自第一網(wǎng)絡(luò)的日志；當?shù)谝蝗罩娟犃械拇鎯θ萘繚M足條件時，將所述日志存儲到第一日志隊列中；當所述第一日志隊列的存儲容量達到容量閾值并且無第二日志隊列時，創(chuàng)建第二日志隊列存儲所述日志；通過第一消費線程將存儲的日志寫入預(yù)設(shè)的文件；當所述第二日志隊列的存儲容量達到所述容量閾值并且當前日志接收速率呈增長趨勢時，創(chuàng)建第二消費線程將所述第二日志隊列中的日志寫入所述文件；在所述文件寫入完成后，將所述文件上傳至第二網(wǎng)絡(luò)。該方法能夠在日志的生成速率產(chǎn)生波動時作出有效的調(diào)整，實現(xiàn)日志寫入和上傳的穩(wěn)定運行。

技術(shù)研發(fā)人員：李佶,孫李坤
受保護的技術(shù)使用者：北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9