本發(fā)明屬于計(jì)算機(jī)，尤其是涉及一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒ā?/p>

背景技術(shù)：

1、隨著我國數(shù)字化進(jìn)程的加速和數(shù)據(jù)化趨勢的不斷深化，越來越多的數(shù)據(jù)需要被實(shí)時(shí)采集和傳輸?shù)綌?shù)據(jù)中心進(jìn)行分析處理，而數(shù)據(jù)中心通常又是對(duì)外隔離的，存儲(chǔ)所用的數(shù)據(jù)庫類型又是不統(tǒng)一的，這對(duì)數(shù)據(jù)實(shí)時(shí)傳輸造成了很大挑戰(zhàn)。

2、目前傳輸方法大多基于離線和定時(shí)傳輸，無法滿足日益增長的實(shí)時(shí)性需求，同時(shí)存在數(shù)據(jù)安全、數(shù)據(jù)格式不統(tǒng)一、數(shù)據(jù)校驗(yàn)質(zhì)量無法保證等問題，針對(duì)這些問題，本發(fā)明提供了一種通用的t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，針?duì)關(guān)系型數(shù)據(jù)庫能夠保證數(shù)據(jù)的實(shí)時(shí)性、安全性和質(zhì)量的要求，具有廣泛的應(yīng)用前景，也可基于該方法對(duì)非關(guān)系型數(shù)據(jù)庫進(jìn)行拓展適配。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明旨在提出一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒ǎ云诮鉀Q上述部分技術(shù)問題中的至少之一。

2、為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，包括如下步驟：

4、設(shè)計(jì)數(shù)據(jù)庫類型和表結(jié)構(gòu)，并生成相應(yīng)的接口文檔和sm4密鑰；

5、各業(yè)務(wù)系統(tǒng)通過https/tls發(fā)送經(jīng)過sm4加密的實(shí)時(shí)數(shù)據(jù)到服務(wù)端；

6、服務(wù)端進(jìn)行權(quán)限驗(yàn)證、數(shù)據(jù)解密和校驗(yàn)，記錄校驗(yàn)失敗的結(jié)果；

7、將校驗(yàn)通過的數(shù)據(jù)發(fā)送至消息隊(duì)列中；

8、消費(fèi)監(jiān)聽程序解析消息并根據(jù)操作類型對(duì)數(shù)據(jù)庫進(jìn)行相應(yīng)操作，記錄執(zhí)行結(jié)果和錯(cuò)誤信息；

9、服務(wù)端提供接口查詢執(zhí)行結(jié)果和詳細(xì)錯(cuò)誤日志。

10、進(jìn)一步的，所述設(shè)計(jì)數(shù)據(jù)庫類型和表結(jié)構(gòu)，并提供相應(yīng)的接口文檔和sm4密鑰的過程包括：

11、確定數(shù)據(jù)庫類型、數(shù)據(jù)庫名稱、表名稱，并生成數(shù)據(jù)表字段的接口文檔和sm4加密所需的密鑰，定義rest接口的消息格式；

12、其中，所述數(shù)據(jù)表字的接口文檔內(nèi)包括接口說明、請(qǐng)求方法、請(qǐng)求url、請(qǐng)求參數(shù)；

13、所述請(qǐng)求參數(shù)包括：數(shù)據(jù)庫類型、數(shù)據(jù)庫名稱、表名稱、sm4加密后的實(shí)時(shí)數(shù)據(jù)。

14、進(jìn)一步的，所述各業(yè)務(wù)系統(tǒng)通過https/tls發(fā)送經(jīng)過sm4加密的實(shí)時(shí)數(shù)據(jù)到服務(wù)端的過程包括：

15、各個(gè)業(yè)務(wù)系統(tǒng)根據(jù)約定的格式準(zhǔn)備要發(fā)送的實(shí)時(shí)數(shù)據(jù)，并使用提供的sm4密鑰對(duì)數(shù)據(jù)進(jìn)行加密，完成加密后，構(gòu)建httppost請(qǐng)求，并將包含加密數(shù)據(jù)的json對(duì)象發(fā)送到服務(wù)端接口，根據(jù)服務(wù)端的響應(yīng)狀態(tài)處理結(jié)果。

16、進(jìn)一步的，所述服務(wù)端進(jìn)行權(quán)限驗(yàn)證、數(shù)據(jù)解密和校驗(yàn)，記錄校驗(yàn)失敗的結(jié)果的過程包括：

17、服務(wù)端驗(yàn)證業(yè)務(wù)系統(tǒng)的權(quán)限；

18、對(duì)接收到的sm4加密數(shù)據(jù)進(jìn)行解密，并檢查解密過程是否成功；

19、進(jìn)行字典項(xiàng)和可選的字段校驗(yàn)，并記錄校驗(yàn)結(jié)果；

20、若校驗(yàn)通過則將數(shù)據(jù)發(fā)送至消息隊(duì)列處理，若校驗(yàn)失敗則將相關(guān)信息記錄到位圖緩存和錯(cuò)誤日志中。

21、進(jìn)一步的，所述消費(fèi)監(jiān)聽程序解析消息并根據(jù)操作類型對(duì)數(shù)據(jù)庫進(jìn)行相應(yīng)操作，記錄執(zhí)行結(jié)果和錯(cuò)誤信息的過程包括：

22、消費(fèi)監(jiān)聽程序動(dòng)態(tài)監(jiān)聽消息隊(duì)列中的消息，解析消息內(nèi)容提取業(yè)務(wù)庫類型、業(yè)務(wù)庫名、表名及操作類型等信息；

23、從數(shù)據(jù)庫連接池獲取相應(yīng)的數(shù)據(jù)庫連接，根據(jù)操作類型執(zhí)行新增、更新或刪除操作；

24、記錄執(zhí)行結(jié)果到位圖緩存，并在出錯(cuò)時(shí)將錯(cuò)誤信息記錄到錯(cuò)誤日志中。

25、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明所述的一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒ň哂幸韵掠幸嫘Ч?/p>

26、能夠?qū)⒉煌愋蛿?shù)據(jù)庫的數(shù)據(jù)中心統(tǒng)一對(duì)外提供一個(gè)通用的數(shù)據(jù)傳輸接口，提高了數(shù)據(jù)處理的靈活性和數(shù)據(jù)傳輸效率，降低了開發(fā)成本，只需數(shù)據(jù)中心約定設(shè)計(jì)好表結(jié)構(gòu)和字典項(xiàng)，即可實(shí)現(xiàn)通用的實(shí)時(shí)數(shù)據(jù)傳輸并落庫，采用數(shù)據(jù)加密、字典校驗(yàn)和接口權(quán)限控制等方式保障了數(shù)據(jù)傳輸過程中的安全性和可靠性，采用消息隊(duì)列降低了數(shù)據(jù)庫并發(fā)下的壓力，采用位圖緩存可以在降低內(nèi)存的同時(shí)快速獲取當(dāng)前數(shù)據(jù)執(zhí)行結(jié)果。

技術(shù)特征：

1.一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒ǎ涮卣髟谟?，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，其特征在于，所述設(shè)計(jì)數(shù)據(jù)庫類型和表結(jié)構(gòu)，并提供相應(yīng)的接口文檔和sm4密鑰的過程包括：

3.根據(jù)權(quán)利要求1所述的一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，其特征在于，所述各業(yè)務(wù)系統(tǒng)通過https/tls發(fā)送經(jīng)過sm4加密的實(shí)時(shí)數(shù)據(jù)到服務(wù)端的過程包括：

4.根據(jù)權(quán)利要求1所述的一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，其特征在于，所述服?wù)端進(jìn)行權(quán)限驗(yàn)證、數(shù)據(jù)解密和校驗(yàn)，記錄校驗(yàn)失敗的結(jié)果的過程包括：

5.根據(jù)權(quán)利要求1所述的一種通用t+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，其特征在于，所述消費(fèi)監(jiān)聽程序解析消息并根據(jù)操作類型對(duì)數(shù)據(jù)庫進(jìn)行相應(yīng)操作，記錄執(zhí)行結(jié)果和錯(cuò)誤信息的過程包括：

技術(shù)總結(jié)
本發(fā)明提供了一種通用T+0數(shù)據(jù)實(shí)時(shí)傳輸?shù)姆椒?，包括如下步驟：設(shè)計(jì)數(shù)據(jù)庫類型和表結(jié)構(gòu)，并生成相應(yīng)的接口文檔和SM4密鑰；各業(yè)務(wù)系統(tǒng)通過HTTPS/TLS發(fā)送經(jīng)過SM4加密的實(shí)時(shí)數(shù)據(jù)到服務(wù)端；服務(wù)端進(jìn)行權(quán)限驗(yàn)證、數(shù)據(jù)解密和校驗(yàn)，記錄校驗(yàn)失敗的結(jié)果；將校驗(yàn)通過的數(shù)據(jù)發(fā)送至消息隊(duì)列中；消費(fèi)監(jiān)聽程序解析消息并根據(jù)操作類型對(duì)數(shù)據(jù)庫進(jìn)行相應(yīng)操作，記錄執(zhí)行結(jié)果和錯(cuò)誤信息；服務(wù)端提供接口查詢執(zhí)行結(jié)果和詳細(xì)錯(cuò)誤日志。本發(fā)明有益效果：提高了數(shù)據(jù)處理的靈活性和數(shù)據(jù)傳輸效率，降低了開發(fā)成本，保障了數(shù)據(jù)傳輸過程中的安全性和可靠性，在降低內(nèi)存的同時(shí)快速獲取當(dāng)前數(shù)據(jù)執(zhí)行結(jié)果。

技術(shù)研發(fā)人員：方璽凱,溫得瀚
受保護(hù)的技術(shù)使用者：曲靖市數(shù)字經(jīng)濟(jì)發(fā)展有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9