本發(fā)明涉及數(shù)據(jù)導(dǎo)入，具體地說，涉及一種數(shù)據(jù)導(dǎo)入的方法、系統(tǒng)、設(shè)備及介質(zhì)。
背景技術(shù)：
：：1、在某項(xiàng)目開發(fā)過程中，需要滿足將單源數(shù)據(jù)導(dǎo)入到多個(gè)表中的需求。單源數(shù)據(jù)，是指從一個(gè)數(shù)據(jù)源提取的源數(shù)據(jù)。作為導(dǎo)入對象的多個(gè)表，可能是同構(gòu)表，也可能是具有不同的數(shù)據(jù)模型、數(shù)據(jù)類型和/或格式的異構(gòu)表。單源數(shù)據(jù)導(dǎo)入多個(gè)異構(gòu)表的數(shù)據(jù)遷移過程，通常需要考慮數(shù)據(jù)模型轉(zhuǎn)換、數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)遷移、應(yīng)用適配、索引重建、數(shù)據(jù)一致性保證、性能調(diào)優(yōu)等技術(shù)要點(diǎn)。2、現(xiàn)有技術(shù)中，如：公開號為cn114077602a的中國發(fā)明專利公開了數(shù)據(jù)遷移方法和裝置、電子設(shè)備、存儲介質(zhì)，其數(shù)據(jù)遷移方法是一種將不同源表或文件的數(shù)據(jù)多線程遷移至統(tǒng)一數(shù)據(jù)庫的方法。但是現(xiàn)有技術(shù)中并未公開直接解決單源數(shù)據(jù)導(dǎo)入多個(gè)異構(gòu)表的技術(shù)方案。另一方面，基于現(xiàn)有導(dǎo)入模塊的代碼做二次開發(fā)，雖然效率較高，但是存在以下不足：一是依賴工程師的能力、習(xí)慣等因素；二是需要調(diào)試導(dǎo)致其時(shí)效性不高；三是需求變更時(shí)常常需要再次投入人力物力。3、因此，為了解決將單源數(shù)據(jù)導(dǎo)入多表的問題，尤其是解決單源數(shù)據(jù)導(dǎo)入多個(gè)異構(gòu)表的問題，需要提供一種便于實(shí)現(xiàn)的數(shù)據(jù)導(dǎo)入方法。技術(shù)實(shí)現(xiàn)思路1、針對現(xiàn)有技術(shù)的不足，為了解決單源數(shù)據(jù)導(dǎo)入多表的問題，本發(fā)明提供一種數(shù)據(jù)導(dǎo)入的方法，既能實(shí)現(xiàn)單源數(shù)據(jù)單表導(dǎo)入，又能實(shí)現(xiàn)單源數(shù)據(jù)多同構(gòu)表導(dǎo)入，還能實(shí)現(xiàn)單源數(shù)據(jù)多異構(gòu)表導(dǎo)入，且導(dǎo)入方法簡單、便捷、靈活、效率高。2、第一、本發(fā)明提供了一種數(shù)據(jù)導(dǎo)入的方法。3、所述方法，使用db2工具設(shè)計(jì)db2import表；基于db2import表構(gòu)建用戶界面、生成導(dǎo)入配置表及導(dǎo)入鏈接、生成模板及模板鏈接；從導(dǎo)入配置表提取配置參數(shù)，并通過模板獲取單源的業(yè)務(wù)數(shù)據(jù)；然后監(jiān)聽數(shù)據(jù)導(dǎo)入的請求，當(dāng)接收到請求時(shí)，獲取與請求關(guān)聯(lián)的配置參數(shù)、業(yè)務(wù)數(shù)據(jù)，將業(yè)務(wù)數(shù)據(jù)按配置參數(shù)加入指定的數(shù)據(jù)庫業(yè)務(wù)表中，執(zhí)行單源數(shù)據(jù)導(dǎo)表任務(wù)；4、當(dāng)接收到的請求為將單源數(shù)據(jù)導(dǎo)入多表的請求時(shí)，將業(yè)務(wù)數(shù)據(jù)按各個(gè)數(shù)據(jù)庫業(yè)務(wù)表對應(yīng)的配置參數(shù)分別加入各個(gè)數(shù)據(jù)庫業(yè)務(wù)表。5、所述方法具體包括以下操作：6、通過spr_imp_table表配置表、spr_import_field字段配置表設(shè)計(jì)db2import表；7、將db2import表中各個(gè)表元素映射成配置參數(shù)后構(gòu)建用戶界面，根據(jù)配置參數(shù)生成導(dǎo)入配置表并生成導(dǎo)入鏈接，再根據(jù)導(dǎo)入配置表生成模板并生成模板鏈接；8、將導(dǎo)入鏈接接入用戶界面用于用戶編輯配置參數(shù)，將模板鏈接接入用戶界面用于用戶下載模板后通過模板編輯業(yè)務(wù)數(shù)據(jù)并保存成導(dǎo)入文件；9、監(jiān)聽數(shù)據(jù)導(dǎo)入的請求，當(dāng)接收到請求時(shí)，解析該請求關(guān)聯(lián)的配置參數(shù)、業(yè)務(wù)數(shù)據(jù)，從配置參數(shù)中獲取表配置參數(shù)、字段配置參數(shù)，再從表配置參數(shù)中提取配置標(biāo)識，然后根據(jù)配置標(biāo)識索引與配置標(biāo)識一一對應(yīng)的數(shù)據(jù)庫業(yè)務(wù)表，并根據(jù)字段配置參數(shù)將業(yè)務(wù)數(shù)據(jù)加入索引到的數(shù)據(jù)庫業(yè)務(wù)表中，完成導(dǎo)入；10、當(dāng)解析到的配置標(biāo)識為多個(gè)時(shí)，接收到的請求為將單源數(shù)據(jù)導(dǎo)入多表的請求，每輪僅根據(jù)一個(gè)配置標(biāo)識執(zhí)行索引、導(dǎo)入任務(wù)，輪詢每個(gè)配置標(biāo)識直至單源的業(yè)務(wù)數(shù)據(jù)逐個(gè)加入索引到的多個(gè)數(shù)據(jù)庫業(yè)務(wù)表中，實(shí)現(xiàn)單源數(shù)據(jù)的多表導(dǎo)入。11、本發(fā)明所述方法，每次根據(jù)一個(gè)配置標(biāo)識執(zhí)行索引、導(dǎo)入任務(wù)時(shí)，都啟動(dòng)單獨(dú)的實(shí)例。12、第二、本發(fā)明提供了一種數(shù)據(jù)導(dǎo)入的系統(tǒng)，用于執(zhí)行上述數(shù)據(jù)導(dǎo)入的方法。13、所述系統(tǒng)包括db2import表設(shè)計(jì)單元、用戶界面構(gòu)建單元、配置單元、模板單元、監(jiān)聽單元、數(shù)據(jù)導(dǎo)表執(zhí)行單元；14、所述db2import表設(shè)計(jì)單元，用于使用db2工具設(shè)計(jì)db2import表；15、所述用戶界面構(gòu)建單元，用于基于db2import表構(gòu)建用戶界面；16、所述配置單元，用于生成導(dǎo)入配置表及導(dǎo)入鏈接，以及保存導(dǎo)入配置表中的所有配置參數(shù)；17、所述模板單元，用于生成模板及模板鏈接，以及保存業(yè)務(wù)數(shù)據(jù)；18、所述監(jiān)聽單元，用于監(jiān)聽數(shù)據(jù)導(dǎo)入的請求；19、所述數(shù)據(jù)導(dǎo)表執(zhí)行單元，用于在接收到請求時(shí)，獲取與請求關(guān)聯(lián)的配置參數(shù)、業(yè)務(wù)數(shù)據(jù)，將業(yè)務(wù)數(shù)據(jù)按配置參數(shù)加入指定的數(shù)據(jù)庫業(yè)務(wù)表中。20、第三、本發(fā)明提供了一種設(shè)備，具體為一種電子設(shè)備。21、所述電子設(shè)備，包括存儲器和處理器；所述存儲器上存儲有計(jì)算機(jī)程序；當(dāng)所述計(jì)算機(jī)程序在所述處理器上執(zhí)行時(shí)，實(shí)現(xiàn)上述的數(shù)據(jù)導(dǎo)入的方法。22、第四、本發(fā)明提供了一種介質(zhì)，具體為一種計(jì)算機(jī)可讀存儲介質(zhì)。23、所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)指令；當(dāng)所述計(jì)算機(jī)指令在上述的電子設(shè)備上執(zhí)行時(shí)，實(shí)現(xiàn)上述的數(shù)據(jù)導(dǎo)入的方法。24、本發(fā)明具有以下有益效果。25、(1)本發(fā)明提供的數(shù)據(jù)導(dǎo)入的方法，既能實(shí)現(xiàn)單源數(shù)據(jù)單表導(dǎo)入，又能實(shí)現(xiàn)單源數(shù)據(jù)多同構(gòu)表導(dǎo)入，還能實(shí)現(xiàn)單源數(shù)據(jù)多異構(gòu)表導(dǎo)入，且導(dǎo)入方法簡單、便捷、靈活、效率高。26、(2)本發(fā)明提供的數(shù)據(jù)導(dǎo)入的方法，獲取異常信息，用于迭代完善后端程序強(qiáng)壯性、穩(wěn)定性，也用于提高運(yùn)維與用戶體驗(yàn)。27、(3)本發(fā)明提供的數(shù)據(jù)導(dǎo)入的方法，能夠用于通用數(shù)據(jù)庫自動(dòng)化腳本編輯，傳統(tǒng)開發(fā)導(dǎo)入耗時(shí)1-2人日，使用發(fā)明提供的數(shù)據(jù)導(dǎo)入的方法半小時(shí)能解決。28、(4)本發(fā)明提供的數(shù)據(jù)導(dǎo)入的方法，每次啟動(dòng)db2import都會啟用一個(gè)單獨(dú)實(shí)例讀取配置信息、執(zhí)行導(dǎo)入邏輯等，支持熱部署。29、(5)本發(fā)明提供的數(shù)據(jù)導(dǎo)入的系統(tǒng)，以微服務(wù)提供鏈接或提供界面接入第三方系統(tǒng)使用，耦合性低。技術(shù)特征：1.一種數(shù)據(jù)導(dǎo)入的方法，其特征在于，使用db2工具設(shè)計(jì)db2import表；基于db2import表構(gòu)建用戶界面、生成導(dǎo)入配置表及導(dǎo)入鏈接、生成模板及模板鏈接；從導(dǎo)入配置表提取配置參數(shù)，并通過模板獲取單源的業(yè)務(wù)數(shù)據(jù)；然后監(jiān)聽數(shù)據(jù)導(dǎo)入的請求，當(dāng)接收到請求時(shí)，獲取與請求關(guān)聯(lián)的配置參數(shù)、業(yè)務(wù)數(shù)據(jù)，將業(yè)務(wù)數(shù)據(jù)按配置參數(shù)加入指定的數(shù)據(jù)庫業(yè)務(wù)表中，執(zhí)行單源數(shù)據(jù)導(dǎo)表任務(wù)；2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)導(dǎo)入的方法，其特征在于，具體包括以下操作：3.根據(jù)權(quán)利要求2所述的一種數(shù)據(jù)導(dǎo)入的方法，其特征在于，接收到請求時(shí)，先通過表單參數(shù)通用解析器解析到map，再從map中獲取配置標(biāo)識并拆單，然后輪詢配置標(biāo)識獲取各個(gè)配置標(biāo)識對應(yīng)的導(dǎo)入配置表、導(dǎo)入文件、數(shù)據(jù)庫業(yè)務(wù)表；4.根據(jù)權(quán)利要求4所述的一種數(shù)據(jù)導(dǎo)入的方法，其特征在于，所述數(shù)據(jù)合理性校驗(yàn)，是指依次判斷配置標(biāo)識是否存在、導(dǎo)入文件是否能解析、導(dǎo)入文件與數(shù)據(jù)庫業(yè)務(wù)表的有效列數(shù)是否匹配、導(dǎo)入文件與數(shù)據(jù)庫業(yè)務(wù)表對應(yīng)字段的數(shù)據(jù)類型是否匹配；若都為“是”則數(shù)據(jù)合理性校驗(yàn)成功；其余情況則數(shù)據(jù)合理性校驗(yàn)不成功。5.根據(jù)權(quán)利要求4所述的一種數(shù)據(jù)導(dǎo)入的方法，其特征在于，所述自動(dòng)腳本入庫是指：業(yè)務(wù)數(shù)據(jù)加入數(shù)據(jù)庫業(yè)務(wù)表進(jìn)行新增或修改記錄后自動(dòng)構(gòu)建出執(zhí)行sql任務(wù)。6.根據(jù)權(quán)利要求4所述的一種數(shù)據(jù)導(dǎo)入的方法，其特征在于，所述反饋異常原因并將異常信息發(fā)送至異常知識庫是指：一方面向前端的用戶發(fā)送異常原因，另一方面將異常信息寫入本地文件，等待閑時(shí)調(diào)取本地文件并將異常信息更新到異常知識庫表中，用于后端迭代完善。7.一種數(shù)據(jù)導(dǎo)入的系統(tǒng)，用于執(zhí)行如權(quán)利要求1所述的數(shù)據(jù)導(dǎo)入的方法；其特征在于，所述系統(tǒng)包括db2import表設(shè)計(jì)單元、用戶界面構(gòu)建單元、配置單元、模板單元、監(jiān)聽單元、數(shù)據(jù)導(dǎo)表執(zhí)行單元；8.一種電子設(shè)備，其特征在于，包括存儲器和處理器；所述存儲器上存儲有計(jì)算機(jī)程序；當(dāng)所述計(jì)算機(jī)程序在所述處理器上執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的數(shù)據(jù)導(dǎo)入的方法。9.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)指令；技術(shù)總結(jié)本發(fā)明涉及數(shù)據(jù)導(dǎo)入
技術(shù)領(lǐng)域：
：，具體涉及一種數(shù)據(jù)導(dǎo)入的方法、系統(tǒng)、設(shè)備及介質(zhì)。所述數(shù)據(jù)導(dǎo)入的方法，使用DB2工具設(shè)計(jì)db2import表；基于db2import表構(gòu)建用戶界面、生成導(dǎo)入配置表及導(dǎo)入鏈接、生成模板及模板鏈接；從導(dǎo)入配置表提取配置參數(shù)，并通過模板獲取單源的業(yè)務(wù)數(shù)據(jù)；然后監(jiān)聽數(shù)據(jù)導(dǎo)入的請求，當(dāng)接收到請求時(shí)，獲取與請求關(guān)聯(lián)的配置參數(shù)、業(yè)務(wù)數(shù)據(jù)，將業(yè)務(wù)數(shù)據(jù)按配置參數(shù)加入指定的數(shù)據(jù)庫業(yè)務(wù)表中，執(zhí)行單源數(shù)據(jù)導(dǎo)表任務(wù)；當(dāng)接收到的請求為將單源數(shù)據(jù)導(dǎo)入多表的請求時(shí)，輪詢執(zhí)行數(shù)據(jù)導(dǎo)入任務(wù)。本方案解決了單源數(shù)據(jù)導(dǎo)入多個(gè)異構(gòu)表的問題，程序編譯簡單、高效、時(shí)效性好。技術(shù)研發(fā)人員：陳懿,胡國忠受保護(hù)的技術(shù)使用者：中通服軟件科技有限公司技術(shù)研發(fā)日：技術(shù)公布日：2025/1/6