本發(fā)明涉及決策分析系統(tǒng)技術(shù)領(lǐng)域，特別是涉及一種實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法及裝置。

背景技術(shù)：

決策分析系統(tǒng)利用現(xiàn)代信息技術(shù)和決策分析方法，通過建立數(shù)據(jù)庫和分析模型，為企業(yè)的決策者提供及時(shí)、可靠的業(yè)務(wù)信息，幫助決策者對企業(yè)未來經(jīng)營方向和經(jīng)營目標(biāo)進(jìn)行量化的分析和論證，從而對企業(yè)生產(chǎn)經(jīng)營活動(dòng)作出科學(xué)的決策。決策分析系統(tǒng)建設(shè)的目標(biāo)主要包括數(shù)據(jù)倉庫系統(tǒng)和輔助決策支持系統(tǒng)兩個(gè)方面。其總體目標(biāo)是利用internet技術(shù)、WEB技術(shù)、數(shù)據(jù)倉庫技術(shù)、信息安全技術(shù)，構(gòu)建企業(yè)綜合信息傳遞與信息共享的“綜合信息庫”的基本框架；以綜合信息資源為重點(diǎn)，對信息進(jìn)行數(shù)字化，數(shù)據(jù)庫化及網(wǎng)絡(luò)化開發(fā)，將分散的綜合信息數(shù)據(jù)庫進(jìn)行標(biāo)準(zhǔn)鏈接、結(jié)構(gòu)優(yōu)化、規(guī)模擴(kuò)容、網(wǎng)絡(luò)互聯(lián)、信息共享和綜合應(yīng)用開發(fā)，提高綜合信息資源的系統(tǒng)性、權(quán)威性、適用性、及時(shí)性與共享性。形成企業(yè)信息資源的集成加工、交換發(fā)布、決策咨詢、技術(shù)支持中心，逐步形成企業(yè)經(jīng)營監(jiān)測預(yù)警系統(tǒng)、模型預(yù)測系統(tǒng)、領(lǐng)導(dǎo)輔助決策支持系統(tǒng)等一批應(yīng)用系統(tǒng)，為企業(yè)管理與調(diào)控，提供信息支持和決策支持。

在決策分析系統(tǒng)中，指標(biāo)分析是業(yè)務(wù)模塊重要的組成部分，而ETL是重要的技術(shù)手段。ETL(Extract-Transform-Load，數(shù)據(jù)抽取轉(zhuǎn)換加載)是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。

Informatica PowerCenter是Informatica公司開發(fā)的世界級的企業(yè)數(shù)據(jù)集成平臺(tái)，也是業(yè)界領(lǐng)先的ETL工具。Informatica PowerCenter使用戶能夠方便地從已有系統(tǒng)和數(shù)據(jù)源中抽取數(shù)據(jù)，用來建立、部署、管理企業(yè)的數(shù)據(jù)倉庫，從而幫助企業(yè)做出快速、正確的決策。

現(xiàn)有使用較多的技術(shù)是針對每個(gè)指標(biāo)開發(fā)不同的ETL程序，這種方案的缺點(diǎn)就是工作量較大，開發(fā)周期較長。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法及裝置，目的在于解決現(xiàn)有技術(shù)工作量較大，開發(fā)周期較長的問題。

為解決上述技術(shù)問題，本發(fā)明提供一種實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法，包括：

建立配置表，所述配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；

讀取所述配置表，將所述配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；

創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；

通過所述生成參數(shù)文件任務(wù)以及所述指標(biāo)抽取任務(wù)，對所述待抽取指標(biāo)進(jìn)行調(diào)度抽取。

可選地，所述配置參數(shù)信息包括：指標(biāo)代碼、指標(biāo)名稱、指標(biāo)類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。

可選地，所述創(chuàng)建指標(biāo)抽取任務(wù)包括：

將目標(biāo)類型選擇為文件，并且將參數(shù)文件的路徑選擇為已建參數(shù)文件的路徑。

可選地，還包括：

在所述配置表中插入新的待抽取指標(biāo)的配置參數(shù)信息；

在指標(biāo)抽取任務(wù)中修改與所述新的待抽取指標(biāo)對應(yīng)的抽取名稱；

通過所述生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)對新的待抽取指標(biāo)進(jìn)行調(diào)度。

本發(fā)明還提供了一種實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置，包括：

配置表建立模塊，用于建立配置表，所述配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；

生成參數(shù)文件任務(wù)創(chuàng)建模塊，用于讀取所述配置表，將所述配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；

指標(biāo)抽取任務(wù)創(chuàng)建模塊，用于創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；

抽取模塊，用于通過所述生成參數(shù)文件任務(wù)以及所述指標(biāo)抽取任務(wù)，對所述待抽取指標(biāo)進(jìn)行調(diào)度抽取。

可選地，所述配置參數(shù)信息包括：指標(biāo)代碼、指標(biāo)名稱、指標(biāo)類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。

可選地，所述指標(biāo)抽取任務(wù)創(chuàng)建模塊具體用于：

將目標(biāo)類型選擇為文件，并且將參數(shù)文件的路徑選擇為已建參數(shù)文件的路徑。

可選地，還包括：

添加抽取指標(biāo)模塊，用于在所述配置表中插入新的待抽取指標(biāo)的配置參數(shù)信息；在指標(biāo)抽取任務(wù)中修改與所述新的待抽取指標(biāo)對應(yīng)的抽取名稱；通過所述生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)對新的待抽取指標(biāo)進(jìn)行調(diào)度。

本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法及裝置，通過建立配置表，配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；讀取所述配置表，將配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；通過生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)，對待抽取指標(biāo)進(jìn)行調(diào)度抽取。本申請通過參數(shù)文件與數(shù)據(jù)庫配置表相結(jié)合的形式，大大減少了為每個(gè)單獨(dú)的指標(biāo)都開發(fā)ETL的工作量，縮短了開發(fā)時(shí)間周期，提高了相關(guān)工作人員的工作效率。

附圖說明

為了更清楚的說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法的一種具體實(shí)施方式的流程圖；

圖2為本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法中配置表的具體表結(jié)構(gòu)；

圖3為本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法中配置表的一種具體實(shí)施方式示意圖；

圖4為開發(fā)mapping的具體示意圖；

圖5為參數(shù)文件的設(shè)置示意圖；

圖6為開發(fā)mapping的具體示意圖二；

圖7為指標(biāo)抽取任務(wù)的創(chuàng)建過程示意圖；

圖8為本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法的開發(fā)過程示意圖；

圖9為本發(fā)明實(shí)施例提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步的詳細(xì)說明。顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法的一種具體實(shí)施方式的流程圖如圖1所示，該方法包括：

步驟S101：建立配置表，所述配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；

步驟S102：讀取所述配置表，將所述配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；

步驟S103：創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；

步驟S104：通過所述生成參數(shù)文件任務(wù)以及所述指標(biāo)抽取任務(wù)，對所述待抽取指標(biāo)進(jìn)行調(diào)度抽取。

本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法，通過建立配置表，配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；讀取所述配置表，將配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；通過生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)，對待抽取指標(biāo)進(jìn)行調(diào)度抽取。本申請通過參數(shù)文件與數(shù)據(jù)庫配置表相結(jié)合的形式，大大減少了為每個(gè)單獨(dú)的指標(biāo)都開發(fā)ETL的工作量，縮短了開發(fā)時(shí)間周期，提高了相關(guān)工作人員的工作效率。

需要指出的是，本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法中，配置參數(shù)信息可以具體包括：指標(biāo)代碼、指標(biāo)名稱、指標(biāo)類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。

具體可以使用oracle數(shù)據(jù)庫，在oracle數(shù)據(jù)庫中建立一張配置表，用來存儲(chǔ)需要抽取的指標(biāo)的相關(guān)配置信息，包含：指標(biāo)代碼、指標(biāo)名稱、指標(biāo)類型、抽取ETL文件夾名稱、SESSION名稱、獲取表名稱等信息，當(dāng)然還可以包含其他信息，并不限于上述幾種。本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)方法中配置表的具體表結(jié)構(gòu)如圖2所示。

以“勞動(dòng)生產(chǎn)率”指標(biāo)為例，在配置表中插入“勞動(dòng)生產(chǎn)率”指標(biāo)的相關(guān)配置信息，關(guān)鍵信息為在informatica powercenter中session所在的文件夾，具體信息如圖3配置表的一種具體實(shí)施方式示意圖所示。

在上述任一實(shí)施例的基礎(chǔ)上，本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法中創(chuàng)建指標(biāo)抽取任務(wù)的過程可以具體為：

將目標(biāo)類型選擇為文件，并且將參數(shù)文件的路徑選擇為已建參數(shù)文件的路徑。

具體地，開發(fā)一個(gè)將配置表中的信息轉(zhuǎn)化為informatica powercenter的配置文件，這樣指標(biāo)的取數(shù)sql才能被session獲取到。

(1)抽取的源表為視圖，該視圖將指標(biāo)抽取sql和報(bào)告期拼成參數(shù)文件的格式，視圖sql如下：

(2)開發(fā)mapping，開發(fā)mapping的具體示意圖一如圖4所示。

(3)開發(fā)task，目標(biāo)類型選擇為文件，并且路徑選擇為之前建參數(shù)文件的路徑。另外需要注意的地方是分隔符選擇為換行符，至此參數(shù)文件相關(guān)的開發(fā)工作已經(jīng)完成。具體如圖5參數(shù)文件的設(shè)置示意圖所示。

參數(shù)文件相關(guān)的開發(fā)工作完成后，開發(fā)指標(biāo)抽取的ETL的具體步驟如下：

(1)開發(fā)mapping，如圖6開發(fā)mapping的具體示意圖二所示；

(2)開發(fā)task，有兩點(diǎn)需要重點(diǎn)注意，一是task的名稱需要與配置表中session名稱一致，二是源表的sql需要使用參數(shù)，具體如圖7指標(biāo)抽取任務(wù)的創(chuàng)建過程示意圖所示。

進(jìn)一步地，本發(fā)明還可以包括：

在所述配置表中插入新的待抽取指標(biāo)的配置參數(shù)信息；

在指標(biāo)抽取任務(wù)中修改與所述新的待抽取指標(biāo)對應(yīng)的抽取名稱；

通過所述生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)對新的待抽取指標(biāo)進(jìn)行調(diào)度。

在上述實(shí)施例的基礎(chǔ)上，假如還需要另外開發(fā)一個(gè)新指標(biāo)B，則只需要在配置表中插入指標(biāo)B的配置信息，然后復(fù)制task’FROM_DM_0001’,修改名稱成為與指標(biāo)B對應(yīng)的session名稱即可，最后將這些所有的指標(biāo)以及參數(shù)配置文件的task放入workflow中進(jìn)行調(diào)度即可。本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法的開發(fā)過程示意圖如圖8所示。

本實(shí)施例通過參數(shù)文件與數(shù)據(jù)庫配置表相結(jié)合的形式，大大減少了為每個(gè)單獨(dú)的指標(biāo)都開發(fā)ETL的工作量，通過本發(fā)明可以僅僅通過增加配置記錄，復(fù)制task并且修改名稱等簡單的操作就能完成一個(gè)指標(biāo)的ETL開發(fā)工作，大大減少了相關(guān)工作人員的工作量，提高了工作效率。

下面對本發(fā)明實(shí)施例提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置進(jìn)行介紹，下文描述的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置與上文描述的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法可相互對應(yīng)參照。

圖9為本發(fā)明實(shí)施例提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置的結(jié)構(gòu)框圖，參照圖9實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置可以包括：

配置表建立模塊100，用于建立配置表，所述配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；

生成參數(shù)文件任務(wù)創(chuàng)建模塊200，用于讀取所述配置表，將所述配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；

指標(biāo)抽取任務(wù)創(chuàng)建模塊300，用于創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；

抽取模塊400，用于通過所述生成參數(shù)文件任務(wù)以及所述指標(biāo)抽取任務(wù)，對所述待抽取指標(biāo)進(jìn)行調(diào)度抽取。

作為一種具體實(shí)施方式，本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置中，所述配置參數(shù)信息可以具體包括：指標(biāo)代碼、指標(biāo)名稱、指標(biāo)類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。

在上述任一實(shí)施例的基礎(chǔ)上，本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置中，指標(biāo)抽取任務(wù)創(chuàng)建模塊可以具體用于：

將目標(biāo)類型選擇為文件，并且將參數(shù)文件的路徑選擇為已建參數(shù)文件的路徑。

優(yōu)選地，本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置還可以包括：

添加抽取指標(biāo)模塊，用于在所述配置表中插入新的待抽取指標(biāo)的配置參數(shù)信息；在指標(biāo)抽取任務(wù)中修改與所述新的待抽取指標(biāo)對應(yīng)的抽取名稱；通過所述生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)對新的待抽取指標(biāo)進(jìn)行調(diào)度。

本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的裝置，通過建立配置表，配置表用于存儲(chǔ)待抽取指標(biāo)的配置參數(shù)信息；讀取所述配置表，將配置參數(shù)信息轉(zhuǎn)換為預(yù)設(shè)參數(shù)文件的格式，創(chuàng)建生成參數(shù)文件任務(wù)；創(chuàng)建指標(biāo)抽取任務(wù)，將配置表中的信息轉(zhuǎn)化為ETL工具的配置文件；通過生成參數(shù)文件任務(wù)以及指標(biāo)抽取任務(wù)，對待抽取指標(biāo)進(jìn)行調(diào)度抽取。本申請通過參數(shù)文件與數(shù)據(jù)庫配置表相結(jié)合的形式，大大減少了為每個(gè)單獨(dú)的指標(biāo)都開發(fā)ETL的工作量，縮短了開發(fā)時(shí)間周期。

本發(fā)明可以運(yùn)用于國家電網(wǎng)人力資源輔助決策系統(tǒng)中，在該系統(tǒng)中完成了以人力資源關(guān)鍵指標(biāo)體系、綜合報(bào)表體系、業(yè)務(wù)分析模型和管理分析報(bào)告為主要內(nèi)容的人力資源統(tǒng)計(jì)分析體系建設(shè)的目標(biāo)，達(dá)到了與總部數(shù)據(jù)中心的集成，提供了和企業(yè)門戶的典型接入方案。采用本發(fā)明所提供的方案，使用informatica powercenter作為ETL抽取工具，抽取了大量的指標(biāo)用于主題分析。

本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同或相似部分互相參見即可。對于實(shí)施例公開的裝置而言，由于其與實(shí)施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。

專業(yè)人員還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實(shí)施。軟件模塊可以置于隨機(jī)存儲(chǔ)器(RAM)、內(nèi)存、只讀存儲(chǔ)器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動(dòng)磁盤、CD-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。

以上對本發(fā)明所提供的實(shí)現(xiàn)動(dòng)態(tài)抽取指標(biāo)的方法以及裝置進(jìn)行了詳細(xì)介紹。本文中應(yīng)用了具體個(gè)例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對本發(fā)明進(jìn)行若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。