一種流程工業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)采集方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于流程工業(yè)信息化及自動化領(lǐng)域，主要涉及流程工業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)采集的方法。
【背景技術(shù)】
[0002]隨著流程工業(yè)信息化、自動化水平的不斷提高，支撐流程工業(yè)各項業(yè)務(wù)運行的生產(chǎn)系統(tǒng)也日益增多。以電力行業(yè)為例，涵蓋發(fā)電、輸電、變電、配電、用電和調(diào)度各環(huán)節(jié)的生產(chǎn)系統(tǒng)多達上百種。為了提高生產(chǎn)各環(huán)節(jié)運轉(zhuǎn)效率，各系統(tǒng)間有著強烈的數(shù)據(jù)訪問需求。一個通常的做法就是建立數(shù)據(jù)中心，將各類生產(chǎn)系統(tǒng)實時/歷史數(shù)據(jù)匯集至數(shù)據(jù)中心，由數(shù)據(jù)中心提供統(tǒng)一對外的訪問接口，使各個系統(tǒng)能夠靈活訪問到所需的數(shù)據(jù)。
[0003]建設(shè)數(shù)據(jù)中心一個核心環(huán)節(jié)就是數(shù)據(jù)匯聚，即將各類生產(chǎn)系統(tǒng)實時/歷史數(shù)據(jù)采集至數(shù)據(jù)中心這一過程，而通常各類生產(chǎn)系統(tǒng)的數(shù)據(jù)源類型不一，既包含了各類主流實時數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫，又有諸如IEC104、0PC、Modbus等通用工業(yè)通信規(guī)約。因此，如何將覆蓋多種類型的數(shù)據(jù)源端的實時/歷史數(shù)據(jù)高效和穩(wěn)定的采集至數(shù)據(jù)中心是建立數(shù)據(jù)中心關(guān)鍵的冋題。
[0004]現(xiàn)有的數(shù)據(jù)中心數(shù)據(jù)采集方式較為單一。針對關(guān)系數(shù)據(jù)庫，一種是數(shù)據(jù)庫廠商自帶的數(shù)據(jù)采集工具，如Oracle的warehouse builder、Data Integrator等，另外一種是第三方工具提供商，如Kettle等。而對于實時數(shù)據(jù)庫，僅有的方法就是通過實時數(shù)據(jù)庫廠商自帶的數(shù)據(jù)采集工具，如PI的I⑶，海迅的HS2HS、PI2HS等；對于工業(yè)通信規(guī)約，則只能針對每種類型的規(guī)約開發(fā)相應(yīng)的客戶端程序，通過與規(guī)約服務(wù)端的通信來獲取數(shù)據(jù)。
[0005]無論是使用廠商提供的工具還是自主開發(fā)客戶端程序，均只能從單一數(shù)據(jù)源獲取數(shù)據(jù)，即使使用第三方工具能夠獲取多種類型的關(guān)系數(shù)據(jù)庫數(shù)據(jù)，對于實時數(shù)據(jù)庫和工業(yè)通信規(guī)約也無能為力。目前現(xiàn)有的關(guān)于數(shù)據(jù)采集和迀移方面的發(fā)明專利主要有CN101154146 “數(shù)據(jù)迀移方法及信息處理系統(tǒng)”，CN102135963A “數(shù)據(jù)迀移的方法和系統(tǒng)”和CN102970328A “電力行業(yè)典型生產(chǎn)系統(tǒng)在線數(shù)據(jù)迀移方法技術(shù)”。但這些發(fā)明專利主要用于解決現(xiàn)有的數(shù)據(jù)迀移方法效率低等技術(shù)問題，并未考慮在流程工業(yè)生產(chǎn)環(huán)境下多種類型數(shù)據(jù)源的情況，通用性有待進一步加強。同時，由于數(shù)據(jù)源端的種類多樣和數(shù)量龐大，數(shù)據(jù)采集通道的運行狀況也需要進行自主監(jiān)控，能夠?qū)崟r的反應(yīng)出數(shù)據(jù)采集和傳輸過程中的異常狀況。

【發(fā)明內(nèi)容】

[0006]本發(fā)明目的是:針對現(xiàn)有技術(shù)中的不足，解決解決流程工業(yè)系統(tǒng)生產(chǎn)環(huán)境下，數(shù)據(jù)協(xié)議類型繁多并且數(shù)量眾多的生產(chǎn)系統(tǒng)的數(shù)據(jù)采集問題，提供一種流程工業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)采集方法，從而能夠在確?，F(xiàn)有生產(chǎn)系統(tǒng)在線運行的前提下，高效、安全、穩(wěn)定的數(shù)據(jù)采集。
[0007]具體地說，本發(fā)明是采用以下技術(shù)方案實現(xiàn)的，包括以下步驟:
[0008]1)準備各生產(chǎn)系統(tǒng)的源端數(shù)據(jù)抽取驅(qū)動和目標端的數(shù)據(jù)推送驅(qū)動，所述數(shù)據(jù)抽取驅(qū)動用于針對生產(chǎn)系統(tǒng)不同的數(shù)據(jù)源進行統(tǒng)一的數(shù)據(jù)獲取、并將獲取到的數(shù)據(jù)以約定的標準格式傳輸給接口適配器服務(wù)，所述數(shù)據(jù)推送驅(qū)動用于接收接口適配器服務(wù)發(fā)送過來的數(shù)據(jù)、并將其寫入目標端；
[0009]2)部署接口適配器服務(wù)、數(shù)據(jù)抽取驅(qū)動、數(shù)據(jù)推送驅(qū)動以及接口適配器客戶端，所述接口適配器服務(wù)負責(zé)將從抽取驅(qū)動接收的數(shù)據(jù)有序分發(fā)至數(shù)據(jù)推送驅(qū)動以及所有采集通道和數(shù)據(jù)的管理，所述接口適配器客戶端用于操作和顯示所有數(shù)據(jù)采集通道和數(shù)據(jù)傳輸對應(yīng)關(guān)系以及采集實時狀況；
[0010]3)創(chuàng)建數(shù)據(jù)傳輸?shù)耐ǖ?，該通道的信息包含了?shù)據(jù)源端和目的端的地址、端口和數(shù)據(jù)存儲類型，根據(jù)這些信息抽取和推送驅(qū)動能夠分別從源端獲取數(shù)據(jù)和將數(shù)據(jù)寫入目標端;
[0011]4)在傳輸通道內(nèi)建立源端到目的端的測點對應(yīng)關(guān)系表，并通過接口適配器客戶端導(dǎo)入至接口適配器服務(wù)中，所述對應(yīng)關(guān)系表記錄了源端和目標端數(shù)據(jù)庫各自測點的基本屬性結(jié)構(gòu)，通過該對應(yīng)關(guān)系，接口適配器服務(wù)能夠準確無誤的分配抽取和推送驅(qū)動將源端的數(shù)據(jù)采集、傳輸并存儲至目標端；
[0012]5)啟動數(shù)據(jù)傳輸通道，數(shù)據(jù)傳輸通道啟動后，抽取驅(qū)動連接源端進行數(shù)據(jù)獲取，并按照約定的標準格式發(fā)送給接口適配器服務(wù)；接口適配器服務(wù)將接收到的數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)發(fā)給抽取驅(qū)動，抽取驅(qū)動連接目標端，并根據(jù)測點對應(yīng)關(guān)系將數(shù)據(jù)發(fā)送給相應(yīng)目標端進行測點存儲，接口適配器服務(wù)實時跟蹤通道的狀態(tài)信息，協(xié)調(diào)抽取和推送驅(qū)動工作。
[0013]上述技術(shù)方案的進一步特征在于，所述接口適配器服務(wù)的配置參數(shù)包括IP地址、端口號以及工作目錄，其中IP地址和端口號用于與接口適配器客戶端、抽取和推送驅(qū)動的連接交互，工作目錄用于存儲包括通道和數(shù)據(jù)對應(yīng)關(guān)系在內(nèi)的元數(shù)據(jù)信息。
[0014]上述技術(shù)方案的進一步特征在于，抽取驅(qū)動和推送驅(qū)動的啟動參與均由接口適配器服務(wù)自主分配并啟動。
[0015]本發(fā)明的有益效果如下:本發(fā)明適用于流程工業(yè)尤其是電力、石化等行業(yè)數(shù)據(jù)中心的數(shù)據(jù)采集，多生產(chǎn)系統(tǒng)間的數(shù)據(jù)融合場景，數(shù)據(jù)從采集、清洗、傳輸、存儲各環(huán)節(jié)分離，并由接口適配器服務(wù)全程跟蹤，故障定位更加容易。本發(fā)明進行統(tǒng)一的數(shù)據(jù)采集，能夠支持關(guān)系數(shù)據(jù)庫、實時數(shù)據(jù)庫、各類工業(yè)通信協(xié)議的數(shù)據(jù)采集。本發(fā)明解決了流程工業(yè)行業(yè)典型生產(chǎn)環(huán)境下，大量生產(chǎn)系統(tǒng)數(shù)據(jù)的實時采集問題，能夠確保在現(xiàn)有系統(tǒng)穩(wěn)定運行的基礎(chǔ)上進行數(shù)據(jù)采集，接口適配器服務(wù)針對數(shù)據(jù)傳輸?shù)母鳝h(huán)節(jié)進行監(jiān)控，大大地減少了系統(tǒng)運維人員的工作強度和提高了問題排查解決的效率。
【附圖說明】
[0016]圖1是多系統(tǒng)數(shù)據(jù)采集部署框架結(jié)構(gòu)圖。
【具體實施方式】
[0017]下面結(jié)合實施例并參照附圖對本發(fā)明作進一步詳細描述。
[0018]本發(fā)明主要涉及四個部分:第一部分是數(shù)據(jù)抽取驅(qū)動，該部分的功能是統(tǒng)一數(shù)據(jù)通訊標準和接口，針對生產(chǎn)系統(tǒng)不同的數(shù)據(jù)源進行統(tǒng)一的數(shù)據(jù)獲取，并將獲取到的數(shù)據(jù)以標準的通信規(guī)約傳輸給接口適配器服務(wù)；第二部分是接口適配器服務(wù)，該部分是本發(fā)明的核心，負責(zé)將從抽取驅(qū)動接收的數(shù)據(jù)有序分發(fā)至數(shù)據(jù)推送驅(qū)動，同時還負責(zé)所有采集通道和數(shù)據(jù)的管理，包括采集通道的增刪改查及運行狀況監(jiān)視、數(shù)據(jù)從源端到目的端的正確高效傳輸保證和監(jiān)視等，在數(shù)據(jù)采集通道和傳輸對應(yīng)關(guān)系的自動配置、數(shù)據(jù)抽取和推送驅(qū)動的運行管理、實時/歷史數(shù)據(jù)傳輸優(yōu)先級的自動管理和異常處理等方面具有較強的自主管理能力；第三部分是數(shù)據(jù)推送驅(qū)動，該部分的功能是接收接口適配器服務(wù)發(fā)送過來的數(shù)據(jù)，并將其寫入目標端；第四部分是接口適配器客戶端，用于圖形操作所有數(shù)據(jù)采集通道和數(shù)據(jù)傳輸對應(yīng)關(guān)系，同時顯示所有數(shù)據(jù)采集通道和數(shù)據(jù)采集實時狀況。
[0019]本發(fā)明的方法步驟如下:
[0020]步驟A:準備各生產(chǎn)系統(tǒng)使用的源端(業(yè)務(wù)系統(tǒng))數(shù)據(jù)抽取驅(qū)動和目標端(數(shù)據(jù)中心)使用的數(shù)據(jù)推送驅(qū)動。主流關(guān)系庫、實時數(shù)據(jù)庫和工業(yè)通信規(guī)約均有現(xiàn)成的數(shù)據(jù)抽取和推送驅(qū)動。如遇到新的類型的數(shù)據(jù)源，需要進行相應(yīng)的開發(fā)工作，但僅需重新實現(xiàn)與新類型的數(shù)據(jù)源相關(guān)的數(shù)據(jù)接口調(diào)用部分內(nèi)容，便能在線加載至整個接口適配器服務(wù)，不影響其它數(shù)據(jù)采集通道運行。
[0021]步驟B:部署接口適配器服務(wù)、數(shù)據(jù)抽取驅(qū)動、數(shù)據(jù)推送驅(qū)動以及接口適配器客戶端程序。接口適配器服務(wù)需要配置IP地址、端口號以及工作目錄這三個重要參數(shù)。其中IP地址和端口號用于與客戶端、抽取推送驅(qū)動的連接交互，工作目錄用于存儲通道和數(shù)據(jù)對應(yīng)關(guān)系等元數(shù)據(jù)信息。抽取驅(qū)動和推送驅(qū)動的啟動參與均由接口適配器服務(wù)自主分配并啟動，并能夠根據(jù)實際情況進行自主調(diào)節(jié)，最大程度的降低的用戶部署的難度。
[0022]步驟C:創(chuàng)建數(shù)據(jù)傳輸?shù)耐ǖ?。該通道信息包含了?shù)據(jù)源