安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法
【專利摘要】本發(fā)明公開(kāi)了一種基于大壩工程安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法。所述方法包括以下步驟：數(shù)據(jù)導(dǎo)入與預(yù)處理，導(dǎo)入水平位移與水位數(shù)據(jù)，將擬合所需要的數(shù)據(jù)導(dǎo)入到工作平臺(tái)上，通過(guò)剔除空值和利用箱線圖模型處理異常值進(jìn)行數(shù)據(jù)預(yù)處理；選取最優(yōu)模型，根據(jù)樣本均方差選擇最優(yōu)模型，包括選擇最優(yōu)步長(zhǎng)和最優(yōu)函數(shù)模型；預(yù)測(cè)數(shù)據(jù)，用選擇的最優(yōu)函數(shù)模型所需預(yù)測(cè)當(dāng)天前一天的值，與真實(shí)值進(jìn)行比較得到誤差值，計(jì)算出模型的精確程度，用所得到的模型對(duì)所需預(yù)測(cè)當(dāng)天的水平位移進(jìn)行預(yù)測(cè)；結(jié)果驗(yàn)證與報(bào)表生成，將已有預(yù)測(cè)值保存，與現(xiàn)有真實(shí)數(shù)據(jù)進(jìn)行對(duì)比，用于評(píng)估當(dāng)前函數(shù)模型和數(shù)據(jù)擬合方法，并對(duì)此次擬合方法得到的結(jié)果生成報(bào)表上報(bào)。
【專利說(shuō)明】安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)據(jù)擬合方法，具體涉及一種基于大壩工程安全水平位移與水位 的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法，屬于水庫(kù)大壩安全監(jiān)測(cè)【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 大壩安全監(jiān)測(cè)對(duì)于水庫(kù)能否正常運(yùn)行至關(guān)重要，水庫(kù)大壩安全監(jiān)測(cè)要做到定時(shí)定 點(diǎn)、規(guī)律系統(tǒng)，以觀測(cè)數(shù)據(jù)的分析結(jié)果為主要依據(jù)，為水庫(kù)安全運(yùn)行提供服務(wù)。大壩的安全 監(jiān)測(cè)主要包括對(duì)大壩壩體的固定測(cè)點(diǎn)按照一定頻率連續(xù)地進(jìn)行儀器測(cè)量、對(duì)采集來(lái)的數(shù)據(jù) 進(jìn)行資料整編和分析，通過(guò)計(jì)算和查證原始觀測(cè)數(shù)據(jù)來(lái)實(shí)現(xiàn)監(jiān)測(cè)資料的連續(xù)性與準(zhǔn)確性。 大壩安全監(jiān)測(cè)的目的是為了更好地節(jié)約水庫(kù)建設(shè)維護(hù)的投資、盡可能大地發(fā)揮水庫(kù)效益。 大壩安全監(jiān)測(cè)不只是為了保證被監(jiān)測(cè)大壩的安全運(yùn)營(yíng)，還要對(duì)其他大壩包括待建壩安全運(yùn) 營(yíng)、建設(shè)施工提供準(zhǔn)確的實(shí)驗(yàn)依據(jù)和安全鑒定的數(shù)據(jù)指導(dǎo)。
[0003] 由此可見(jiàn)，每座水庫(kù)的安全運(yùn)營(yíng)都離不開(kāi)大壩安全監(jiān)測(cè)工作，只有通過(guò)連續(xù)穩(wěn)定 的監(jiān)測(cè)和分析才能及時(shí)發(fā)現(xiàn)各種問(wèn)題，保證國(guó)家和人民的生命財(cái)產(chǎn)安全。大壩安全監(jiān)測(cè)是 對(duì)水利建筑工程安全的一種管理，主要包括了信息的采集、處理，結(jié)論的得出，措施的制定 以及信息的反饋，而其最根本目的就是為了工程效益。
[0004] 對(duì)于大壩安全監(jiān)測(cè)，安全閾值作為一項(xiàng)重要的參考數(shù)據(jù)對(duì)于監(jiān)測(cè)分析具有重要意 義。而需要求得精確的安全閾值，則需要精確的估計(jì)值，這就需要先進(jìn)的數(shù)據(jù)擬合方法進(jìn)行 擬合計(jì)算。
[0005] 因此，如何計(jì)算出精確的估計(jì)值，選取最優(yōu)的模型進(jìn)行計(jì)算，為計(jì)算安全閾值數(shù)據(jù) 支持，是數(shù)據(jù)擬合方法必須解決大問(wèn)題，也是本發(fā)明所要解決的問(wèn)題。


【發(fā)明內(nèi)容】

[0006] 發(fā)明目的：本發(fā)明是基于對(duì)大壩安全閾值的分析中得出的。為了計(jì)算出大壩的安 全閾值需要對(duì)某一點(diǎn)的值進(jìn)行估計(jì)，因而需要對(duì)大量數(shù)據(jù)進(jìn)行擬合，從而得到一個(gè)精確的 估計(jì)值，最終得到了一種基于滑動(dòng)窗口動(dòng)態(tài)的數(shù)據(jù)擬合方法。與以往的擬合方法不同，是基 于滑動(dòng)窗口的，可以動(dòng)態(tài)的選取樣本容量；同時(shí)，又可以動(dòng)態(tài)的選取函數(shù)模型，根據(jù)樣本的 均方差值選取最優(yōu)模型。最終獲取到最優(yōu)的模型，獲得精確的估計(jì)值。
[0007] 技術(shù)方案：一種基于大壩工程安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合 方法，包括以下四個(gè)方面 ：
[0008] (1)數(shù)據(jù)導(dǎo)入與預(yù)處理，導(dǎo)入水平位移與水位數(shù)據(jù)，將擬合所需要的數(shù)據(jù)導(dǎo)入到工 作平臺(tái)上，通過(guò)剔除空值和利用箱線圖模型處理異常值進(jìn)行數(shù)據(jù)預(yù)處理；
[0009] (2)選取最優(yōu)模型，根據(jù)樣本均方差選擇最優(yōu)模型，包括選擇最優(yōu)步長(zhǎng)和最優(yōu)函數(shù) 模型；
[0010] (3)預(yù)測(cè)數(shù)據(jù)，用選擇的最優(yōu)函數(shù)模型預(yù)測(cè)所需預(yù)測(cè)當(dāng)天前一天的值，與真實(shí)值進(jìn) 行比較得到誤差值，計(jì)算出模型的精確程度，用選擇的最優(yōu)函數(shù)模型對(duì)所需預(yù)測(cè)當(dāng)天的水 平位移進(jìn)行預(yù)測(cè)；
[0011] (4)結(jié)果驗(yàn)證與報(bào)表生成，將已有預(yù)測(cè)值保存，與現(xiàn)有真實(shí)數(shù)據(jù)進(jìn)行對(duì)比，用于評(píng) 估當(dāng)前函數(shù)模型和數(shù)據(jù)擬合方法，并對(duì)此次擬合方法得到的結(jié)果生成報(bào)表上報(bào)。
[0012] 所述內(nèi)容（1)數(shù)據(jù)導(dǎo)入與預(yù)處理，導(dǎo)入水平位移與水位數(shù)據(jù)，將擬合所需要的數(shù) 據(jù)導(dǎo)入到工作平臺(tái)上，通過(guò)剔除空值和利用箱線圖模型處理異常值進(jìn)行數(shù)據(jù)預(yù)處理，具體 為：
[0013] (1. 1)導(dǎo)入水平位移與水位數(shù)據(jù)，從原始數(shù)據(jù)庫(kù)中讀取需要處理的數(shù)據(jù)，主要為壩 段測(cè)點(diǎn)、時(shí)間、水位數(shù)據(jù)和水平位移數(shù)據(jù)。
[0014] (1. 2)剔除部分本身有誤的數(shù)據(jù)，對(duì)讀取到的數(shù)據(jù)進(jìn)行預(yù)處理，包括對(duì)空值的處理 和對(duì)異常值的處理。根據(jù)條件"水位數(shù)據(jù)是否為空"和"水平位移數(shù)據(jù)是否為空"對(duì)水平位 移數(shù)據(jù)和水位數(shù)據(jù)中出現(xiàn)空值的情況進(jìn)行剔除，將剔除的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)異常值表中。 利用箱線圖原理對(duì)數(shù)據(jù)進(jìn)行異常值處理，定義所選數(shù)據(jù)中水平位移數(shù)據(jù)的上下四分位數(shù)分 別為Ql和Q3,定義四分點(diǎn)間距為IQR，將Q3+3IQR和Ql - 3IQR之外的數(shù)據(jù)剔除，將剔除的 數(shù)據(jù)保存到數(shù)據(jù)庫(kù)異常值表中。
[0015] 所述內(nèi)容（2)選取最優(yōu)模型，根據(jù)樣本均方差選擇最優(yōu)模型，包括選擇最優(yōu)步長(zhǎng) 和最優(yōu)函數(shù)模型，具體為：
[0016] (2. 1)從步長(zhǎng)下限開(kāi)始，使用處在所選步長(zhǎng)內(nèi)的數(shù)據(jù)對(duì)候選模型分別進(jìn)行擬合，得 到對(duì)應(yīng)的擬合的方程，用擬合方程計(jì)算所需預(yù)測(cè)日期的前一天的水平位移作為校驗(yàn)，得到 校驗(yàn)誤差，校驗(yàn)誤差作為對(duì)模型的校驗(yàn)，可以分析模型本身的合理性以及預(yù)測(cè)的準(zhǔn)確性；
[0017] (2. 2)從步長(zhǎng)下限開(kāi)始，計(jì)算使用處在所選步長(zhǎng)內(nèi)的數(shù)據(jù)對(duì)候選模型分別進(jìn)行擬 合得到的樣本均方差，樣本均方誤差（RMSE)作為預(yù)測(cè)模型好壞的評(píng)判標(biāo)準(zhǔn)，其計(jì)算公式 為：RMS

【權(quán)利要求】
1. 一種安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法，其特征在于，包括以 下步驟： (1) 數(shù)據(jù)導(dǎo)入與預(yù)處理，導(dǎo)入水平位移與水位數(shù)據(jù)，將擬合所需要的數(shù)據(jù)導(dǎo)入到工作平 臺(tái)上，通過(guò)剔除空值和利用箱線圖模型處理異常值進(jìn)行數(shù)據(jù)預(yù)處理； (2) 選取最優(yōu)模型，根據(jù)樣本均方差選擇最優(yōu)模型，包括選擇最優(yōu)步長(zhǎng)和最優(yōu)函數(shù)模 型； (3) 預(yù)測(cè)數(shù)據(jù)，用選擇的最優(yōu)函數(shù)模型預(yù)測(cè)所需預(yù)測(cè)當(dāng)天前一天的值，與真實(shí)值進(jìn)行比 較得到誤差值，計(jì)算出模型的精確程度，用所得到的模型對(duì)所需預(yù)測(cè)當(dāng)天的水平位移進(jìn)行 預(yù)測(cè)； (4) 結(jié)果驗(yàn)證與報(bào)表生成，將已有預(yù)測(cè)值保存，與現(xiàn)有真實(shí)數(shù)據(jù)進(jìn)行對(duì)比，用于評(píng)估當(dāng) 前函數(shù)模型和數(shù)據(jù)擬合方法，并對(duì)此次擬合方法得到的結(jié)果生成報(bào)表上報(bào)。
2. 根據(jù)權(quán)利要求1所述的安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法，其 特征在于，所述步驟（1)的具體步驟為： (1. 1)導(dǎo)入水平位移與水位數(shù)據(jù)，從原始數(shù)據(jù)庫(kù)中讀取需要處理的數(shù)據(jù)，主要為壩段測(cè) 點(diǎn)、時(shí)間、水位數(shù)據(jù)和水平位移數(shù)據(jù)； (1. 2)剔除部分本身有誤的數(shù)據(jù)，對(duì)讀取到的數(shù)據(jù)進(jìn)行預(yù)處理，包括對(duì)空值的處理和對(duì) 異常值的處理；根據(jù)條件"水位數(shù)據(jù)是否為空"和"水平位移數(shù)據(jù)是否為空"對(duì)水平位移和水 位數(shù)據(jù)中出現(xiàn)空值的情況進(jìn)行剔除，將剔除的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)異常值表中。利用箱線圖 原理對(duì)數(shù)據(jù)進(jìn)行異常值處理，定義所選數(shù)據(jù)中水平位移數(shù)據(jù)的上下四分位數(shù)分別為Ql和 Q3,定義四分點(diǎn)間距為IQR，將Q3+3IQR和Ql- 3IQR之外的數(shù)據(jù)剔除，將剔除的數(shù)據(jù)保存到 數(shù)據(jù)庫(kù)異常值表中； (1. 3)樣本選擇，針對(duì)所選擇的候選函數(shù)模型，根據(jù)擬合方法中步長(zhǎng)至少為4才能出現(xiàn) 不完全擬合，符合實(shí)踐需要，將步長(zhǎng)（即樣本量）下限設(shè)定為4,擬合步長(zhǎng)上限不做規(guī)定，但 應(yīng)不大于數(shù)據(jù)總條數(shù)。
3. 根據(jù)權(quán)利要求1所述的安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法，其 特征在于，所述內(nèi)容（2)根據(jù)候選模型進(jìn)行擬合，通過(guò)對(duì)樣本均方差的比較確定最優(yōu)模型； (2. 1)從步長(zhǎng)下限開(kāi)始，使用處在所選步長(zhǎng)內(nèi)的數(shù)據(jù)對(duì)候選模型分別進(jìn)行擬合，得到對(duì) 應(yīng)的擬合的方程，用擬合方程計(jì)算所需預(yù)測(cè)日期的前一天的水平位移作為校驗(yàn)，得到校驗(yàn) 誤差，校驗(yàn)誤差作為對(duì)模型的校驗(yàn)，可以分析模型本身的合理性以及預(yù)測(cè)的準(zhǔn)確性； (2. 2)從步長(zhǎng)下限開(kāi)始，計(jì)算使用處在所選步長(zhǎng)內(nèi)的數(shù)據(jù)對(duì)候選模型分別進(jìn)行擬合 得到的樣本均方差，樣本均方誤差（RMSE)作為預(yù)測(cè)模型好壞的評(píng)判標(biāo)準(zhǔn)，其計(jì)算公式為：
其中η為樣本的數(shù)量,yi為當(dāng)前的水平位移的估計(jì)值，f為估計(jì)值的 平均值，n-1即為計(jì)算一元回歸分析時(shí)樣本均方誤差的自由度； (2. 3)將每次將樣本量（即步長(zhǎng)加1)，進(jìn)行步驟（2. 1)和（2. 2)操作；如果增加樣本 量，樣本均方誤差減小，則將此時(shí)的樣本均方誤差更新為最新的樣本均方誤差RMSE_New并 繼續(xù)找最優(yōu)模型，如果連續(xù)7次都沒(méi)有更新兩種方法的樣本均方誤差，根據(jù)概率學(xué)中在出 現(xiàn)局部最優(yōu)樣本均方誤差之后更新樣本均方誤差的概率小于〇. 003且在一次隨機(jī)試驗(yàn)的 過(guò)程中，這種小概率事件發(fā)生的概率近乎于0,將此時(shí)的RMSE_New及其對(duì)應(yīng)的步長(zhǎng)選取為 局部最優(yōu)值。
4. 根據(jù)權(quán)利要求1所述的安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法，其 特征在于，所述內(nèi)容（3)的具體過(guò)程如下： (3. 1)將步驟（2.3)中得到的不同數(shù)學(xué)模型下的局部最優(yōu)值以樣本均方誤差值作為模 型擬合的衡量指標(biāo)進(jìn)行比較，取均方誤差最小的擬合模型為最優(yōu)模型，將其作為當(dāng)日水平 位移數(shù)據(jù)預(yù)測(cè)的參考模型； (3. 2)在得到當(dāng)日水位數(shù)據(jù)的情況下，使用已經(jīng)選擇的最優(yōu)模型預(yù)測(cè)當(dāng)日水平位移，根 據(jù)實(shí)現(xiàn)設(shè)定的閾值標(biāo)準(zhǔn)，判斷該測(cè)點(diǎn)當(dāng)日水平位移是否在正常范圍內(nèi)。
5. 根據(jù)權(quán)利要求1所述的安全水平位移與水位的滑動(dòng)可變窗口動(dòng)態(tài)數(shù)據(jù)擬合方法，其 特征在于，所述內(nèi)容（4)結(jié)果驗(yàn)證與報(bào)表生成的具體過(guò)程如下： (4. 1)根據(jù)步驟（2)和步驟（3)，對(duì)所需預(yù)測(cè)數(shù)據(jù)當(dāng)日之前的水平位移進(jìn)行處理，得到 之前所有天數(shù)的預(yù)測(cè)值，將得到的預(yù)測(cè)值與已有的實(shí)際值進(jìn)行統(tǒng)計(jì)分析，以評(píng)估當(dāng)前擬合 模型； (4. 2)記錄擬合結(jié)果，生成報(bào)表；報(bào)表內(nèi)容包括預(yù)測(cè)結(jié)果、不同擬合模型預(yù)測(cè)結(jié)果對(duì)比 和異常值。
【文檔編號(hào)】G06F19/00GK104462808SQ201410735262
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】毛鶯池, 賈必聰, 王久龍, 朱瀝瀝, 王龍寶, 周曉峰, 接青 申請(qǐng)人:河海大學(xué)