專利名稱：：建立煙草近紅外模型的選樣方法
技術領域：
：本發(fā)明涉及一種用于建立煙草近紅外模型的方法，具體涉及一種建立煙草近紅外模型的選樣方法。
背景技術：
：二十世紀九十年代以來，近紅外技術在煙草中的應用越來越廣泛，各煙草企業(yè)根據(jù)各自的實際情況都建立了自己的近紅外模型。進入本世紀后，國內煙草行業(yè)掀起了兼并重組的浪潮，原來分散的巻煙廠，聯(lián)合組成了跨地域、大集團式的工業(yè)公司。在近紅外技術的研究中，隨之而來的問題出現(xiàn)了原來各煙廠建立的近紅外模型，已不能適應大集團模式下研究的需要?，F(xiàn)實情況卻是，不同的煙廠建立了不同的近紅外模型，但這些模型是彼此獨立的，這些模型可能采用不同的近紅外儀器掃描光譜，同時還有可能用不同的分析方法獲得原始數(shù)據(jù)。一般而言，這種情況下模型之間的樣品信息是很難共享的。在這種情況下，重新建立近紅外模型是不現(xiàn)實的，必須找到合適的方法，將已有的模型充分利用起來。目前，在建立煙草近紅外模型過程中，樣品的選擇常用到經(jīng)驗選擇、濃度識別和光譜識別三種方法。經(jīng)驗選擇法通常是按照煙草的品種、年份、部位、等級以及用途等性質，挑選具有代表性的煙草樣品作為定標集樣品建立模型；濃度識別法主要是依據(jù)樣品組分的濃度差異，選擇具有代表性的樣品作為定標集樣品建立模型；光譜識別法主要依據(jù)樣品的光譜差異挑選樣品建立模型。采用經(jīng)驗選擇法挑選樣品的缺點是其所需樣品量巨大，同時這種方法忽略了樣品本身的物理和化學性質而容易引起誤差；濃度識別法的缺點是其忽略了樣品的光譜差異，從而可能導致模型的預測能力偏低；光譜識別法的缺點是其忽略了樣品內在質量的差異，容易導致模型失真。針對這些情況，本發(fā)明提出了一種用于建立煙草近紅外模型的選樣方法。
發(fā)明內容本發(fā)明克服了現(xiàn)有技術的不足，提供了一種能克服上述方法缺點的建立煙草近紅外模型的選樣方法。本發(fā)明的技術方案是—種建立煙草近紅外模型的選樣方法，采用步驟1至步驟7:步驟1獲得相互獨立的兩個樣品集{A}和{B}中的煙草樣品的近紅外掃描譜步驟2將樣品集{A}和樣品集{B}的近紅外掃描譜圖進行光譜預處理；步驟3根據(jù)樣品集{B}中樣品i的近紅外光譜&和樣品集{A}中樣品的平均光譜X^，得到樣品i到樣品集{A}的光譜馬氏距離&;步驟4根據(jù)樣品集{B}中樣品i的組分含量1和樣品集{A}中樣品的組分含量平均值Y^，得到樣品i到樣品集{A}的組分值距離d/;步驟5根據(jù)步驟3求得的光譜馬氏距離&和步驟4求得的組分值距離di'，得到樣品集{B}中樣品i到樣品集{A}的整體歐式距離Di;步驟6按特定原則選取樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}，由樣品集{A’}建立得到新的近紅外模型A’；步驟7用內部交叉驗證法和外部驗證法對模型A’進行評價。更進一步的技術方案是步驟2中的光譜預處理是采用平滑、二次插值法、一階導數(shù)法或二階導數(shù)法中的一種或幾種方法對原始近紅外光譜進行預處理。更進一步的技術方案是步驟3中求取樣品集{B}中樣品i到樣品集{A}的光譜馬氏距離d、的方法采用如下公式[ooT6)d，√(父f—x吣)’s“(xj—xavg)，X、為樣品集{B}中樣品i的光譜矢量(n×1)，X…為樣品集{A}中樣品的平均光譜矢量(n×1)，S為協(xié)方差矩陣(n×n)，(X，一X。＼／。)’為(X，一X。＼／。)的轉置矩陣，n為光譜X、的數(shù)據(jù)點個數(shù)。更進一步的技術方案是步驟4中求取樣品集{B}中樣品i到樣品集{A}的組分值距離d、’的方法采用如下公式d’j—Yj—YaV。Y、為樣品集{B}中樣品i的組分含量，Y…為樣品集{A}中樣品的平均組分含量，更進一步的技術方案是步驟5中求取整體歐式距離D、的方法采用如下公式廠一二一一一一一丁更進一步的技術方案是步驟6所述特定原則，是按照整體歐式距離D、從小到大的順序將樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}。更進一步的技術方案是步驟7中內部交叉驗證采用交叉驗證均方根誤差(RMSE(V)、決定系數(shù)(礦)，外部驗證采用預測均方根誤差(RMSE[’)、決定系數(shù)(礦)對模型進行評價。本發(fā)明設有兩個獨立的煙草樣品集{A}和樣品集{B}，依次分別屬于兩個獨立的近紅外模型A和模型B，要在樣品集{B}中選取有效的樣品添加到樣品集{A}中形成樣品集{A’}，用樣品集{A’}建立新的近紅外模型A’。由于樣品集{A}和樣品集{B}是相互獨立的，它們之間沒有關聯(lián)，如果隨意選擇樣品，則這些樣品很可能成為樣品集{A’}中的異常點，進而影響模型A’的精度。本發(fā)明的有益技術效果是從樣品集{B}中選取有效的樣品加入到樣品集{A}中得到樣品集{A’}，有效地避免樣品集{A’}中異常點的出現(xiàn)，從而解決了獨立煙草近紅外模型間樣品信息共享的問題，采用本發(fā)明的選樣方法能建立剔除無效的異常數(shù)據(jù)的模型，保證模型具有良好的預測能力和適用性。圖l本發(fā)明用來測試煙草蛋白質的實施例l中樣品集{Al}的近紅外掃描譜圖2本發(fā)明用來測試煙草蛋白質的實施例l中樣品集{Bl}的近紅外掃描譜圖3本發(fā)明用來測試煙草蛋白質的實施例1中樣品集{Al}的預處理后的近紅外譜圖；圖4本發(fā)明用來測試煙草蛋白質的實施例1中樣品集{Bl}的預處理后的近紅外譜圖；圖5本發(fā)明用來測試煙草蛋白質的實施例1中近紅外模型Al'內部交叉驗證圖；圖6本發(fā)明用來測試煙草蛋白質的實施例1中近紅外模型Al'外部驗證圖；圖7本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{A2}的近紅外掃描譜圖；圖8本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{B2}的近紅外掃描譜圖；圖9本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{A2}的預處理后的近紅外譜圖；圖10本發(fā)明用來測試煙草石油醚提取物的實施例2中樣品集{B2}的預處理后的近紅外譜圖；圖11本發(fā)明用來測試煙草石油醚提取物的實施例2中近紅外模型A2'內部交叉驗證圖；圖12本發(fā)明用來測試煙草石油醚提取物的實施例2中近紅外模型A2'外部驗證具體實施方式實施例1以煙草中蛋白質近紅外模型Al和模型Bl進行測試，按照如下步驟8至步驟14進行步驟8:獲得相互獨立的兩個樣品集{Al}和{Bl}中煙草樣品的近紅外掃描譜圖，樣品集{Al}中樣品的近紅外掃描譜圖見圖l，樣品集{Bl}中樣品的近紅外掃描譜圖見圖2;步驟9:運用二次插值法和一階導數(shù)法將樣品集{Al}中樣品的近紅外掃描譜圖進行預處理，處理后的近紅外譜圖見圖3;用二次插值法和一階導數(shù)法將樣品集{Bl}中樣品的近紅外掃描譜圖進行預處理，處理后的近紅外譜圖見圖4;步驟10:根據(jù)樣品集{Bl}中樣品i的近紅外光譜Xi和樣品集{Al}中樣品的平均光譜X^，得到樣品i到樣品集{Al}的光譜馬氏距離&;步驟11:根據(jù)樣品集{Bl}中樣品i的組分含量1和樣品集{Al}中樣品的組分含量平均值Y^，得到樣品i到樣品集{Al}的組分值距離d/;步驟12:根據(jù)步驟10求得的光譜馬氏距離&和步驟11求得的組分值距離d/，得到樣品集{Bl}中樣品i到樣品集{Al}的整體歐式距離Di;光譜馬氏距離di，整體歐式距離Di見表l蛋白質樣品距離表表l蛋白質樣品距離表<table>tableseeoriginaldocumentpage6</column></row><table><table>tableseeoriginaldocumentpage7</column></row><table><table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table><table>tableseeoriginaldocumentpage11</column></row><table><table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table><table>tableseeoriginaldocumentpage15</column></row><table><table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table><table>tableseeoriginaldocumentpage18</column></row><table><table>tableseeoriginaldocumentpage19</column></row><table><table>tableseeoriginaldocumentpage20</column></row><table>步驟13:按照Di從小到大的原則選取樣品集{Bl}中的320個樣品添加到樣品集{Al}中形成新的樣品集{Al'}，由樣品集{Al'}建立得到新的近紅外模型Al'。步驟14:對模型A1'進行內部交叉驗證，其交叉驗證均方根誤差(RMSECV)為0.267，決定系數(shù)(R2)為92.33，近紅外模型Al'內部交叉驗證圖見圖5;對模型A1'進行外部驗證，其預測均方根誤差(RMSEP)為0.179，決定系數(shù)(R2)為94.52，近紅外模型Al'外部驗證圖見圖6。新模型A1'滿足實際應用要求。實施例2以煙草中石油醚提取物近紅外模型A2和模型B2進行測試，按照如下步驟15至步驟20進行步驟15:獲得相互獨立的兩個樣品集{A2}和{B2}中煙草樣品的近紅外掃描譜圖，樣品集{A2}中樣品的近紅外掃描譜圖見圖7，樣品集{B2}中樣品的近紅外掃描譜圖見圖8;步驟16:運用二次插值法和一階導數(shù)法將樣品集{A2}中樣品的近紅外掃描譜圖進行預處理，處理后的近紅外譜圖見圖9;用二次插值法和一階導數(shù)法將樣品集{B2}中樣品的近紅外掃描譜圖進行預處理，處理后的近紅外譜圖見圖10;步驟17:根據(jù)樣品集{B2}中樣品i的近紅外光譜Xi和樣品集{A2}中樣品的平均光譜X^，得到樣品i到樣品集{A2}的光譜馬氏距離&;步驟18:根據(jù)樣品集{B2}中樣品i的組分含量1和樣品集{A2}中樣品的組分含量平均值Y^，得到樣品i到樣品集{A2}的組分值距離d/;2步驟19:根據(jù)步驟17求得的光譜馬氏距離&和步驟18求得的組分值距離d/，得到樣品集{B2}中樣品i到樣品集{A2}的整體歐式距離Di;光譜馬氏距離di，整體歐式距離Di見表2石油醚提取物樣品距離表表2石油醚提取物樣品距離表<table>tableseeoriginaldocumentpage20</column></row><table><table>tableseeoriginaldocumentpage21</column></row><table><table>tableseeoriginaldocumentpage22</column></row><table><table>tableseeoriginaldocumentpage0</column></row><table><table>tableseeoriginaldocumentpage24</column></row><table>步驟6:按照Di從小到大的原則選取樣品集{B2}中的35個樣品添加到樣品集{A2}中形成新的樣品集{A2'}，由樣品集{A2'}建立得到新的近紅外模型A2'。步驟20:對模型A2'進行內部交叉驗證，其交叉驗證均方根誤差(RMSECV)為0.243，決定系數(shù)(R2)為94.95，近紅外模型A2'內部交叉驗證圖見圖11;對模型A2'進行外部驗證，其預測均方根誤差(RMSEP)為O.193，決定系數(shù)(R2)為97.19，近紅外模型A2'外部驗證圖見圖12。新模型A2'滿足實際應用要求。權利要求一種建立煙草近紅外模型的選樣方法，其特征在于采用步驟1至步驟7步驟1獲得相互獨立的兩個樣品集{A}和樣品集{B}中煙草樣品的近紅外掃描譜圖；步驟2將樣品集{A}和樣品集{B}的近紅外掃描譜圖進行光譜預處理；步驟3根據(jù)樣品集{B}中樣品i的近紅外光譜Xi和樣品集{A}中樣品的平均光譜Xavg，得到樣品i到樣品集{A}的光譜馬氏距離di；步驟4根據(jù)樣品集{B}中樣品i的組分含量Yi和樣品集{A}中樣品的組分含量平均值Yavg，得到樣品i到樣品集{A}的組分值距離di’；步驟5根據(jù)步驟3求得的光譜馬氏距離di和步驟4求得的組分值距離di’，得到樣品集{B}中樣品i到樣品集{A}的整體歐式距離Di；步驟6按特定原則選取樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}，由樣品集{A’}建立得到新的近紅外模型A’；步驟7用內部交叉驗證法和外部驗證法對模型A’進行評價。2.根據(jù)權利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟2中的光譜預處理是采用平滑、二次插值法、一階導數(shù)法或二階導數(shù)法中的一種或幾種方法對原始近紅外光譜進行預處理。3.根據(jù)權利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟3中求取樣品集化}中樣品i到樣品集{A}的光譜馬氏距離&的方法采用如下公式Xi為樣品集{B}中樣品i的光譜矢量(nX1)，X^為樣品集{A}中樣品的平均光譜矢量(nXl)，S為協(xié)方差矩陣(nXn)，(Xi-XjT為(X「Xavg)的轉置矩陣，n為光譜Xi的數(shù)據(jù)點個數(shù)。4.根據(jù)權利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟4中求取樣品集{B}中樣品i到樣品集{A}的組分值距離d/的方法采用如下公式<formula>formulaseeoriginaldocumentpage2</formula>1為樣品集{B}中樣品i的組分含量，Y^為樣品集{A}中樣品的平均組分含量。5.根據(jù)權利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟5中求取整體歐式距離Di的方法采用如下公式6.根據(jù)權利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟6中的特定原則，是按照整體歐式距離Di從小到大的順序將樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A'}。7.根據(jù)權利要求1所述的建立煙草近紅外模型的選樣方法，其特征在于所述的步驟7中內部交叉驗證采用交叉驗證均方根誤差(RMSECV)、決定系數(shù)(R2)，外部驗證采用預測均方根誤差(RMSEP)、決定系數(shù)(R2)對模型進行評價。全文摘要本發(fā)明公開了一種建立煙草近紅外模型的選樣方法，獲得相互獨立的兩個樣品集{A}和樣品集{B}中煙草樣品的近紅外掃描譜圖；對近紅外掃描譜圖進行光譜預處理；得到樣品i到樣品集{A}的光譜馬氏距離di；得到樣品i到樣品集{A}的組分值距離di’；得到樣品集{B}中樣品i到樣品集{A}的整體歐式距離Di；按特定原則選取樣品集{B}中的樣品添加到樣品集{A}中形成新的樣品集{A’}，由樣品集{A’}建立得到新的近紅外模型A’。本發(fā)明克服了現(xiàn)有技術無法兼顧預測能力和模型真實的問題，提供了一種能剔除無效的異常數(shù)據(jù)的選樣方法，建立的模型具有良好的預測能力和適用性，可以廣泛應用在煙草行業(yè)。文檔編號G01N21/35GK101710071SQ20091021665公開日2010年5月19日申請日期2009年12月9日優(yōu)先權日2009年12月9日發(fā)明者吳艷,李朝榮,胡興峰,鄧發(fā)達,鄭建申請人:川渝中煙工業(yè)公司