本發(fā)明涉及電機(jī)控制技術(shù)領(lǐng)域，特別是涉及一種感應(yīng)電機(jī)參數(shù)辨識系統(tǒng)及方法。

背景技術(shù)：

感應(yīng)電機(jī)的參數(shù)辨識是電機(jī)控制領(lǐng)域的重點(diǎn)和難點(diǎn)問題。參數(shù)辨識的準(zhǔn)確性直接影響電機(jī)輸出性能的好壞。而在感應(yīng)電機(jī)的參數(shù)辨識中，最重要的辨識參數(shù)是轉(zhuǎn)子電阻和勵磁電感，因?yàn)殡姍C(jī)運(yùn)行過程中轉(zhuǎn)子的溫度會時刻變化，從而導(dǎo)致轉(zhuǎn)子電阻值時刻變化，而轉(zhuǎn)子電阻辨識精度直接影響了電機(jī)輸出轉(zhuǎn)矩的大??；同樣，在感應(yīng)電機(jī)弱磁運(yùn)行的過程中，勵磁電感值也會時刻變化，而勵磁電感的辨識精度也會影響電機(jī)輸出性能的優(yōu)劣。

當(dāng)今的參數(shù)辨識方法可以分為兩大分支方法：

(1)離線參數(shù)辨識，主要應(yīng)用于電機(jī)控制器研發(fā)初期，對電機(jī)參數(shù)完全不了解的情況，此時，可以采用離線參數(shù)辨識的方法，在實(shí)驗(yàn)室場合對電機(jī)的冷態(tài)參數(shù)進(jìn)行辨識。現(xiàn)如今主流的離線參數(shù)辨識方法為靜止自學(xué)習(xí)+旋轉(zhuǎn)自學(xué)習(xí)的方式，即對電機(jī)先施加直流電流和單相交流電辨識定、轉(zhuǎn)子電阻或定、轉(zhuǎn)子漏感，在對電機(jī)施加三相空載電流辨識勵磁電感。上述方法簡便易行，但是辨識的是電機(jī)的冷態(tài)參數(shù)，即物理參數(shù)，并且需要用到電機(jī)模型。專利：三相異步電機(jī)的參數(shù)離線辨識方法及裝置(公開號cn102594253a)公開了一種電機(jī)離線參數(shù)辨識方法，其優(yōu)點(diǎn)是直接利用變頻器便可以對電機(jī)參數(shù)進(jìn)行辨識，辨識時間短。但是缺點(diǎn)也是極其明顯的：此方法無法對在線運(yùn)行的電機(jī)進(jìn)行參數(shù)辨識。并且只能辨識電機(jī)的物理參數(shù)，并非實(shí)際運(yùn)行中最優(yōu)性能的參數(shù)。

(2)在線參數(shù)辨識，主要應(yīng)用于電機(jī)實(shí)際運(yùn)行工況，由于電機(jī)在實(shí)際工況運(yùn)行的過程中，經(jīng)常出現(xiàn)弱磁運(yùn)行、重載運(yùn)行的情況，此時電機(jī)的磁場和溫度變化較大，受磁場和溫度變化的影響，電機(jī)實(shí)際運(yùn)行時參數(shù)隨時間變化較明顯。此時需要用在線參數(shù)辨識方法。在線辨識方法種類較多。總體來說分為兩類：數(shù)據(jù)驅(qū)動方法和模型驅(qū)動方法。數(shù)據(jù)驅(qū)動方法包括神經(jīng)網(wǎng)絡(luò)方法，支持向量機(jī)方法等。其優(yōu)點(diǎn)是無需特定電機(jī)的數(shù)學(xué)模型，因此，通用性和精確性都較高；其缺點(diǎn)是需要預(yù)選準(zhǔn)備數(shù)據(jù)集進(jìn)行訓(xùn)練，而數(shù)據(jù)集的獲取一般都是比較困難的。模型驅(qū)動的方法包括模型參考自適應(yīng)，卡爾曼濾波器，有功/無功法等，其優(yōu)點(diǎn)是運(yùn)算量小，無需預(yù)先訓(xùn)練。其缺點(diǎn)是依賴電機(jī)模型，而電機(jī)模型的不精確會導(dǎo)致結(jié)果出現(xiàn)嚴(yán)重誤差。專利：一種基于elman神經(jīng)網(wǎng)絡(luò)的感應(yīng)電機(jī)轉(zhuǎn)子電阻參數(shù)辨識方法(公開號：cn102937670a)公開了一種基于神經(jīng)網(wǎng)絡(luò)的感應(yīng)電機(jī)轉(zhuǎn)子電阻參數(shù)辨識方法，此方法屬于數(shù)據(jù)驅(qū)動的在線辨識方法，其優(yōu)點(diǎn)是不需要明確的電機(jī)模型，并可以實(shí)現(xiàn)在線參數(shù)辨識，但是其缺點(diǎn)也十分明顯：需要數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而可靠的數(shù)據(jù)集的獲取是非常困難的。專利：一種高速列車牽引感應(yīng)電機(jī)參數(shù)辨識方法(公開號：cn104201962a)公開了一種基于電機(jī)磁鏈觀測器的辨識方法，此方法屬于模型驅(qū)動的在線辨識方法，其優(yōu)點(diǎn)是不需要訓(xùn)練，運(yùn)算量小，但是缺點(diǎn)也極其明顯：模型驅(qū)動的方法極大的依賴于電機(jī)的數(shù)學(xué)模型，但是電機(jī)的數(shù)學(xué)模型沒有考慮電機(jī)的非線性損耗，因此實(shí)際使用中存在著較大的誤差。

綜上，感應(yīng)電機(jī)的參數(shù)辨識問題是電機(jī)控制領(lǐng)域的關(guān)鍵問題，以往的感應(yīng)電機(jī)辨識方法都存在著辨識精度和訓(xùn)練集獲取難度的矛盾，即要么采用電機(jī)模型驅(qū)動的方法，此類方法不需要數(shù)據(jù)集，但是模型的不精確導(dǎo)致辨識精度較低，通用性差；要么采用電機(jī)數(shù)據(jù)驅(qū)動的方法，此類方法通用性高，辨識精度較為準(zhǔn)確，但是需要提前獲取數(shù)據(jù)集，而數(shù)據(jù)集的獲取較為困難。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明技術(shù)解決問題：克服上述現(xiàn)有技術(shù)的不足，提供一種感應(yīng)電機(jī)參數(shù)辨識方法，其方法不依賴于具體的電機(jī)數(shù)學(xué)模型，通用性強(qiáng)，可以實(shí)時生成數(shù)據(jù)集，無需提前準(zhǔn)備數(shù)據(jù)集；辨識的參數(shù)是以輸出性能最優(yōu)為前提，不受實(shí)際物理參數(shù)變化的影響，辨識精度高；既可以辨識感應(yīng)電機(jī)的轉(zhuǎn)子電阻，也可以辨識感應(yīng)電機(jī)的勵磁電感。

本發(fā)明所采用的技術(shù)方案是：運(yùn)用電機(jī)的同步旋轉(zhuǎn)坐標(biāo)系模型(d-q軸模型，相關(guān)理論請參考文獻(xiàn)《電力拖動自動控制系統(tǒng)-運(yùn)動控制系統(tǒng)》第四版，阮毅、陳伯時主編)，在設(shè)定轉(zhuǎn)速下，根據(jù)當(dāng)前的d軸電流(以下簡稱id)、q軸電流(以下簡稱iq)、d軸電壓(以下簡稱ud)、q軸電壓(以下簡稱uq)以及電機(jī)溫度(以下簡稱t)作為環(huán)境變量(以下簡稱s)，電機(jī)的參數(shù)估計(jì)值的調(diào)整作為動作(以下簡稱a)，電機(jī)轉(zhuǎn)矩信號(以下簡稱te)作為獎勵值(以下簡稱r)。然后，采用本發(fā)明中的算法，根據(jù)環(huán)境變量和獎勵值的變化對動作不斷調(diào)整，當(dāng)算法結(jié)束時，輸出結(jié)果便為辨識的電機(jī)參數(shù)。

本發(fā)明中的一種感應(yīng)電機(jī)的參數(shù)辨識系統(tǒng)，包含的設(shè)備及功能如下：

電機(jī)對拖臺架一臺、臺架上同軸安裝測功機(jī)電機(jī)和被測電機(jī)，使測功機(jī)電機(jī)可以拖動被測電機(jī)同時運(yùn)行；

電機(jī)控制器兩個，分別控制對拖臺架上的被測電機(jī)和測功機(jī)電機(jī)；

轉(zhuǎn)速-轉(zhuǎn)矩傳感器一臺，安裝在測功機(jī)電機(jī)和被測電機(jī)之間；

電機(jī)數(shù)據(jù)采集器一個，功能為：與電機(jī)控制器、轉(zhuǎn)速-轉(zhuǎn)矩傳感器進(jìn)行通訊，采集電機(jī)d軸電流信號id，q軸電流信號iq，d軸電壓信號ud，q軸電壓信號uq，電機(jī)溫度信號t，轉(zhuǎn)速-轉(zhuǎn)矩傳感器上的轉(zhuǎn)矩信號te，并將上述信號傳送至電腦以供電腦進(jìn)行運(yùn)算；電腦運(yùn)算結(jié)束后，接收電腦運(yùn)算后的電機(jī)勵磁電感值或電機(jī)轉(zhuǎn)子電阻值，將接收的電機(jī)勵磁電感值或電機(jī)轉(zhuǎn)子電阻值傳送給電機(jī)控制器；

電腦一臺，用于搭建強(qiáng)化學(xué)習(xí)框架，并在此強(qiáng)化學(xué)習(xí)框架內(nèi)運(yùn)行基于q學(xué)習(xí)的感應(yīng)電機(jī)參數(shù)辨識算法，得到任意狀態(tài)下的電機(jī)參數(shù)辨識值。

所述電腦接收電機(jī)數(shù)據(jù)采集器的數(shù)據(jù)后，搭建的電機(jī)參數(shù)辨識的強(qiáng)化學(xué)習(xí)框架的構(gòu)成如下：

(1)環(huán)境變量的選擇為電機(jī)控制器的電機(jī)d軸電流id，q軸電流iq，d軸電壓ud，q軸電壓uq，電機(jī)溫度信號t，其中，如果無法檢測電機(jī)溫度信號t，本發(fā)明提出方法仍然可以適用，只需將環(huán)境變量剔除電機(jī)溫度信號即可，但是id，iq，ud，uq四個變量是環(huán)境的最基本的變量，缺一不可；

(2)將動作設(shè)置為三種模式，可以選擇以下三種模式中的任意一種，三種模式分別為：

①共2個動作，即當(dāng)前的電機(jī)參數(shù)辨識值增加0.1或減少0.1，記為a＝[y-0.01,y+0.01]，y可以是電機(jī)轉(zhuǎn)子電阻，也可以是電機(jī)的勵磁電感，根據(jù)所需辨識的參數(shù)而定；

②共400個動作，即當(dāng)前電機(jī)的參數(shù)值每次增加或減小的間隔為0.01，總變化范圍為-2.0～2.0，記為a＝[y-2.0,y-1.99......y+1.99,y+2.0]，變化范圍和動作間隔可以自由電機(jī)調(diào)整；

③共200個動作，即當(dāng)前電機(jī)的參數(shù)值分別為0～2.0，每個動作間隔為0.01。記為a＝[y＝0.0,y＝0.01......y＝2.0]，參數(shù)范圍和動作間隔可以自由調(diào)整；

(3)將電機(jī)參數(shù)調(diào)整對電機(jī)輸出轉(zhuǎn)矩的影響稱之為獎勵，獎勵設(shè)置為三種模式，可以選擇以下三種模式中的任意一種，三種模式分別為：

①直接為電機(jī)輸出的轉(zhuǎn)矩值，記為r＝te；

②電機(jī)輸出的轉(zhuǎn)矩值和某一個參考值之差，記為r＝te-te^*，參考值約為當(dāng)前工況下最大轉(zhuǎn)矩的90％；

③電機(jī)當(dāng)前輸出轉(zhuǎn)矩與最大輸出轉(zhuǎn)矩之差，記為r＝te-tmax；

電機(jī)測試系統(tǒng)采集電機(jī)的環(huán)境變量和獎勵值，并送入算法，算法根據(jù)輸入不算調(diào)整動作值，使獎勵值不斷增大。

所述腦中運(yùn)行的基于q學(xué)習(xí)的感應(yīng)電機(jī)參數(shù)辨識算法，具體實(shí)現(xiàn)步驟如下：

(1)一共迭代i個回合，每個回合又迭代j次，迭代次數(shù)i和j根據(jù)實(shí)際情況而定；

(2)每個回合中，首先初始化電機(jī)參數(shù)值，電機(jī)參數(shù)可以為勵磁電感或轉(zhuǎn)子電阻，根據(jù)需要辨識的電機(jī)參數(shù)而定，電機(jī)參數(shù)的初始值可以為經(jīng)驗(yàn)值，如果沒有經(jīng)驗(yàn)值，可以設(shè)為0.001；

(3)初始化電機(jī)參數(shù)值后，進(jìn)入每個回合的算法迭代，具體的迭代步驟為：

①在強(qiáng)化學(xué)習(xí)框架中，采集環(huán)境變量，計(jì)算獎勵值；

②選擇一隨機(jī)數(shù)ε，ε取值范圍為(0,1)；

③計(jì)算當(dāng)前估計(jì)價值函數(shù)q(s,a)，q(s,a)采用多層神經(jīng)網(wǎng)絡(luò)算法求得，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以是反向傳播神經(jīng)網(wǎng)絡(luò)(bp)，循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)，或者是長短記憶型神經(jīng)網(wǎng)絡(luò)(lstm-rnn)，或者其他類型神經(jīng)網(wǎng)絡(luò)；

④計(jì)算目標(biāo)價值函數(shù)qtarget，記為qtarget＝[r+γmaxq^*(s',a')|s,a]，其中，γ為貼現(xiàn)因子，s、a表示當(dāng)前的環(huán)境變量和動作，s′、a′為下次的環(huán)境變量和下次的預(yù)動作。maxq^*(s',a')|s,a表示當(dāng)前的環(huán)境變量為s，當(dāng)前動作為a時，下次環(huán)境變量變化成s′后，s′狀態(tài)下的估計(jì)價值函數(shù)的最大值；

⑤若ε<0.1時，隨機(jī)選擇當(dāng)前動作；

若ε>0.1時，選擇動作為：a＝maxaq^*(s,a)，即使當(dāng)前估計(jì)價值函數(shù)q(s,a)為最大值的那個動作；

⑥使用梯度下降法，更新(qtarget-q(s,a))²；

⑦如果獎勵值小于-20，直接退出本回合；

⑧一次迭代結(jié)束，記錄運(yùn)算結(jié)果；

(4)完成所有步驟(3)的迭代運(yùn)算后，選擇所有記錄的運(yùn)算結(jié)果中，出現(xiàn)頻率最多的值，即為當(dāng)前狀態(tài)下能使電機(jī)輸出轉(zhuǎn)矩最優(yōu)的電機(jī)參數(shù)辨識值。

本發(fā)明中的一種感應(yīng)電機(jī)的參數(shù)辨識方法，于步驟如下：

(1)兩臺電機(jī)控制器上電，控制對拖臺架的兩臺電機(jī)工作。同時，轉(zhuǎn)速-轉(zhuǎn)矩傳感器、電機(jī)數(shù)據(jù)采集器以及電腦也上電工作；

(2)將系統(tǒng)中的測功電機(jī)運(yùn)行于轉(zhuǎn)速模式，并限制在設(shè)定的轉(zhuǎn)速下；

(3)被測電機(jī)的電機(jī)控制器采用帶轉(zhuǎn)速反饋的矢量控制算法，使得被測電機(jī)運(yùn)行于轉(zhuǎn)矩模式，并將d、q軸參考電流設(shè)為一固定值；

(4)被測電機(jī)的電機(jī)控制器采集被測電機(jī)的id，iq，ud，uq，t，并送入電機(jī)數(shù)據(jù)采集器；

(5)轉(zhuǎn)速-轉(zhuǎn)矩傳感器采集被測電機(jī)的轉(zhuǎn)矩信號te并送入電機(jī)數(shù)據(jù)采集器；

(6)電機(jī)數(shù)據(jù)采集器將上述信號傳送至電腦；

(7)電腦根據(jù)采集的信號搭建強(qiáng)化學(xué)習(xí)框架，強(qiáng)化學(xué)習(xí)框架中的獎勵模式和動作模式可以自由選擇；

(8)強(qiáng)化學(xué)習(xí)框架搭建完成后，電腦再根據(jù)基于q學(xué)習(xí)的電機(jī)參數(shù)辨識算法進(jìn)行參數(shù)辨識；

(9)電機(jī)控制器采用更新后的電機(jī)參數(shù)辨識值迭代運(yùn)行，重復(fù)(3)至(7)步驟；

(10)運(yùn)行若干次，當(dāng)達(dá)到設(shè)定條件時結(jié)束，此時辨識出的電機(jī)參數(shù)值則認(rèn)為是此轉(zhuǎn)速下的實(shí)際的電機(jī)參數(shù)值；

(11)改變轉(zhuǎn)速限定值和限定值，在不同轉(zhuǎn)速，不同下重復(fù)上述步驟，最終得到全狀態(tài)下的電機(jī)參數(shù)辨識值；

(12)所有狀態(tài)辨識完成后，記錄下不同狀態(tài)下的id，iq，ud，uq，t與參數(shù)辨識值的對應(yīng)關(guān)系，并以表格形式記錄至電機(jī)控制器中，至此，電機(jī)參數(shù)辨識完成；

辨識工作完成后，電機(jī)便可以脫離測試系統(tǒng)運(yùn)行于實(shí)際工況中，運(yùn)行時，電機(jī)控制器只需采集電機(jī)的id，iq，ud，uq，t信號，并根據(jù)生成的表格便獲得電機(jī)參數(shù)的當(dāng)前值。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

(1)本發(fā)明提出的方法具有通用性的特征。即本方法不依賴電機(jī)的具體數(shù)學(xué)模型。無論何種功率，何種型號的感應(yīng)電機(jī)，均可采用本發(fā)明的方法進(jìn)行參數(shù)辨識，無需對方法進(jìn)行較大修改；同時，本方法既可以辨識轉(zhuǎn)子電阻，也可以辨識勵磁電感，針對不同的參數(shù)，無需對算法進(jìn)行修改。

(2)本發(fā)明提出的方法具有自動化的特征，即只要將設(shè)備安裝完成后，電腦自動進(jìn)行電機(jī)參數(shù)的辨識，無需提供訓(xùn)練數(shù)據(jù)集，無需人員進(jìn)行操作，大大減小了研發(fā)人員的工作量。

(3)本發(fā)明所用的方法具有泛化性的特征，本發(fā)明雖然在測試系統(tǒng)中進(jìn)行的電機(jī)參數(shù)辨識，但辨識的結(jié)果可以運(yùn)用于實(shí)際運(yùn)行中，即可以實(shí)現(xiàn)在線參數(shù)辨識的功能。

附圖說明

圖1為設(shè)備結(jié)構(gòu)圖；

圖2為適用于感應(yīng)電機(jī)參數(shù)辨識的強(qiáng)化學(xué)習(xí)框架；

圖3為基于q學(xué)習(xí)的感應(yīng)電機(jī)參數(shù)辨識算法的偽代碼圖；

圖4為單一采樣方法的q神經(jīng)網(wǎng)絡(luò)收斂誤差；

圖5為minibatch方法的q神經(jīng)網(wǎng)絡(luò)收斂誤差；

圖6為minibatch方法的電機(jī)參數(shù)辨識結(jié)果。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明進(jìn)一步說明。

感應(yīng)電機(jī)的參數(shù)辨識問題是電機(jī)控制領(lǐng)域的關(guān)鍵問題，以往的感應(yīng)電機(jī)辨識方法都存在著辨識精度和訓(xùn)練集獲取難度的矛盾，即要么采用電機(jī)模型驅(qū)動的方法，此類方法不需要數(shù)據(jù)集，但是模型的不精確導(dǎo)致辨識精度較低，通用性差；要么采用電機(jī)數(shù)據(jù)驅(qū)動的方法，此類方法通用性高，辨識精度較為準(zhǔn)確，但是需要提前準(zhǔn)備訓(xùn)練數(shù)據(jù)集，而訓(xùn)練數(shù)據(jù)集的獲取較為困難。本發(fā)明公開了一種感應(yīng)電機(jī)參數(shù)在線辨識的系統(tǒng)及方法。包括：一種可以進(jìn)行感應(yīng)電機(jī)參數(shù)在線辨識的測試系統(tǒng)，可以采集在線辨識算法所需的電機(jī)實(shí)時電壓、實(shí)時電流、實(shí)時溫度、實(shí)時轉(zhuǎn)矩等數(shù)據(jù)，用于參數(shù)辨識；一種適用于電機(jī)參數(shù)辨識的強(qiáng)化學(xué)習(xí)框架，包括強(qiáng)化學(xué)習(xí)環(huán)境中的狀態(tài)變量、獎勵值及動作方式的選擇；一種基于q-學(xué)習(xí)感應(yīng)電機(jī)參數(shù)辨識方法，可以使測試系統(tǒng)在運(yùn)行的過程中實(shí)時的生成數(shù)據(jù)集并進(jìn)行參數(shù)辨識。本發(fā)明解決了辨識精度和訓(xùn)練集獲取難度的矛盾問題，不依賴于具體的電機(jī)數(shù)學(xué)模型，通用性強(qiáng)，可以實(shí)時生成數(shù)據(jù)集，無需提前準(zhǔn)備數(shù)據(jù)集；辨識的參數(shù)是以輸出性能最優(yōu)為前提，不受實(shí)際物理參數(shù)變化的影響，辨識精度高；既可以辨識感應(yīng)電機(jī)的轉(zhuǎn)子電阻，也可以辨識感應(yīng)電機(jī)的勵磁電感。

如圖1所示，本發(fā)明系統(tǒng)需要的儀器設(shè)備有：

1、電機(jī)對拖臺架一臺、臺架上同軸安裝測功機(jī)電機(jī)和被測電機(jī)，使測功機(jī)電機(jī)可以拖動被測電機(jī)同時運(yùn)行；

2、電機(jī)控制器兩個，分別控制對拖臺架上的被測電機(jī)和測功機(jī)電機(jī)；

3、轉(zhuǎn)速-轉(zhuǎn)矩傳感器一臺，安裝在測功機(jī)電機(jī)和被測電機(jī)之間；

4、電機(jī)數(shù)據(jù)采集器一個，其功能為：

(1)采集電機(jī)控制器的id，iq，ud，uq，t，

(2)采集轉(zhuǎn)速-轉(zhuǎn)矩傳感器上轉(zhuǎn)矩信號te，

(3)將上述信號傳送至電腦，

(4)接收電腦運(yùn)算后的電機(jī)參數(shù)，

(5)將接收的電機(jī)參數(shù)傳送給電機(jī)控制器。

5、電腦一臺，用于運(yùn)行感應(yīng)電機(jī)參數(shù)辨識算法。

本發(fā)明方法實(shí)現(xiàn)具體步驟為：

步驟一、將測功電機(jī)運(yùn)行于轉(zhuǎn)速模式，并限制在一固定轉(zhuǎn)速。被測電機(jī)運(yùn)行于轉(zhuǎn)矩模式。被測電機(jī)控制方式為矢量控制算法。例如300轉(zhuǎn)/分鐘，轉(zhuǎn)速范圍根據(jù)電機(jī)本身而定，例如某臺電機(jī)的最高轉(zhuǎn)速為7000轉(zhuǎn)/分鐘，則轉(zhuǎn)速的范圍為0～7000轉(zhuǎn)/分鐘；

步驟二、被測電機(jī)的電機(jī)控制器采集被測電機(jī)的id，iq，ud，uq，t，將其傳送給電機(jī)數(shù)據(jù)采集器，通訊方式可以為串口通訊，can總線通訊，無線通訊等方式；

步驟三、電機(jī)數(shù)據(jù)采集器同時采集轉(zhuǎn)速-轉(zhuǎn)矩傳感器的轉(zhuǎn)矩信號te，通訊方式為根據(jù)轉(zhuǎn)速-轉(zhuǎn)矩傳感器本身所具備的通訊方式而定；

步驟四、電機(jī)數(shù)據(jù)采集器將上述信號傳送至電腦。電腦根據(jù)采集的信號運(yùn)行本發(fā)明提出的算法。并將算法更新出的電機(jī)參數(shù)的辨識值回傳至電機(jī)數(shù)據(jù)采集器，電機(jī)數(shù)據(jù)采集器再將電機(jī)參數(shù)辨識值回傳給被測電機(jī)的電機(jī)控制器；

步驟五、電機(jī)控制器采用更新后的電機(jī)參數(shù)辨識值迭代運(yùn)行，重復(fù)二至四步驟；

步驟六、運(yùn)行若干次，當(dāng)達(dá)到特定條件時，算法結(jié)束，此時辨識出的電機(jī)參數(shù)值可認(rèn)為是實(shí)際的電機(jī)參數(shù)值；

步驟七、在不同轉(zhuǎn)速，不同id，iq下重復(fù)上述步驟，最終得到全狀態(tài)下的電機(jī)參數(shù)辨識值；

步驟八、所有狀態(tài)辨識完成后，記錄下不同狀態(tài)下的id，iq，ud，uq，t與參數(shù)辨識值的對應(yīng)關(guān)系。并以表格形式記錄至電機(jī)控制器中。至此，電機(jī)參數(shù)辨識完成。

辨識工作完成后，電機(jī)便可以脫離測試系統(tǒng)運(yùn)行于實(shí)際工況中，運(yùn)行時，電機(jī)控制器只需采集電機(jī)的id，iq，ud，uq，t信號，并根據(jù)生成的表格便可以獲得電機(jī)參數(shù)的當(dāng)前值。

如圖2所示，是適用于電機(jī)參數(shù)辨識的強(qiáng)化學(xué)習(xí)框架結(jié)構(gòu)圖，由于本發(fā)明使用的q學(xué)習(xí)算法是一種強(qiáng)化學(xué)習(xí)算法，遵循強(qiáng)化學(xué)習(xí)規(guī)律，因此，首先需要搭建適合于電機(jī)參數(shù)辨識的強(qiáng)化學(xué)習(xí)框架。

強(qiáng)化學(xué)習(xí)框架整體思想為：電機(jī)測試系統(tǒng)采集電機(jī)的環(huán)境變量和獎勵值，并送入算法，算法根據(jù)輸入不算調(diào)整動作值，使獎勵值不斷增大。其中，具體部分為：

(1)將電機(jī)數(shù)據(jù)采集器采集的電機(jī)信號稱之為環(huán)境變量。環(huán)境變量的選擇為電機(jī)控制器的電機(jī)d軸電流id，q軸電流iq，d軸電壓ud，q軸電壓uq，電機(jī)溫度信號t。其中，如果無法檢測電機(jī)溫度信號t，本發(fā)明提出方法仍然可以適用，只需將環(huán)境變量剔除電機(jī)溫度信號即可，但是id，iq，ud，uq四個變量是環(huán)境的最基本的變量，缺一不可。

(2)將電機(jī)參數(shù)的不斷調(diào)整稱之為動作。動作可以設(shè)置為三種模式，分別為：

①共2個動作，即當(dāng)前的電機(jī)參數(shù)辨識值增加0.1或減少0.1，記為a＝[y-0.01,y+0.01]，y可以是電機(jī)轉(zhuǎn)子電阻，也可以是電機(jī)的勵磁電感，根據(jù)所需辨識的參數(shù)而定。若要辨識轉(zhuǎn)子電阻，只需將勵磁電感設(shè)為一特定值，動作設(shè)為轉(zhuǎn)子電阻的變化即可。若要辨識勵磁電感，同樣只需將轉(zhuǎn)子電阻設(shè)為一特定值，動作設(shè)為勵磁電感的變化即可；

②共400個動作，即當(dāng)前電機(jī)的參數(shù)值每次增加或減小的間隔為0.01，總變化范圍為-2.0～2.0，記為a＝[y-2.0,y-1.99......y+1.99,y+2.0]，變化范圍和動作間隔可以自由電機(jī)調(diào)整；

③共200個動作，即當(dāng)前電機(jī)的參數(shù)值分別為0～2.0，每個動作間隔為0.01。記為a＝[y＝0.0,y＝0.01......y＝2.0]，參數(shù)范圍和動作間隔可以自由調(diào)整。

選擇動作模式時，第一種動作模式更為通用，適合于不同功率不同種類的電機(jī)，但是運(yùn)算量最大，時間最長，并且有誤差。第三種動作模式通用性較差，只適用于電機(jī)參數(shù)在所設(shè)參數(shù)范圍內(nèi)的電機(jī)，但是運(yùn)算量最小，也最精確。第二種動作模式介于一，三之間。

(3)將電機(jī)參數(shù)調(diào)整對電機(jī)輸出轉(zhuǎn)矩的影響稱之為獎勵。獎勵值可以設(shè)置為三種模式：

①直接為電機(jī)輸出的轉(zhuǎn)矩值:，記為r＝te；

②電機(jī)輸出的轉(zhuǎn)矩值和某一個參考值之差，記為r＝te-te^*，參考值約為當(dāng)前工況下最大轉(zhuǎn)矩的90％；

③電機(jī)當(dāng)前輸出轉(zhuǎn)矩與最大輸出轉(zhuǎn)矩之差，記為r＝te-tmax。

獎勵值可以選擇三種模式中的任意一種。

選擇獎勵模式時，第一種獎勵模式更為通用，適合于不同功率不同種類的電機(jī)，但是辨識精度較差，有時無法得到精確的辨識值。第二種模式辨識準(zhǔn)確性最高，運(yùn)算量最小，但是需要預(yù)先估計(jì)電機(jī)的最大轉(zhuǎn)矩，因此通用性較差。第三種模式通用性和第一種模式相同，辨識準(zhǔn)確性較第一種模式更高，略低于第二種模式，但是運(yùn)算量最大。

如圖3所示為基于q學(xué)習(xí)的感應(yīng)電機(jī)參數(shù)辨識算法的流程圖，具體實(shí)現(xiàn)為：

(1)一共迭代i個回合，每個回合又迭代j次，迭代次數(shù)i和j根據(jù)實(shí)際情況而定；

(2)每個回合中，首先初始化電機(jī)參數(shù)值，電機(jī)參數(shù)可以為勵磁電感或轉(zhuǎn)子電阻，根據(jù)需要辨識的電機(jī)參數(shù)而定，電機(jī)參數(shù)的初始值可以為經(jīng)驗(yàn)值，如果沒有經(jīng)驗(yàn)值，可以設(shè)為0.001；

(3)初始化電機(jī)參數(shù)值后，進(jìn)入每個回合的算法迭代，具體的迭代步驟為：

①采集環(huán)境變量，計(jì)算獎勵值；

②選擇一隨機(jī)數(shù)ε，ε取值范圍為(0,1)；

③計(jì)算當(dāng)前估計(jì)價值函數(shù)q(s,a)，q(s,a)采用多層神經(jīng)網(wǎng)絡(luò)算法求得，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以是反向傳播神經(jīng)網(wǎng)絡(luò)(bp)，循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)，或者是長短記憶型神經(jīng)網(wǎng)絡(luò)(lstm-rnn)，或者其他類型神經(jīng)網(wǎng)絡(luò)；

④計(jì)算目標(biāo)價值函數(shù)qtarget，記為qtarget＝[r+γmaxq^*(s',a')|s,a]，其中，γ為貼現(xiàn)因子，s、a表示當(dāng)前的環(huán)境變量和動作，s′、a′為下次的環(huán)境變量和下次的預(yù)動作。maxq^*(s',a')|s,a表示當(dāng)前的環(huán)境變量為s，當(dāng)前動作為a時，下次環(huán)境變量變化成s′后，s′狀態(tài)下的估計(jì)價值函數(shù)的最大值；

⑤若ε<0.1時，隨機(jī)選擇當(dāng)前動作a；

若ε>0.1時，選擇動作為：a＝maxaq^*(s,a)，即使當(dāng)前估計(jì)價值函數(shù)q(s,a)為最大值的那個動作；

⑥使用梯度下降法，更新(qtarget-q(s,a))²；

⑦如果獎勵值小于-20，直接退出本回合；

⑧一次迭代結(jié)束，記錄運(yùn)算結(jié)果；

(4)完成所有步驟(3)的迭代運(yùn)算后，選擇所有記錄的運(yùn)算結(jié)果中，出現(xiàn)頻率最多的值，即為當(dāng)前狀態(tài)下能使電機(jī)輸出轉(zhuǎn)矩最優(yōu)的電機(jī)參數(shù)辨識值。

在進(jìn)行梯度下降的過程中，可以直接對當(dāng)前單一采樣值進(jìn)行梯度下降(以下簡稱單一采樣法)，也可以采用設(shè)立經(jīng)驗(yàn)池(experiencepool)，并隨機(jī)重復(fù)采樣取平均值的方法進(jìn)行梯度下降(以下簡稱minibatch方法)，即①將以前所有采集的數(shù)據(jù)均存儲至一數(shù)據(jù)庫內(nèi)，作為經(jīng)驗(yàn)池。②采集的當(dāng)前狀態(tài)的環(huán)境變量和獎勵值，并從經(jīng)驗(yàn)池隨機(jī)選擇先前若干個時刻的環(huán)境變量和獎勵值共同組成一個樣本(minibatch)，對這個樣本分別取平均值后再進(jìn)行梯度下降。若使用單一采樣法方法運(yùn)算量小，速度快，但是q神經(jīng)網(wǎng)絡(luò)不一定收斂，因此可靠性不能保證。而使用minibatch方法雖然運(yùn)算量大，速度慢，但是q神經(jīng)網(wǎng)絡(luò)一定收斂。從而保證了辨識的可靠性。舉例說明，已知電機(jī)轉(zhuǎn)子電阻的實(shí)際值為0.338ω，圖4是用單一采樣方法的q神經(jīng)網(wǎng)絡(luò)的收斂誤差，圖5是用minibatch方法q神經(jīng)網(wǎng)絡(luò)收斂誤差。可以看出，450次迭代后，單一采樣法q神經(jīng)網(wǎng)絡(luò)的誤差仍未收斂；而minibatch方法q神經(jīng)網(wǎng)絡(luò)已經(jīng)收斂。并且從圖6得知，minibatch方法已經(jīng)得到了較為精確的辨識值。

提供以上實(shí)施例僅僅是為了描述本發(fā)明的目的，而并非要限制本發(fā)明的范圍。本發(fā)明的范圍由所附權(quán)利要求限定。不脫離本發(fā)明的精神和原理而做出的各種等同替換和修改，均應(yīng)涵蓋在本發(fā)明的范圍之內(nèi)。