傳統的控制器設計方法是基于被控對象的數學模型而進行的，而對于一些復雜未知系統，被控系統往往難于或不能得到其精確數學模型，此時需要借助于智能控制的思想來解決系統控制問題。在解決未知對象的控制器設計問題上，已有研究人員采用神經網絡技術，根據環境的變化而設計控制器，如Hoskins[1]等的大時滯化工系統最優控制器，ASADA M[2]等的機器人射門控制系統，LIN C J[3-5] 和CARPENTER G A[6-7]的模糊神經網絡控制器自學習方法等。
　然而，傳統神經網絡再勵學習方法多采用預先確定結構的BP網絡進行在線學習，且學習一般針對單個目標而進行，對具有多性能指標的系統則不能兼顧各方面性能。為了使被控系統具有最佳性能，提出一種再勵學習方法，它針對被控系統的多個性能指標，將遺傳算法和適應性權重法相結合，在遺傳算法進化神經網絡過程中，利用適應性權重法構造綜合適應度函數以確定學習方向，遺傳算法按照此學習方向執行進化操作，從而設計出兼顧多性能指標的神經網絡控制器。
1 多指標控制器自設計方法
　本文提出的基于神經網絡的未知對象控制器自設計方法原理如圖1所示，算法首先根據被控對象的輸出評估各項性能指標值，以此性能指標值作為進化算法的適應度。在遺傳算法每代進化結束時，利用適應性權重法根據種群中各個體的各項指標值構建綜合適應度函數，遺傳算法根據綜合適應度函數的變化進行全局搜索以設計未知對象的最優控制器，保證被控對象的各項性能指標綜合最優。          
　算法包括指標評估、神經網絡初始化設計、并行遺傳算法設計、適應性權重計算四部分，以下分別介紹各部分設計規則。
1.1 指標評估

1.2 神經網絡初始化
    為了實現神經網絡設計的完全自主化，本文采用一種全自主設計的網絡結構，包括網絡連接和傳遞函數的自主設計，其結構圖如圖2 所示。首先，在這種全連接的網絡結構中，每一個神經元之間都是互相連接，而且每個神經元的輸出都作為同一隱層單元其他神經元的輸入，如果用矩陣out1、out2…outn來表示每一層的網絡輸出，每層之間的連接權重用矩陣wij來表示，每層的反饋與該層的連接權重為矩陣feed_wi，則第m層的網絡在k時刻的輸出可以表示為：

 
    這里矩陣trans_wi將第i層每個神經元輸出的傳遞函數進行加權組合，因此整個網絡控制器的輸出取決于wij、feed_wi、biasi、trans_wi等因素。算法根據各項適應度函數的變化來增加網絡層數和神經元個數。如果各項指標最佳值變化很小且指標很差，則增加網絡層數和神經元個數，繼續進化以搜索最佳結構。
1.3 并行遺傳算法
    針對多指標的進化，為了提高遺傳算法的收斂速度，本文采用并行搜索方法[8]，按照各項指標和綜合適應度函數對系統進行并行進化。另外，為了提高算法收斂速度，本文還采用了精英遷移法[9]分別從各項指標中選擇優秀個體進行遺傳操作，如圖3所示。各項單指標之間的混合交叉、變異如同瓜果嫁接原理，可以很好地利用優秀基因的組合功能實現個體的進化，從而起到加快收斂速度和避免陷入局部極小的作用。

1.4 適應性權重計算
    按照式（2）進行綜合適應度計算時，由于各項性能指標數量級之間存在差異，不能直接進行相加，必須先進行歸一化處理。適應性權重計算法按照歸一化的思想，根據各項指標的數據按照下式計算指標權重[10]。

2 仿真實驗與結果分析
2.1 被控對象簡介
    為了驗證本文提出的控制器自設計方法的有效性，本文對基于矢量控制的異步電機調速系統進行控制器設計，在進化算法的搜索作用下利用神經元自主組合構建速度環控制器，以實現精確的速度控制。
　控制器自主設計在電機調速系統中應用的原理如圖4所示。交流電機數學模型具有高階非線性特點，為實現交流電機的高性能控制，一般借助于交流電機矢量控制理論[11]將其分解為類似直流電機的勵磁調節子系統和速度調節子系統兩部分，以分別進行控制。這里，在速度調節子系統中利用神經元構建速度環控制器，圖4虛線框中為自設計速度控制器，進化算法根據系統的性能指標來在線逐步進化神經網絡控制器的權值、閾值、傳遞函數，通過全局搜索得到最優控制器以保證未知參數的交流電機穩定運行。

   調速系統中速度的穩定性和快速性是評估系統好壞的重要指標，因此本文選擇如下指標來評估系統的性能優劣：
   
其中e(t)是速度誤差，ce(t)按照式(8)計算:
   
式(7)中f1用來評估速度的誤差，f2評估速度響應的快速性，f3在f1的基礎上評估系統的速度靜差。按照此三項指標對系統進行控制器自設計，能使調速系統具有良好的快速性與穩定性。
2.2 仿真試驗
   按照上節提出的再勵學習算法,本文對交流電機調速系統速度控制器自設計進行仿真試驗，利用MATLAB軟件中simulink工具箱建立交流電機矢量控制仿真平臺，仿真實驗中電機參數為：勵磁電感Lm=0.102 4 H，轉子電感Lr=0.108 8 H，定子電感Ls=0.1 063 H，轉子電阻Rr=0.531 Ω，定子電阻Rs=0.813 Ω，轉動慣量J=0.02 kgm2，額定功率Pn=5.5 kW。具體的仿真算法實施步驟如下：
　(1)根據神經元個數及其層數建立wij、feed_wi、biasi、trans_wi等矩陣，按照整數型編碼方式將以上變量組建染色體個體，隨機產生40組個體，形成染色體種群；
　(2)設置交叉概率Pc=0.8，變異概率Pm=0.01，采樣時間T=0.001 s，將式(7)設置為各項指標適應度函數，個體作用時間為500個采樣點，采用輪盤賭選擇法，停機條件為綜合適應度函數最佳值變化率小于0.01；
　(3)將40個染色體個體分別代換神經網絡控制器的參數進行電機速度控制，每一個體作用時間為0.5 s，在每一代個體作用于電機測試結束之后，利用適應性權重法計算個體的綜合適應度值，再對各項指標分別排序；
　(4)利用輪盤賭法分別選擇各單項指標和綜合指標的2個最優個體，將三組單指標最優個體相互混合進行交叉、變異操作，綜合指標最優2個體間進行交叉、變異操作，四項指標共產生8個子代個體；
　(5)將步驟(4)生成的子個體替換種群中適應度最低的8個個體，形成新的種群；
　(6)判斷最佳綜合適應度是否滿足停止進化的條件，如果滿足則執行步驟7，否則執行步驟3；
　(7)將綜合指標最佳的個體對應的數值代換到神經網絡控制器中，使調速系統穩定運行。
　經過70代的進化計算，進化算法搜索到了能夠保證電機穩定運行的神經網絡控制器結構與參數，實驗得到的進化過程速度變化曲線如圖5(a)所示，最佳適應度值變化曲線如圖5(b)所示。

　進化結束后,對自設計的最優控制器進行性能測試，測試中在0.5 s時速度給定從0變為1 000 r/min，觀測調速系統的動態和靜態性能。另外，以穩定性作為單指標設計調速系統速度控制器，得到的結果也進行上述測試，兩種控制器動靜態響應曲線如圖6所示。

　由以上仿真結果可知，進化算法通過全局搜索，在測試各種控制性能不同的網絡結構后，最終獲得了滿足電機穩定運行的速度控制器。由于進化目標不同，最終獲得的控制器性能也具有很大差異。由于本文考慮了動態性能和靜態性能等多個指標，獲得的控制器比按單指標設計的控制器能更好地保證系統的動靜態性能。由于穩定性單指標沒有考慮快速性問題，獲得的控制器雖然能夠保證系統穩定，但是快速性卻很差。
    本文提出了一種基于神經網絡的多性能指標系統的控制器設計方法，利用適應性權重法和遺傳算法相結合，遺傳算法按照適應性權重法確定的進化方向進行遺傳操作以設計兼顧各項性能指標的神經網絡控制器。將該算法應用于交流電機矢量控制系統速度控制器自設計中，仿真實驗驗證了本文提出的控制器自設計方法的可行性?；谏窠浘W絡的控制器自設計方法能夠增強系統的環境適應能力，特別適合太空探測器等人類不易維修、設備環境和故障無法預料的復雜系統容錯控制，具有十分重要的應用價值。
參考文獻
[1] HOSKINS J C. Process control via ANN and RL[J].Computers & Chemical Engineering, 1992(16):241-251.
[2] ASADA M. Purposive behavior acquisition for a real robot by vision-based RL[J].Machine Learning. 1996(22):163-187.
[3] LIN C J. Reinforcement learning for an ART-Based fuzzy adaptive learning control network[J]. IEEE Trans NN,1996(7):709-730.
[4] LIN C J. An ART-based fuzzy adaptive learning control network[J]. Proc IEEE Intconf on Fuzzy systems,1994:1-6.
[5] LIN C J. Reinforcement structure/parameter learning for NN-based fuzzy logic control systems[J].IEEE Trans Fuzzy systems, 1994(2):46-63.
[6] CARPENTER G A. Fuzzy ART: Fast stable learning and categorization of analog patterns[J].Neural Network, 1991(2):759-771.
[7] CARPENTER G A.Fuzzy ARTMAP[J]. IEEE Trans NN.1992(3):698-712.
[8] QIN Yong Fa, ZHAO Ming Yang. Research on a new multiobjective combinatorial optimization algorithm. Proceedings of the 2004 IEEE International Conference on Robotics and Biomimetics, 2004:187-191.
[9] 祁榮賓，錢鋒，杜文莉等. 基于精英選擇和個體遷移的多目標遺傳算法. 控制與決策, 2007,22(2):164-168.
[10] MITSUO G, CHEN Run Wei.Genetic algorithms and engineering optimization. Beijing, Tsinghua University Press, 2003.
[11] BOSE B K.現代電力電子學與交流傳動[M].王聰,趙金,于慶廣,等譯.北京：機械工業出版社，2005.