《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于馬爾可夫鏈的自適應性神經網絡訓練算法
基于馬爾可夫鏈的自適應性神經網絡訓練算法
2014年電子技術應用第10期
莫紅枝
玉林師范學院 教育技術中心,廣西 玉林537000
摘要: 提出一種基于馬爾可夫鏈的自適應性神經網絡訓練方法,對傳統的S型激勵函數進行了改進,建立了自適應性的神經網絡分類器。
中圖分類號: TP393
文獻標識碼: A
文章編號: 0258-7998(2014)10-0142-04
A Markov-based training program for adaptive neural network
Mo Hongzhi
Education Technology Center,Yulin Normal University,Yulin 537000,China
Abstract: A Markov-based training program to improve the robust and convergence rate is proposed in this paper. The activation function is improved from sigmoid function. The maximum likelihood estimation is established under the assumption that noise in the samples follows Gaussian distributions. Then a Markov chain is formed based on posterior probability. The Markov chain is used for training samples and can speed up the training rate. To evaluate the mentioned network, an experiment is designed to diagnose fault for roll bears. Result shows that the Markov chain is able to train the adaptive network and improve the diagnostic classification results effectively.
Key words : adaptively;activation functions;fault diagnosis;neural network

0 引言

    神經網絡算法是一種非線性計算模型,近年來成為模式識別中常用的工具之一。在多層神經網絡中,系統的性能不僅受到隱含層數、隱含層神經元數量的影響,而且還與激勵函數的選取和訓練算法直接相關。

    在目前的研究中,采用最為廣泛的為S型激勵函數[1-2],S型函數容易減慢網絡的收斂速度,甚至可能導致陷入局部最小值[3]。針對這一問題,近幾年采用自適應激勵函數對神經元輸入的加權和進行計算已經成為一種趨勢,并應用于股票預測[4]、文字識別[5]等方面。本文針對常見的S型函數,改進了自適應性激勵函數神經網絡系統框架,提出基于馬爾可夫鏈的學習算法,并將其應用到故障診斷領域,取得了比較好的實驗結果。

1 自適應性神經網絡

1.1 多層神經網絡

    多層神經網絡一般包括一個輸入層、一個輸出層、一個或者多個隱藏層。隱藏層每一層網絡中都包含多個神經元,對每個神經元的輸入都是由上一層輸出的加權和,例如對于第n組樣本數據,第k層上的第j個神經元的輸入可以通過計算上一層的加權和來計算,計算公式為:

jsj7-gs1-2.gif

jsj7-gs3.gif

其中,din和yin分別為第i個神經元上真實情況下的輸出值和實際計算結果的輸出值,N為訓練樣本的個數。

1.2 激勵函數

    本文以傳統的三層神經網絡結構,設計出基于改進的S函數的自適應性神經網絡。其特點在于隱含層的激勵函數不再是固定的函數,而是包含了可變參數的激勵函數,這種神經網絡系統框架如圖1所示。其中輸入層的神經元數量由選取的特征的個數決定(1,2,…,N),輸出層神經元個數為4個(S1,S2,S3,S4),隱含層神經元的輸入是輸入層各個神經元輸出的加權和,并采用了自適應性的激勵函數對隱含層的輸入進行計算(I1,I2…Ik)。計算結果通過加權求和作為輸出層的輸入。在輸入層并未采用任何激勵函數,輸出層采用經典的S型激勵函數,如:

    jsj7-gs4.gif

    式(4)由S型函數演化而來,是一種常用的自適應性激勵函數,式中的α和β為可變參數。雖然該函數已經應用到神經網絡算法中,卻很少有文獻將其應用在解決機械設備故障分類問題中。

jsj7-t1.gif

2 基于馬爾可夫鏈的訓練算法

2.1 算法描述

    樣本訓練即是在給定一定數量的樣本時,利用式(3)對所有的權重進行最優化估計的過程[6-7]。當樣本數據中含有噪聲時,會造成程序魯棒性很差,給傳統的訓練方法帶來困難,本文假設式(3)中的誤差服從于高斯分布,然后根據后驗概率構造出馬爾可夫鏈,完成對權重的訓練,可以有效避免噪聲對訓練結果造成的影響,具有收斂速度快的優勢。假設樣本中含有噪聲,因此實際輸出與理想輸出之間的關系為:

    jsj7-gs5.gif

    式(5)的含義是對權重和自適應性參數進行估計,首先建立出的最大似然估計為:

jsj7-gs6-9.gif

    在得到θ的條件分布后,則各個權重及可變參數可以通過以下的算法進行更新。

    算法一:

    輸入:樣本X,迭代次數I,初始值θ(0)={w0,α0,β0}

    jsj7-gs9-x1.gif

    從上面算法可以看到,通過不斷對各個參數進行更新,形成了馬爾可夫鏈,最終可以得到最小二乘估計。

2.2 參數分析

    下面以式(4)為例給出條件分布的計算公式:

    (1)對于權重wk

    求取其分布時只需要將其他變量看作固定值,則可以得到其分布:

    jsj7-gs10.gif

其中,jsj7-gs10-x1.gif注意到要想從式(10)中得到估計量并不是很容易,因此采用了拒絕性采樣對權重進行更新。其算法可以表示為:

    算法二:

    jsj7-gs10-x2.gif

    (2)對于參數α

    通過簡單的推導可以得出參數α的條件分布仍然服從于正態分布:

jsj7-gs11-12.gif

    式(12)中的概率也是很難處理的,為簡化程序,同樣采用拒絕性采樣算法對β進行更新。

3 實驗結果仿真

3.1 數據準備

    為對神經網絡性能進行驗證,利用本文設計的自適應性神經網絡設計出了分類器,應用于軸承故障診斷當中。選取的樣本數據來自于美國凱斯西儲大學股東軸承數據中心。軸承型號為SKF公司的6205-2RS型的深溝球軸承??紤]了4種軸承故障,分別為內圈單點故障、外圈點蝕及滾動體點蝕和正常工作信號。4種信號的波形分別如圖2~圖5所示。

jsj7-t2.gif

jsj7-t3.gif

jsj7-t4.gif

jsj7-t5.gif

    訓練樣本空間總共選取了1 136個個體,每個個體包含512個采樣點。通過小波分解提取出了20個小波系數作為分類器的輸入。

3.2 訓練結果

    由于每段數據提取的特征個數為20個,因此將分類器的輸入層神經元個數設置為了20個。通過實驗得到了最佳的隱含層神經元數量。輸出層神經元個數對應于4種故障,最終的神經網絡架構和參數設置如表1所示。

jsj7-b1.gif

    其中S-MPL代表了S型函數作為隱含層激勵函數的神經網絡系統。F1-MPL代表以式(4)中的函數作為激勵函數的神經網絡系統。對F1-MPL的訓練過程如圖6和圖7所示。圖6顯示的是利用本文算法的訓練過程,其中?滓=0.5,初始值在0~1之間隨機生成。圖7展示了利用共軛梯度法作為訓練算法的收斂過程。共軛梯度法是介于最速下降法與牛頓法之間的一個方法,它僅需利用一階導數信息,但克服了最速下降法收斂慢的缺點,又避免了牛頓法需要存儲和計算Hesse矩陣并求逆的缺點,學習率選為1.2。

jsj7-t6.gif

jsj7-t7.gif

    從圖6和圖7中的對比可以看出,利用本文提出的算法在第5次更新時就基本可以達到穩定,具有穩定性高、收斂速度快的特點。

3.3 分類結果

    通過訓練后兩種神經網絡對4類信號最終的分類結果如表2所示。

jsj7-b2.gif

    其中樣本個數一欄分別表示了4種類型的信號的樣本個數,S-MPL、F1-MPL分別指的是通過S-MPL網絡和F1-MPL網絡分類正確的4種信號的數目。因此可以計算出兩種神經網絡算法的分類精度如表3所示。

jsj7-b3.gif

    從表1中看出,本文的訓練算法比傳統固定型的S型函數更加耗時,這是由于將可變參數引入到激勵函數中后,系統在訓練時往往需要更多的運算。然而訓練樣本的收斂精度也有所提高,這表明了本文算法訓練精度也更高,因此可以推測,自適應性的神經網絡應用到其他問題當中時,比傳統的神經網絡更加容易搜索到全局最優值。

    表2和表3證明了將本文的訓練算法應用在解決滾動軸承故障診斷問題方面的優越性,取得了更高的分類精度。對于正常信號、滾動體點蝕振動信號、內圈單點故障信號、外圈點蝕故障信號的分類精度分別可以達到99.69%、99.15%、98.90%、99.67%,平均分類精度可以達到99.38%。

4 結論

    本文對傳統的S型激勵函數進行了改進,提出一種自適應性的神經網絡分類器;基于馬爾可夫鏈對神經網絡進行訓練,提高了網絡訓練速度;最后,將該分類器應用到滾動軸承故障診斷問題中。結果證明,使用該分類器可以比傳統的S型神經網絡分類器獲得更高的分類精度。

參考文獻

[1] 唐貴基,范德功,胡愛軍,等.基于小波包能量特征向量神經網絡的旋轉機械故障診斷[J].汽輪機技術,2006(3):215-217.

[2] 張來斌,崔厚璽,王朝暉,等.基于信息熵神經網絡的風力發電機故障診斷方法研究[J].機械強度,2009(1):132-135.

[3] BURSE K,YADAV R N,SHRIVASTAVA S C.Channel equalization using neural networks:a review[J].IEEE Transactions on Systems,Man,and Cybernetics Part C-Applications and Reviews,2010,40(3):352-357.

[4] BILDIRICI M,ALP E A,ERSIN O O.TAR-cointegration neural network model:An empirical analysis of exchange rates and stock returns[J].Expert Systems with Applications,2010,37(1):2-11.

[5] KANG M,PALMER-BROWN D.A modal learning adaptive function neural network applied to handwritten digit recognition[J].Information Sciences,2008,178(20):3802-3812.

[6] 滕輝.一種改進的神經網絡學習算法研究[J].科技通報,2012(4):97-98.

[7] 鄭緒枝,夏薇,雷靖.一種改進的Jacobi正交多項式的BP神經網絡算法[J].云南大學學報(自然科學版),2011(S2):188-191.

此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          欧美日韩综合久久| 在线 亚洲欧美在线综合一区| 亚洲欧洲午夜| 亚洲激情亚洲| 亚洲欧洲在线播放| 亚洲乱码日产精品bd| 国产日韩欧美综合一区| 国产伦精品一区二区三区| 在线观看91久久久久久| 女同性一区二区三区人了人一| 久久影院午夜论| 性欧美1819sex性高清| 新狼窝色av性久久久久久| 国产精品久久久久久影院8一贰佰| 国产在线不卡| 一区二区黄色| 国产精品美女久久| 蜜臀av在线播放一区二区三区| 日韩网站在线看片你懂的| 宅男66日本亚洲欧美视频| 国产亚洲一本大道中文在线| 欧美精品久久久久久| 欧美性做爰毛片| 国产精品亚洲成人| 国内视频一区| 亚洲精品视频免费观看| 一本久久综合| 亚洲国产高清在线观看视频| 老司机午夜精品视频在线观看| 性色av一区二区三区红粉影视| 欧美一激情一区二区三区| 日韩午夜中文字幕| 亚洲国产精品欧美一二99| 欧美亚洲在线观看| 在线观看亚洲视频| 欧美凹凸一区二区三区视频| 亚洲欧美一区二区激情| 欧美日韩1区2区| 欧美中文字幕不卡| 国产精品男人爽免费视频1| 在线播放日韩专区| 亚洲永久免费观看| 亚洲免费小视频| 欧美一区=区| 日韩亚洲视频| 国产精品一区二区三区四区| 日韩视频在线你懂得| 久久久亚洲精品一区二区三区| 久久激情婷婷| 久久精品国产亚洲5555| 欧美一区二区在线| 国产欧美日韩一区二区三区在线| 久久久久欧美精品| 久久偷窥视频| 亚洲黄色一区二区三区| 国产亚洲二区| 99re8这里有精品热视频免费| 亚洲免费av网站| 欧美精品1区2区| 亚洲高清av| 久久久久一区二区三区四区| 免费久久精品视频| 又紧又大又爽精品一区二区| 久久亚裔精品欧美| 最新成人在线| 国产精品乱码人人做人人爱| 亚洲国产精品嫩草影院| 欧美视频日韩视频在线观看| 日韩写真视频在线观看| 国产精品男女猛烈高潮激情| 久久精视频免费在线久久完整在线看| 欧美一区成人| 亚洲高清视频中文字幕| 欧美日韩中文字幕精品| 99视频在线观看一区三区| 一本色道久久加勒比88综合| 亚洲激情成人在线| 亚洲精品久久久久中文字幕欢迎你| 久久综合九色综合网站| 极品尤物久久久av免费看| 国内精品视频在线观看| 久久综合九色| 亚洲人成绝费网站色www| 韩国视频理论视频久久| 亚洲一二三区在线观看| 国产精品专区第二| 久热爱精品视频线路一| 欧美成人免费播放| 亚洲一区二区伦理| 性色av一区二区三区在线观看| 黄色日韩网站| 国产一区999| 国产美女扒开尿口久久久| 国产麻豆精品视频| 亚洲第一毛片| 久久久久久久久蜜桃| 欧美色视频日本高清在线观看| 一区二区三区久久久| 亚洲日韩欧美视频| 免费永久网站黄欧美| 亚洲日本一区二区| 日韩视频在线观看| 免费一级欧美在线大片| 久久日韩粉嫩一区二区三区| 欧美亚洲免费在线| 国产精品国产三级国产aⅴ9色| 国产精品日韩欧美大师| 国产欧美日韩精品专区| 亚洲看片网站| 国产精品你懂的| 国产精品女人久久久久久| 日韩香蕉视频| 国产精品一区二区久久国产| 99这里有精品| 亚洲高清一二三区| 免费日韩精品中文字幕视频在线| 黄色成人免费观看| 国产精品第一页第二页第三页| 裸体歌舞表演一区二区| 欧美日韩国产一级片| 欧美日韩在线免费观看| 欧美日韩大片一区二区三区| 国产精品久久毛片a| 在线亚洲一区观看| 亚洲欧美日韩精品久久| 日韩天堂av| 欧美破处大片在线视频| 欧美激情精品久久久久久免费印度| 久久精品中文字幕免费mv| 久久国产精品久久精品国产| 国产精品成人v| 久久久av水蜜桃| 久久综合99re88久久爱| 激情久久婷婷| 国产日韩欧美一区在线| 欧美理论在线| 麻豆av一区二区三区久久| 国产日韩一区二区三区在线| 欧美一区二区三区在线观看| 欧美日韩国语| 亚洲五月六月| 欧美电影美腿模特1979在线看| 国产精品久久久久毛片软件| 一区二区三区偷拍| 欧美不卡激情三级在线观看| 欧美一区三区二区在线观看| 免费久久99精品国产自在现线| 久久蜜桃香蕉精品一区二区三区| 欧美精品黄色| 美女网站在线免费欧美精品| 欧美在线二区| 国内外成人在线视频| 欧美日韩中文字幕| 欧美精品大片| 欧美视频专区一二在线观看| 欧美护士18xxxxhd| 国产精品日韩在线观看| 欧美激情网站在线观看| 国产精品久久久久久av福利软件| 午夜精品免费在线| 久久久久久久一区二区| 欧美亚洲视频在线看网址| 在线观看91久久久久久| 一区二区高清| 亚洲免费高清视频| 欧美日韩在线不卡| 国产午夜精品麻豆| 欧美偷拍另类| 伊人久久男人天堂| 欧美中文字幕在线视频| 亚洲大片精品永久免费| 国产一区二区视频在线观看| 欧美性开放视频| 夜久久久久久| 亚洲一区二区久久| 亚洲精品欧美| 国产欧美日韩另类视频免费观看| 久久久久久久久综合| 在线观看精品视频| 亚洲电影免费观看高清完整版在线观看| 免费成人高清视频| 999在线观看精品免费不卡网站| 欧美在线关看| 在线日韩欧美视频| 国产精品入口夜色视频大尺度| 日韩一级网站| 久久久久久成人| 久久天天躁狠狠躁夜夜爽蜜月| 国产精品久久久| 一区二区三区日韩精品| 亚洲国产女人aaa毛片在线| 久久久久久久国产| 亚洲高清在线观看一区| 艳女tv在线观看国产一区| 亚洲国产精品一区二区www| 日韩视频一区二区三区| 美国成人毛片| 91久久精品国产91久久| 亚洲免费黄色| 久久这里有精品15一区二区三区| 国产精品自拍网站| 亚洲国产小视频在线观看| 欧美日韩中文字幕日韩欧美| 国产亚洲欧美一级| 亚洲欧美国产精品专区久久| 欧美国产精品人人做人人爱| 欧美高潮视频| 久久午夜色播影院免费高清| 欧美日韩视频在线一区二区| 亚洲午夜av| 国产亚洲精品久| 欧美日产一区二区三区在线观看| 国产精品女同互慰在线看| 欧美成年人网站| 亚洲欧美精品suv| 国产在线欧美| 久久青青草综合| 国产欧美va欧美不卡在线| 欧美日韩在线播放一区| 亚洲影院污污.| 午夜影视日本亚洲欧洲精品| 国产日韩欧美中文在线播放| 国产精品美女久久久久av超清| 亚洲国产美国国产综合一区二区| 国产精品久久久久毛片大屁完整版| 亚洲国产精品女人久久久| 久久riav二区三区| 小黄鸭精品密入口导航| 小嫩嫩精品导航| 欧美一区免费视频| 欧美日韩爆操| 久久国产精品72免费观看| 亚洲欧洲精品一区二区三区不卡| 中文在线资源观看网站视频免费不卡| 国产精品亚洲综合色区韩国| 狠狠综合久久av一区二区小说| 黄色成人av网站| 国产欧美日韩综合一区在线观看| 欧美精品激情在线| 99精品国产热久久91蜜凸| 影音先锋亚洲一区| 红杏aⅴ成人免费视频| 国产日产欧美精品| 亚洲午夜激情免费视频| 欧美日韩蜜桃| 亚洲欧美精品中文字幕在线| 9色porny自拍视频一区二区| 亚洲精品国产品国语在线app| 国产日韩av在线播放| 免费观看久久久4p| 亚洲二区三区四区| 久久综合九色综合欧美狠狠| 欧美激情一级片一区二区| 亚洲欧美国产77777| 亚洲美女啪啪| 国产精品日韩久久久久| 亚洲欧洲日本mm| 麻豆精品在线视频| 亚洲精品久久7777| 午夜日韩在线观看| 亚洲精品久久久久中文字幕欢迎你| 久久综合九九| 欧美中文字幕视频在线观看| 91久久国产综合久久蜜月精品| 亚洲视频 欧洲视频| 欧美人妖在线观看| 国产精品久久久一区麻豆最新章节| 亚洲国语精品自产拍在线观看| 欧美日韩成人在线| 国产精品久久久久久久久免费樱桃| 欧美成人亚洲成人| 欧美精品大片| 欧美在线观看视频一区二区| 欧美中文在线字幕| 欧美日韩1080p| 久久精品一区中文字幕| 狠狠综合久久av一区二区小说| 欧美日韩免费区域视频在线观看| 国产一区二区中文| 午夜精品久久久久影视| 激情久久五月| 亚洲新中文字幕| 免费欧美网站| 日韩视频一区二区在线观看| 欧美日韩国产系列| 午夜精品婷婷| 国产一区二区精品| 一区二区三区久久精品| 一区二区国产在线观看| 在线观看不卡av| 免费人成精品欧美精品| 欧美freesex8一10精品| 好吊妞**欧美| 国产一区二区高清不卡| 国产精品一区二区三区乱码| 欧美亚洲系列| 最新成人在线| 久久国产精品久久久久久电车| 欧美精品在线播放| 欧美va天堂在线| 免费观看日韩| 久久亚洲美女| 国产一区在线免费观看| 欧美一区二区三区在线免费观看| 一本色道久久88亚洲综合88| 国产精品v一区二区三区| 久久久久久久久综合| 精品成人一区二区| 国产精品久久久久91| 国产精品国产精品国产专区不蜜| 国产精品黄色在线观看| 欧美四级在线观看| 久久久久国产精品人| 国产精品人人做人人爽人人添| 亚洲欧美国产一区二区三区| 亚洲一区二区免费看| 久久国产福利国产秒拍| 久久er99精品| 欧美裸体一区二区三区| 免费看av成人| 欧美日韩和欧美的一区二区| 国产精品毛片大码女人| 国产精品欧美一区喷水| 极品裸体白嫩激情啪啪国产精品| 亚洲精品一区二区三区樱花| 国产最新精品精品你懂的| 亚洲专区一区二区三区| 欧美freesex交免费视频|