《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 基于GA和神經網絡的非線性特征變換

基于GA和神經網絡的非線性特征變換

2008-09-01
作者:齊春亮, 馬義德

  摘 要: 在分析傳統方法的基礎上,將GA與神經網絡相結合,提出了一種特征變換" title="特征變換">特征變換的新方法,二者優勢互補,通過與傳統的特征選擇方法比較,用實例驗證了該方法的正確性和可信性。
  關鍵詞: GA 神經網絡 特征選擇 特征變換


  在機器學習和KDD領域,事物的屬性和屬性取值反映了事物的本質和度量,為了描述一致,統稱為模式特征。在傳統文獻中,模式特征一般分為物理特征、結構特征和數學特征[1~2]。物理特征和結構特征容易被人類感官所接受,便于直接識別對象。在人工智能領域,物理特征和結構特征以數學特征的形式表現出來,特征提取" title="特征提取">特征提取主要指特征數據的處理方法和過程。廣義上的特征提取按屬性數據的處理方式分為特征直接提取和間接提取,又稱為特征選擇和特征變換。
  (1)直接提取(特征選擇):設原始特征集合為Un={A1,A2,…,An},直接提取即從Un中挑選出有利于分類的特征子集:
  其中,d<n,UdUn,特征空間的維數得到了壓縮。
  (2)間接提取(特征變換):通過映射或變換的方法,把高維空間Un的高維特征轉化為低維空間Ud的低維特征: Te:Und
  其中,d≤n,在特征空間變換過程中,特征維數得到了壓縮,但是壓縮的前提是保證樣本的分類性質保持不變。Te可以采用線性或者非線性變換模型。
  特征選擇的主要算法包括枚舉法、分支定界搜索法、逐個特征比較法等啟發式方法[3]。在實際運算時,啟發式算法" title="啟發式算法">啟發式算法無論采用深度優先或者廣度優先,過程控制都非常復雜,且對噪音的處理非常不方便。從本質上講,任何啟發式算法都是一種局部尋優方法,所獲得的解通常不是最優解,同時難于發現多個最優解或滿意解[4~5]。另外,啟發式算法的求解結果對噪音比較敏感,影響了特征子集的魯棒性和適應性。
  在概念學習或者更為廣泛的模式識別領域,特征提取是一個非常復雜的問題,所表示的模型求解基本上是NP類問題[6~7],一般需要綜合考慮分類錯誤、特征簡單性和計算時間資源等因素。
  傳統的特征提取方法通常采用線性變換,使得判別準則函數最大或者最小(熵函數和類內類間距離函數是經常采用的兩個準則函數,[1]),即
  Y=A*X
  其中,A*為d×n維的變換矩陣,將n維特征的原始樣本空間X變換為d維特征的樣本空間。這就是傳統特征提取的統計與代數方法。在這兩種方法中存在著強烈的統計假設和矩陣非奇異假設,而在實際環境中,這些要求很難得到滿足。對于大規模的實際問題,通常采用專家干預的方法進行調整,使得計算過程變得非常繁瑣,導致這兩類方法的實用性受到很大的限制。尤其是面對非線性可分的樣本空間時,傳統的統計與代數方法顯得更加無能為力,難以實現分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法,例如基于K-L展開式的KLT方法[1]、神經網絡方法[8]、小波分析[9]等。KLT是最小均方誤差準則下的最佳K-L變換方法,不受樣本分布性質的限制,但是不存在快速算法,計算量是維數的指數函數,當維數比較高時,計算量難以承受。在實際中經常采用傅立葉變換(DFT)或者離散沃爾什變換(DWT)等代替。這些變換均存在相應的快速算法,但僅能得到次優的結果。小波分析與KLT方法具有相同的特點,也存在類似的問題。
  模式分類是神經網絡的一個重要應用領域,在輸入存在或數據不完整的情況下,神經網絡也具有良好的分類能力[10~12],特別是三層以上結構的多層感知器系統的神經網絡模型" title="網絡模型">網絡模型可以靈活地處理非線性可分問題。但是神經網絡模型的求解算法不僅效率低,而且容易陷入局部極值點?;诖耍疚膶⑸窠浘W絡的表示能力與GA的全局求解能力結合,用于非線性特征提取問題。
1 基于GA和神經網絡的非線性特征變換算法
1.1 神經網絡結構設置

  根據神經網絡理論,三層感知器可以形成任意復雜的決策區域[8,11],對于特征提取來講,將第三層作為特征輸出層,并要求輸出二進制類型數據作為特征數據。網絡模型為:隱層節點的激勵函數選擇連續型Sigmoid函數f(x)=,輸出層節點的激勵函數選擇f(yk)=sgn(),(k=1,2…,d),輸出{-1,1},向量轉化為{0,1}作為新的特征向量。
1.2 GA方案安排
  把GA應用于實際問題時,首先需要解決編碼和適應度函數的設計,然后是三個進化算子(選擇、交叉和變異算子)的設計,當然還有初始條件和收斂條件的設置,運行GA以求得問題的準最優解。本文的遺傳算法" title="遺傳算法">遺傳算法應用方案設計主要為以下步驟:
  (1)編碼
  在遺傳算法理論中有兩種主要的編碼方式:二進制編碼和實數編碼。二進制編碼進化的層次是基因,浮點數進化的層次是個體。大量的實驗結果表明:對同一優化問題二進制編碼和實數編碼GA不存在明顯的性能差異。本文采用二進制編碼。
  基于二進制的染色體位串由五部分組成:隱層節點數s1:a1a2…a(2n+1);輸入節點到隱層節點的連接權重編碼s2:b11b12…b1nb21b22…b2n…b(2n+1)|b(2n+1)2…b(2n+1)n;隱層節點到輸出節點的連接權重編碼s3:c11c12…c1(2n+1)c21c22…c2(2n+1)…cd1cd2…cd(2n+1);隱層節點激勵函數的閾值編碼s4:d1d2…d(2n+1);輸出函數的閾值編碼s5:e1e2…ed
  將上述五個部分連接在一起就構成了整個模型的編碼。其中連接權重和閾值編碼限定范圍是[-1,1]。
  (2)適應值函數
  遺傳算法在搜索進化過程中一般不需要其他的外部信息,僅用適應度來評價個體的優劣,并以此作為遺傳操作的依據。設計一個好的適應度函數對于遺傳算法的執行效率和結果有著至關重要的影響,本文以熵函數(見式(1))為基礎,并考慮網絡結構的簡單性,構造出本算法的適應值函數(式(2))。
  

?

  
  其中α、β為熵函數值與神經網絡結構之間的平衡系數,第二項要求網絡中隱層節點數越少越好,第三項要求網絡中連接數越少越好,以提高網絡的穩定性。
  (3) 選擇
  采用適應度比例方法,并保留每一代的最佳個體。
  (4) 交叉
  交叉互換能產生不同于母體的后代,交叉的概率越高,群體中新結構引入越快;如果交叉概率太低,收斂速度可能降低,導致搜索阻滯。在此,采用雙點交叉,交叉概率設置為0.6。
  (5) 變異
  變異操作是保持群體多樣性的有效手段。變異概率太小,可能是某些基因位過早丟失的信息無法恢復;變異概率過高,遺傳搜索將變成隨機搜索。在此,采用基本變異算子,變異概率設置為0.001。
  (6) 種群規模
  若種群規模過大,則適應度評估次數增加,計算量增大;種群規模過小,可能會引起未成熟收斂現象。因此種群規模的設置應該合理。在此,種群規模取為6000,最大繁殖代數(進化代數)設置為500。
  (7) 終止準則
  任何算法設計的最后一步都要分析其收斂條件。在本文中算法執行滿足下列條件之一時,算法終止:
  ·最大的適應度值在連續四代之內變化小于0.001,算法終止。
  ·上述條件不滿足時,算法執行到最大進化代數時自動終止。
  保證算法收斂的策略:采用杰出人才保持模型,即用每一代內的最優個體替代下一代內的最差個體,從而使得算法完全收斂。
1.3 算法描述
  網絡參數設置:輸入節點數n1=22,隱層節點數n2=45,輸出節點數d=13,輸入節點到隱層節點的連接數900,隱層節點到輸出節點的連接數580。
  GA參數設置:位串長度L=12705,群體規模n=6000,交叉概率pc=0.6,變異概率pm=0.001,進化代數為500,每個實數參數的二進制編碼長度設為8。
  算法主要流程:
  (1) 初始化:設置群體規模N=6000,進化代數G=500,交叉概率Pc=0.6和變異概率Pm=0.001,染色體長度chromlength=12705,隨機產生初始種群;
  (2) 令G=1,進入循環;
  (3) 對30個個體進行解碼,代入神經網絡模型,根據適應值函數(見式(2))計算個體的適應度;
  (4) 進行遺傳操作:精英選擇、雙點交叉、基本變異;
  (5) G=G+1,判斷是否滿足終止準則;
  (6) 不滿足,轉到第(3)步;滿足,進化(循環)終止,輸出最佳個體。
2 應用實例
  將上述方法應用到一水輪發電機的仿真機上進行實踐。對原始數據表中的屬性進行特征抽取和變換,原始數據表(含12個屬性和3000行對應的屬性值)數據量很大, 由于篇幅有限不予列出[13], 屬性及其值域的表格如表1所示。


  采用文中提出的方法提取的特征結果形式如表2所示,其中提取的特征屬性為溫度t、電流i和電壓u,對應的屬性值為概括后的特征值(假設t表示發電機的線圈溫度,i表示其定子電流,u表示定子電壓,s表示其工作狀態),t、i、u對應的1表示正常,0表示異常;s對應的1表示正常狀態;2可表示異常狀態。為了測試本文算法,將其與傳統的貝葉斯方法進行比較,如表3、表4所示。
  從上表實驗數據可以看出,經過GA與神經網絡的結合,二者的優越性都得以發揮,學習誤差和預測誤差都有所下降,且運行時間減少;分類精度要高于傳統的貝葉斯統計方法20%左右,且學習誤差和預測誤差降低了將近50%。通過對比,可以看出GA-NN相結合進行的特征變換達到一般特征提取的精度要求,在相同的評價體系下,本文提出的算法是有效且可信的。


  神經網絡用于特征提取是一個規模非常龐大的優化問題,系統結構中含有大量的冗余節點和連接,獲得可行解的速度比較快,但是尋找最優解需要長時間的進化和訓練。為此采用了神經網絡與遺傳算法相結合的混合算法進行特征提取,通過實驗驗證,效果較好。但是存在的不足是隨著特征數量和實例樣本量的增加,神經網絡的GA求解的計算量將成指數增加,需要采用大型計算機或超級并行計算機。這對于其推廣應用是一個嚴峻的挑戰。
參考文獻
1 傅京孫. 模式識別及其應用. 北京:科學出版社,1983
2 沈 清,湯 霖.模式識別導論.長沙:國防科技出版社,1991
3 李金宗.模式識別導論.北京:高等教育出版社,1996:127
4 陳 彬,洪家榮,王亞東.最優特征子集選擇問題.計算機學報,1997;20(2):133~138
5 錢國良,舒文豪,陳 彬.基于信息熵的特征子集選擇啟發式算法的研究.軟件學,1998;9(12):911~916
6 Michalski,R.S., Teluci,G.Machine learning:a multi-strategy approach. San Francicso. CA:Morgan Kaufmann,1994;4
7 Jia rong. H.Inductive learning:algorithm,theory,application.Beijing: Science Publishing House of China,1997
8 鐘義信,潘新安,楊義先.智能理論與技術-人工智能與神經網絡.北京:人民郵電出版社,1992
9 Fionn Murtagh,Wedding the wavelet transformation and multivariate data analysis Journal of Classification,1998;(15):161~183
10 Brill,F.Z. Fast genetic selection of feature for neural network classififier.IEEE Transactions on Neural Networks,1992;3(2):324~328
11 Ripley,B.Pattern recognition and neural networks.New York:Cambridge Press,1996
12 Rudy Setiono,and Huan Liu.Neural Networks feature selector.Department of Information systems and Computer Science.National University of Singapore,1996
13 Zhang D G,Zhao H.Fuzzy-neural theory applied to electric fault fusion in monitoring system of hydropower plant[A].The 4th Information Fusion International Conference [C].Montreal:CM Press,2001.10

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          亚洲人成在线观看一区二区| 亚洲精品国产无天堂网2021| 国产一区二区中文字幕免费看| 一区二区三区高清在线| 一区二区三区|亚洲午夜| 久久国产精品高清| 久久电影一区| 国产精品久久久久久超碰| 亚洲女同在线| 性刺激综合网| 欧美激情免费在线| 久久久久网站| 午夜伦欧美伦电影理论片| 午夜精品久久久久久久久久久久| 亚洲精品一区二区三| 亚洲欧美日本精品| 伊人狠狠色丁香综合尤物| 欧美精品国产精品日韩精品| 欧美欧美天天天天操| 夜夜嗨av一区二区三区四季av| 久久这里只有| 亚洲欧美影院| 亚洲社区在线观看| 国产欧美 在线欧美| 亚洲精品婷婷| 久久综合给合久久狠狠狠97色69| 中文av一区特黄| 欧美在线视频在线播放完整版免费观看| 国产欧美一区二区精品婷婷| 男人的天堂亚洲| 欧美成人激情视频免费观看| 最新中文字幕一区二区三区| 欧美在线视频免费观看| 欧美日韩国产探花| 欧美日韩黄视频| 激情欧美一区二区三区| 一级成人国产| 欧美日韩成人在线视频| 国外成人网址| 亚洲一级在线观看| 激情综合中文娱乐网| 韩国精品久久久999| 欧美色视频一区| 亚洲午夜女主播在线直播| 欧美激情一区二区三级高清视频| 亚洲一区二区三区乱码aⅴ蜜桃女| 欧美国产视频日韩| 亚洲精品社区| 欧美色123| 亚洲系列中文字幕| 葵司免费一区二区三区四区五区| 在线观看免费视频综合| 一本久道综合久久精品| 欧美绝品在线观看成人午夜影视| 欧美一二三区精品| 亚洲黄色有码视频| 久久综合伊人77777麻豆| 欧美激情影音先锋| 欧美午夜影院| 亚洲第一福利社区| 一区二区三区 在线观看视频| 国产亚洲成精品久久| 亚洲美女av在线播放| 一区二区久久久久| 国产精品第一区| 欧美日韩999| 欧美日韩在线不卡| 国产精品亚洲综合天堂夜夜| 亚洲美女在线观看| 在线观看视频一区二区| 亚洲欧美中文日韩在线| 老司机亚洲精品| 91久久精品国产91久久性色| 亚洲精品中文字幕在线| 欧美日韩1080p| 国产亚洲精久久久久久| 国产精品实拍| 久久国产精品网站| 99视频热这里只有精品免费| 欧美日韩精品一区二区天天拍小说| 免费观看国产成人| 午夜精品久久久久久久久久久久久| 欧美网站在线观看| 久久久久国产成人精品亚洲午夜| 久久激情五月丁香伊人| 免费久久99精品国产自在现线| 一本综合精品| 欧美日韩精品免费观看视一区二区| 久久成人精品电影| 伊人久久婷婷色综合98网| 国产精品国产三级国产专区53| 激情欧美日韩| 国产精品普通话对白| 雨宫琴音一区二区在线| 99re这里只有精品6| 性一交一乱一区二区洋洋av| 国产精品国产精品国产专区不蜜| 欧美一区二区精品在线| 99精品视频免费观看| 欧美福利视频网站| 亚洲国产日韩欧美在线99| 一本久道久久久| 性做久久久久久| 国产精品普通话对白| 国产亚洲精品久久久| 久久九九国产精品怡红院| 久久久综合免费视频| 日韩一二三区视频| 国产欧美不卡| 国产日韩av高清| 国产日韩欧美一区| 国产伪娘ts一区| 欧美1区2区| 一本色道久久88综合亚洲精品ⅰ| 99精品视频免费在线观看| 精久久久久久久久久久| 欧美色播在线播放| 亚洲欧美在线一区二区| 制服丝袜亚洲播放| 好男人免费精品视频| 国产一区二区三区四区hd| 蜜桃av一区二区在线观看| 久久国产日本精品| 亚洲高清av在线| 精品99一区二区| 久久成人精品视频| 久久国产综合精品| 午夜视频久久久久久| 亚洲国产激情| 亚洲福利专区| 久久爱www| 欧美一区日韩一区| 在线观看国产欧美| 国产在线精品一区二区中文| 欧美丰满高潮xxxx喷水动漫| 国产欧美高清| 亚洲亚洲精品在线观看| 欧美一区二区三区啪啪| 久久尤物视频| 国产一区在线视频| 中文一区在线| 亚洲男人第一av网站| 妖精成人www高清在线观看| 欧美亚洲综合在线| 国产精品色网| 国产精品久久影院| 亚洲高清在线视频| 欧美日韩在线视频一区| 国产一区二区按摩在线观看| 亚洲影院一区| 男人天堂欧美日韩| 亚洲国产裸拍裸体视频在线观看乱了中文| 欧美美女视频| 国产精品网站在线观看| 亚洲国产婷婷综合在线精品| 亚洲国产精选| 在线亚洲欧美视频| 亚洲国产欧美在线人成| 激情亚洲一区二区三区四区| 亚洲国产精品成人va在线观看| 欧美日韩亚洲综合一区| 精品1区2区| 国产精品美女久久久浪潮软件| 一区二区精品国产| 久久亚洲捆绑美女| 国产精品电影观看| 国产精品乱码妇女bbbb| 欧美成在线观看| 玖玖精品视频| 亚洲精品久久在线| 国产色综合久久| 国产精品免费一区二区三区观看| 亚洲欧美日韩中文视频| 亚洲精品一区二区三区婷婷月| 亚洲精选国产| 在线欧美小视频| 久久精选视频| 91久久精品日日躁夜夜躁国产| 久久久欧美精品sm网站| 亚洲免费av电影| 国产精品男人爽免费视频1| 亚洲一区3d动漫同人无遮挡| 久久成人这里只有精品| 国产精品一卡二| 国产精品草莓在线免费观看| 性欧美暴力猛交另类hd| 国产精品久线观看视频| 原创国产精品91| 亚洲人人精品| 国产精品天美传媒入口| 国产精品国产| 欧美福利视频在线观看| 国产精品久久久久婷婷| 欧美成人tv| 亚洲人成亚洲人成在线观看| 国产精品腿扒开做爽爽爽挤奶网站| 午夜欧美视频| 欧美精品18videos性欧美| 亚洲一线二线三线久久久| 欧美日韩视频专区在线播放| 亚洲国产精品久久| 黄网动漫久久久| 亚洲精品中文字| 国产深夜精品福利| 欧美日韩免费在线视频| 亚洲高清视频一区二区| 亚洲国产免费| 亚洲乱码国产乱码精品精可以看| 欧美高清一区| 亚洲美女在线国产| 久久精品国产亚洲a| 欧美日韩免费视频| 欧美极品在线视频| 久久久久五月天| 麻豆精品一区二区av白丝在线| 欧美本精品男人aⅴ天堂| 久久久一二三| 在线精品视频在线观看高清| 国产精品porn| 正在播放日韩| 黄色精品一二区| 午夜国产欧美理论在线播放| 亚洲砖区区免费| 久久精品国亚洲| 一区二区三区久久| 欧美1区3d| 欧美午夜精品久久久| 久久美女性网| 亚洲国产精品久久91精品| 欧美成人在线免费视频| 亚洲色图制服丝袜| 亚洲国产专区| 国产精品久久久久7777婷婷| 噜噜噜在线观看免费视频日韩| 久久久久久亚洲精品杨幂换脸| 久久精品一区中文字幕| 久久久久一区二区| 麻豆成人综合网| 久久久久国色av免费看影院| 在线视频国内自拍亚洲视频| 西西裸体人体做爰大胆久久久| 国产欧美三级| 欧美日韩综合久久| 久久影视精品| 亚洲欧美99| 91久久一区二区| 欧美电影电视剧在线观看| 日韩午夜精品| 国产精品家庭影院| 欧美三区美女| 久久精品国产免费看久久精品| 欧美国产91| 欧美视频亚洲视频| 国产女同一区二区| 亚洲一区久久久| 亚洲午夜视频在线| 欧美国产精品中文字幕| 在线看片第一页欧美| 亚洲国产欧美一区二区三区久久| 国产乱码精品一区二区三区五月婷| 老色鬼精品视频在线观看播放| 久久国产天堂福利天堂| 一区二区在线视频播放| 免费观看日韩av| 美日韩精品视频免费看| 国产日韩高清一区二区三区在线| 欧美激情第1页| 亚洲免费伊人电影在线观看av| 欧美精品在线观看一区二区| 亚洲婷婷国产精品电影人久久| 亚洲永久免费| 久久精品人人做人人综合| 久久高清免费观看| 国产精品mm| 国产午夜精品在线观看| 欧美黄色片免费观看| 伊人精品久久久久7777| 在线免费观看一区二区三区| 欧美在线播放一区二区| 久久精品动漫| 亚洲日本aⅴ片在线观看香蕉| 国产精品亚洲综合久久| 在线观看一区视频| 免费短视频成人日韩| 中日韩午夜理伦电影免费| 久久精品国产精品| 欧美在线播放视频| 在线观看国产精品网站| 国产色产综合产在线视频| 亚洲伊人色欲综合网| 亚洲一区精品视频| 亚洲欧美乱综合| 午夜日韩av| 一区在线免费观看| 亚洲欧美激情精品一区二区| 国产精品美女久久久浪潮软件| 国产精品美女一区二区| 在线观看视频亚洲| 免费成人黄色片| 国产欧美日韩三区| 亚洲国产视频一区| 国产精品色婷婷| 在线不卡中文字幕播放| 亚洲一区二区三区乱码aⅴ蜜桃女| 亚洲欧美影音先锋| 欧美日韩一区二区视频在线观看| 欧美—级在线免费片| 欧美精品少妇一区二区三区| 久久精品91| 国产欧美日韩视频一区二区三区| 蜜桃av一区二区在线观看| 亚洲一区二区三区国产| 国产亚洲va综合人人澡精品| 亚洲高清视频在线| 亚洲一区二区视频在线观看| 久久狠狠婷婷| 亚洲综合第一页| 红桃视频亚洲| 欧美影院成年免费版| 久久久久久久综合色一本| 欧美一区二区在线播放| 99国产精品视频免费观看一公开| 亚洲视频精品在线| 午夜精品久久久久久99热软件| 国产一区二区三区日韩欧美| 亚洲天堂av综合网| 亚洲一区二区高清视频| 亚洲成人在线|