《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 一種基于屬性加權的代價敏感支持向量機算法

一種基于屬性加權的代價敏感支持向量機算法

2009-07-29
作者:戴元紅, 陳鴻昶, 胡海龍

??? 摘 要: 針對實際中存在的各類別樣本錯分造成不同危害程度的分類問題,提出了一種基于屬性加權的代價敏感支持向量機分類算法,即在計算各個樣本特征屬性對分類的重要度之后,對相應的屬性進行重要度加權,所得的數據用于訓練和測試代價敏感支持向量機。數值實驗的結果表明,該方法提高了誤分代價高的類別的分類精度,同時屬性重要度的引入提高了分類器的整體分類性能。該方法對錯分代價不對稱的數據分類問題具有重要的現實意義。
  關鍵詞: 屬性加權; 支持向量機; 代價敏感支持向量機

?

  SVM算法是一種專門研究小樣本情況下機器學習規律的理論,它能夠解決漸進理論所難于解決的過擬合、局部極小和泛化能力差等問題。這一新的機器學習方法表現出很多優于已有方法的性能,迅速引起各領域的關注和研究,并成功地引入到很多領域的應用中,取得了大量的應用研究成果。
  在SVM算法的研究中,提高它的分類能力是所有研究的宗旨和目的,很多學者提出了改進的支持向量機方法:給每一類樣本賦以不同權值的加權支持向量機算法WSVM(Weighted SVM)[1-2],對類別差異造成的影響進行相應的補償,提高了小類別樣本的分類精度,但影響了整體的分類性能;將模糊學引入了支持向量機,提出了模糊支持向量機算法FSVM(Fuzzy SVM)[3-4],減少野值和噪聲的影響;利用樣本的屬性重要度的支持向量機方法[5],給各個屬性設定相應的權值,提高了分類的精度。
  針對實際應用中各類別樣本錯分所造成的不同程度危害,提出了代價敏感支持向量機算法[6],該方法對支持向量機算法進行改進,將分類代價考慮進去,使得分類結果的代價最小,該方法對錯分代價不對稱的數據分類問題具有重要的現實意義,如網絡故障、網絡安全等。
1 支持向量機
  支持向量機的基本思想是對于給定的樣本集(xi,yi),xi∈Rn,yi∈{+1,-1},i=1,…,l,其中xi是n維空間中的向量,yi是xi所屬類的類別標識,尋找將兩類數據正確分開并使分類間隔最大的超平面,該超平面稱為最優超平面,分類情況如圖1所示。

?


  為了尋找最優超平面,需要求解下面的二次規劃問題:


  ???????????????????????????
其中,i>+b=0為所要求解的超平面,w是超平面的法向量,b是超平面的偏移量,C是懲罰因子,(w,xi)表示w和xi的點集,為了較準確地將兩類數據分開,使用映射Φ:X→H將x從輸入空間X映射到一高維的特征空間H。為便于計算,選擇一個核函數k(xi,xj)=<Φ(xi),Φ(xj)>用于特征空間中點積的運算。其Lagrange表達式為: 

    

  這是由Vapnik提出的第一種支持向量機,也被稱為C-SVM或標準支持向量機。
2 代價敏感支持向量機
  考慮兩類的分類問題,類別分別為C+和C-,假定C+的錯分代價大于C-的錯分代價。為了解決分類中的代價不對稱問題,將分類算法SVM進行改造,基本思想就是對C+錯分、C-錯分兩種錯誤分別引入不同的代價函數。這種方法等價于對誤分代價高的類使用更大的拉格朗日算子αi,從而使分類平面遠離C+,而靠近C-,使得未知數據被劃分為C+的概率更大,從而減小了分類中因錯分引起的損失。
  在支持向量機(SVM)中,原始問題為:
  

  在訓練過程中使用C+>C-,得到的分類器的決策平面靠近類別C-,使測試樣本更多地落在C+的區域中,從而減小C+類的樣本錯分的可能性,但也加大了C-類樣本被錯分的可能性。因此需尋找合適的參數,使得兩類樣本的分類結果都盡可能地達到最優。設兩類樣本的約束值的比值為:
  s=C+/C-
  s值通常使用窮舉的方法來確定,先固定C-的值為C,搜索最佳參數C+的值,使得分類的錯誤代價最小。
  代價敏感支持向量機的主要思想就是通過改變兩類的懲罰因子C+和C-的比值,使得分類面向遠離錯分代價高的一類的方向移動,從而使得樣本更大可能地被分為這一類,降低分類錯誤代價,但提高某一類樣本的分類正確率總是以犧牲另一類的分類正確率為代價的。
3 屬性的權值
  樣本屬性重要性的度量是屬性相關分析的主要內容,在模糊集和粗糙集理論方面有許多的研究。這里介紹常用的基于信息熵的屬性權值的計算方法[6]。
  設有數據樣本集合S,該樣本集有m個不同的屬性值和n個不同的類別,分別定義為Ai(i=1,…,m)和Cj(j=1,…,n),si為Ci中的樣本數。根據概率分布和聯合概率分布以及信息論中熵和條件熵的定義,對于一個給定的樣本分類問題所需的期望信息由下式給出:
  
  式中 pi是樣本屬于Cj的概率,其中 pi=si/s。
  設屬性A有v個不同值{a1,a2,…,av},屬性A可將樣本集S劃分為v個子集{s1,s2,…,sv},其中Sj為在屬性A上具有值ai,設sij為子集Sj中類Ci的樣本數。根據A的這種劃分的期望信息為:
    

  式中pij=sij/|sj|,|sj|是sj中樣本屬于類Ci的概率。
  在屬性A上該劃分獲得的信息增益為:
  δ=H(C)-E(A)
  根據上面的計算得到每個屬性的權重系數為:
  
  從分析中知道,該權重系數反應了樣本中各個屬性的重要程度,權重系數值越大則該屬性越重要,對分類的貢獻越大。
在確定了樣本屬性重要度后,就可以構造基于樣本屬性重要度的代價敏感支持向量機。
4 實驗結果
  本文利用MATLAB軟件進行模擬實驗,對+1類和-1類的分類性能進行比較,在三維空間中引入兩類不同的樣本:正類和負類,并引入了一定數量的噪聲和野值數據。為了驗證所提算法的有效性,利用所提算法進行了一系列比較實驗。在實驗中,模擬用的訓練樣本和測試樣本均隨機產生,樣本數據情況如表1所示。


  在實驗中考慮正類的錯分代價大于負類的錯分代價,分別用C-SVM、Cost-sensitive SVM和屬性加權的Cost-sensitive SVM進行性能測試,表2所示為分類準確率的比較。由表2可見代價敏感支持向量機分類算法提高了錯分代價高的類別的分類精度,在進行屬性加權后,總體的分類精度也得到了提高。


  本文在對支持向量機分析的基礎上,提出了對樣本屬性加權型的代價敏感加權支持向量機。數值實驗的結果表明,該方法能夠提高錯分代價敏感的類別的分類精度,同時整體的分類性能也得到了提高。但是如何確定代價系數仍然是一個需要解決的問題,也是筆者下一步要研究的方向。


參考文獻
[1]?范昕煒,杜樹新,吳鐵軍.可補償類別差異的加權支持向量機算法[J].中國圖像圖形學報,2003,8(7):1037-1042.
[2]?賈銀山,賈傳熒. 一種加權支持向量機分類算法[J].計算機工程,2005,10(5):35-39.
[3]?LIN C F, WANG S D. Fuzzy support vector machine [J].?IEEE Trans. On Neural Networks, 2002, 13(2):464-471.
[4]?陳小娟, 劉三陽. 一種新的模糊支持向量機算法[J].西安文理學院學報:自然科學版,2008,11(1):1-4.
[5]?汪延華,田盛豐. 樣本屬性重要度的支持向量機方法[J]. 北京交通大學學報,2007,10(5):43-46.
[6]?趙靖.基于SVM算法的垃圾郵件過濾研究與實現[D].北京:北京交通大學,2005.

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          国产精品国产三级国产专播精品人| 欧美在线观看日本一区| 午夜视频一区在线观看| 国产自产2019最新不卡| 亚洲欧美制服中文字幕| 欧美精品一区三区| 欧美va亚洲va香蕉在线| 亚洲国产视频直播| 欧美视频在线一区二区三区| 另类国产ts人妖高潮视频| 国产一区美女| 亚洲一区免费观看| 亚洲欧美视频在线观看视频| 亚洲一二三区在线| 国内外成人免费激情在线视频网站| 久久精品观看| 久久精品视频在线看| 国产精品视频一二三| 久久亚洲一区二区三区四区| 国产精品扒开腿做爽爽爽视频| 18成人免费观看视频| 狠狠色丁香久久婷婷综合_中| 欧美一区三区三区高中清蜜桃| 欧美影院久久久| 亚洲国产精品国自产拍av秋霞| 国产亚洲精品自拍| 亚洲免费观看高清完整版在线观看熊| 亚洲人成人77777线观看| 亚洲视频一区在线观看| 中文在线资源观看网站视频免费不卡| 亚洲欧洲日本专区| 亚洲一区黄色| 久久久高清一区二区三区| 亚洲一区二区三区四区五区午夜| 欧美国产乱视频| 欧美高清视频免费观看| 欧美一区1区三区3区公司| 亚洲欧美卡通另类91av| 国产乱码精品一区二区三| 日韩午夜黄色| 欧美一级播放| 国产精品私拍pans大尺度在线| 亚洲曰本av电影| 欧美午夜电影完整版| 国产一区二区成人| 亚洲自拍偷拍色片视频| 久久色在线播放| 亚洲青色在线| 国产精品专区h在线观看| 牛牛影视久久网| 一区二区日韩免费看| 欧美不卡激情三级在线观看| 国产精品一区在线播放| 免费观看亚洲视频大全| 国产欧美va欧美va香蕉在| 久久精品道一区二区三区| 久久精品道一区二区三区| 日韩网站在线看片你懂的| 亚洲男人的天堂在线| 国产亚洲激情视频在线| 欧美日韩在线视频观看| 国产精品一区二区久久久| 在线日韩中文字幕| 久久精品男女| 欧美韩日一区二区三区| 久久亚洲美女| 欧美一区在线直播| 91久久夜色精品国产九色| 午夜精品免费视频| 最新69国产成人精品视频免费| 国产精品性做久久久久久| 欧美精品v日韩精品v韩国精品v| 亚洲欧洲av一区二区三区久久| 欧美高清在线一区二区| 国产视频一区三区| 亚洲欧美成人精品| 亚洲性线免费观看视频成熟| 午夜老司机精品| 性高湖久久久久久久久| 国产欧美视频在线观看| 亚洲高清在线观看| 一本色道久久综合亚洲精品高清| 玖玖玖免费嫩草在线影院一区| 欧美涩涩视频| 国产免费亚洲高清| 久久av资源网站| 久久久亚洲人| 在线观看日产精品| 亚洲精品自在久久| 国产偷国产偷精品高清尤物| 亚洲视频在线看| 欧美理论大片| 久久偷窥视频| 亚洲免费一级电影| 激情av一区| 亚洲第一综合天堂另类专| 久久精品国产在热久久| 欧美精品电影| 亚洲第一精品夜夜躁人人爽| 99视频热这里只有精品免费| 国产精品成人一区二区| 香蕉亚洲视频| 欧美国产亚洲另类动漫| 亚洲伦理在线观看| 狠狠色狠色综合曰曰| 欧美午夜电影完整版| 欧美精品videossex性护士| 久久精品国产96久久久香蕉| 欧美日韩和欧美的一区二区| 欧美精品aa| 欧美精品激情| 亚洲高清一区二| 在线看成人片| 国产一区二区日韩精品欧美精品| 亚洲国产日韩欧美综合久久| 亚洲成人中文| 国产亚洲综合性久久久影院| 在线观看日韩专区| 欧美在线播放高清精品| 国产亚洲a∨片在线观看| 欧美日韩精品国产| 国产精品制服诱惑| 香蕉久久a毛片| 久久久99爱| 国产精品久久夜| 久久成人精品电影| 久久午夜羞羞影院免费观看| 久久久人成影片一区二区三区| 好吊色欧美一区二区三区四区| 亚洲在线中文字幕| 亚洲视频axxx| 国产精品乱码一区二三区小蝌蚪| 国产精品爽爽ⅴa在线观看| 中文av字幕一区| 夜夜嗨av一区二区三区免费区| 欧美日一区二区三区在线观看国产免| 欧美日韩一区二区三区在线看| 欧美影院视频| 午夜一区二区三区在线观看| 亚洲午夜一级| 国产午夜亚洲精品羞羞网站| 欧美一乱一性一交一视频| 日韩西西人体444www| 亚洲女同同性videoxma| 久久久久久久综合日本| 91久久精品美女高潮| 美女主播精品视频一二三四| 欧美日韩国产一中文字不卡| 亚洲老板91色精品久久| 欧美性猛片xxxx免费看久爱| 欧美一区二区三区免费观看视频| 国内自拍亚洲| 国产精品免费在线| 欧美日韩免费看| 午夜精品久久久久99热蜜桃导演| 久久黄色网页| 亚洲自拍偷拍网址| 136国产福利精品导航| 午夜精品三级视频福利| 国产精品v日韩精品v欧美精品网站| 午夜精品久久久久久久99水蜜桃| 性欧美大战久久久久久久久| 欧美一区亚洲一区| 亚洲国产精品ⅴa在线观看| 国内精品久久久久国产盗摄免费观看完整版| 亚洲第一福利视频| 好吊一区二区三区| 亚洲神马久久| 欧美精品久久一区二区| 黄色成人av网站| 免费亚洲一区二区| 国产女主播一区| 国产精品一区二区久久精品| 欧美日韩一区二区国产| 亚洲五月婷婷| 国产精品视频精品| 亚洲欧美成人在线| 国产日韩精品综合网站| 欧美成人视屏| 久久综合狠狠综合久久激情| 欧美三日本三级三级在线播放| 一本色道久久99精品综合| 亚洲人成77777在线观看网| 99视频热这里只有精品免费| 蜜桃精品久久久久久久免费影院| 国产精品一区二区三区久久久| 久久精品视频在线播放| 亚洲精品日韩精品| 亚洲精品久久7777| 亚洲精品视频在线播放| 91久久精品日日躁夜夜躁欧美| 国产精品你懂得| 国产视频欧美| 久久精品视频va| 亚洲国产高清在线观看视频| 久热精品视频在线观看| 欧美日韩麻豆| 久久综合色天天久久综合图片| 国产精品制服诱惑| 欧美成人首页| 中日韩男男gay无套| 欧美国产日本高清在线| 午夜久久福利| 欧美人成免费网站| 亚洲免费视频成人| 国产一区二区三区在线观看视频| 国产精品超碰97尤物18| 国产精品亚洲不卡a| 国产精自产拍久久久久久| 在线精品国精品国产尤物884a| 欧美视频手机在线| 久久国产精品久久久久久久久久| 欧美日韩国产成人在线免费| 国产农村妇女精品一二区| 欧美成人资源网| 亚洲国产精品久久91精品| 亚洲高清三级视频| 亚洲精美视频| 在线免费观看欧美| 欧美日韩天堂| 亚洲欧美日韩中文视频| 欧美大片在线观看| 欧美极品在线观看| 日韩视频在线观看一区二区| 欧美日韩在线第一页| 另类图片国产| 黄色精品一二区| 久久成人免费视频| 亚洲国产欧美在线| 国产精品久久福利| 久久精品国内一区二区三区| 99re在线精品| 亚洲欧美视频在线观看| 国产欧美激情| 亚洲欧美日韩精品久久久| 久久成人18免费网站| 麻豆精品一区二区综合av| 欧美大秀在线观看| 国产老女人精品毛片久久| 国产拍揄自揄精品视频麻豆| 欧美成人嫩草网站| 欧美中文在线观看国产| 欧美好骚综合网| 国产日韩欧美精品| 欧美xxx成人| 国产精品视频大全| 欧美午夜片在线免费观看| 99精品国产热久久91蜜凸| 欧美日韩精品福利| 黄色欧美成人| 国产精品色婷婷久久58| 欧美不卡福利| 精品成人国产| 久久综合九色| 最新国产の精品合集bt伙计| 久久精品国产99精品国产亚洲性色| 亚洲精品小视频在线观看| 免费观看成人www动漫视频| 欧美经典一区二区三区| 一区精品在线播放| 国内成人精品一区| 国产欧美日韩不卡免费| 韩国成人福利片在线播放| 欧美极品在线播放| 亚洲欧美影院| 99热这里只有精品8| 久久久噜噜噜久噜久久| 欧美电影免费观看高清完整版| 国产精品一区一区| 国产色视频一区| 亚洲欧美一区二区三区在线| 国产精品拍天天在线| 亚洲第一在线综合在线| 欧美日韩免费精品| 国产精品综合av一区二区国产馆| 性做久久久久久久久| 亚洲国产一区视频| 欧美伊人久久久久久午夜久久久久| 久久综合九色| 欧美午夜在线视频| 亚洲精品一区二区三区福利| 欧美成人免费网站| 亚洲天堂网站在线观看视频| 亚洲国产一区二区三区高清| 亚洲大胆人体在线| 99精品欧美一区二区蜜桃免费| 欧美深夜福利| 伊人久久亚洲热| 欧美在线中文字幕| 性色一区二区| 亚洲片在线观看| 快she精品国产999| 欧美在线观看一区二区三区| 亚洲自拍偷拍色片视频| 欧美一级电影久久| 久久久久国产精品午夜一区| 国产精品盗摄一区二区三区| 亚洲欧美日韩在线不卡| 在线成人中文字幕| 99pao成人国产永久免费视频| 国产精品你懂的| 亚洲理论在线观看| 91久久中文字幕| 欧美成人免费在线观看| 久久久久久久久久久久久女国产乱| 国产欧美精品一区aⅴ影院| 欧美午夜视频网站| 亚洲成人影音| 性感少妇一区| 樱桃成人精品视频在线播放| 国产主播一区二区三区四区| 国际精品欧美精品| 性8sex亚洲区入口| 国产亚洲一区二区三区在线播放| 国产精品久久久久秋霞鲁丝| 亚洲色无码播放| 99精品久久免费看蜜臀剧情介绍| 亚洲欧美另类国产| 久久久久久成人| 亚洲欧美国产日韩中文字幕| 国产精品视频内| 午夜精品一区二区三区在线视| 国产麻豆精品theporn| 久久成人精品一区二区三区| 亚洲欧美日本国产专区一区| 国产精品男gay被猛男狂揉视频| 亚洲婷婷综合久久一本伊一区| 久久精品人人做人人综合|