《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 設計應用 > 一種基于指令流水線的數據匹配算法
一種基于指令流水線的數據匹配算法
電子技術應用
楊嘉佳,李正,鄭兒,趙靜,燕瑋,劉金
中國電子信息產業集團有限公司第六研究所
摘要: 基于正則表達式的數據匹配技術在基礎數據治理和清洗方面有著重要的應用價值。然而,在高性能計算領域的數據處理過程中因算法匹配吞吐率低,無法滿足大數據處理環境下對算法的高性能要求,造成其應用范圍受限。針對此現象,提出一種基于指令流水線的數據匹配算法,稱之為γFA:利用Intel架構內置的向量指令流水式讀入若干字符段,通過大寬度向量比較函數進行字符段與非信任字符集的流水比值處理并轉換成整型向量,通過位置定位函數累加定位出所有整型向量的首個非信任字符位置,計算出可略過的總字符數,減少正則表達式匹配引擎因處理非信任字符集導致訪問低速內存而帶來巨大的時間開銷,實現正則表達式匹配算法的性能提升。實驗結果表明,γFA算法的吞吐率是原始DFA算法的15.88~53.06倍,相比于ßFA算法,吞吐率提升了35.12%~63.26%,取得較好的性能加速效果。此外,通過對γFA算法進行優化后,性能可接近100 Gb/s,為原始DFA匹配算法性能的15.88~64.94倍,相比于γFA算法性能提升了2.15%~43.09%。
中圖分類號:TP391.1 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.245345
中文引用格式: 楊嘉佳,李正,鄭兒,等. 一種基于指令流水線的數據匹配算法[J]. 電子技術應用,2025,51(2):81-85.
英文引用格式: Yang Jiajia,Li Zheng,Zheng Er,et al. A data matching algorithm based on instruction pipeline[J]. Application of Electronic Technique,2025,51(2):81-85.
A data matching algorithm based on instruction pipeline
Yang Jiajia,Li Zheng,Zheng Er,Zhao Jing,Yan Wei,Liu Jin
The Sixth Research Institute of China Electronics Corporation
Abstract: The data matching technology based on regular expressions has significant application value in basic data governance and cleaning. However, in the data processing process of high-performance computing, the low performance of algorithm matching cannot meet the high-performance requirements of algorithms in the big data processing environment, resulting in limited application scope. To address this issue, a high-performance data matching algorithm based on instruction pipelining is proposed, known as γFA. It utilizes the vector instruction pipelining built into the Intel architecture to read in multiple character segments, performs pipeline ratio processing of the character segments with untrusted character sets through a wide-width vector comparison function, and converts them into integer vectors. The position location function is then used to accumulate and locate the first untrusted character position in the integer vector, calculate the number of characters that can be skipped, and reduce the significant time overhead caused by the regular expression matching engine accessing slow memory when processing untrusted character sets. This achieves performance acceleration for the regular expression matching algorithm. Experimental results show that the γFA algorithm achieves a throughput rate that is 15.88 to 53.06 times higher than the original DFA algorithm. Compared to the ßFA algorithm, the throughput rate is improved by 35.12% to 63.26%, achieving a better performance acceleration effect. Furthermore, after optimizing the γFA algorithm, a performance close to 100 Gb/s can be achieved, which is 15.88 to 64.94 times better than the performance of the original DFA matching algorithm. This represents an improvement of 2.15% to 43.09% compared to the γFA algorithm.
Key words : regular expression matching;instruction pipeline;high-performance data matching

引言

數據匹配技術可應用于數據的清洗和治理,如基于正則表達式的數據匹配技術在基礎數據的過濾方面發揮重要作用,通過數據匹配可將無關數據剔除過濾,減少噪聲數據的干擾。正則表達式因具有強大的表征能力,適合用于匹配過濾真實環境下的復雜噪聲數據。例如,開源入侵檢測系統Bro IDS、Snort[1]等都使用了基于正則表達式的數據匹配功能。

基于正則表達式的數據匹配實現方式通??煞殖蓛煞N:基于非確定型有限自動機(NFA)和確定型有限自動機(DFA)。前者空間復雜度比較低,與正則表達式的長度呈線性關系,但因處理一個字符需激活多個狀態,造成匹配時間復雜性較大和匹配性能不穩定。相比而言,DFA的時間復雜性比較低,處理一個字符只需一次激活單個狀態,然而卻因規則的復雜性易導致狀態轉移空間膨脹甚至“爆炸”,造成巨大的空間開銷。

在大數據匹配環境中,DFA更多地被選擇與應用。DFA的匹配性能和空間消耗是基于正則表達式數據匹配技術的重要衡量因素。截至目前,DFA的空間消耗已有很多可行的算法被提出[2],因而不是本文研究重點。盡管已有若干算法對DFA的匹配性能進行研究,但性能低依舊是制約其廣泛應用的瓶頸因素。

針對此問題,本文基于單指令多數據流(Single Instruction Multiple Data)向量指令連續從內存中讀入若干字符段,然后分別與最常被訪問狀態(行)對應的非信任字符集進行字符并行比較操作,通過位置定位函數累加定位出首個非信任字符位置,獲取直接略過的總字符數,減少訪存次數,提高算法吞吐率。


本文詳細內容請下載:

http://www.cowatch.cn/resource/share/2000006330


作者信息:

楊嘉佳,李正,鄭兒,趙靜,燕瑋,劉金

(中國電子信息產業集團有限公司第六研究所,北京 100083)


Magazine.Subscription.jpg

此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          精品动漫3d一区二区三区| 亚洲第一网站免费视频| 亚洲激情网站免费观看| 亚洲综合视频1区| 国产精品高潮呻吟久久av黑人| 亚洲一区二区三区在线播放| 亚洲免费网址| 欧美日韩不卡一区| 美女日韩在线中文字幕| 欧美日韩一区二区在线视频| 中文国产成人精品久久一| 亚洲小说欧美另类社区| 久久精品亚洲一区二区三区浴池| 国产精品美女久久久久aⅴ国产馆| 久热国产精品| 国内不卡一区二区三区| 狠狠久久婷婷| 国产一区二区三区在线观看精品| 在线不卡欧美| 亚洲欧美日韩视频一区| 欧美精品一区二区三区久久久竹菊| 欧美激情亚洲激情| 一本色道久久| 亚洲深夜福利在线| 欧美三级电影大全| 亚洲精品一二区| 影音先锋中文字幕一区二区| 久久综合狠狠| 国产精品系列在线| 亚洲国产成人在线播放| 国产亚洲欧美日韩在线一区| 欧美专区日韩视频| 欧美激情免费观看| 亚洲电影激情视频网站| 一区二区三区回区在观看免费视频| 欧美伊人久久久久久午夜久久久久| 国产精品久久久久久久久久久久久| 99精品视频免费观看视频| 欧美三日本三级少妇三2023| 欧美片在线观看| 国产午夜精品全部视频在线播放| 欧美偷拍另类| 国产精品videossex久久发布| 亚洲无人区一区| 久久综合网络一区二区| 欧美体内she精视频在线观看| 久久久91精品国产| 夜夜爽99久久国产综合精品女不卡| 一本色道久久加勒比精品| 国产精品青草久久| 午夜精品久久久久久99热软件| 欧美国产精品劲爆| 狠狠入ady亚洲精品经典电影| 小黄鸭视频精品导航| 亚洲深夜福利在线| 国产日韩欧美中文| 在线观看欧美| 亚洲男人的天堂在线aⅴ视频| 国产精品久久久久久亚洲毛片| 美女脱光内衣内裤视频久久网站| 蜜桃av噜噜一区| 亚洲福利在线视频| 亚洲精品乱码久久久久| 久久国内精品视频| 激情欧美一区二区三区在线观看| 亚洲激情在线视频| 免费视频一区二区三区在线观看| 欧美午夜精品一区| 国产欧美韩国高清| 亚洲欧美日韩精品久久久久| 黄色成人在线网站| 国产伦精品一区二区三区免费| 久久久久.com| 欧美精品色网| 欧美日韩一区在线视频| 国产资源精品在线观看| 亚洲电影免费观看高清完整版在线观看| 久久精品综合| 国产日产欧美精品| 亚洲国产精品电影在线观看| 亚洲在线网站| 欧美一区二区三区男人的天堂| 香蕉免费一区二区三区在线观看| 欧美三级日本三级少妇99| 国产亚洲福利一区| 美乳少妇欧美精品| 午夜日本精品| 狠狠狠色丁香婷婷综合激情| 久久久久在线观看| 夜夜嗨av一区二区三区网页| 亚洲精品在线免费| 久久久人成影片一区二区三区观看| 亚洲午夜高清视频| 欧美性生交xxxxx久久久| 欧美视频在线一区| 日韩午夜精品| 国产精品99久久久久久白浆小说| 日韩亚洲欧美在线观看| 亚洲三级网站| 亚洲视频在线观看视频| 亚洲国产高清视频| 久久成人精品| 国产精品久久久久aaaa九色| 亚洲高清视频在线观看| 欧美在线1区| 欧美精品少妇一区二区三区| 亚洲日韩第九十九页| 狠狠噜噜久久| 老色鬼久久亚洲一区二区| 免费不卡在线视频| 女同性一区二区三区人了人一| 亚洲精品在线看| 9色国产精品| 国产精品日韩久久久| 性欧美暴力猛交另类hd| 男男成人高潮片免费网站| 麻豆成人在线播放| 亚洲网站视频福利| 国产美女一区| 欧美成人综合一区| 欧美国产亚洲另类动漫| 国产精品成av人在线视午夜片| 亚洲欧美日韩精品在线| av不卡在线观看| 久久久国产亚洲精品| 亚洲精品乱码久久久久久蜜桃麻豆| 亚洲福利电影| 欧美大胆人体视频| 久久精品女人的天堂av| 欧美日韩视频专区在线播放| 影音先锋欧美精品| 久久av一区二区三区漫画| 尤物在线精品| 国产精品天美传媒入口| 欧美成年网站| 国产资源精品在线观看| 国产精品久久久久久模特| 国内精品久久久久影院 日本资源| 亚洲一区二区三区精品视频| 国产亚洲欧美日韩在线一区| 欧美激情一区二区在线| 亚洲电影免费观看高清完整版在线观看| 狠狠色狠狠色综合日日小说| 午夜精品久久久久久久久久久久| 欧美中文字幕在线播放| 欧美一区三区三区高中清蜜桃| 国产美女精品视频免费观看| 国产综合网站| 亚洲另类一区二区| 国产日韩精品一区观看| 伊人婷婷欧美激情| 夜夜夜久久久| 亚洲午夜激情免费视频| 在线日韩中文字幕| 欧美激情综合亚洲一二区| 欧美日韩国产大片| 午夜精品久久久| 在线观看不卡| 国产精品大片免费观看| 99精品国产99久久久久久福利| 国产一区二区三区高清| 久久久久看片| 久久视频精品在线| 欧美日韩成人在线观看| 欧美在线视频一区二区三区| 国产精品v亚洲精品v日韩精品| 黄网站色欧美视频| 欧美国产一区在线| 亚洲一区二区高清视频| 欧美在线视频观看| 亚洲午夜在线观看视频在线| 一区二区三区成人| 欧美黄色一区二区| 国产欧美精品久久| 欧美激情女人20p| 欧美一级午夜免费电影| 一本色道久久综合亚洲精品按摩| 久久综合精品国产一区二区三区| 日韩一级网站| 欧美—级高清免费播放| 亚洲黄色免费网站| 在线精品福利| 一区二区电影免费在线观看| 亚洲成人在线观看视频| 亚洲精品资源美女情侣酒店| 曰韩精品一区二区| 国内成人自拍视频| 亚洲国产成人精品视频| 亚洲国产成人在线视频| 欧美三区在线观看| 久久国产99| 亚洲午夜精品网| 欧美激情中文字幕在线| 亚洲久久一区二区| 亚洲精品在线看| 久久国产乱子精品免费女| 欧美在线视频一区| 欧美成人免费观看| 亚洲盗摄视频| 一本色道久久综合狠狠躁篇怎么玩| 一区二区三区四区国产精品| 国产精品日韩欧美大师| 日韩一级黄色av| 在线观看视频免费一区二区三区| 久久久久国产精品www| 久久综合亚州| 欧美视频一二三区| 欧美极品欧美精品欧美视频| 欧美日本中文字幕| 欧美精品久久一区二区| 亚洲自拍偷拍一区| 亚洲视频第一页| 欧美成人有码| 亚洲成人在线观看视频| 在线看无码的免费网站| 亚洲性视频网址| 欧美日韩亚洲天堂| 欧美性色aⅴ视频一区日韩精品| 亚洲精品一区二区在线| 99精品热6080yy久久| 在线观看国产欧美| 久久精品99国产精品| 一区二区日韩欧美| 亚洲黄色成人网| 一本高清dvd不卡在线观看| 久久国产88| 一本色道久久综合狠狠躁篇的优点| 国产在线欧美日韩| 亚洲精品在线电影| 久久综合色8888| 国产精品一区二区三区乱码| 国产精品久久久久毛片软件| 国产精品久久久久久户外露出| 极品尤物av久久免费看| 尤妮丝一区二区裸体视频| 麻豆精品一区二区综合av| 亚洲国产精品成人综合| 国产精品久久久久9999| 精品二区视频| 欧美色视频一区| 亚洲摸下面视频| 亚洲精品一区二区三区四区高清| 欧美精品在线观看播放| 亚洲综合精品| 亚洲精品久久嫩草网站秘色| 国产精品videosex极品| 久久久久久久久久久一区| 狠狠色狠狠色综合日日tαg| 欧美日韩国产一中文字不卡| 国产精品精品视频| 欧美激情第五页| 在线观看日韩av先锋影音电影院| 久久偷窥视频| 欧美一区二区三区久久精品茉莉花| 亚洲综合色婷婷| 一区二区三区日韩精品| 一本久久综合| 欧美日韩美女一区二区| 亚洲精品视频一区| 亚洲三级免费电影| 久久综合一区二区三区| 久久久久久久999| 好吊视频一区二区三区四区| 一区二区三区精品视频| 欧美亚洲在线视频| 亚洲深夜福利网站| 国产精品色午夜在线观看| 国产一区二区在线观看免费| 韩国视频理论视频久久| 久久久久久成人| 一区久久精品| 国产精品亚洲一区二区三区在线| 欧美体内谢she精2性欧美| 欧美日韩精品免费观看视频完整| 欧美日韩91| 欧美一级片久久久久久久| 极品少妇一区二区三区精品视频| 亚洲毛片av| 亚洲一级黄色| 欧美日韩免费观看一区三区| 一色屋精品亚洲香蕉网站| 国产精品大全| 免费看亚洲片| 国产精品三上| 一本色道久久综合亚洲精品不| 国产综合18久久久久久| 久久综合999| 欧美理论在线| 久久成人资源| 欧美日本成人| 精品二区视频| 欧美成人一区二区三区片免费| 亚洲区一区二区三区| 91久久综合亚洲鲁鲁五月天| 国产三级精品在线不卡| 欧美日本视频在线| 欧美一区二区黄| 西西裸体人体做爰大胆久久久| 久久国产精品久久久久久| 欧美日韩三级在线| 国产精品日韩久久久久| 国产精品一区二区久久国产| 国产精品激情偷乱一区二区∴| 久久激情久久| 久久天天躁狠狠躁夜夜爽蜜月| 亚洲图片欧美一区| 国内精品久久久久久影视8| 国产精品网站在线| 黄色成人免费观看| 国产精品成人一区二区| 欧美国产日韩视频| 免费观看日韩av| 在线欧美日韩精品| 暖暖成人免费视频| 麻豆精品在线视频| 一本一本a久久| 国产精品美女久久久免费| 国产精品视频导航| 在线看日韩欧美| 久久天天躁夜夜躁狠狠躁2022| 激情一区二区三区| 久久精品夜色噜噜亚洲aⅴ| 国内视频精品| 日韩一级精品| 欧美激情一区二区三区四区| 欧美日韩国产色站一区二区三区| 欧美激情精品久久久久久变态| 欧美在线视频免费|