《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 一種基于Simhash算法的重復域名數據去重方法
一種基于Simhash算法的重復域名數據去重方法
信息技術與網絡安全 4期
侯開茂,韓慶敏,吳云峰,黃 兵,張久發,柴處處
(中國電子信息產業集團有限公司第六研究所,北京100083)
摘要: 隨著數字科學技術的發展,各領域需要傳輸和存儲的數據量急劇上升。然而傳輸和存儲的數據中重復數量占據了很大的比例,這不僅會增加使用數據的成本,也會影響處理數據的效率。域名是一種存儲量大而且對處理速率有極高要求的數據,為了節約域名解析系統的存儲成本,提高傳輸效率,本文在原有數據去重技術的基礎上,引入了Simhash算法,結合域名數據的結構特征,改進數據分詞和指紋值計算方式,提出了一種基于Simhash算法的重復域名數據去重方法。實驗結果表明,相比于傳統的數據去重技術,該方法對刪除重復域名數據效率更高,具有較好的實際應用價值。
中圖分類號: TP391
文獻標識碼: A
DOI: 10.19358/j.issn.2096-5133.2022.04.011
引用格式: 侯開茂,韓慶敏,吳云峰,等. 一種基于Simhash算法的重復域名數據去重方法[J].信息技術與網絡安全,2022,41(4):71-76.
Method for deleting duplicate domain name data based on Simhash algorithm
Hou Kaimao,Han Qingmin,Wu Yunfeng,Huang Bing,Zhang Jiufa,Chai Chuchu
(The 6th Research Institute of China Electronics Corporation,Beijing 100083,China)
Abstract: With the development of digital science and technology, the amount of data that needs to be transmitted and stored in various fields has risen sharply. However, the number of repetitions in these data occupies a large proportion. This not only increases the cost of using data, but also reduces the efficiency of data processing. Domain name is a kind of data with large storage capacity and extremely high requirements for processing speed. In order to save storage cost and improve transmission efficiency, this paper proposes a method for deleting duplicate domain name data based on Simhash algorithm. Compared with the traditional data deduplication technology, this method combines the structural characteristics of the domain name data, and introduces the Simhash algorithm to design a deduplication method for the domain name data. The experimental results show that compared with the traditional data deduplication technology, this method is more efficient in deleting duplicate domain name data and has better practical application value.
Key words : data deduplication;domain name;Simhash;data block

0 引言

隨著電子信息技術的發展,各行各業都產生了大量的數據信息,根據國際數據公司(International Data Corporation,IDC)的最新預測:到2023年,中國的數據量將達到40 ZB,并且隨著5G技術的普及,數據量增長將會迎來又一個新的高潮[1]。有研究發現,這些數據中超過60%都是重復冗余數據[2],傳輸和存儲這些冗余數據不僅造成了存儲資源和網絡資源的嚴重浪費,也降低了使用數據的效率。并且隨著時間推移,這些數據帶來的冗余問題會越來越嚴重。域名[3](Domain Name)作為互聯網中頻繁使用的數據類型之一,是一種特殊的數據形式,其對字符的變化敏感度極高,一個字符的變化往往會對使用結果產生嚴重的影響。因此,處理重復域名數據需要采用精確而且高效的去重技術。

已有重復數據處理技術中,完全文件檢測(Whole File Detection,WFD)技術[4]無法對內容進行查重處理,固定分塊(Fixed-Sized Partition,FSP)檢測技術、可變分塊檢測技術和滑動塊檢測技術都是針對數據共有特征的粗粒度去重,直接用于重復域名的處理效果并不理想。因此,本文在已有重復數據檢測技術的基礎上,引入Simhash算法,結合域名數據的結構特征,改進計算文本特征值的方式,提出了一種基于Simhash算法的重復域名數據去重方法。經過實驗對比看出,該方法對于處理重復域名數據效果更好,同時在時間開銷上也和原有技術差別不大,對于處理重復域名數據具有比傳統去重技術更好的實用價值。






本文詳細內容請下載:http://www.cowatch.cn/resource/share/2000004102






作者信息:

侯開茂,韓慶敏,吳云峰,黃  兵,張久發,柴處處

(中國電子信息產業集團有限公司第六研究所,北京100083)




微信圖片_20210517164139.jpg

此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          亚洲一区二区视频| 欧美a级大片| 欧美日韩一区不卡| 亚洲国内精品在线| 99re热这里只有精品免费视频| 国产精品二区三区四区| 亚洲一区国产一区| 激情久久影院| 亚洲人成在线观看| 免费日韩精品中文字幕视频在线| 国产精品腿扒开做爽爽爽挤奶网站| 樱桃视频在线观看一区| 欧美一区二区三区成人| 一区二区三区偷拍| 一区二区三区高清视频在线观看| 欧美精品二区| 久久久久国色av免费看影院| 美女精品网站| 一本一本久久a久久精品综合麻豆| 亚洲特级毛片| 国产精品一二一区| 女女同性女同一区二区三区91| 欧美视频一区二区三区四区| 欧美性理论片在线观看片免费| 久久成人精品视频| 亚洲美女福利视频网站| 狂野欧美激情性xxxx欧美| 一区二区三区精品在线| 亚洲精品国偷自产在线99热| 久久人人爽爽爽人久久久| 裸体一区二区三区| 亚洲欧美综合| 久久免费黄色| 久久激情五月婷婷| 亚洲国产日韩欧美| 欧美色视频日本高清在线观看| 亚洲国产成人精品女人久久久| 久久在线精品| 精品动漫3d一区二区三区免费版| 欧美在线亚洲综合一区| 在线观看成人小视频| 欧美福利一区二区三区| 欧美体内谢she精2性欧美| 狠狠色狠狠色综合日日小说| 亚洲区一区二区三区| 亚洲国产欧美另类丝袜| 欧美激情久久久久| 最近看过的日韩成人| 欧美一区2区视频在线观看| 一区二区三区日韩欧美| 免费在线视频一区| 国内一区二区三区在线视频| 亚洲精品123区| 亚洲电影自拍| 在线视频欧美一区| 欧美激情久久久久| 久久视频这里只有精品| 韩国成人福利片在线播放| 夜夜嗨一区二区| 国产日韩av在线播放| 国产精品久久精品日日| 亚洲一区二区三| 亚洲一区二区成人| 国内成人精品视频| 国内精品久久久久久久影视蜜臀| 艳女tv在线观看国产一区| 亚洲欧美日韩一区在线| 极品中文字幕一区| 黑人一区二区| 亚洲黄色免费电影| 亚洲第一成人在线| 欧美日韩国产一区二区| 欧美三级精品| 欧美日韩p片| 欧美精品成人一区二区在线观看| 一本大道久久a久久综合婷婷| 欧美在线免费观看视频| 一本久久a久久精品亚洲| 欧美激情 亚洲a∨综合| 亚洲毛片网站| 欧美一区二区私人影院日本| 国产精品二区在线| 一区二区三区亚洲| 亚洲午夜未删减在线观看| 精品粉嫩aⅴ一区二区三区四区| 欧美一区二区三区日韩视频| 欧美激情视频一区二区三区在线播放| 一本色道**综合亚洲精品蜜桃冫| 久久一区二区三区四区| 国产精品久久二区| 欧美精品一区二区三区一线天视频| 久久综合久久综合九色| 国产精品免费一区豆花| 亚洲国产日韩精品| 狂野欧美性猛交xxxx巴西| 亚洲精品一区二区三区蜜桃久| 欧美一区二区三区在线播放| 国产亚洲精品久久飘花| 亚洲午夜黄色| 久久爱另类一区二区小说| 99精品欧美一区| 欧美v国产在线一区二区三区| 久久只精品国产| 亚洲欧美中文字幕| 久久av一区二区三区| 国精品一区二区三区| 一区久久精品| 欧美.日韩.国产.一区.二区| 一区二区三区免费观看| 亚洲啪啪91| 欧美裸体一区二区三区| 国产一级揄自揄精品视频| 欧美日韩一级大片网址| 一区二区三区在线不卡| 久久久久久黄| 欧美精选午夜久久久乱码6080| 欧美.日韩.国产.一区.二区| 欧美日本国产一区| 欧美人交a欧美精品| 亚洲影视在线| 亚洲国产一区二区精品专区| 日韩亚洲欧美中文三级| 国产精品卡一卡二卡三| 欧美片在线播放| 亚洲国产精品一区二区三区| 欧美电影免费观看高清完整版| 久久精品国产亚洲精品| 在线观看日韩欧美| 亚洲综合视频在线| 久久成人18免费观看| 亚洲国产美国国产综合一区二区| 国产精品一区二区三区久久久| 欧美日韩不卡一区| 国产日韩欧美不卡| 国产美女一区| 亚洲日本成人女熟在线观看| 国产欧美精品久久| 欧美精品激情| 性色av一区二区三区红粉影视| 国产一区二区三区免费不卡| 国产精品多人| 99re6这里只有精品视频在线观看| 国产精品一区一区| 欧美日韩一区二区在线观看视频| 亚洲福利国产| 欧美精品一区二区久久婷婷| 国产精品久久久久久久久久直播| 国产精品国产三级国产| 一区在线免费| 亚洲一区成人| 欧美精品二区三区四区免费看视频| 欧美成人一区二区三区片免费| 99国产精品久久久久久久| 欧美激情精品久久久久久久变态| 久久精品亚洲乱码伦伦中文| 国产精品九九| 久久久久久久激情视频| 一区二区三区产品免费精品久久75| 国产日韩欧美黄色| 久久久另类综合| 免费亚洲电影在线| 激情欧美一区二区三区| 一区二区三区|亚洲午夜| 亚洲欧美精品在线| 欧美三日本三级少妇三2023| 久久人人爽爽爽人久久久| 国产精品www| 欧美日韩不卡一区| 欧美日韩卡一卡二| 久久久久成人精品免费播放动漫| 午夜一级久久| 亚洲自啪免费| aaa亚洲精品一二三区| 久久婷婷av| 欧美伊人久久久久久久久影院| 亚洲人成啪啪网站| 在线播放中文字幕一区| 欧美日韩一区三区| 日韩视频免费观看高清完整版| 国内成人精品视频| 国产主播在线一区| 久久精品一区蜜桃臀影院| 亚洲资源在线观看| 欧美精品亚洲精品| 一区视频在线播放| 在线亚洲免费视频| 香蕉av福利精品导航| 免费不卡视频| 亚洲二区在线观看| 亚洲视频精选| 国内精品免费在线观看| 久久精品在线免费观看| 亚洲欧美综合国产精品一区| 国产一区二区看久久| 欧美怡红院视频一区二区三区| 1024欧美极品| 久久综合伊人77777麻豆| 亚洲欧美区自拍先锋| 久久精品视频在线免费观看| 亚洲图片在区色| 亚洲国产日韩欧美综合久久| 裸体歌舞表演一区二区| 在线欧美视频| 日韩午夜精品视频| 久久久久成人精品免费播放动漫| 国产精品国产三级国产| 另类亚洲自拍| 美国三级日本三级久久99| 欧美在线免费观看亚洲| 亚洲一区www| 99视频一区二区三区| 亚洲三级色网| 亚洲成人在线| 亚洲国产欧美国产综合一区| 久久久久久久久久久一区| 国产一区二三区| 合欧美一区二区三区| 欧美亚洲色图校园春色| 欧美亚一区二区| 欧美日韩国产精品一区| 欧美一二三视频| 亚洲天堂网站在线观看视频| 久久亚洲色图| 久久本道综合色狠狠五月| 亚洲美女中出| 亚洲欧美日韩直播| 国产精品高潮呻吟久久| 国产欧美视频一区二区三区| 先锋影音一区二区三区| 国产一区二区成人久久免费影院| 亚洲高清不卡av| 国产欧美日韩一区二区三区| 国产精品欧美在线| 亚洲午夜精品久久久久久app| 在线看日韩欧美| 久久aⅴ国产欧美74aaa| 一区二区三区蜜桃网| 国产精品va在线播放我和闺蜜| 欧美刺激性大交免费视频| 欧美日韩亚洲综合在线| 久久一区二区精品| 欧美黄色一区| 欧美一区二区三区在线播放| av成人黄色| 激情视频一区| 国产精品成人va在线观看| 国产欧美日韩在线观看| 性色av一区二区怡红| 国产日韩欧美日韩大片| 在线亚洲一区二区| 欧美日韩国产不卡在线看| 亚洲网站在线观看| 国产麻豆一精品一av一免费| 国产精品国产三级国产aⅴ入口| 精品999成人| 欧美精品免费在线观看| 亚洲日本成人网| 欧美婷婷在线| 亚洲国内在线| 精品动漫3d一区二区三区免费版| 欧美区视频在线观看| 国产字幕视频一区二区| 亚洲国产一区二区三区a毛片| 久久岛国电影| 欧美日韩国产小视频| 亚洲一卡久久| 久久国产一二区| 国产精品国产三级国产| 亚洲黄色精品| 国一区二区在线观看| 欧美日韩色综合| 国产一区二区精品在线观看| 久久亚洲国产精品一区二区| 久久亚洲影院| 国产一区二区三区直播精品电影| 开元免费观看欧美电视剧网站| 欧美激情亚洲精品| 欧美日韩亚洲一区二区三区在线观看| 亚洲欧美日韩在线高清直播| 9l视频自拍蝌蚪9l视频成人| 美日韩精品免费观看视频| 国产亚洲美州欧州综合国| 国产精品视频999| 欧美日韩中文在线观看| 久久一区二区三区四区五区| 在线观看日韩专区| 激情国产一区二区| 欧美久久久久中文字幕| 性视频1819p久久| 欧美一级视频一区二区| 亚洲七七久久综合桃花剧情介绍| 一区二区日韩免费看| 亚洲日本欧美在线| 久久久久综合| 欧美一级欧美一级在线播放| 午夜影视日本亚洲欧洲精品| 国产麻豆综合| 国产亚洲一区二区在线观看| 亚洲电影一级黄| 亚洲国产三级| 极品裸体白嫩激情啪啪国产精品| 欧美日韩国产成人在线观看| 亚洲韩国日本中文字幕| 巨胸喷奶水www久久久免费动漫| 久久视频在线视频| 亚洲一区在线视频| 欧美日韩hd| 一区电影在线观看| 亚洲免费av网站| 亚洲欧洲一二三| 国产精品亚洲综合久久| 影音先锋在线一区| 国产麻豆9l精品三级站| 国产一区欧美日韩| 99re66热这里只有精品3直播| 销魂美女一区二区三区视频在线| 国产欧美日韩在线视频| 欧美日韩成人精品| 国产精品一国产精品k频道56| 欧美视频日韩| 欧美在线一二三区| 国产精品毛片高清在线完整版| 久久精品国产亚洲高清剧情介绍| 久久综合九色综合网站| 亚洲欧美日本在线| 久久综合导航| 黄色亚洲在线| 欧美ed2k|