基于動態均衡技術的海量異構數據高并發可靠接入方法
網絡安全與數據治理
趙勛，周成勝，靳文京，劉曉曼，王桂溫
中國信息通信研究院安全研究所，北京100191
摘要： 隨著大數據時代的到來，海量異構數據的高并發可靠接入成為了一個亟待解決的問題。提出了一種基于動態均衡技術的海量異構數據高并發可靠接入方法。該方法采用去中心化的任務分配機制實現海量數據源接入；針對各類異構數據源設計了基于HTTPS、SFTP、Kafka等多樣化采集手段及相應的節點分配和回收機制；采用動態負載均衡策略對采集資源進行實時調整，以適應不斷變化的數據負載，實現高并發處理。該研究為實現海量異構數據的高效、可靠接入提供了一種有效的解決方法。
中圖分類號：TP393.08文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2023.12.010
引用格式：趙勛，周成勝，靳文京，等.基于動態均衡技術的海量異構數據高并發可靠接入方法［J］.網絡安全與數據治理，2023，42（12）：60-66.
引用格式：趙勛，周成勝，靳文京，等.基于動態均衡技術的海量異構數據高并發可靠接入方法［J］.網絡安全與數據治理，2023，42（12）：60-66.
High concurrency and reliable access method for massive heterogeneous data based on dynamic balancing technology
Zhao Xun, Zhou Chengsheng, Jin Wenjing, Liu Xiaoman,Wang Guiwen
Institute of Security, China Academy of Information and Communications Technology, Beijing 100191, China
Abstract： With the arrival of the era of big data, the highly concurrent and reliable access of massive heterogeneous data has become an urgent problem. This paper proposes a high concurrent and reliable access method for massive heterogeneous data based on dynamic balance technology. The method adopts decentralized task allocation mechanism to access massive data sources. For various heterogeneous data sources, a variety of collection methods based on HTTPS, SFTP, Kafka, and corresponding node allocation and recovery mechanisms are designed. The dynamic load balancing strategy is used to adjust the collection resources in real time to adapt to the changing data load and achieve high concurrency processing. This research provides an effective solution for the efficient and reliable access of massive heterogeneous data.
Key words : massive heterogeneous data; high concurrency; dynamic load balancing strategy
引言
隨著計算機信息技術、互聯網與物聯網技術的快速發展，各類數據資源呈現爆發式增長，海量數據的產生和積累已成為一種不可避免的趨勢。這些數據往往具有多源異構、分布廣泛、動態增長等特點［1］，如傳感器數據、社交網絡數據、視頻數據等，稱其為海量異構數據。在眾多領域，海量異構數據并發接入已成為一個重要且具有挑戰性的問題［2-4］。為了更好地管理和處理這些數據，需要研究和設計高效的數據并發接入技術和策略，以實現數據的快速處理、分析和應用。在數據接入系統設計方面，已有研究人員在物聯網、車輛交通、電網調度等領域分別對于物聯網設備數據采集［5］、列車網絡設備實時數據采集［6］、電網智能調度數據采集［7］進行了系統設計，用來解決海量數據接入處理問題，但是這些系統設計均是針對特定的業務場景提出，缺少一定的通用性。在海量異構數據接入過程中，如何在高并發接入的場景下依然能夠確保接入系統穩定可靠運行是數據接入系統設計面臨的主要挑戰。在有限的集群資源前提下，當海量異構高并發數據產生接入任務時，只有將接入任務合理分配并且快速執行，才能保證數據的順利接入。
作者信息
趙勛，周成勝，靳文京，劉曉曼，王桂溫
（中國信息通信研究院安全研究所，北京100191）
文章下載地址：http://www.cowatch.cn/resource/share/2000005878
此內容為AET網站原創，未經授權禁止轉載。