《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 面向數據共享的模型訓練服務系統
面向數據共享的模型訓練服務系統
網絡安全與數據治理 2期
魏宏原1,2,華 蓓1,2,林 飛1,2
(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027; 2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)
摘要: 數據驅動的人工智能應用需要大數據支持,然而現實中因隱私保護等原因,數據往往互不流通,而以孤島形式存在。如何實現數據安全可用是當前亟待解決的問題。設計和實現了面向數據共享的模型訓練服務系統,通過向用戶提供數據功能服務接口而非數據本身,實現數據可用不可見。重點針對資源受限的數據共享平臺,設計了高效的資源分配和作業調度方法,特別是通過自動資源縮放來應對多變的工作負載,達到優化用戶體驗和提高資源利用的目的。實驗表明,相較于常規的作業調度方法,本系統在各種工作負載下都具有響應服務請求快、作業完成時間短的優點。
中圖分類號: TP14
文獻標識碼: A
DOI: 10.20044/j.csdg.2097-1788.2022.02.004
引用格式: 魏宏原,華蓓,林飛. 面向數據共享的模型訓練服務系統[J].網絡安全與數據治理,2022,41(2):20-29.
A model training service system for data sharing
Wei Hongyuan1,2,Hua Bei1,2,Lin Fei1,2
(1.School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China; 2.CAS Key Laboratory of Wireless-Optical Communications,Hefei 230027,China)
Abstract: Data-driven artificial intelligence applications require the support of big data. However, in reality, most of the data do not circulate with each other due to privacy leakage. How to achieve data security and availability is an urgent problem to be solved. This paper designs and implements a data sharing-oriented model training service system. By providing users with data function service interfaces instead of the data itself, data availability is invisible. This paper focuses on resource-constrained data sharing platforms, and designs efficient resource allocation and job scheduling methods, especially through automatic resource scaling to cope with changing workloads, to optimize user experience and improve resource utilization. Experiments show that, compared with the conventional job scheduling method, the system has the advantages of fast response to service requests and short job completion time under various workloads.
Key words : data sharing;model training service;job schedule;resource allocation

0 引言

隨著物聯網、大數據、人工智能技術的發展,以及智慧城市、智慧醫療、電子商務等應用的廣泛普及,每天都有海量的數據產生,這些數據蘊涵了大量有價值的信息。但是另一方面,數據不足正成為當下制約人工智能發展的一大瓶頸。例如,深度神經網絡需要大量數據來訓練,但現實中大多數領域只有少量數據集可用,如自動駕駛只有數個公開數據集,醫學圖像領域不僅數據集少,且每個數據集僅包含數十或數百個病例。造成這種現象的原因主要有兩個方面,一是原始數據必須經過清洗和標注才能使用,而這一過程不僅費時費力,更可能需要專業人士的介入;二是目前各行各業的數據主要由政府和企業在收集,出于行業競爭、數據安全、管理制度等方面的考慮,這些數據不能被共享,形成了許許多多的數據孤島。如何在保護數據和使用數據之間取得平衡,是當下迫切需要解決的問題[1]。

一些企業和機構已經或正在建設數據共享和交易平臺來促進數據流通,如Exchange、數據堂、上海數據交易中心等。但目前這些平臺多以交易數據為主,用戶在付費之后擁有對數據的永久/指定期限訪問權,可以在數據上執行任意計算來挖掘感興趣的信息。這會帶來兩個問題,一是如果這些數據中包含敏感信息,直接開放給用戶下載會帶來數據安全問題;二是難以控制用戶對數據進行非法復制和傳播,數據可能被用于不正當用途。其實很多時候用戶只想利用數據來訓練他們需要的模型,對原始數據本身并不感興趣,向用戶提供數據的功能性服務而非直接提供數據,可以在一定程度上解決數據保護和數據使用之間的矛盾。比如,交通管理部門可在自有的城市出行數據上,為社會學研究人員訓練用于分析人群移動規律的數學模型。

本文提出面向數據共享的模型訓練服務系統,允許機構或企業利用自有數據集和自有計算資源,向用戶提供模型訓練服務(當然機構可以向用戶收費,但這不在本文討論的范圍內)。用戶只需指定需要的數據集并上傳自定義的模型結構(本系統主要考慮深度學習模型),系統可自動完成模型訓練作業,并向用戶返回訓練好的模型,真正實現“數據可用不可見”。提供數據的功能性服務接口而非數據本身,對于消除數據孤島、促進數據安全流通具有極為積極的作用




本文詳細內容請下載http://www.cowatch.cn/resource/share/2000004854




作者信息:

魏宏原1,2,華  蓓1,2,林  飛1,2

(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027;

2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)


微信圖片_20210517164139.jpg

此內容為AET網站原創,未經授權禁止轉載。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          国产精品一区久久久久| 欧美日韩不卡视频| 午夜精品久久久久久久白皮肤| 国产老女人精品毛片久久| 欧美日韩高清区| 亚洲一区二区黄色| 亚洲免费一在线| 欧美国产另类| 久久综合久色欧美综合狠狠| 亚洲日产国产精品| 尤物在线观看一区| 国产一区在线看| 快she精品国产999| 麻豆精品精品国产自在97香蕉| 国产精品入口尤物| 欧美va亚洲va日韩∨a综合色| 欧美日韩精品一区二区天天拍小说| 国产亚洲一级高清| 亚洲视频免费观看| 亚洲国产另类 国产精品国产免费| 精品福利电影| 国产欧美一区二区精品忘忧草| 亚洲春色另类小说| 久久超碰97人人做人人爱| 韩国成人精品a∨在线观看| 欧美乱在线观看| 欧美日韩人人澡狠狠躁视频| 国产一区二区三区久久悠悠色av| 中日韩美女免费视频网站在线观看| 国产精品久在线观看| 在线色欧美三级视频| 国产欧美综合一区二区三区| 蜜臀a∨国产成人精品| 亚洲人成在线免费观看| 国产欧美一级| 欧美成人免费va影院高清| 国产一区二区在线观看免费| 欧美区高清在线| 久久久久久高潮国产精品视| 裸体一区二区| 激情亚洲网站| 国产一区日韩二区欧美三区| 99在线视频精品| 9久草视频在线视频精品| 欧美视频中文一区二区三区在线观看| 国产精品一区二区三区久久久| 裸体歌舞表演一区二区| 亚洲第一福利社区| 国产精品区一区| 亚洲免费在线看| 精品96久久久久久中文字幕无| 性一交一乱一区二区洋洋av| 亚洲精品乱码久久久久久日本蜜臀| 国产一区二区三区精品久久久| 尤物九九久久国产精品的分类| 亚洲欧美日韩精品| 一区二区三区自拍| 亚洲精品美女久久久久| 欧美大成色www永久网站婷| 日韩视频在线观看免费| 国模套图日韩精品一区二区| 亚洲三级毛片| 国产精品国码视频| 在线播放不卡| 欧美日韩亚洲综合在线| 久久精品五月婷婷| 国产一区日韩一区| 国产女精品视频网站免费| 欧美激情一区二区三级高清视频| 国产综合婷婷| 99精品视频网| 欧美日本精品一区二区三区| 国内成人自拍视频| 欧美日韩a区| 国产精品成人一区二区| 亚洲视频久久| 欧美乱在线观看| 亚洲视频一区二区| 一本久久综合亚洲鲁鲁五月天| 欧美日韩亚洲综合在线| 欧美亚洲一区三区| 久热re这里精品视频在线6| 亚洲毛片在线观看| 欧美超级免费视 在线| 在线视频一区观看| 亚洲一级二级在线| 这里只有精品在线播放| 亚洲国产一区二区在线| 久久精品一本久久99精品| 国产精品久久一卡二卡| 亚洲桃色在线一区| 国产一区二区看久久| 国语自产精品视频在线看抢先版结局| 麻豆精品在线视频| 亚洲丰满少妇videoshd| 亚洲一区二区三区视频| 欧美午夜精品久久久久久浪潮| 在线观看视频一区二区| 久久久伊人欧美| 又紧又大又爽精品一区二区| 午夜精品一区二区在线观看| 久久国产精品久久久久久久久久| 欧美在线关看| **欧美日韩vr在线| 一本色道久久综合| 亚洲成色777777在线观看影院| 亚洲黄色三级| 国产乱理伦片在线观看夜一区| 欧美四级剧情无删版影片| 久久精品视频在线观看| 欧美一区二区三区另类| 久久久久一本一区二区青青蜜月| 亚洲国产精品欧美一二99| 欧美精品18| 亚洲色图自拍| 国产精品久久久久一区| 欧美性做爰猛烈叫床潮| 激情成人综合| 欧美精品乱码久久久久久按摩| 国产精品99免视看9| 久久久久久亚洲精品杨幂换脸| 国产婷婷成人久久av免费高清| 国产精品美女www爽爽爽| 欧美性猛交xxxx乱大交蜜桃| 亚洲乱码国产乱码精品精可以看| 久久成人一区二区| 一区二区三区四区五区视频| 免费欧美电影| 欧美成年人在线观看| 亚洲国产一区在线观看| 99热这里只有精品8| 国产精品久久一级| 亚洲欧洲一区二区天堂久久| 久久精品国产69国产精品亚洲| 国产亚洲欧美色| 欧美亚州韩日在线看免费版国语版| 日韩午夜免费| 久久久久欧美精品| 欧美涩涩视频| 亚洲国产精彩中文乱码av在线播放| 国产区在线观看成人精品| 亚洲第一区在线| 久久久久久一区二区| 一区二区三区产品免费精品久久75| 精品1区2区| 欧美日韩一区二区在线| 性做久久久久久免费观看欧美| 一区二区日韩伦理片| 久久午夜色播影院免费高清| 欧美日韩精品一区二区三区| 国产有码在线一区二区视频| 欧美日韩成人一区| 欧美风情在线| 亚洲精品综合精品自拍| 亚洲美女色禁图| 欧美一区二区视频观看视频| 99re8这里有精品热视频免费| 欧美日韩国产综合视频在线观看| 欧美精品一区在线播放| 亚洲精品美女91| 久热精品视频在线观看一区| 久久一区二区三区超碰国产精品| 亚洲欧美综合一区| 韩国三级在线一区| 国产精品国产三级国产专播精品人| 国产一区二区剧情av在线| 在线观看欧美日韩国产| 欧美精品三级日韩久久| 久久野战av| 麻豆91精品91久久久的内涵| 国产精品对白刺激久久久| 欧美精品成人| 欧美日韩精品一区视频| 国内久久精品视频| 亚洲香蕉伊综合在人在线视看| 狠狠久久五月精品中文字幕| 欧美一级大片在线观看| 国产综合精品一区| 久久久久久婷| 欧美成人精品一区| 黄网站色欧美视频| 一区二区免费看| 欧美mv日韩mv国产网站| 国产精品美女主播在线观看纯欲| 在线一区二区三区四区五区| 日韩视频在线观看国产| 亚洲激情六月丁香| 国产毛片久久| 亚洲欧美视频在线观看| 一区在线视频观看| 欧美日韩国产在线| 夜夜嗨av一区二区三区网站四季av| 欧美视频二区36p| 国产精品在线看| 国产日韩视频一区二区三区| 欧美在线一级va免费观看| 亚洲最新视频在线播放| 亚洲人成啪啪网站| 亚洲视频一区二区免费在线观看| 亚洲在线免费观看| 欧美一区二区三区免费观看视频| 久久久天天操| 亚洲美女中文字幕| 欧美成人资源| 国产一级揄自揄精品视频| 久久裸体艺术| 久久精品91久久香蕉加勒比| 日韩视频在线免费观看| 欧美三区在线视频| 狠狠色综合一区二区| 久久国产精品色婷婷| 久久久国产91| 久久精品观看| 国产亚洲精品一区二555| 黄色成人在线观看| 欧美亚洲三级| 亚洲第一福利社区| 欧美日韩高清一区| 狠狠爱综合网| 尤物精品国产第一福利三区| 亚洲另类一区二区| 国产日韩欧美一区在线| 久久一区中文字幕| 国产无一区二区| 欧美高清视频www夜色资源网| 国产精品一二| **性色生活片久久毛片| 国产色爱av资源综合区| 麻豆精品在线视频| 国产日韩av高清| 欧美一区二区三区电影在线观看| 欧美日本不卡视频| 国产一区二区三区在线观看视频| 一区二区欧美国产| 亚洲美女性视频| 欧美久久九九| 一区二区久久| 亚洲国产精品精华液网站| 欧美日韩国产综合视频在线观看| 亚洲国产日韩欧美在线99| 狠狠综合久久| 欧美专区在线观看| 宅男噜噜噜66国产日韩在线观看| 久久精品国产亚洲一区二区三区| 亚洲视频播放| 国产日韩欧美在线看| 欧美成人视屏| 国产一级一区二区| 极品尤物av久久免费看| 欧美高清视频一区二区| 久久亚洲综合色| 欧美黄色精品| 一区二区日韩免费看| 国产欧美日韩一区二区三区在线观看| 欧美性久久久| 99国内精品久久久久久久软件| 久久成人精品| 欧美日韩国产经典色站一区二区三区| 亚洲国产成人午夜在线一区| 亚洲天堂av在线免费观看| 国产精品亚洲а∨天堂免在线| 欧美激情片在线观看| 免费中文日韩| 亚洲综合色自拍一区| 欧美日韩中文在线| 影音先锋另类| 国产九九精品视频| 欧美网站大全在线观看| 欧美一级片在线播放| 欧美三级电影大全| 国产精品午夜av在线| 国产日韩欧美二区| 亚洲一区二区三区免费视频| 国产精一区二区三区| 亚洲天堂网站在线观看视频| 欧美激情精品久久久久久变态| 国产一区二区三区自拍| 亚洲一区免费网站| 日韩午夜中文字幕| 欧美日韩亚洲一区二区三区在线观看| 久久国产精品久久精品国产| 欧美区高清在线| 在线日韩av| 亚洲欧美日韩视频二区| 国产精品视频一区二区三区| 欧美日韩亚洲一区在线观看| 欧美在线观看视频| 久久精品亚洲一区| 欧美一区二区三区播放老司机| 国产亚洲网站| 欧美人在线视频| 欧美日韩一区免费| 欧美成人一区在线| 一区二区三区视频在线看| 欧美午夜视频一区二区| 欧美视频专区一二在线观看| 国内精品视频在线观看| 国产日韩欧美综合一区| 欧美精品一区在线| 欧美精品一区二区三区很污很色的| 亚洲一级二级在线| 国产在线欧美| 在线观看91精品国产入口| 欧美日韩一区二区三区在线看| 久久综合色88| 亚洲日产国产精品| 伊人久久亚洲热| 久久久www免费人成黑人精品| 久久av一区二区三区漫画| 欧美激情a∨在线视频播放| 国产精品久久久久久久久久直播| 在线成人av.com| 欧美三级午夜理伦三级中文幕| 牛牛国产精品| 欧美专区在线| 欧美国产日韩a欧美在线观看| 国产一区二区中文| 欧美性色aⅴ视频一区日韩精品| 麻豆乱码国产一区二区三区| 欧美日韩美女在线| 亚洲视频视频在线| 国产综合久久久久久鬼色| 一区二区三区视频免费在线观看| 国产欧美视频一区二区| 亚洲欧美中文日韩v在线观看| 正在播放亚洲| 亚洲免费观看高清完整版在线观看| 久久精品视频在线免费观看|