《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 解決方案 > 基于FPGA的深度學習加速器綜述:挑戰與機遇

基于FPGA的深度學習加速器綜述:挑戰與機遇

2019-01-24

FPGA神經網絡加速器如今越來越受到 AI 社區的關注,本文對基于 FPGA 的深度學習加速器存在的機遇與挑戰進行了概述。


近年來,神經網絡在各種領域相比于傳統算法有了極大的進步。在圖像、視頻、語音處理領域,各種各樣的網絡模型被提出,例如卷積神經網絡、循環神經網絡。訓練較好的 CNN 模型把 ImageNet 數據集上 5 類頂尖圖像的分類準確率從 73.8% 提升到了 84.7%,也靠其卓越的特征提取能力進一步提高了目標檢測準確率。RNN 在語音識別領域取得了最新的詞錯率記錄??偠灾?,由于高度適應大量模式識別問題,神經網絡已經成為許多人工智能應用的有力備選項。


然而,神經網絡模型仍舊存在計算量大、存儲復雜問題。同時,神經網絡的研究目前還主要聚焦在網絡模型規模的提升上。例如,做 224x224 圖像分類的最新 CNN 模型需要 390 億浮點運算(FLOP)以及超過 500MB 的模型參數。由于計算復雜度直接與輸入圖像的大小成正比,處理高分辨率圖像所需的計算量可能超過 1000 億。


因此,為神經網絡應用選擇適度的計算平臺特別重要。一般來說,CPU 每秒能夠完成 10-100 的 GFLOP 運算,但能效通常低于 1 GOP/J,因此難以滿足云應用的高性能需求以及移動 app 的低能耗需求。相比之下,GPU 提供的巔峰性能可達到 10TOP/S,因此它是高性能神經網絡應用的絕佳選擇。此外,Caffe 和 TensorFlow 這樣的編程框架也能在 GPU 平臺上提供易用的接口,這使得 GPU 成為神經網絡加速的首選。


除了 CPU 和 GPU,FPGA 逐漸成為高能效神經網絡處理的備選平臺。根據神經網絡的計算過程,結合為具體模型設計的硬件,FPGA 可以實現高度并行并簡化邏輯。一些研究顯示,神經網絡模型能以硬件友好的方式進行簡化,不影響模型的準確率。因此,FPGA 能夠取得比 CPU 和 GPU 更高的能效。


回顧 20 世紀 90 年代,那時 FPGA 剛出現,但不是為了神經網絡,而是為了電子硬件原型的快速開發而設計的。由于神經網絡的出現,人們開始探索、改進其應用,但無法確定其發展方向。盡管在 1994 年,DS Reay 首次使用 FPGA 實現神經網絡加速,但由于神經網絡自身發展不夠成熟,這一技術并未受到重視。直到 2012 年 ILSVRC 挑戰賽 AlexNet 的出現,神經網絡的發展漸為明晰,研究社區才開始往更深、更復雜的網絡研究發展。后續,出現了 VGGNet、GoogleNet、ResNet 這樣的模型,神經網絡越來越復雜的趨勢更為明確。當時,研究者開始注意到基于 FPGA 的神經網絡加速器,如下圖 1 所示。直到去年,IEEE eXplore 上發表的基于 FPGA 的神經網絡加速器數量已經達到了 69 個,且還在一直增加。這足以說明該方向的研究趨勢。

微信圖片_20190124200840.jpg


圖 1:基于 FPGA 的神經網絡加速器開發歷史


論文:A Survey of FPGA Based Deep Learning Accelerators: Challenges and Opportunities


微信圖片_20190124200900.jpg


論文地址:https://arxiv.org/abs/1901.04988


摘要:隨著深度學習的快速發展,神經網絡和深度學習算法已經廣泛應用于各個領域,如圖片、視頻和語音處理等。但是,神經網絡模型也變得越來越大,這體現在模型參數的計算上。雖然為了提高計算性能,研究者在 GPU 平臺上已經做了大量努力,但專用硬件解決方案仍是必不可少的,而且與純軟件解決方案相比正在形成優勢。在這篇論文中,作者系統地探究了基于 FPGA 的神經網絡加速器。具體來講,他們分別回顧了針對特定問題、特定算法、算法特征、通用模板的加速器,還比較了不同設備和網絡模型中基于 FPGA 加速器的設計和實現,并將其與 CPU 和 GPU 的版本進行了比較。最后,作者討論了 FPGA 平臺上加速器的優勢和劣勢,并進一步探索了未來研究存在的機會。

微信圖片_20190124200919.jpg


圖 2: 不同數據量化方法的比較

微信圖片_20190124200940.jpg

表 1: 不同平臺上不同模型的性能比較


機遇和挑戰


早在 20 世紀 60 年代,Gerald Estrin 就提出了可重構計算的概念。但是直到 1985 年,第一個 FPGA 芯片才被 Xilinx 引入。盡管 FPGA 平臺的并行性和功耗非常出色,但由于其重構成本高,編程復雜,該平臺沒有引起人們的重視。隨著深度學習的持續發展,其應用的高并行性使得越來越多的研究人員投入到基于 FPGA 的深度學習加速器研究中來。這也是時代的潮流。


基于 FPGA 加速器的優勢


1)高性能,低能耗:高能效的優點不容小覷,之前的許多研究已經證明了這一點。從表 1 中可以看出,GOP/j 在 FPGA 平臺上的表現可以達到在 CPU 平臺上的幾十倍,它在 FPGA 平臺上表現的最低水平與其在 GPU 平臺上的表現處于一個層級。這足以說明基于 FPGA 的神經網絡加速器的高能效優勢。


2)高并行性:高并行性是選擇 FPGA 平臺加速深度學習的主要特性。由于 FPGA 的可編輯邏輯硬件單元,可以使用并行化算法輕松優化硬件,已達到高并行性。


3)靈活性:由于 FPGA 具有可重構性,它可以適用于復雜的工程環境。例如,在硬件設計和應用設計完成之后,通過實驗發現性能未能達到理想狀態??芍貥嬓允沟没?FPGA 的硬件加速器能夠很好地處理頻繁的設計變更并滿足用戶不斷變化的需求。因此,與 ASIC 平臺相比,這種靈活性也是 FPGA 平臺的亮點。


4)安全性:當今的人工智能時代需要越來越多的數據用于訓練。因此,數據的安全性越來越重要。作為數據的載體,計算機的安全性也變得更加顯著。目前,一提到計算機安全性,想到的都是各種殺毒軟件。但是這些軟件只能被動地防御,不能消除安全風險。相比之下,從硬件架構層級著手能夠更好地提高安全性。


基于 FPGA 的加速器的劣勢


1)可重構成本:FPGA 平臺的可重構性是一把雙刃劍。盡管它在計算提速方面提供了許多便利,但是不同設計的重構所消耗的時間卻不容忽視,通常需要花幾十分鐘到幾個小時。此外,重構過程分為兩種類型:靜態重構和動態重構。靜態重構,又叫編譯時重構,是指在任務運行之前配置硬件處理一個或多個系統功能的能力,并且在任務完成前將其鎖定。另一個也稱為運行時配置。動態重構是在上下文配置模式下進行的。在執行任務期間,硬件模塊應該按照需要進行重構。但是它非常容易延遲,從而增加運行時間。


2)編程困難:盡管可重構計算架構的概念被提出很久了,也有很多成熟的工作,但可重構計算之前并未流行起來。主要有兩個原因:


從可重構計算的出現到 21 世紀初的 40 年時間是摩爾定律的黃金時期,其間技術每一年半更迭一次。所以這種架構更新帶來的性能提升不像技術進步那么直接、有力;

對成熟的系統而言,在 CPU 上傳統的編程采用高階抽象編程語言。但是,可重構計算需要硬件編程,而通常使用的硬件編程語言(Verilog、VHDL)需要程序員花費大量時間才能掌握。


期望


盡管基于 FPGA 的神經網絡加速器仍舊有這樣、那樣的問題,但其未來發展依然可期。以下幾個方向仍然有待研究:


優化計算流程中的其他部分,現在,主流研究聚焦在矩陣運算回路,激活函數的計算少有人涉及。

訪問優化。需要進一步研究進行數據訪問的其他優化方法。

數據優化。使用能夠自然提升平臺性能的更低位數據,但大部分的低位數據使得權重和神經元的位寬一樣。圖 2 還可以改進與非線性映射的位寬差。所以,應該探索出更好的平衡態。

頻率優化。當前,大部分 FPGA 平臺的運算頻率在 100-300MHz,但 FPGA 平臺理論上的運算頻率可以更高。這一頻率主要受限于片上 SRAM 和 DSP 之間的線程。未來研究需要找到是否有方式避免或者解決該問題。

FPGA 融合。據參考論文 37 中提到的表現,如果規劃和分配問題能夠得到良好解決,多 FPGA 集群可以取得更好的結果。此外,當前此方向沒有太多研究。所以非常值得進一步探索。

自動配置。為了解決 FPGA 平臺上復雜的編程問題,如果做出類似英偉達 CUDA 這樣的用戶友好的自動部署框架,應用范圍肯定會拓寬。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          国产精品成人一区二区网站软件| 国产精品国产福利国产秒拍| 欧美三级视频在线观看| 欧美韩国在线| 亚洲国产婷婷香蕉久久久久久99| 国产精品视频xxxx| 国产亚洲综合精品| 日韩视频在线免费| 亚洲成人在线视频播放| 亚洲国产精品一区二区www| 国产精品第13页| 久久久精品日韩| 国产精品揄拍一区二区| 欧美日韩免费观看中文| 模特精品裸拍一区| 一区二区三区免费在线观看| 欧美喷潮久久久xxxxx| 日韩视频精品在线观看| 欧美亚州在线观看| 欧美性大战久久久久| 国产毛片一区| 亚洲手机在线| 在线日韩成人| 久久一二三区| 国产精品久久久久一区二区三区共| 亚洲国产99精品国自产| 性感少妇一区| 影音先锋久久久| 亚洲亚洲精品三区日韩精品在线视频| 欧美日韩国产美| 午夜精品福利一区二区三区av| 韩国v欧美v日本v亚洲v| 欧美gay视频激情| 欧美午夜视频| 亚洲三级影片| 久久久国产精彩视频美女艺术照福利| 欧美成人精品一区二区| 欧美精品一区二区高清在线观看| 亚洲三级免费| 亚洲人成啪啪网站| 在线观看日韩av电影| 亚洲第一毛片| 欧美日韩无遮挡| 欧美在线观看视频一区二区| 国产一区二区精品在线观看| 国产热re99久久6国产精品| 国产亚洲欧美日韩日本| 欧美国产精品| 激情av一区二区| 国产精品日韩精品欧美精品| 亚洲国产美女久久久久| 亚洲欧洲免费视频| 一区二区三区不卡视频在线观看| 黄色成人91| 国产亚洲一级高清| 国产在线不卡视频| 欧美精品久久一区二区| 欧美视频你懂的| 久久精品男女| 老色批av在线精品| 亚洲国产一区二区三区青草影视| 国产精品99久久久久久久女警| 在线播放不卡| 欧美日韩一二区| 嫩草影视亚洲| 在线观看国产精品淫| 欧美日韩在线免费观看| 国产精品你懂得| 欧美色图首页| 91久久一区二区| 欧美四级在线观看| 国产精品热久久久久夜色精品三区| 欧美另类高清视频在线| 欧美精品一区二区三区在线看午夜| 欧美第一黄色网| 国产一区二区久久久| 亚洲精品国产精品乱码不99按摩| 国产精品一区久久久久| 红桃视频欧美| 欧美激情精品久久久六区热门| 国产精品久久77777| 欧美日韩精品免费观看视频| 久久精品一区二区| 欧美一区二区高清| 亚洲一本视频| 在线视频欧美日韩| 一区二区三区四区五区精品| 欧美偷拍一区二区| 欧美在线观看视频一区二区| 久久在线免费观看| 欧美激情成人在线| 国产精品久久二区二区| 国产麻豆精品久久一二三| 日韩午夜电影av| 一区二区冒白浆视频| 亚洲欧美日韩精品久久久久| 国产精品久久久久久久久婷婷| 欧美一区成人| 男女av一区三区二区色多| 国产精品欧美日韩一区二区| 亚洲一区综合| 欧美电影在线观看| 一区二区三区自拍| 亚洲欧美在线高清| 欧美激情精品久久久久久黑人| 老司机精品视频一区二区三区| 欧美午夜激情小视频| 国产美女精品视频免费观看| 亚洲人成在线免费观看| 亚洲欧洲日产国产网站| 午夜精品久久久久久久99水蜜桃| 欧美日韩精品在线视频| 精品1区2区3区4区| 欧美日韩久久久久久| 欧美aaa级| 欧美成人激情视频免费观看| 一区一区视频| 伊人久久久大香线蕉综合直播| 亚洲一区免费| 久久天天躁夜夜躁狠狠躁2022| 亚洲人成网站在线观看播放| 影音先锋一区| 新片速递亚洲合集欧美合集| 亚洲女人天堂av| 亚洲欧洲日韩在线| 欧美日韩国产精品自在自线| 久久久久欧美精品| 一二三区精品| 久久午夜羞羞影院免费观看| 国产麻豆精品久久一二三| 亚洲国产精品v| 久久久久久久久久看片| 欧美三级电影一区| 久久久久久噜噜噜久久久精品| 欧美一区日本一区韩国一区| 久久久97精品| 一本色道久久| 99精品国产福利在线观看免费| 欧美在线地址| 国产亚洲精品久久久久婷婷瑜伽| 欧美肥婆bbw| 国产日韩欧美制服另类| 久久久久久穴| 欧美喷潮久久久xxxxx| 国产精品永久| 欧美一区二区视频97| 午夜综合激情| 亚洲一区二区久久| 一区二区三区欧美视频| 亚洲免费一级电影| 亚洲每日在线| 一本色道88久久加勒比精品| 欧美日韩在线播放一区| 在线一区日本视频| 欧美激情第10页| 国产精品午夜国产小视频| 伊人狠狠色丁香综合尤物| 亚洲一区欧美二区| 亚洲在线观看免费| 亚洲电影在线| 亚洲精品乱码久久久久久按摩观| 99精品国产在热久久下载| 欧美va亚洲va日韩∨a综合色| 亚洲高清在线视频| 精品99一区二区| 亚洲大胆女人| 亚洲第一网站免费视频| 久久偷窥视频| 久久亚洲色图| 欧美一区二区三区久久精品| 久久久青草青青国产亚洲免观| 欧美成人午夜剧场免费观看| 狂野欧美一区| 夜夜狂射影院欧美极品| 欧美性事免费在线观看| 久久亚洲精品中文字幕冲田杏梨| 欧美成人资源| 国产目拍亚洲精品99久久精品| 国产精品美女久久福利网站| 免费观看成人| 亚洲精品一区二区在线观看| 一区在线视频观看| 亚洲国产精品第一区二区三区| 国产精品久久777777毛茸茸| 在线观看91精品国产入口| 日韩写真视频在线观看| 国产精品色网| 亚洲欧洲在线免费| 久久国产精品一区二区三区四区| 国产在线视频欧美一区二区三区| 欧美成人在线免费观看| 在线视频精品一区| 午夜在线电影亚洲一区| 免费不卡亚洲欧美| 欧美午夜精品久久久久久久| 亚洲欧美成人网| 久久久久久国产精品mv| 久久久精品国产免费观看同学| 欧美激情一区二区三区在线视频| 久久久久久夜精品精品免费| 久久综合色天天久久综合图片| 免费成年人欧美视频| 亚洲第一偷拍| 久久久久亚洲综合| 亚洲系列中文字幕| 国产视频综合在线| 久久香蕉精品| 欧美日韩精品免费观看视一区二区| 亚洲高清成人| 国产欧美亚洲视频| 亚洲国产精品成人综合色在线婷婷| 久久久91精品国产| 亚洲黄色在线看| 国产精品sm| a4yy欧美一区二区三区| 欧美人在线视频| 亚洲男人天堂2024| 99国产精品久久久久久久久久| 一区二区三区波多野结衣在线观看| 久久精品视频在线观看| 激情91久久| 国产精品久久一区二区三区| 亚洲欧美日韩精品综合在线观看| 亚洲欧美久久久久一区二区三区| 久久视频国产精品免费视频在线| 伊人成综合网伊人222| 在线视频免费在线观看一区二区| 欧美在线观看天堂一区二区三区| 久久久久91| 久久日韩粉嫩一区二区三区| 欧美一区二区三区婷婷月色| 久久久www免费人成黑人精品| 国产日本精品| 亚洲欧美国产精品va在线观看| 亚洲一区二区久久| 国产欧美日韩中文字幕在线| 99国产精品久久久久老师| 在线视频亚洲一区| 欧美亚洲三区| 在线精品一区| 亚洲第一区在线观看| 欧美亚洲视频在线看网址| 在线播放亚洲一区| 国产精品丝袜xxxxxxx| 欧美伊久线香蕉线新在线| 久久亚洲电影| 美女视频黄a大片欧美| 久久偷看各类wc女厕嘘嘘偷窃| 99精品视频免费在线观看| 午夜性色一区二区三区免费视频| 亚洲国产另类久久精品| 欧美日韩国产二区| 欧美一级片在线播放| 久久久久久尹人网香蕉| 久久精品噜噜噜成人av农村| 午夜激情亚洲| 欧美日韩黄视频| 久久激情中文| 亚洲成在人线av| 国产伦精品一区二区三区视频孕妇| 久久激情五月激情| 欧美黄色一级视频| 欧美日韩国产经典色站一区二区三区| 国产精品免费一区二区三区在线观看| 亚洲欧洲日韩综合二区| 日韩亚洲欧美精品| 狠狠操狠狠色综合网| 免费的成人av| 欧美精品日韩www.p站| 欧美日韩国产精品自在自线| 亚洲香蕉在线观看| 欧美日韩国产精品成人| 久久综合色一综合色88| 久久久久se| 欧美日韩国产综合视频在线观看| 老司机午夜精品视频在线观看| 欧美色视频一区| 欧美日韩国产一区二区三区| 久久gogo国模啪啪人体图| 国产精品乱人伦一区二区| 国产日韩欧美电影在线观看| 一区在线免费| 亚洲欧洲三级| 欧美肉体xxxx裸体137大胆| 亚洲视频一区在线| 欧美视频亚洲视频| 欧美日本国产视频| 欧美激情精品久久久六区热门| 亚洲自拍高清| 欧美日韩亚洲高清| 玖玖视频精品| 欧美日韩视频专区在线播放| 国产精品永久免费观看| 亚洲综合精品| 亚洲国产综合视频在线观看| 久久精品免费| 亚洲二区视频| 亚洲欧美国产制服动漫| 欧美一区中文字幕| 亚洲一区二区三区四区五区黄| 国产欧美日韩另类一区| 久久久久久综合| 国产精品乱码久久久久久| 亚洲一区二区伦理| 久久一本综合频道| 国产精品播放| 国产精品综合| 亚洲电影专区| 欧美一区二区视频在线| 99精品热视频只有精品10| 亚洲日本中文字幕免费在线不卡| 亚洲天堂黄色| 欧美视频免费| 欧美日韩成人在线视频| 亚洲人被黑人高潮完整版| 欧美大胆人体视频| 99热精品在线| 国产精品免费福利| 卡通动漫国产精品| 久久gogo国模啪啪人体图| 亚洲精品国久久99热| 欧美三日本三级三级在线播放| 亚洲无线视频| 鲁大师影院一区二区三区| 欧美成人午夜免费视在线看片| 国产精品中文字幕在线观看| 欧美成人福利视频| 国产亚洲成年网址在线观看|