《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 業界動態 > FPGA與深度學習的關系究竟是什么?

FPGA與深度學習的關系究竟是什么?

2018-07-09
關鍵詞: FPGA 深度學習 Altera

  人工智能的風潮從技術一路蔓延到硬件,讓“芯片”成為今年行業里盛極一時的主題。人們關注通用芯片領域里CPU和GPU不斷刷新的基準(benchmark),更對專用芯片(ASIC)領域不同場景下不斷問世的解決方案表示出了空前的熱情。

  而眾所周知,在專用芯片與通用芯片中間,還有一個更為靈活,也更為神秘的領域:FPGA。無論是英特爾天價的收購還是微軟與 IBM 雄心勃勃的計劃,都讓人對其更加好奇。而“萬能芯片”的名稱,以及多樣化的職責范圍:它可以是智能手機里不起眼的一個小組件,也可以是數千美金一塊的開發板,也讓人對其真面目更加疑惑。

  FPGA 與深度學習的關系究竟是什么?它適合加速何種類型的運算?適合應用于何種場景?6 月,機器之心采訪了美國伊利諾伊大學香檳分校電氣與計算機工程系(UIUC ECE)教授、深度學習算法硬件加速解決方案創業公司 Inspirit IoT 創始人陳德銘,與他聊了聊“萬能芯片”FPGA 在深度學習領域的用法。陳教授于近期宣布兼任國內計算機視覺領域創業公司觸景無限的首席科學家。

  以下為采訪實錄。

  機器之心:從算法的角度,FPGA 適合于加速哪些運算?

  FPGA 的優勢在于可定制化的并行。它可以為了特定算法專門定制邏輯單元。例如,算法中需要完成一個開三次方的運算,在通用芯片上需要一長串指令實現它,但是在 FPGA 上可以為這個特定運算設計一個單元。

  定制化的一個“極限”的例子是,如果能夠把神經網絡中的參數全部二值化、特征圖(feature map)也全部二值化,那么甚至可以不用乘法器,而是用異或門(XOR gate)完成計算,會有異常強大的表現。即使不全部二值化,因為全部二值化會讓準確度明顯下降,只要合理使用各種低位寬的運算,仍可以讓 FPGA 大放異彩。比如在我們最近和 IBM 合作的 ELB-NN 項目中,我們可以在功耗低于 5 瓦的情形下,讓神經網絡在 FPGA 上的算力達到 10.3 TOPS,同時依然維持非常高的準確度。

  另一個例子是微軟的 Brainwave FPGA 項目,通過使用特殊的 8-bit 的浮點運算,可以在高容量的 FPGA 上達到 40 TOPS。

  值得一提的是,LSTM 等神經網絡每一步操作都很相似,這種整體運算過程是序列的算法也非常適用于用 FPGA 進行加速。FPGA 非常擅長處理流數據,可以設計流水線機制,使得在運算過程中不需要將中間數據存入內存而是直接送到下一步進行操作。

  機器之心:相比于其他芯片,FPGA 在實現深度學習模型時有哪些結構帶來的優勢?

  FPGA 的引腳比一般的芯片多,同時它的邏輯單元可以完全根據算法要求來重組從而產生定制化的數據通路(datapath),因此非常適合處理大批量流數據。它不像 GPU 一樣需要反復調取片外存儲中的數據,理想狀態時,只要數據一次性流進去再流出來,算法就完成了,因此,FPGA 非常適合具有低延遲需求的任務。

  另外 FPGA 的速度快、功率低的特點也讓它在能耗方面相比于 CPU、GPU 也有很大優勢。

  比如我們在 FPGA 上實現了長期循環卷積網絡(Long-term Recurrent ConvoluTIonal Network),它的速度 ( latency ) 比 GPU 快 3.1 倍,FPGA 的功率比 GPU 小 5.6 倍,最終整體能耗降低 17 倍左右。

  機器之心:從行業的角度,FPGA 都能夠用于哪些機器學習與深度學習任務的加速?

  在終端,有些自動駕駛公司的車上系統中就采用了 FPGA 完成一些實時檢測識別任務。例如,我曾經代表 UIUC 與小鵬汽車的副總裁、機器學習專家谷俊麗女士交流,她提到,FPGA 可以憑借信號處理和低能耗方面的優勢,成為一個可靠的第二系統,在汽車的第一系統出現失誤的時候,作為安全模式介入進來。IoT 方面的應用就更多了,無論是安防還是智能家居,FPGA 都會有機會進入市場。

  在云端,也有結合 FPGA 的巨大空間。之前,微軟的 Project Catapult 就搭建起了大規模的 FPGA 云服務器?,F在 Catapult 正在運行搜索和數據存儲方面的運算,同時,他們也在積極地思考如何把機器學習運算部署在上面,包括是否能將 FPGA 作為其 Azure 云的后端支持。亞馬遜 AWS 的 FPGA 云計算已經很有規模了,并且一直在大力推動之中。最近,國內創業公司深鑒也開始結合華為的云端 FPGA 來進行深度學習算法的加速,特別在基于 LSTM 的語音識別上非常有優勢。

  機器之心:能否介紹一下使用高層次綜合(HLS)自動生成寄存器級(RTL)實現與手工用硬件描述語言(HDL)進行實現的區別?

  對于深度學習相關算法來說,HLS 是有優勢的。

  當你閱讀用高層語言描述的深度學習模型時,你會發現模型是有規律的。比如,卷積操作在 C 語言里就是一個六層的嵌套循環。此時我就可以針對這個循環開發一個 IP 核,確定如何進行流水線設計(pipelining),如何分配存儲等,然后再將 IP 核用在 FPGA 上,進而讓神經網絡中的所有卷積層來共享 IP 核即可。

  此時設計的優化要點是 IP 核的大小、是否需要多個 IP 核并行運算等。這是一個非常適用 HLS 的場景,因為 HLS 可以自動化地、快速地探索不同的解決方案。如果采用 RTL,則需要很多工程師,組成多個團隊,每個團隊根據工程師過去的設計經驗著重探索一個方向,這是一個成本非常高的過程。

  RTL 是一種描述硬件的空間的關系和邏輯時序等邏輯關系的硬件描述語言。這是一門難學的語言,能夠熟練掌握的從業者也不多,開發和測試都很慢??鋸堻c說,如果 HLS 開發周期以天和周來計算,那么 RTL 通常是以月和年。

  從最終結果角度講,RTL 完全手工調制的解決方案是很可能比 HLS 自動生成的方案效果好的。我們曾經做過比較,在深度學習的情境下,HLS 和 RTL 方法的差距在 10% 左右。

  因此,問題在于是否愿意花 3-5 倍的時間獲得額外 10% 的效果。

  機器之心:在簡化 FPGA 開發過程這一任務上,研究者做了哪些工作?

  我們的團隊開發了一個研究工具,是一個 C 語言的模板庫,能夠根據 Caffe 和 TensorFlow 的代碼自動生成 C 語言的表達。然后研究者可以將 C 語言的代碼再交給 HLS 工具生成 RTL 代碼。

  C 語言是軟件工程師普遍掌握的語言,這樣的工具讓軟件工程師也具有 FPGA 開發能力,而且讓開發者更專注于算法,而不用過多考慮底層硬件。

  而且,這個過程中的中間結果都可以導出,專業人員也可以在自動生成的基礎上再進行優化,總而言之,整個開發的效率都得到了極大的提高。

  這只是舉一個例子。還有其它很多的研究人員在做相關的提升深度學習設計效率和質量的各類工具和平臺。工業和學術屆的都有。學術屆比如 UCLA 的叢京生老師,以及 Cornell 的張志汝老師等。工業屆比較領先的是賽靈思和英特爾自己設計的一些工具。

  機器之心:各個大公司在 FPGA 的應用方面都進行了哪些工作?拓展市場的思路都有哪些?

  IBM 和賽靈思正在 Power 系列上進行合作,致力于在 FPGA 上加更多的存儲,在最新的原型機上,把存儲加到了 64G,相比于市面上現在常見的最大 8 或 16G,極大擴展了數據帶寬,來進行和大數據相關的處理。

  英特爾收購了 Altera,并且致力于幫助 Altera 進行編譯等工具的開發。這是一個 FPGA 商品化的思路,就像 GPU 一樣,說不定未來的 PC 里就會有一個 FPGA 協處理器在 CPU 旁邊完成工作?;蛘咴谛酒瑢用嫔希珻PU 片上就有一塊 FPGA??偠灾?,一旦工具做好,整合的機會會有很多。英特爾在智能城市、智慧制造方面都有很多的構想,并且希望借由 FPGA 實現。

  再就是微軟。它的思路主要就是云計算,除了 Bing 之外,也希望在進行機器學習任務的 Azure 云中使用 FPGA。

  機器之心:能否介紹一下 Inspirit IoT 通過哪些產品實現了深度學習算法在 FPGA 上的加速?

  

1.jpg

我們公司主要有三個產品,按照層次分別是 DNN 優化器、高層次綜合加速編譯器(HLS compiler),以及整體 FPGA 解決方案。

  DNN 優化器的目標是定制一個 FPGA 友好的模型,把訓練好的模型中對于推理來說冗余的部分去掉。例如,訓練時使用的浮點數可以被替換為定點數,訓練時每層有非常多的單元,但是在推理的時候可以進行剪枝(Pruning),等等。DNN 優化器就是以各種高層框架的模型為基礎,根據硬件的特性和場景的特性進行自動的優化。

  高層次綜合編譯器讓開發者得以繞開寫 Verilog 硬件描述語言,將 C、 C++、CUDA 等代碼直接編成 FPGA,旨在降低硬件開發的門檻,提高軟件工程師的生產力。我們的特色是這個編譯器可以自然結合深度學習算法中的各種 IP 核,從而可以最好的優化各種深度學習算法在 FPGA 上的高速及高質量的實現。

  除此之外,我們也有嵌入 FPGA 的開發板,用于聲音相關的應用場景。其上嵌入了 FPGA 和 4 個麥克風,可以檢測聲音來源、提高聲音質量,也可以和攝像頭等其他設備連用。例如,捕捉到車輛撞擊聲、尖叫聲等特定聲音之后,能夠調轉攝像頭,收錄相關的視頻等,希望獲得一個「1+1>3」的效果。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
热re99久久精品国产66热_欧美小视频在线观看_日韩成人激情影院_庆余年2免费日韩剧观看大牛_91久久久久久国产精品_国产原创欧美精品_美女999久久久精品视频_欧美大成色www永久网站婷_国产色婷婷国产综合在线理论片a_国产精品电影在线观看_日韩精品视频在线观看网址_97在线观看免费_性欧美亚洲xxxx乳在线观看_久久精品美女视频网站_777国产偷窥盗摄精品视频_在线日韩第一页
  • <strike id="ygamy"></strike>
  • 
    
      • <del id="ygamy"></del>
        <tfoot id="ygamy"></tfoot>
          <strike id="ygamy"></strike>
          欧美理论电影在线观看| 欧美三级在线| 国产噜噜噜噜噜久久久久久久久| 亚洲午夜一级| 国产精品人人爽人人做我的可爱| 亚洲精品一区二区三区福利| 美国成人直播| 亚洲一区二区成人在线观看| 国产在线精品成人一区二区三区| 亚洲视频二区| 久久精品日韩一区二区三区| 国产精品日本一区二区| 国产精品国产三级国产a| 尤物九九久久国产精品的分类| 国产精品麻豆va在线播放| 久久精品一级爱片| 亚洲午夜91| 欧美一级大片在线免费观看| 国产色爱av资源综合区| 欧美激情aⅴ一区二区三区| 亚洲国产视频a| 欧美大片在线观看| 亚洲美女色禁图| 国产三区二区一区久久| 国产精品九九久久久久久久| 亚洲免费电影在线观看| 免费欧美网站| 亚洲国产高清自拍| 日韩视频免费在线观看| 久久伊人一区二区| 国产精品久在线观看| 欧美在线免费观看亚洲| 欧美日韩高清在线观看| 久久视频精品在线| 性做久久久久久久久| 欧美韩日亚洲| 国产精品美女久久久久av超清| 久久综合精品一区| 国内欧美视频一区二区| 欧美国产一区二区三区激情无套| 亚洲欧美综合国产精品一区| 欧美日韩亚洲一区二区三区在线观看| 亚洲日韩视频| 亚洲国产日韩欧美在线动漫| 一区二区激情| 欧美极品在线观看| 久久国产乱子精品免费女| 欧美精品一区二区高清在线观看| 国产女人aaa级久久久级| 欧美日韩日韩| 久久九九免费视频| 99精品欧美一区二区三区| 国产在线精品一区二区夜色| 亚洲激情视频在线播放| 欧美色综合天天久久综合精品| 欧美日本国产视频| 免费观看国产成人| 久久精品国内一区二区三区| 欧美另类极品videosbest最新版本| 一区二区高清在线观看| 久久se精品一区二区| 狠狠色综合色区| 伊人久久亚洲美女图片| 亚洲视频导航| 久久久久欧美| 欧美黄色片免费观看| 欧美一区二区三区视频在线观看| 欧美一区二区黄色| 欧美日韩另类视频| 久久人人爽人人| 欧美午夜www高清视频| 国产精品乱码一区二三区小蝌蚪| 国产偷久久久精品专区| 欧美电影打屁股sp| 狠狠色伊人亚洲综合成人| 欧美精品在线免费播放| 国内一区二区在线视频观看| 国产精品一区在线播放| 久久九九国产精品| 国产精品色午夜在线观看| 国产精品igao视频网网址不卡日韩| 久久偷看各类wc女厕嘘嘘偷窃| 亚洲区中文字幕| 欧美黄在线观看| 最新成人在线| 久久国产黑丝| 国产精品久久久久久超碰| 国产欧美日本一区二区三区| 亚洲国产天堂网精品网站| 欧美三区不卡| 一区二区成人精品| 国产精品视频内| 一区二区三区成人| 国产精品自拍网站| 欧美资源在线| 中文日韩电影网站| 国产欧美日韩视频一区二区| 亚洲一级黄色| 欧美激情国产精品| 久久免费精品日本久久中文字幕| 欧美日韩亚洲一区二| 亚洲精品字幕| 亚洲天堂免费在线观看视频| 国产精品日韩欧美| 亚洲精品女人| 一区二区免费在线视频| 一区二区动漫| 欧美在线免费观看视频| 久久久久99精品国产片| 欧美国产第二页| 午夜精品美女久久久久av福利| 欧美在线观看你懂的| 亚洲主播在线| 亚洲午夜激情网页| 亚洲高清资源| 国产日韩精品一区二区| 亚洲国产日本| 亚洲性视频h| 久久一区欧美| 国产精品www| 国产视频丨精品|在线观看| 一区二区电影免费在线观看| 亚洲欧美视频在线| 有坂深雪在线一区| 国产一区二区三区在线观看网站| 欧美日韩国产在线一区| 精品电影一区| 欧美成人精精品一区二区频| 亚洲午夜极品| 欧美日韩一区二区在线观看视频| 亚洲精品一区二区三区樱花| 亚洲综合视频在线| 久久漫画官网| 国产精品久久久一区二区三区| 一本一本a久久| 亚洲大片一区二区三区| 日韩一二在线观看| 久久久精品国产99久久精品芒果| 夜夜嗨av一区二区三区网站四季av| 欧美激情性爽国产精品17p| 免费欧美电影| 黄色成人片子| 午夜精品亚洲一区二区三区嫩草| 欧美精品一区二区三区在线看午夜| 国产精品麻豆va在线播放| 久久网站免费| 中文高清一区| 亚洲一区二区四区| 亚洲精品欧美精品| 亚洲大胆av| 久久久久久久欧美精品| 噜噜噜躁狠狠躁狠狠精品视频| 日韩午夜免费| 欧美噜噜久久久xxx| 久久久久国产一区二区三区| 99精品视频网| 国产一区二区三区四区| 久久精品国产精品亚洲| 亚洲国产高清视频| 久久久久国内| 久久综合导航| 久久裸体视频| 国产婷婷一区二区| 久久婷婷人人澡人人喊人人爽| 欧美成人一区二区三区片免费| 欧美日韩国产小视频| 亚洲国产日韩综合一区| 欧美顶级大胆免费视频| 欧美成年人视频网站欧美| 亚洲一区国产视频| 欧美日韩激情小视频| 日韩视频免费观看| 99精品视频一区二区三区| 一色屋精品视频免费看| 狠狠色丁香久久婷婷综合_中| 日韩午夜免费视频| 欧美综合二区| 久久激情五月丁香伊人| 久久久久久夜精品精品免费| 久久精品99| 亚洲精华国产欧美| 亚洲欧美国产va在线影院| 毛片av中文字幕一区二区| 欧美日韩中文字幕在线| 欧美日韩在线一区二区| 欧美日韩和欧美的一区二区| 亚洲在线观看视频| 亚洲理论电影网| 1000部精品久久久久久久久| 制服丝袜激情欧洲亚洲| 久久综合久久美利坚合众国| 久久夜色精品国产亚洲aⅴ| 红桃视频国产精品| 一区二区三区国产精华| 亚洲男人第一网站| 国产精品欧美风情| 久久一区二区三区四区| 国产精品国产三级国产aⅴ浪潮| 国产乱码精品一区二区三区不卡| 91久久精品国产91久久性色| 欧美日韩日日夜夜| 这里只有精品视频| 韩国av一区二区三区在线观看| 久久精品国产免费| 亚洲欧美日韩精品综合在线观看| 国产性猛交xxxx免费看久久| 欧美一区二区三区播放老司机| 欧美手机在线| 欧美一站二站| 午夜亚洲性色福利视频| 亚洲一区亚洲| 国产精品va在线播放| 一本一本久久a久久精品综合妖精| 国产精品videosex极品| 亚洲欧美日韩另类精品一区二区三区| 国产视频久久久久久久| 亚洲激情电影中文字幕| 欧美韩国一区| 亚洲第一成人在线| 日韩视频免费观看高清完整版| 一区二区三区四区五区视频| 亚洲欧美日韩中文视频| 欧美另类视频在线| 国产婷婷色一区二区三区| 欧美 日韩 国产精品免费观看| 欧美日韩国产精品一区| 久久艳片www.17c.com| 亚洲精品男同| 国产精品久久午夜| 在线观看亚洲专区| 欧美日韩在线视频观看| 欧美日韩国产综合视频在线观看中文| 欧美在线资源| 国产精品高潮在线| 狠狠色狠色综合曰曰| 久久久精品国产免大香伊| 欧美福利在线观看| 一色屋精品视频在线观看网站| 香蕉久久一区二区不卡无毒影院| 女人香蕉久久**毛片精品| 欧美一区2区视频在线观看| 亚洲狼人综合| 国产精品视频久久| 亚洲成在线观看| 一本色道久久综合亚洲二区三区| 欧美三级在线| 久久日韩粉嫩一区二区三区| 欧美视频免费在线| 欧美在线亚洲| 久久久精彩视频| 欧美精品在线免费观看| 亚洲免费观看视频| 精品成人乱色一区二区| 国产午夜精品一区二区三区欧美| 一区二区三区四区五区精品| 在线午夜精品| 9久草视频在线视频精品| 欧美一级片久久久久久久| 欧美日韩你懂的| 国产在线精品二区| 久久精品人人做人人爽| 国内精品久久久久影院薰衣草| 欧美日本免费一区二区三区| 国产精品99久久久久久久vr| 久久免费视频在线观看| 欧美a一区二区| 国内精品久久久久久久影视麻豆| 欧美精品在线一区二区三区| 欧美亚日韩国产aⅴ精品中极品| 亚洲国产日韩欧美一区二区三区| 国产精品自拍视频| 国内精品嫩模av私拍在线观看| 在线高清一区| 国产日韩欧美| 亚洲午夜未删减在线观看| 欧美午夜精品| 欧美极品在线观看| 午夜精彩国产免费不卡不顿大片| 欧美日本一道本在线视频| 久久久综合精品| 欧美影视一区| 欧美福利小视频| 亚洲精选视频在线| 亚洲高清自拍| 亚洲欧美制服另类日韩| 一本色道久久88亚洲综合88| 国产精品国内视频| 洋洋av久久久久久久一区| 黄色成人在线观看| 亚洲欧美在线免费| 欧美怡红院视频一区二区三区| 一区二区三区国产精华| 亚洲精品一区二区在线观看| 久久亚洲精品视频| 国产精品久久一区二区三区| 亚洲丰满少妇videoshd| 欧美尤物一区| 性18欧美另类| 久久久久国色av免费看影院| 亚洲一区国产| 国产伦精品一区二区三区四区免费| 亚洲欧美日韩在线综合| 国产精品久久久久aaaa樱花| 久久久青草青青国产亚洲免观| 久久免费精品日本久久中文字幕| 亚洲精品自在在线观看| 亚洲色图在线视频| 亚洲在线一区二区三区| 欧美色另类天堂2015| 欧美在线视频观看| 亚洲一级二级在线| 男女av一区三区二区色多| 欧美专区福利在线| 99伊人成综合| 国产精品久久久久影院亚瑟| 亚洲一级一区| 午夜视频精品| 欧美一级淫片播放口| 欧美国产日韩精品免费观看| 欧美成人国产| 亚洲精品影视在线观看| 欧美国产综合一区二区| 亚洲一区国产视频| 久久国内精品自在自线400部| 国产日韩欧美三级| 欧美福利专区| 亚洲综合二区| 亚洲精品在线一区二区|