多分支卷積神經網絡的FPGA設計與優化
2021年電子技術應用第7期
謝思璞，魏榕山
福州大學 物理與信息工程學院，福建 福州350108
摘要： 針對拓寬神經網絡的結構會導致計算量增大，計算性能降低，需要針對并行的網絡進行更有效的優化以及調度。通過分析FPGA平臺上實現卷積神經網絡的計算吞吐量和所需的帶寬，在計算資源和訪存帶寬的限制下，采用了屋頂模型進行了設計空間的探索，提出了在不同支的卷積神經網絡中使用不同的循環展開因子，從而實現同一卷積層中不同支神經網絡的并行計算，保證計算資源和內存資源的合理分配。實驗結果表明，所提出的設計與先前研究相比獲得了1.31×的性能提升。
中圖分類號： TN409
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.211279
中文引用格式： 謝思璞，魏榕山. 多分支卷積神經網絡的FPGA設計與優化[J].電子技術應用，2021，47(7)：97-101.
英文引用格式： Xie Sipu，Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique，2021，47(7)：97-101.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.211279
中文引用格式： 謝思璞，魏榕山. 多分支卷積神經網絡的FPGA設計與優化[J].電子技術應用，2021，47(7)：97-101.
英文引用格式： Xie Sipu，Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique，2021，47(7)：97-101.
FPGA design and optimization of multi-branch CNN
Xie Sipu，Wei Rongshan
School of Physics and Information Engineering，Fuzhou University，Fuzhou 350108，China
Abstract： Broadening the structure of the neural network will lead to the increase of the amount of computation and the decrease of the computational performance, it is necessary to optimize and schedule the parallel network more effectively. By analyzing the throughput and bandwidth of convolutional neural network on FPGA platform, the roof model is used to explore the design space under the limitation of computing resources and memory access bandwidth. It is proposed to use different cycle expansion factors in different branches of convolutional neural network, so as to realize the parallel computing of different branches of neural network in the same convolution layer and ensure the computing efficiency reasonable allocation of resources and memory resources. The experimental results show that the performance of the proposed design is improved by 1.31×compared with the previous research.
Key words : multi-branch convolutional neural network；FPGA；roofline model；parallel computing
0 引言
近年來，神經網絡受到了廣泛熱議，成為了學術界和工業界的熱門議題，Google、Microsoft和Facebook等科技公司都建立了相關的研究小組，以探索CNN的新架構[1-3]。通過對CNN架構上的創新改善CNN性能，利用空間和通道信息，結構的深度和寬度以及多路徑信息處理等方法引起了廣泛的討論。
在眾多新型CNN架構中，基于寬度擴展的多支并行的CNN得到了國內外學術屆的重視。KAWAGUCHI K等人提出網絡的寬度是影響網絡精度與準確度的一個重要指標[4]。通過在層中并行使用多個處理單元，可以得到比感知器更為復雜的映射。GoogLeNet中的Inception模塊是一種典型的多支網絡架構，并使用了不同尺寸的卷積核[5]。2017年，DEL COCO M等人[6]利用多分支結構引入了并行的多尺度分析，減小了神經網絡的深度，克服了過擬合問題。拓寬網絡寬度的多支并行卷積神經網絡在圖像分割以及識別等任務中，提高了網絡在不同尺度上的特征提取能力,受到了國內外研究機構的重視[7-9]。
本文詳細內容請下載：http://www.cowatch.cn/resource/share/2000003664。
作者信息：
謝思璞，魏榕山
(福州大學 物理與信息工程學院，福建 福州350108)
此內容為AET網站原創，未經授權禁止轉載。