面向圖像語義分割的多類型卷積加速器設計
中國電子科技集團第五十八研究所，江蘇 無錫 214035
史興強，強小燕，鞏凱，邢夢菲
摘要： 圖像語義分割網絡為了提升精度常采用結構復雜的卷積層作為基礎的特征提取單元，這類卷積層存在的不同類型卷積增加了對網絡并行加速計算的難度。針對語義分割網絡不同類型的卷積的加速計算需求，提出一種基于FPGA的面向多類型卷積的并行計算加速器。首先對卷積的計算原理進行分析，然后根據不同卷積類型的基本運算原理構建多乘法并行計算的處理單元，并通過多處理單元并行、數據重用以及PIPELINE方法對卷積進行加速計算。實驗結果表明，對于特定尺寸的特征圖，使用所提的卷積加速器設計方法最多可以達到113倍的速度提升。
關鍵詞：圖像語義分割；多類型卷積；FPGA；計算加速
中圖分類號：TP391 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.234591
中文引用格式： 史興強，強小燕，鞏凱，等. 面向圖像語義分割的多類型卷積加速器設計[J]. 電子技術應用，2023，49(12)：26-30.
英文引用格式： Shi Xingqiang，Qiang Xiaoyan，Gong Kai，et al. Design of multi type convolution accelerator for image semantic segmentation[J]. Application of Electronic Technique，2023，49(12)：26-30.
中文引用格式： 史興強，強小燕，鞏凱，等. 面向圖像語義分割的多類型卷積加速器設計[J]. 電子技術應用，2023，49(12)：26-30.
英文引用格式： Shi Xingqiang，Qiang Xiaoyan，Gong Kai，et al. Design of multi type convolution accelerator for image semantic segmentation[J]. Application of Electronic Technique，2023，49(12)：26-30.
Design of multi type convolution accelerator for image semantic segmentation
Shi Xingqiang，Qiang Xiaoyan，Gong Kai，Xing Mengfei
No.58 Research Institute of China Electronics Technology Group Corporation， Wuxi 214035， China
Abstract： In order to improve accuracy, image semantic segmentation networks often use complex convolutional layers as the basic feature extraction units. The different types of convolutions present in these convolutional layers increase the difficulty of parallel acceleration computation for the network. A parallel computing accelerator based on FPGA for multi type convolutions is proposed to meet the accelerated computing requirements of different types of convolutions in semantic segmentation networks. Firstly, the calculation principle of convolution is analyzed. Then, based on the basic operation principles of different convolution types, a processing unit for multi multiplication parallel computing is constructed. The convolution is accelerated through multi processing unit parallelism, data reuse, and PIPELINE method. The experimental results show that for specific size feature maps, using the proposed convolutional accelerator design method can achieve a maximum speed increase of 113 times.
Key words : image semantic segmentation；multi type convolutions；FPGA；computational acceleration
0 引言
圖像語義分割是將圖像的每個像素分類為一個實例[1]。該技術是場景理解的基礎性技術[2]，在自動駕駛[3-5]、人機交互[6]、計算攝影[7]、圖像搜索引擎[8]以及醫學圖像研究[9-11]中起到重要作用。隨著深度學習發展，基于CNN的圖像語義分割方法逐漸成為圖像語義分割的主流[12]。
圖像語義分割在嵌入式邊緣端有著廣闊的應用前景，但是嵌入式邊緣設備的處理核心多是基于精簡指令集的微處理器，由于順序數據處理方式的限制，使得網絡中的計算無法高效并行完成。為了提升網絡在嵌入式邊緣端處理效率，在嵌入式邊緣端對CNN進行加速的研究受到廣泛關注，出現了大量基于高性能計算處理器的網絡加速方法[13-16]。其中，FPGA由于內部包含有大量的可編程邏輯資源，可以構建高并行的計算結構，在較低工作時鐘頻率下仍能實現較高的算法處理速度，可以滿足功耗受限的嵌入式邊緣端應用的需求，成為嵌入式邊緣端網絡推理加速的主流硬件加速器之一。但是，當前基于FPGA的深度學習推理加速方法主要面向以單一標準卷積構建的神經網絡，而為了提升語義分割的精度以及減少語義分割的計算量，出現了空洞卷積、點卷積、深度卷積和標準卷積等多種卷積運算，需要設計能夠支持多種類型卷積的加速器。
針對以上問題，本文提出一種基于FPGA的多類型卷積加速器設計方法，并通過對不同并行度和不同計算結構的加速器進行對比實驗，驗證加速器設計方法的有效性。
本文詳細內容請下載：http://www.cowatch.cn/resource/share/2000005801
作者信息
史興強，強小燕，鞏凱，邢夢菲
（中國電子科技集團第五十八研究所，江蘇 無錫 214035）
此內容為AET網站原創，未經授權禁止轉載。