摘  要: 針對圖像處理系統計算量大、實時性高和體積小的要求， 研制了一種以DSP" title="DSP">DSP為主處理器FPGA" title="FPGA">FPGA 為輔處理器的高性能實時圖像處理" title="實時圖像處理">實時圖像處理系統。利用這兩種芯片的各自特點， 將算法分成兩部分分別交由FPGA 和DSP處理， 大大提高了算法的效率。系統具有結構簡單易于實現和運用方便靈活的特點， 加載上相應的程序之后能實現對所獲取的圖像跟蹤、識別和匹配等處理方法。詳細說明了系統的設計思路和硬件結構， 并在硬件系統上進行了算法仿真及實驗驗證。實驗結果表明: 該系統實時性高， 適應性好， 能夠滿足設計要求。

1  引  言

圖像處理系統的處理算法復雜， 計算量大， 處理實時性要求高， 同時系統的體積也有嚴格的限制。

因此在設計系統時必須綜合考慮這些特點， 合理選用芯片并保留一定的余度。通常的方法是以FPGA和DSP作為系統的處理器， 即由FPGA 承擔圖像預處理功能， DSP實現更復雜的圖像處理算法。在這樣一種結構之上如何擴展系統的應用， 增加其靈活性并減少因前期設計不當造成的風險是設計前需要重點考慮的問題。

2  系統結構設計

實時圖像處理系統除了FPGA和DSP這兩個核心部分之外， 還應該有圖像獲取模塊、圖像輸出模塊以及相應的存儲部分及通信控制電路等組成。各個主要模塊的功能如下:

圖像獲取模塊: 將成像儀輸入的圖像進行分離、放大， 并在FPGA 的控制下完成A /D 采樣， 將模擬信號轉換為數字信號， 并將數字信號輸入FPGA 模塊。

FPGA 模塊: 該模塊的主要功能是: 1產生系統所需要的邏輯控制信號，2為各芯片提供時鐘信號，3對輸入圖像進行預處理。

DSP模塊: 對預處理后的圖像進行目標檢測、識別與跟蹤等復雜的圖像處理運算。DSP模塊是整個系統的核心模塊。

圖像輸出模塊: 對處理后的數字圖像進行D /A轉換， 并疊加同步信號后形成標準的視頻， 實現對處理結果的顯示。

實時圖像處理系統結構如圖1所示。


圖1  實時圖像處理系統結構框圖

3  系統的具體實現方案

明確了系統的基本組成模塊之后需要做的工作是: 在滿足實時圖像處理算法各種要求的條件下如何將這幾個部分組合起來， 使得系統易于實現， 并具有較高的可靠性。同時還要對各模塊仔細分析加以改進以擴展系統的應用范圍。以下是各模塊的具體組成。

3. 1  圖像獲取模塊

為擴展系統應用， 該模塊有兩路視頻輸入通道，可以根據實際的需要決定是一路還是兩路視頻輸入。當將系統用于雙目成像系統時由于雙目視覺要求兩個成像儀同步， 所以在第一路視頻通道中經EL4501分離出的復合同步信號接到第二路成像儀的同步輸入口， 以實現兩個成像儀的同步。因為成像儀輸出為模擬視頻信號， 所以分離之后的視頻信號須經A /D轉換才能進入到FPGA中。A /D采樣過程由FPGA 控制， 由第二路視頻通道分離出來的場同步、行同步和奇偶幀指示信號直接進入到FPGA，FPGA 將同步信號和奇偶幀指示信號作為中斷來控制采樣的開始和停止。同時為防止系統其它電路對圖像獲取模塊的干擾， 在信號進入到FPGA 之前應該加上隔離芯片對信號進行隔離。

3. 2  FPGA 模塊

FPGA 是系統中實現圖像采集、圖像預處理、產生各種控制邏輯和時鐘信號的芯片， 系統選用的XC4VSX35芯片是V4 系列中專為數字信號處理進行了優化的一款FPGA。該芯片支持主串、從串、主SelecMt AP、從SelecMt AP和JTAG 邊界掃描四種加載模式。本系統選用主串模式和JTAG 邊界掃描模式。FPGA使用一塊50MHz的晶振作為其全局時鐘輸入， 依靠V4的片內數字時鐘管理器( DCM )可產生24MHz~ 500MH z的時鐘頻率。

在視頻信號輸入端， 由于PAL制式視頻采用了隔行掃描方式， 每幀圖像由奇、偶兩幀合成， 所以在FPGA 內部需配置一個雙口RAM 以存儲奇幀的圖像， 等待偶數幀進來之后再將兩場合成為一幀完整的圖像。雙口RAM 的大小及縱深比應根據算法的實際需要來調整。作為系統的協處理器， 圖像的預處理也是由FPGA 來完成。FPGA 與DSP 的數據交換有多種方式。對于圖像處理系統來說， 其交換的數據量大， 視頻的像素速率高。所以使用一塊雙口RAM作為FPGA 與DSP數據交換的橋梁， 兩塊芯片各控制一端的讀寫來完成數據的交換， 這樣既滿*換數據量大的要求， 又方便實現。雙口RAM 選用的是IDT70V631S， 存取周期12ns， 兩個端口有各自的地址總線、數據總線和讀寫控制。DSP和FPGA可以在各自連接的端口對其進行訪問和控制。

圖像實時處理系統一般是一個控制平臺中的一部分， 圖像處理系統的最終處理結果通過多通道緩沖串口由FPGA 轉接后傳至上位機， 而上位機控制命令也由串口傳至DSP。串口通信控制可以由FPGA編程實現， 也可以選用專門的芯片來實現， 為節省FPGA 片內資源， 串口通信控制使用串口通信控制芯片TL16CTL16C554實現。

3. 3  DSP模塊

DSP由于其計算精度高， 可完成結構復雜的圖像處理算法， 所以在系統中是核心處理器。本系統選用的DSP 芯片是TI生產的TMS320C6416 (簡稱C6416)， 其工作頻率最高達850MH z， 峰值處理速度達到了6800MSPS， 處理能力強大。DSP核心時鐘可通過設置CLKMODE0、1兩個引腳( pin)電位的高低來改變， 總共有BYPASS( x1)、x6、x12和x20四種模式。DSP 與FPGA 的數據交換通過雙口RAM( DPRAM)。雖然C6416片內集成了高達8M 位的片內高速緩存， 但考慮到圖像處理算法必涉及到對前后幾幀圖像進行處理， 為保證系統運行時存儲容量不會成為整個系統的性能瓶頸( choke point)， 在DSP模塊中額外擴展存儲空間。由于EM IFA 口的數據寬度更大， 因此系統在EM IFA 的CE1 空間內擴展了兩片總共128M 位的同步存儲器。 C6416的引導方式有三種， 分別是: 不加載， CPU 直接開始執行地址0 處的存儲器中的指令; ROM 加載， 位于EM IFB CE1空間的ROM 中的程序首選通過EDMA被搬入地址0處， ROM 加載只支持8 位的ROM 加載; 主機加載， 外部主機通過主機接口初始化CPU的存儲空間， 包括片內配置寄存器。本系統采用的是ROM 加載方式。C6416 片內有三個多通道緩沖串口， 經DSP處理的最終結果將通過DSP的多通道緩沖串口傳送至FPGA。

3. 4  圖像輸出模塊

該模塊的功能是將DSP 處理后的圖像數據進行數模轉換， 并與字符信號合成后形成VGA 格式的視頻信號。這里選用的數模轉換芯片為ADV7125。

這是AD I公司生產的一款三通道(每通道8 位)視頻數模轉換器， 其最大數據吞吐率330MSPS， 輸出信號兼容RS- 343A /RS - 170。由FPGA 產生的數字視頻信號分別進入到ADV7125的三個數據通道， 經數模轉換后輸出模擬視頻信號并與原來的同步信號、消隱信號疊加后便可以在顯示器上顯示處理的結果了。和圖像獲取部分一樣， 為避免其它電路的干擾， 圖像輸出部分也需要加上數據隔離芯片。

4  系統仿真驗證

圖像處理算法可分為預處理算法和后期的復雜算法。預處理算法主要包括圖像的校正、增強和簡單的分割等， 主要作用就是加強圖像的特征， 消除干擾和提取有用信息。這一類算法的特點是算法簡單但運算量大， 適合于FPGA 來完成。預處理后的圖像一般為二值圖像， 這樣一來圖像的冗余量就大大減少， 這樣后期的復雜算法在對圖像進行匹配、識別、跟蹤等操作時數據量就大大減少， 增加了算法的可行性。為驗證本硬件系統的有效性， 進行了大量仿真測試試驗， 圖2~ 圖5為橋梁識別的試驗結果。

其中， 圖3、圖4是FPGA 模塊上進行圖像增強與分割等預處理的測試結果。圖5 是基于DSP 的目標識別結果。

圖2  原始圖像  圖3  FPGA 圖像增強結果 圖4  FPGA圖像分割結果  圖5  基于DSP的目標識別結果

5  結  論

實時圖像處理系統以DSP和FPGA 為基本結構， 并在此結構的基礎上進行了優化， 增加了視頻輸入通路。同時所有的數據交換都通過了FPGA， 后期的調試過程證明這樣做使得調試非常方便， 既可以監視數據的交換又方便修正前期設計的錯誤。整個系統結構簡單， 各個模塊功能清晰明了。經后期大量的系統仿真驗證: 系統穩定性高， 處理速度快，能滿足設計要求。