0 引言

    隨著電子技術的進步，圖像處理系統得到了飛速的發展。當今的主流圖像處理平臺大多基于FPGA+DSP^[1]，雖然滿足系統實時性及處理性能要求，但系統結構復雜，設計難度較高，資源浪費嚴重,不利于小型化設計。針對這一問題，本文設計了一種基于FPGA和CMOS的成像處理系統，CMOS傳感器采集圖像信息經由FPGA實現基本的圖像處理算法后，同時輸出兩路不同數據格式的圖像信號供后續處理控制系統使用或者直接顯示，如Cameralink、DSP、VGA等。本系統將CMOS和FPGA合成為一個小型化的完整成像系統，成本低廉，適用范圍廣，可直接裝載常用的圖像處理算法并實時顯示輸出^[2]；在面對復雜的算法或測控應用時，也可靈活地外接DSP或其他測控平臺，相較傳統圖像處理系統更靈活、更節省資源、更具有應用優勢。

1 系統硬件體系結構

    本系統采用如圖1所示的雙層PCB堆疊設計，上層為CMOS板，通過微型接口與下層FPGA板通信傳輸圖像數據。在保證系統功能完整的前提下，將整體功能分配到多層PCB體系中，可以有效降低單層PCB容量和布局布線難度，減小單層PCB板面積，從而最大限度地優化系統體積尺寸。

    基于FPGA和CMOS的成像系統的硬件結構如圖2所示。CMOS芯片上電復位后，經過硬件配置電路設置基本工作方式，再使用SCCB總線設置各顯示參數，才能進入正常工作模式并經由緩沖電路將圖像信息(包括像素時鐘、行場同步以及12 bit灰度數據)^[3]輸出到FPGA。FPGA芯片上電復位后，由EPCS16進行初始化配置。首先延遲200 ms，等待CMOS芯片硬件復位以及硬件配置完成；然后啟動CMOS配置模塊，傳輸初始化配置信息；之后接收圖像信息做處理后，分兩路同時輸出，一路Cameralink數字信號經專用轉換芯片轉換為差分Cameralink信號^[4]后輸出，一路DSP數字信號直接傳輸。

    CMOS芯片標準IO口參考電壓為2.8 V，FPGA接口參考電壓3.3 V，所以系統中設置了緩沖電路來將2.8 V電壓轉換為3.3 V，加大信號擺幅，使FPGA芯片能準確讀取數據；且緩沖電路經設計嚴格滿足阻抗匹配，避免了信號過沖等失調問題^[5]。

    系統中沒有搭載DDR2外部存儲器，一方面是考慮到系統的小型化設計和成本控制，DDR2芯片自身及其復雜的布局布線都會使系統體積大幅度增加；另一方面根據系統需求，FPGA平臺的圖像預處理功能并不需要保存整幀圖像，只需要緩存部分待處理數據即可。

2 FPGA模塊設計

    本系統設計目的主要是實時采集、處理并顯示CMOS圖像數據。功能模塊主要劃分為如圖3所示的CMOS配置及數據采集模塊、圖像處理算法模塊和多通道輸出顯示模塊。

    系統采集并處理過的圖像經過一個可配置的FIFO緩存，在輸出模塊中轉換成不同數據格式并實時輸出。該模塊以CMOS傳感器的行場同步信號為基礎，實現了不同時鐘域之間數據格式的轉換，并且可以同時輸出多路圖像，在一定程度上增強了系統的靈活性以及功能性。由于基于內部FIFO設計，保證圖像實時顯示的同時，去掉了外部RAM存儲器，大大減小了系統體積和復雜度，實現了系統的小型化^[6]。

2.1 CMOS配置及數據采集模塊

    CMOS經過上電復位和硬件初始化配置后，可通過SCCB總線進行顯示參數的配置，包括分辨率、掃描方式、開窗、白平衡、黑場、曝光時間等^[7]。

    配置CMOS輸出分辨率為1 024×768、幀率為60 Hz的視頻圖像，其像素時鐘、行場同步信號和有效數據之間的關系如圖4所示。在場同步信號有效的前提下，圖像采集模塊以行同步信號上升沿為采集起點，高電平有效期間為采集狀態。

    由于后續的圖像預處理模塊需要圖像幀的灰度特征值，包括最大值、最小值以及灰度均值，所以在CMOS數據采集模塊中添加了灰度均值計算模塊。該模塊不會對圖像的行場同步信號以及圖像灰度值造成時間延遲，只是統計有效圖像數據(即行場同步信號同時為高電平)中心區域512×1 024 個像素的灰度值之和，并右移19 位計算均值，同時記錄下灰度最大值、最小值。這樣既不影響均值精度，又避免了除法操作及不必要的時鐘延遲，節省了系統資源，有效提高了系統實時性。

2.2 圖像數據處理算法模塊

    本系統采用的圖像處理算法是分段線性映射法，主要作用是增強圖像細節效果、提高對比度。算法計算時需要取得一幀圖像的有效像素灰度的最大值、最小值及均值，在最小值到灰度均值和灰度均值到最大值兩段分別作線性映射，使有效像素的灰度值拉伸到整個0~255灰度空間，從而增強對比度。映射關系如圖5所示，計算時需要統計一幀圖像的灰度最大值、最小值和均值。

    在實際視頻處理成像中，相鄰兩幀圖像之間像素變化不明顯，灰度均值變化范圍一般在±1個灰度級內。所以當幀圖像可以采用上一幀圖像統計的灰度值映射參數（最大值、最小值及均值）進行分段線性映射處理，避免了整幀圖像的緩存及外部存儲。

    每幀圖像場消隱期間，利用當幀統計的圖像灰度值映射參數，根據式(1)～式(4)所示灰度映射公式進行全灰度級的映射計算。表1所示為對一幀圖像統計的最大值、最小值及均值。為了剔除噪點及壞點的影響，本系統記錄圖像的多級最大值（即最大值和多個次大值）以及其相對應的像素數，采用像素數大于10 個像素的灰度最大值作為當幀圖像的真實最大值；表2列出了部分灰度值的映射結果。

    將計算結果以原始灰度值為地址存入基于IP核構建的雙口RAM中，如圖6所示，下一幀圖像有效數據期間，以實時灰度值為地址從RAM中取出其對應的映射值輸出即可。由于算法處理部分在幀間消隱期間完成，相對于輸入圖像數據流，經過分段線性映射處理的圖像僅延遲2個時鐘周期的RAM讀取時間，靈活利用了幀間消隱時間，提高了系統圖像輸出的實時性。

2.3 多通道輸出顯示模塊

    由于CMOS輸出圖像格式不是標準的圖像數據顯示格式，需要進行圖像數據格式的轉換。目前主流的圖像數據格式轉換方法是通過外部SDRAM或DDR存儲器緩存一幀圖像后再讀出數據，結合已確定的行場同步信號輸出圖像[8]。這種方法不僅需要延遲將近一幀圖像的時間，而且由于經濟實用的外部存儲器多是單端的，即讀寫不能同時進行，所以需要編寫復雜的時序邏輯控制外部存儲器與讀寫模塊之間的信息交互關系，才能保證在寫入數據不丟失的情況下滿足輸出數據格式時序。

    本系統采用內部IP核例化的FIFO存儲器來緩存一小部分不能實時輸出的圖像信息，省去了外部存儲器以及復雜的控制邏輯。其兩端采用異步時鐘的設計方法，實現了2個時鐘域之間的數據傳輸，輸入端為CMOS輸出信號，輸出端為圖像顯示信號，只需保證FIFO容量滿足寫入和讀出圖像有效數據的滯留量，就能在不丟失圖像數據的基礎上，實現圖像格式轉換并實時輸出。

    圖7為雙通道Cameralink和DSP數據格式轉換前后時序對比圖，兩通道實時并行輸出，以Cameralink顯示為例，轉換前后數據格式如表3所示。

    由于輸入輸出幀率同為60 Hz，每幀圖像所需時間一致，所以只需要計算一幀圖像的滯留量，即可得到FIFO大小。輸入一行數據的時間：2.09×10^-5((1 024+370)/66.58×10⁶) s，該時間內輸出數據為1 205(57.56×10⁶×2.09×10^-5)個像素，即在輸入一行數據的時間內，輸入、輸出數據差值為25 個像素。考慮到計算中將行消隱數據(即無效數據)也包含在內，根據輸出有效數據占空比85%(1 024/(1 024+206))，可得到每一行的實際速率差為21個像素。所以768行有效數據，共需要16 K個像素存儲空間即可滿足緩存需要。

    由SCCB總線配置模塊輸入時鐘高于輸出時鐘，同時通過調整行場消隱寬度等配置使輸入有效數據盡量類似于輸出數據格式，即可充分利用FPGA內部存儲資源，再匹配行場同步信號與數據的關系就能實現各種不同數據格式的實時輸出。對于行場同步信號低電平有效的視頻數據格式，如VGA等^[9]，本系統數據緩沖方式也完全適用，只需要根據輸出行場同步信號及前后肩標準制式編寫簡單的計數控制時序即可。

3 實驗結果分析

3.1 CameraLink、DSP-VPSS雙通道輸出

    為測試系統輸出功能，采用1 024×768分辨率、60 Hz幀率的12 bit灰度級圖像雙通道實時輸出。一路CameraLink信號連接采集卡可由PC采集顯示，行場同步及數據滿足協議要求，仿真時序圖如圖8所示，圖像清晰且沒有丟幀現象，采集圖像如圖10(c)所示；另一路DSP信號使用Signal Tap在FPGA中嵌入監測模塊并觀察發送數據，如圖9所示。

3.2 輸出圖像效果

    為驗證分段線性映射算法的圖像增強效果，對不同場景、不同光照的圖像取原始圖和映射結果圖。選取如圖10所示一處場景進行對比發現，在較強光照下，由于圖像對比度較高，視覺效果較好，分段線性映射算法有一定效果，但不明顯，如圖10(c)、圖10(d)；但是在較弱光照下，原圖對比度很低，經過分段線性映射后的圖像的對比度顯著提升，原本無法辨別的細節信息明顯改善，圖像灰度均值也有所提升，如圖10(a)、圖10(b)，證明分段線性映射算法模塊對圖像有明顯的增強效果。

4 結論

    本文設計并實現了一個完整的、可搭載大多數常用圖像處理算法的、雙通道實時同步輸出的小型化CMOS成像系統。既可當做傳統CMOS相機單獨成像顯示，也可外接其他圖像處理或測控平臺來實現復雜圖像處理算法和測控應用。同時小型化的設計思想降低了系統成本，提高了系統效率、靈活性和實用價值。

參考文獻

[1] YAN L，ZHANG T，ZHONG S.A DSP/FPGA-based parallel architecture for real-time image processing[J].World Congress on Intelligent Control & Automation，2006，2：10022-10025.

[2] 劉國賀，李玉惠，李勃，等.數字圖像水印實時嵌入系統的設計與實現[J].電子技術應用，2010，29(3)：27-30.

[3] 陳必威，梁志毅，王延新，等.基于FPGA的高幀速CMOS成像系統設計[J].計算機測量與控制，2012，20(5)：1397-1400.

[4] 王鵬，程蕓，董書莉.基于FPGA的多格式數據傳輸設計[J].電子測量技術，2014，37(1)：70-75.

[5] 曾晶，唐湘成，王德勝.基于FPGA的差分信號阻抗匹配研究[J].電子設計工程，2010，18(3)：121-123.

[6] 侯宏錄，王蓉，杜鵑.基于FPGA的CMOS傳感器高速視頻采集系統[J].光電技術應用，2010，25(5)：24-28.

[7] 褚紅娟，隋國榮.基于SCCB通信的FPGA視頻采集模塊[J].自動化儀表，2010，31(11)：68-74.

[8] 朱奕丹，方怡冰.基于FPGA的圖像采集與VGA顯示系統[J].計算機應用，2011，31(5)：1258-1264.

[9] 丁昊杰，劉敬彪，盛慶華.基于CMOS圖像傳感器的視頻采集系統設計[J].現代電子技術，2012，35(14)：178-188.

作者信息:

張龍祥，王向軍，曹  雨

（天津大學 微光機電教育部重點實驗室，天津300072）