文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.173394
中文引用格式： 劉星，梁發云，楊金遠，等. 基于FPGA的3D圖像傳感器設計與實現[J].電子技術應用，2018，44(2)：62-65.
英文引用格式： Liu Xing，Liang Fayun，Yang Jinyuan，et al. Design and implementation of 3D image sensor based on FPGA[J]. Application of Electronic Technique，2018，44(2)：62-65.
0 引言
裸眼3D技術是《“十三五”國家戰略性新興產業發展規劃》中指出的重點發展領域，規劃表明了加快虛擬現實、增強現實、全息成像、裸眼三維圖形顯示（裸眼3D）等核心技術創新發展[1]的決心。影視拍攝的3D攝像機體積龐大、結構復雜且價格昂貴，不適合嵌入式系統的應用，嚴重制約了裸眼3D技術的產業化應用。而便攜式產品、電視機的CPU不具備同步采集3D圖像的接口和能力，因此圖像3D傳感器只能使用FPGA或CPLD器件來高速并行處理圖像數據[2]。
本文根據人眼仿生學原理設計一種嵌入式的微型3D圖像傳感器，研究硬件邏輯方法以實現3D圖像的采集、傳輸、存儲及顯示，為便攜式領域提供獲取3D圖像數據的手段，力求解決裸眼3D技術產品化面對的技術瓶頸問題。
1 系統設計思想
根據立體視覺原理，3D圖像應同步采集并滿足成像清晰度、光軸會聚、視差匹配等要求。
3D圖像傳感器系統結構包含兩只CMOS型圖像傳感器及緩存圖像數據的SDRAM，為了對兩只圖像傳感器進行同步配置和采集，只能選用FPGA（或CPLD）作為邏輯控制芯片。
系統總體結構圖如圖1所示，采用FPGA+雙CMOS+雙SDRAM硬件結構。FPGA選用Altera公司的EP3C25Q240C8N為主控芯片；為滿足圖像傳感器分辨率的要求，CMOS圖像傳感器采用500萬像素的OV5640；FPGA對OV5640獲取的圖像數據進行采集并緩存至SDRAM，其容量應滿足一幀高清晰度圖像數據的存儲要求。3D圖像傳感器的圖像拍攝和視頻錄制方法的指導思想為把同步采集的兩只OV5640的圖像數據按行像素進行合并，以左右格式的全寬或半寬立體對圖像儲存至SD卡中。使用裸眼3D液晶屏作為實時監控設備，FPGA邏輯控制左右圖像的像素重配后，再輸入至裸眼3D顯示屏顯示。
由于FPGA并不是CPU結構，而是一個可定制的能實現復雜邏輯電路的器件，因此需要為所連接的器件設計邏輯控制模塊。根據3D圖像傳感器的功能要求，按照圖像數據的流向，FPGA的內部邏輯設計應包括圖像采集模塊、SDRAM緩存控制模塊、SD卡儲存模塊、裸眼3D LCD顯示控制模塊及系統控制模塊。
OV5640工作時鐘為24 MHz，FPGA外部時鐘為50 MHz，SDRAM工作時鐘為100 MHz，LCD的工作時鐘為25 MHz，所以系統控制模塊需解決跨時鐘域數據通信的問題。FPGA內部邏輯設計如圖2所示。
2 圖像數據采集與緩存方法
3D拍攝時，如果兩只圖像傳感器未有效同步，則運動物體的曝光成像就會存在時間差，其后果是左右眼圖像不同步，從而使3D視覺無法形成而導致顯示失敗。因此3D圖像傳感器必須保證像素級的同步，使用FPGA的硬件邏輯控制來完成圖像傳感器準確的同步配置和同步采集。
2.1 圖像傳感器同步配置及其數據采集
通過SCCB(串行攝像機控制總線)對OV5640的工作寄存器進行配置[3]，本文把圖像傳感器的圖像輸出數據設置為RGB565，再根據圖像監控設備的分辨率1 024×768和800×600，把左右眼圖像傳感器的分辨率按半寬原則設置為512×768和400×600，幀頻為30 f/s，以此來驗證FPGA的邏輯算法是否正確。
OV5640初始化完成后，圖像傳感器開始啟動工作，按設置的幀頻從數據接口輸出圖像數據。FPGA在PCLK(像素時鐘)、HREF(行同步信號)和VSYNC(場同步信號)的控制下開始采集OV5640的圖像數據Data[7..0]，設計邏輯算法將采集到的相鄰的兩個字節數據轉換為16位的圖像數據。使用Signal-tapII在線采集行場信號與數據信號的時序波形如圖3所示，當PCLK處于上升沿時檢測行場信號，VSYNC處于低電平且HREF為高電平時表示正在采集圖像數據，當VSYNC信號由低電平轉高電平時，表示開始采集新的一幀圖像數據。觀察圖3波形可知，設計的圖像傳感器數據采集的邏輯算法正確。
2.2 圖像數據緩存
為解決跨時鐘域數據通信問題，FPGA內部構建了wr_FIFO和rd_FIFO連接OV5640和SDRAM，wr_FIFO用于接收OV5640采集的圖像數據，rd_FIFO用于緩存輸出至LCD的圖像數據。當wr_FIFO接收到wr_req(寫數據請求)時，OV5640采集到的數據緩存至wr_FIFO中；當rd_FIFO接收到rd_req(讀數據請求)時，rd_FIFO將緩存的數據輸出至LCD顯示。
由于3D視頻圖像數據量大、傳輸速度高、像素級同步的要求，為了保證數據的有效處理，設計了SDRAM控制模塊，運用了輪序法對SDRAM進行分時操作[4]。當SDRAM進行寫操作時，數據首先寫入BANK0，寫完一幀圖像數據后，切換為BANK3；當SDRAM進行讀操作時采用相同邏輯，切換BANK。根據以上邏輯，將輪序法操作SDRAM算法封裝成SDRAM控制器，使得圖像數據在SDRAM中的緩存更為簡化和高效。左圖像傳感器的數據緩存操作流程如圖4所示。
3 圖像儲存
SD卡具有尺寸小、功耗低、讀取速度快等優點，所以在便攜式儲存領域應用廣泛[5]。SPI以主從方式工作，系統采用SPI模式實現SD卡與FPGA的通信，由SPI_CLK(時鐘信號)、SPI_MISO(主機輸入從機輸出)、SPI_MOSI(主機輸出從機輸入)、SPI_CSN(片選信號)組成。
分辨率為2 048×768的左右立體對圖像以BMP格式儲存在SD卡中，分為三個過程：立體對圖像數據轉化為BMP圖像數據格式；SD卡初始化；SD卡寫操作控制[6]。3D圖像傳感器采集的圖像數據為RGB565，SD卡則以真彩色RGB888格式進行儲存，所以需RGB565轉RGB888操作，有兩種方案選擇，一是采取低位補零方法，二是RGB565數據向高位移位后低位補原數據的高位，系統對兩個方案都進行了實驗，觀看效果一致。SD卡的初始化按照SD卡的初始化流程實現。采用FAT16文件系統對SD卡進行扇區管理，以便立體對圖像數據的正確寫入，使用Verilog_HDL（硬件描述語言）將FAT表、根目錄及54 B的BMP文件信息寫入SD卡對應的物理地址。在左右數據通道的控制下，將左右圖像數據寫入SD卡的數據區，左數據通道選通時序圖如圖5所示，右數據通道選通時序關系同理。
4 圖像顯示
采用8英寸裸眼3D顯示屏對采集到的圖像進行顯示，該裸眼3D顯示屏能兼容2D和3D顯示，所以分別設計了左右立體對顯示和像素重配后的3D顯示兩種邏輯算法。系統采用LCD的驅動模式為DE模式，DE信號相當于行場兩個同步信號的復合信號，通過h_cnt和v_cnt兩個計數器控制DE_h和DE_v兩個同步信號，邏輯為DE=DE_h&DE_v，當DE為高電平時，LCD顯示接收到的圖像數據。
2D顯示時，將具有一定視差的左右立體對圖像映射至LCD，根據時序標準，切換左、右數據選通信號，使得左、右圖像數據按行傳輸至LCD上顯示。硬件上設計了VGA接口和LCD接口，分別將立體對圖像映射至液晶電視和LCD上顯示，兩者映射原理相同，只是時序不同，左右立體對圖像映射至LCD的示意圖如圖6所示。
3D顯示時，將左、右圖像數據分別映射至裸眼3D顯示屏左、右眼亞屏幕[7]，即左圖像數據映射在屏幕的奇列像素上，右圖像數據映射在屏幕的偶列像素上，將左右圖像數據進行行壓縮邏輯設計，按照時鐘頻率交替寫入LCD中，完成像素重配。裸眼3D顯示屏在結構上和普通2D顯示屏有很大的不同，觀看角度上也存在差異。當人眼處于獨立視區時，左右眼能獨立地看到左右亞屏幕上的圖像，通過大腦視覺中樞融合形成裸眼3D效果[8]。當人眼處于非獨立視區時，左右眼分別能看到左右亞屏幕上的圖像，此時形成重影而影響觀看效果。左右立體對圖像像素重配后映射至LCD的示意圖如圖7所示。
5 仿真分析及實驗
OV5640采集8 bit的圖像數據在SDRAM緩存過程中需轉換為RGB565格式的16 bit數據，使用嵌入式邏輯分析儀Signal-tapII對該轉換進行仿真分析，仿真波形如圖8所示，通過觀察信號的值可驗證該邏輯設計正確。對像素重配后在裸眼3D屏上顯示的圖像數據進行仿真分析，其波形如圖9所示，通過在線仿真可看出3D顯示時的圖像數據和左右圖像傳感器獲取的圖像數據嚴格一致。
系統使用了液晶電視和裸眼3D顯示屏進行了實驗，準確穩定地將采集到的高清立體對圖像輸入并顯示。3D圖像傳感器將立體對圖像像素重配后輸入至裸眼3D顯示屏顯示，效果良好。實驗結果表明，設計的3D圖像傳感器及其邏輯算法能對3D圖像進行完整的采集、傳輸、儲存、顯示，驗證了系統硬件邏輯算法的正確性。
6 結論
便攜式3D拍攝設備具有廣闊的發展前景，根據人眼立體視覺仿生原理設計的3D圖像傳感器利用了FPGA高速并行處理的優勢，使得硬件構架上更為集成化，解決了3D視頻圖像來源、儲存和像素重配等問題。系統工作穩定，移植性好，通過修改模塊程序即可支持不同的圖像傳感器和顯示器，支持2D和3D顯示，具有較好的兼容性。
3D圖像傳感器提供了3D圖像獲取的手段，使用者可隨時隨地記錄3D場景，可在裸眼3D設備上復現三維場景，獲得臨場感和沉浸感。3D圖像傳感器的研制為3D圖像傳感器的專用集成電路設計提供了有益的參考。
參考文獻
[1] “十三五”國家戰略性新興產業發展規劃(全文)[J].中國戰略新興產業，2017(1)：57-81.
[2] 梁發云，何輝，施建盛，等.基于FPGA的視頻信號采集技術研究[J].電視技術，2014，38(7)：54-57.
[3] Omini Vision.OV5640 datasheet[Z].2011.
[4] 戚翔宇.3D傳感器左右視頻合成技術研究[D].南昌：南昌大學，2016.
[5] 劉敏，梁發云，王興鵬.裸眼3D系統SD卡FPGA讀取顯示研究[J].電視技術，2015，39(9)：40-43.
[6] 陳輝.高清3D傳感器數據處理技術研究[D].南昌：南昌大學，2017.
[7] Liang Fayun，Cheng Jie，Tie Zhicheng，et al.Dynamical assembly for naked-eye-stereoscopic LCD screen[J].Advanced Materials Research，2011，403-408(11)：3095-3098.
[8] 梁發云，鄧善熙，楊永躍.自由立體顯示器的視覺特性測量與研究[J].儀器儀表學報，2006，27(10)：1350-1353.