文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.174841
中文引用格式： 喬瑞萍，孫賀，董員臣，等. 基于多特征融合的井蓋檢測系統實現[J].電子技術應用，2018，44(6)：44-47.
英文引用格式： Qiao Ruiping，Sun He，Dong Yuanchen，et al. Implementation of manhole cover detection system based on multi-
feature fusion[J]. Application of Electronic Technique，2018，44(6)：44-47.
0 引言
井蓋缺失和破損對正常的行車造成了巨大安全隱患。井蓋檢測系統對于智能輔助駕駛具有很高的應用價值。近些年，對于橢圓檢測的課題研究，國內外都取得了突出成果，并廣泛應用在鋼管數統計[1]和表盤識別[2]場景中。行車記錄儀拍攝與地面存在夾角，圓形井蓋在成像時豎直方向發生不同程度的縮放，最終呈現出橢圓狀。據此，理論上可將路面井蓋的檢測轉換為對橢圓的檢測，但實際操作中，一方面由于數字圖像成像的特殊性，目標邊緣往往呈現出鋸齒狀堆積，而非光滑的弧段，如圖1所示，通過單像素點的提取來擬合出橢圓，往往由于取點難度大，導致錯擬合；另一方面，復雜的道路場景中，背景變化較快，存在過多的干擾因素，如噪點以及物體遮擋等造成的弧段不連續問題，單純利用邊緣特征，無法快速將其從復雜背景中分離出來[3-5]。
本方案將從宏觀特征入手，充分考慮方法實現的實時性和準確性，類比人的認知規律，提出新的井蓋檢測框架。
1 方案概述
為保障實時處理速度，在研究高效算法的基礎上，還需要配套的硬件設備。如圖2所示，系統主要由3部分組成：攝像頭、主機板卡、7英寸LCD顯示屏幕。
不同時刻井蓋的定位雖然可以通過目標跟蹤的方法減少一定的計算量，但是該方法每次僅在上一幀圖像的極窄區域內進行搜索，對道路中出現的突發狀況難以做到及時預判。全檢測的方法可以對每幀圖像的細節信息進行處理，對畫面的實時變化敏感。
2 硬件系統構成
TMS320DM6437是TI公司C6000系列中支持達芬奇技術的數字媒體處理器，工作頻率最高可達600 MHz，能達到4 800 MIPS的峰值計算速度，片上集成了視頻處理子系統VPSS，極大地支持了前端預處理與后端顯示，減輕DSP核負擔；支持汽車上用于電子設備通信的控制器局域網絡（Controller Area Network，CAN）總線，非常適合車載視頻設備的開發應用。
主機板卡包括視頻輸入模塊、外圍存儲模塊、視頻輸出模塊、通信接口和電源模塊。
視頻輸入/輸出模塊：前端采用TVP5146視頻解碼芯片，將CCD攝像頭拍攝的畫面進行A/D采樣和壓縮編碼；后端通過編程，實現多種標準輸出。
外圍存儲模塊：外擴了2 GB的DDR2和128 MB的Flash，用于數據和程序的存放。
通信接口：通過JTAG接口對板卡進行調試，預留了可以接入汽車的CAN總線接口。
3 核心算法的實現
本部分主要算法流程如圖3所示。
3.1 感興趣區域的確定
限定感興趣區域，可大大提高系統的處理速度[6]，通常以車道線作為限定參考。當前，車道線的檢測技術層出不窮，但在速度和準確率上仍然難以達到平衡。另一方面，在超車或轉彎，乃至某些無交通限制的區域，由于駕駛人的主觀操作，車輛已非嚴格地限制在車道線間。因此，需要關注如何以車輛本身參考建立一個統一模式，以應對不同路況，淡化對車道線信息的依賴。
上邊界限定：圖像上部1/4范圍常為背景天空和樹木，且與車輛本身距離較遠，為非關注區域。
左右邊界限定：在透視模型中，當車道線保持平行時，透視圖像中所有車道線的延長線必交于一點。假設已通過相機標定技術得到了實際世界坐標系和圖像坐標的位置對應關系，那么，便可在圖4(a)的俯視圖中劃定現實世界中的研究區域[7]。
d為行車中r時間內可能達到的左右偏移：
最終，通過3條相交線段，劃定出如圖4(b)成像圖中的梯形感興趣區域。針對不同的場景（車、道路、行車記錄儀廣角和安裝高度），區域限制略有差別，但都可以通過其他操作進行矯正。
3.2 候選目標的確定
連通區域分析在視覺跟蹤中的運動前景目標分割與提取、感興趣目標區域提取中有著廣泛應用[8]。目標往往存在于紋理密集、顏色或灰度突變處，可據此進行連通區域分割。實際道路場景中，光影交錯，僅通過灰度圖得到的二值化圖像來進行連通區域的提取，極易造成區域間粘連，為了獲得較好的效果，常結合腐蝕和膨脹操作進行區域提取。然而，該操作一定程度弱化了邊緣信息，對于井蓋，不太關注內部的特征（井蓋表面的紋理），而是關注更為突出的邊緣信息。同時，以邊緣的連通性取代整個區域的運算，能有效避免光照不均勻的影響，加上合理的閾值設置，初期便可以排除一些噪點，整體更具魯棒性。
標記算法往往因遍歷方式和次數的不同，存在時間或效率的差別。兩次遍歷算法，通過一次遍歷圖像，記錄連續的團和等價對，進而由等價對對圖像進行第二次遍歷標記，具有比較高的效率(在二值化圖像中，1為目標，0為背景)。主要步驟如下：
定義結構體
typedef struct Fx
{int val;
int lab;
int flag;
} F；
為便于描述，以F（x，y）代表坐標（x，y）處像素的屬性列表；val為二值化值；lab為標簽值，用來記錄連通區域的索引號；flag為歸屬標志，記錄標簽間的相鄰位置關系。
(1)第一次遍歷
當F(x，y).val==1：
如果F(x，y)的鄰域中像素值都為0，則賦給F(x，y).lab一個新的label值：label=label+1，F(x，y).lab=label；
如果F(x，y)的鄰域中有val值為1的像素集合A：
將A中label最小值賦予給F(x，y).lab，即F(x，y).lab=min A.lab；
用flag記錄A中各個值（label）之間的同屬關系，即labelSet[i]={label_m，…，l abel_n}，labelSet[i]=flag。
(2)第二次遍歷
訪問當前F(x，y).val 為1的像素點，找到與 F(x，y).lab同屬(具有相同flag)的最小label值，賦予F(x，y).lab；
完成掃描后，圖像中具有相同label值的像素就屬于同一個連通區域。
針對圖1(a)中實際場景處理的邊緣提取圖，采用連通域區域標記，得到的最小外接矩形，如圖5所示。
該矩形框進一步鎖定了候選目標的位置。由于原圖像中包含更多的細節信息，應進一步考察原灰度圖像中相應位置處的特征。
3.3 多特征的判定
合理地選擇特征，可以有效區分井蓋與背景，簡化操作，降低復雜度。
邊緣特征：井蓋邊緣常呈現較大的弧彎曲，且長度需大于某一閾值T，才對整體輪廓提取有貢獻。
灰度特征：人的視覺往往容易被顏色、灰度、紋理特征突變目標吸引。井蓋的灰黑鑄鐵材質，顏色較周邊路面暗。
對稱性特征：井蓋在視場下呈現橢圓狀，在水平方向和垂直方向都有嚴格的對稱性。以水平方向對稱性判別為例，通過式(3)來度量一定區域內目標的對稱性。
其中，f(x，y)為(x，y)處的灰度值；H和W分別為所選區域的高度和寬度；Gs為對稱性度量值，Gs越小，對稱性越明顯，通常閾值設為0.15。
區域大小和縱橫比約束：井蓋有固定的大小規格，這就決定了其在視場中所呈現的區域面積不可能過大或過小；另外，由于拍攝角度所引起的成像畸變，橢圓水平軸較長于豎直方向的軸長，引入縱橫比約束，以橫豎軸長比值ratio為度量，并以一定閾值T設限，用來排除其他類圓形干擾物，如自行車輪胎。通過對多種分辨率的行車記錄儀視頻統計對比，在5～30 m范圍內，T通常在1.8～4.2范圍內。
TI公司針對TMS320DM6437平臺提供了一個簡單的DSP/BIOS實時操作系統環境。在該系統中，可以通過編寫mini-Driver驅動程序，實現對視頻采集/顯示設備的控制，如圖6所示。為優化程序處理，可借助TI公司提供的VLIB和IMGLIB庫進行代碼的輔助編寫。
4 實驗結果與分析
對行車記錄儀拍攝的一段時長33 s的視頻進行測試分析，共計823幀圖像，單幀圖像分辨率為720×480。
利用本文方法，在DM6437平臺上處理，視頻顯示無卡頓，滿足處理實時要求，但在某些場景中，因邊緣信息不完整，連通性削弱，常發生漏檢，而誤檢多發生在類圓形的陰影處。對于宏觀特征區域連通法，由于晴朗日光下樹木等物體影子與井蓋灰度相近，當難以有效利用閾值將粘連分開時，便造成定位偏差，且漏檢較多。基于邊緣的橢圓擬合，在邊緣提取和車道線檢測部分消耗了大量時間，同時該方法受場景復雜度影響明顯，不同幀之間的處理時間差別很大。測試結果如表1所示。
部分測試結果如圖7和圖8所示。本文方法在其他場景下的檢測效果如圖9所示。在多數場景下，該方法均能快速準確定位出井蓋位置。
5 結論
本文采用一種多特征融合的方法，對車輛前方井蓋進行檢測，利用邊緣的連通性，得到目標的候選區域，通過對稱性、區域大小、長寬比等特征層層篩選，可以很好地進行井蓋目標的定位。
該方法從宏觀特征出發，避免了細節信息處理的耗時，有效地提高了檢測速率，且具有較高的檢測準確率。然而該方法對邊緣檢測的依賴性較強，可能會因為邊緣提取的偏差，造成誤差效應的累積。因此，如何尋找更為有效的特征信息，提高算法效率，是將來研究的重點。
參考文獻
[1] 彭正濤.基于快速類圓中心定位算法的棒材在線計數系統的研究和設計[D].武漢：武漢科技大學，2012.
[2] 施瀅，夏春華，胡琳娜，等.指針式儀表讀數的機器視覺智能識別方法[J].傳感器與微系統，2017(11)：47-49，52.
[3] 吳堯鋒，王文，盧科青，等.邊界聚類橢圓快速檢測方法[J].浙江大學學報(工學版)，2016，50(2)：346.
[4] MICHELE F，ANDREA P，RITA C.A fast and effective ellipse detector for embedded vision applications[C].Pattern Recognition，2014，47(11)：3693-3708.
[5] 胡海鷗，祝建中.基于弧段組合的直接最小二乘橢圓擬合[J].杭州師范大學學報（自然科學版）,2011，10 (6)：556-560.
[6] 趙午峰，喬瑞萍，孫賀.基于TMS320DM6437的車道線檢測與跟蹤[J].電子技術應用，2017，43(4)：17-20.
[7] 劉宏哲，袁家政，鄭永榮.計算機視覺算法與智能車應用[M].北京：電子工業出版社，2015.
[8] Di Zhipeng，He Dongzhi.Forward collision warning system based on vehicle detection and tracking[C].2016 International Conference on Optoelectronics and Image Processing(ICOIP)，Warsaw，2016：10-14.
作者信息:
喬瑞萍，孫 賀，董員臣，王 方
（西安交通大學 電子與信息工程學院，陜西 西安710049）