陶春，陳淑榮
?。ㄉ虾：Ｊ麓髮W 信息工程學院，上海 201612）
摘要：針對雨天環境下監控視頻因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現的目標行人漏檢誤檢情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測算法。通過直方圖均衡化降低雨水噪聲；提取圖像HOG-SIFT融合特征表征視頻圖像中的行人信息，減少輪廓特征的丟失；利用稀疏表示降低融合特征的維數，減小計算量并保留有效的行人特征，結合AdaBoost分類器降低漏檢率和誤檢率。實驗結果表明，該算法在雨天環境下有效地提高了行人檢測的準確率。
關鍵詞：HOG特征；SIFT特征；稀疏表示；行人檢測
中圖分類號：TP317.4文獻標識碼：ADOI： 10.19358/j.issn.1674-7720.2017.07.012
引用格式：陶春，陳淑榮.雨天環境基于HOGSIFT特征稀疏表示的行人檢測［J］.微型機與應用，2017,36（7）：39-42.
0引言
行人檢測是計算機視覺領域備受關注的前沿方向和研究熱點。常用特征主要有方向梯度直方圖（HOG）［1］、Haar特征［2］、尺度不變特征（SIFT）［3］、加速魯棒特征（SURF）［4］等。參考文獻［5］利用非負矩陣分解和方向梯度直方圖生成HOGNMF特征的快速行人檢測方法，降低了特征維數，對線性支持向量機的分類效果提高顯著，但易受光照環境影響。文獻［6］提出一種顏色自相似度特征與AdaBoost級聯分類器結合的行人檢測方法，加快了檢測速度，但漏檢誤檢情況較高。文獻［7］采用快速SIFT算法匹配相鄰幀人的身體，結合AdaBoost級聯分類器檢測行人信息，該算法適用于復雜場景下的行人檢測但是實時性差。上述文獻中所提到的檢測方法能夠運用在較多場景，但在雨天環境下，監控視頻圖像灰度值削弱導致行人輪廓特征丟失，出現大量行人漏檢誤檢情況。
在光線昏暗的雨天環境下，針對視頻圖像的灰度值削弱問題，本文采用圖像的HOGSIFT融合特征描述行人信息，可以減少其輪廓特征的丟失。利用稀疏表示對圖像HOGSIFT融合特征進行降維，得到強輪廓特征，通過AdaBoost分類器的級聯強分類性來提高雨天環境下行人檢測的準確率。
1算法原理
實驗中首先提取雨天環境下監控視頻的每幀圖像，進行直方圖均衡化處理降低雨水噪聲影響，再變換為灰度圖像并歸一化。通過提取圖像HOG特征和SIFT特征，串行組合成HOGSIFT融合特征，表征圖像中的行人特征。利用稀疏表示降低融合特征維數，得到強輪廓特征，并減少弱噪聲影響。通過AdaBoost級聯分類器檢測目標行人。算法流程如圖1所示。
1.1HOG特征提取
HOG特征是圖像處理中檢測行人或物體的一種特征描述子。提取測試樣本圖像的HOG特征，需將圖像分成小的細胞單元（cell），采集cell中各像素點梯度和邊緣的方向直方圖，再組合起來構成測試樣本圖像的HOG特征。圖像中像素點(x,y)梯度為：
Gx(x,y)=H(x+1,y)－H(x－1,y)（1）
Gy(x,y)=H(x,y+1)－H(x,y－1)（2）
式中Gx(x,y)，Gy(x,y)，H(x,y)分別表示輸入圖像中像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值和梯度方向分別為：
G(x,y)=Gx(x,y)2+Gy(x,y)2（3）
α（x,y)=tan－1(Gy(x,y)/Gx(x,y))（4）
實驗中對樣本圖像進行HOG特征提取，圖像歸一化為64×128。將圖像分割成16×16像素的cell，每2×2個cell組成一個塊。將梯度方向平均劃分為9個區間，統計cell里每個區間中像素的梯度方向直方圖，得到一個9維的特征向量。計算出每個塊內有4×9=36個特征向量，用塊對樣本圖像進行掃描，掃描步長為一個單元。將所有塊的特征串聯起來，構成完整的HOG特征。圖2是雨天視頻圖像HOG特征的提取。
圖2（a）為原始圖像，（b）為根據提取的HOG特征還原的圖像。HOG特征是統計每個cell中像素的梯度直方圖，而還原圖像的像素點受到雨天光線變暗、圖像灰度值削弱的影響，使圖2(b)中的行人輪廓出現明顯的丟失,在檢測時易造成漏檢誤檢情況。因此，利用單一HOG特征在雨天環境下檢測行人的準確率較低。
1.2SIFT特征提取
SIFT特征能保持圖像的尺度與旋轉不變性，對光照變化有較好的穩定性。通過對樣本圖像分別提取HOG和SIFT特征，串聯組合成HOG-SIFT融合特征，能夠有效描述雨天視頻圖像中行人輪廓的特征信息，提高在雨天環境下的行人檢測準確率。提取SIFT特征首先要構造圖像的尺度空間，對每層尺度空間進行關鍵點檢測和方向分配，再通過歸一化生成關鍵點描述子。尺度空間和關鍵點的算法描述如式（5）～式(7)。
I(x,y)是輸入的圖像信號，G(x,y,σ)是尺度可變高斯函數，則函數L(x,y,σ)是一幅圖像的尺度空間，如式（5）：
L(x,y,σ)=G(x,y,σ)*I(x,y)（5）
其中，σ是尺度因子，σ越小，表征圖像的信息越多；σ越大，表征圖像的信息越少。關鍵點在(x,y)處梯度的模值和方向，其公式如式（6）和（7）：
m(x,y)=(L1－L2)2+(L3－L4)2（6）
θ(x,y)=atan2(L3－L4)/(L1－L2)（7）
式中各變量L1=L(x+1,y)，L2=L(x－1,y)，L3=L(x,y+1)，L4=L(x,y－1)。
實驗對樣本圖像進行SIFT特征提取，圖像歸一化為64×128，利用高斯函數對每一幅圖像構造尺度空間，通過高斯差分卷積對尺度空間中的關鍵點進行檢測。本文選用16×16大小的檢測窗口，每個窗口檢測到的關鍵點為4×4=16個，利用式（6）、（7）確定關鍵點的位置、尺度和方向后，用高斯窗口對其進行加權運算，得到具有8個方向的關鍵點，一個窗口有4×4×8=128維特征描述子，一幅64×128大小的圖像有128×32=4 096維SIFT特征。圖3是雨天視頻圖像中行人SIFT特征關鍵點的提取。
圖3（a）為原始圖像，（b）為SIFT特征關鍵點提取。SIFT特征通過高斯函數構造圖像中目標行人的多層尺度空間，利用檢測窗口檢測出人體輪廓的關鍵點，將關鍵點串聯得到人體的SIFT輪廓特征。在光線昏暗的雨天環境，SIFT特征通過關鍵點描述出行人輪廓特征，減少雨天環境下行人的局部輪廓特征丟失。因此，通過構造HOG-SIFT融合特征將有效提高雨天環境中行人目標檢測的準確率。
1.3HOG-SIFT特征的稀疏表示
稀疏表示能夠降低HOG-SIFT融合特征的維數、減少計算量，使HOG-SIFT融合特征有效表征行人輪廓信息，減少噪聲特征的影響。實驗首先對行人數據庫中選出的訓練樣本提取融合特征構造字典，將訓練樣本分為k類，提取到的特征向量為Si,j，第i類訓練樣本用特征向量表示為Ai，將Ai擴展到整個訓練樣本集，則可以構成字典A，如式（8）所示：
A=［A1,A2...Ak］=［S1,1,S1,2...Sk,n］∈R（8）
實驗中將行人結構與稀疏表示原理相結合建立稀疏算法模型。行人結構可以定義成一個層次為h的索引樹T，則Ti={Gi1,Gi2,...,Gini}包括了層次為i中所有的節點，其中n0=1，G01={1,2,...p}且ni≥1，i=1,2,...h。數學模型為式（9）：
![[(TOI]YARY3T6FN`}QS4NF9.png](http://files.chinaaet.com/images/2017/05/02/6362935198136539263042849.png "[(TOI]YARY3T6FN`}QS4NF9.png")
其中x∈Rp，ωij≥0(i=0,1,...,h,j=1,2,...,ni)是預先定義的關于節點Gij的權重，xGij是節點Gij的系數向量。
實驗對待測的雨天視頻圖像提取HOG-SIFT融合特征，利用式（9）對該融合特征進行稀疏表示。通過已經構造出的字典A和需要稀疏的融合特征向量y，利用正則化參數求解出參數λmax，根據式（9）可以求解特征向量y的系數矩陣x，通過其表征圖像中行人的輪廓特征。圖4是對雨天視頻圖像提取的HOG-SIFT融合特征的稀疏表示?！ ?/p>
稀疏表示是通過一組系數矩陣來表示圖像特征，系數矩陣可以通過稀疏字典還原圖像的特征信號，相較于傳統PCA降維法不需要計算協方差矩陣，縮短了特征降維的時間，同時經過稀疏表示后的HOG-SIFT融合特征對雨天環境下視頻圖像中行人輪廓表征更清晰，減少了弱噪聲特征影響。
1.4AdaBoost分類器
AdaBoost是一種迭代算法，針對同一個訓練集訓練不同的弱分類器，并將弱分類器級聯成一個強分類器。在雨天環境下，AdaBoost通過多次構造弱分類器檢測出錯誤的樣本，利用級聯強分類性再次檢測出錯誤的樣本，提高了分類器檢測的準確率，有效減少了雨天環境下圖像灰度值削弱而出現的行人漏檢誤檢情況。因此，本文選用AdaBoost作為實驗的最終分類器。
2算法步驟
本文算法步驟如下：
?。?）選取一段雨天環境下的監控視頻，提取視頻幀圖像，對圖像進行直方圖均衡化處理，降低雨水噪聲的影響。
（2）將圖像轉為灰度圖像，并做歸一化處理。
?。?）對圖像分別提取HOG特征和SIFT特征，得到兩個特征集合α、β，并且通過串行特征組合方法構造HOGSIFT融合特征集C。
?。?）利用融合特征C構造待檢測圖像的字典A，用稀疏算法對融合特征C進行稀疏表示，得到圖像的稀疏融合特征向量C′。
?。?）通過AdaBoost分類器對稀疏融合特征向量C′分類檢測，得到雨天環境下視頻幀圖像中的目標行人。
3實驗結果及分析
為了驗證算法有效性，在MATLAB 2014a環境下進行實驗，計算機配置為2.1 GHz CPU和4 GB內存，數據庫為INRIA數據庫和Daimler數據庫。實驗驗證雨天環境下視頻監控中行人檢測的漏檢誤檢情況。首先從兩個數據庫中選擇2 100個包含行人圖片的正樣本集和3 200個無行人圖片的負樣本集訓練AdaBoost分類器。測試樣本為雨天環境下的一段監控視頻，提取500幅幀圖像作為最終的測試樣本集，且圖像大小歸一化為128×64。
實驗將本文算法與傳統HOG檢測算法和HOG紋理顏色融合特征檢測算法進行檢測對比，檢測結果如圖5所示。
圖5（a）為傳統HOG+SVM算法檢測的結果,（b）為HOG-紋理-顏色+SVM算法檢測的結果，（c）為本文算法HOG-SIFT+稀疏表示+AdaBoost算法檢測的結果。在圖（a）、（b）中已用箭頭標注出漏檢情況，在圖（c）中本文算法正確檢測出目標行人。
針對雨天環境下行人檢測的漏檢誤檢情況，將本文算法與傳統HOG特征檢測算法、HOG-紋理-顏色融合特征檢測算法進行比較。圖6是在晴天環境下3種算法的檢測情況比較，圖7是在雨天環境下3種算法的檢測情況比較。其中漏檢率（MissRate）和誤檢率（FPPW）如式（10）和式（11）所示：
式中，FN（False Negatives）是正樣本被錯誤檢測為負樣本的數量；TP（True Positives）是正樣本被正確檢測為正樣本的數量；FP（False Positives）是負樣本被錯誤檢測為正樣本的數量；TN（True Negatives）是負樣本被正確識別為負樣本的數量。
實驗結果表明，晴天環境在誤檢率相同的情況下，本文算法的漏檢率比傳統HOG算法和HOG紋理顏色融合特征算法稍低，其準確率為93.5%，傳統HOG算法的準確率為89%，HOG紋理顏色融合特征算法的準確率為90.6%。雨天環境在誤檢率相同情況下，本文算法的漏檢率明顯比另兩種算法低，其準確率為90.3%，傳統HOG算法的準確率為80.1%，HOG紋理顏色融合特征算法的準確率為83.2%。
針對雨天環境下行人目標的檢測時間，將本文算法與傳統HOG特征檢測算法和HOG紋理顏色融合特征檢測算法對相同維數的雨天視頻圖像特征進行檢測比較。結果如表1所示。
表1中是3種算法對一組2 800維的雨天視頻圖像特征進行行人檢測的時間比較，包括不同算法下特征的訓練時間、分類檢測時間和行人目標檢測的準確率。本文算法提取的HOGSIFT融合特征經過稀疏表示將邊緣弱特征忽略掉，保留行人輪廓的強特征，從而降低了特征的維數，簡化了計算量。因此，本文算法大大減少了樣本的訓練時間和檢測時間，提高了行人檢測的準確率。
4結論
針對雨天環境下監控視頻中因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現行人漏檢誤檢的情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測算法。利用HOGSIFT融合特征表征雨天環境下圖像的行人特征；減少輪廓信息丟失；通過稀疏表示對融合特征降維、簡化計算，并保留有效的行人特征;利用AdaBoost分類器的級聯強分類性降低行人的漏檢誤檢情況。實驗表明本文算法提高了雨天監控視頻中行人目標檢測的準確率，為雨天視頻監控系統實施行人檢測方法提供了理論依據。
參考文獻
?。?］ DALAL N,TRIGGS B.Histograms of oriented gradients for human detection ［C］. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,1:886-893.
?。?］ LOWE D G.Distinctive image feature from scaleinvariant key points［J］.International Journal of Computer Vision, 2004, 60(2):91-110.
?。?］ OJALA T,PIETIKAINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distributions［J］.Pattern Recognition,1996,19(3):51-59.
［4］ 顧志航，陳淑榮.一種基于HOG和LSS融合的行人檢測算法［J］.微型機與應用，2016，35（8）：37-39.
?。?］ 孫銳，陳軍，高雋.基于顯著性檢測與HOGNMF特征的快速行人檢測方法［J］.電子與信息學報，2013,35（8）：1921-1926.
［6］ 曾波波，王貴錦，林行剛.基于顏色自相似度特征的實時行人檢測［J］.清華大學學報，2014，52（4）：571-574.
?。?］ 杜金輝，管業鵬，時勇杰.基于快速SIFT匹配的行人信息檢測［J］.電子器械，2012，35(5):601-606.