文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.172962
中文引用格式： 王永俊，卿粼波，何小海，等. 基于TMS320C6678核相關濾波器跟蹤算法實現及改進[J].電子技術應用，2018，44(2)：36-38，43.
英文引用格式： Wang Yongjun，Qing Linbo，He Xiaohai，et al. The implementation and improvement of tracking algorithm with kernel correlation filter based on TMS320C6678[J]. Application of Electronic Technique，2018，44(2)：36-38，43.
0 引言
目標跟蹤是計算機視覺領域中一個重要分支，被廣泛應用于智能監控、人機交互、機器人等領域。近年來，目標跟蹤算法的研究得到了很大發展。其中以相關濾波器在目標跟蹤上的研究成為了典型。BOLME D S[1]等提出了通過訓練單幀圖像得到最小輸出方差和濾波器(Minimum Output Sum of Squared Error，MOSSE)來對目標進行跟蹤，提升了以往跟蹤算法的速度。HENRIQUES J F[2]等提出了基于循環結構的檢測跟蹤算法(the Circulant Structure of tracking by detection with Kernels，CSK)，該算法對候選圖像塊進行循環移位，得到大量的樣本進行訓練分類器。分類器的訓練和檢測都是基于頻率域點積操作，極大地提升了跟蹤速度。后來HENRIQUES J F[3]等對CSK算法進行了改進，通過提取圖像的HOG特征，進行多維特征跟蹤，并提出了核相關濾波器(KCF)以及雙核相關濾波器(DCF)跟蹤算法,進一步提高了跟蹤性能。由于KCF算法具有對光照變化魯棒性高、跟蹤速度快的特點，更適合在嵌入式系統上應用。
然而原始的KCF算法不能適應目標尺寸的變化以及當目標受到嚴重遮擋時不能準確跟蹤。文獻[4]～[6]針對KCF算法進行了改進，根據在先前幀成功跟蹤的位置處提取大量的正負樣本圖片在線訓練SVM分類器，當目標丟失后使用SVM分類器進行重定位。但是這些文章都忽略了當前幀的信息，并且提取大量的正負樣本訓練分類器降低了跟蹤速度。
為了增強KCF算法的跟蹤性能，本文在原始KCF算法基礎上改進了具有目標尺度更新的算法，并結合峰值旁瓣比(Peak to Sidelobe Ratio，PSR)[2]和MOSSE濾波器提出了一種在時域進行由粗到精的目標重定位算法。本文改進型的KCF算法在DSP TMS320C6678處理器上成功實現了移植及優化，實驗表明對于OTB[7]大多數視頻能達到30幀/s以上的穩定跟蹤。
1 KCF跟蹤算法[3]
基于核函數的相關濾波器的跟蹤算法總體思想是使用循環樣本xm，n通過式(1)找到最優的濾波器w，其中循環樣本xm，n是由M×N的圖像塊x循環移位獲得的，其中(m，n)∈{0，1，…，M-1；0，1，…，N-1}，y(m，n)是相應循環移位樣本對應的高斯回歸目標。
通過式(3)可以看出，原始KCF算法以固定的尺寸提取圖像塊z，并且無論跟蹤是否失敗，都在上一幀相關值最大的位置處以固定的尺寸提取圖像塊，這樣導致不能適應目標尺度的變化以及跟蹤失敗后將永久性失敗。
2 改進型的KCF跟蹤算法
針對原始KCF算法不能適應目標尺寸變換以及目標受到嚴重遮擋時不能準確跟蹤，本文提出了改進型的KCF跟蹤算法。
2.1 目標尺度更新算法
如圖1所示，左圖為先前幀跟蹤結果，目標尺寸大小為P×Q，中心位置為c1。定義S為尺度數量，以anP×anQ的大小在c1為中心點處提取下一幀圖像得到候選樣本集J，即圖1中右圖畫框的圖像塊，其中n∈{-
，…，
}，a定義為初始值大于1的尺度因子。將候選樣本集J的所有樣本尺寸縮放到P×Q大小的圖像塊，對所有的候選樣本通過式(3)分別計算出對應的響應值，響應值最大的尺寸即為當前目標的尺寸，記為P′×Q′，更新目標尺寸為P′×Q′。
2.2 目標跟蹤失敗后重定位算法
本文通過PSR值評估目標跟蹤狀態，當目標丟失后，調用目標重定位算法確定目標位置，以便能繼續準確跟蹤。
2.2.1 PSR定義
定義PSR值τ=(gmax-μs1)/σs1，其中gmax是相關輸出的最大值，μs1和σs1分別表示除去以相關輸出最大值為中心的11×11的區域后剩余區域的均值和標準差。在本文中定義了兩個門限τa和τb分別表示目標的跟蹤狀態為失敗和成功。當τ≤τa時表示目標丟失，需要進行重定位目標；當τ≥τb時表示目標正確跟蹤，繼續跟蹤下一幀圖像。
2.2.2 時域由粗到精的目標重定位算法
根據PSR τ判斷目標丟失后，本文提出了一種使用時域模型γprev和MOSSE濾波器H進行由粗到精的快速重定位算法。這里的γprev是先前幀根據跟蹤結果PSR滿足τ≥τb時提取的時域模型。算法步驟為：首先使用方差濾波器粗檢，濾除大部分目標不存在的區域；然后使用直方圖相交法進一步對剩余的區域進行篩選；最后使用MOSSE濾波器對篩選出來的區域進行精檢。總體流程如圖2所示。
(1)方差濾波器粗檢，根據γprev求取標準差，提取出標準差滿足|σ-σ0|≤σmin的候選框，并結合了NMS(非極大值抑制算法)處理得到候選集C1。其中σ滓和σ0分別表示當前候選框和γprev的標準差，σmin是標準差門限值。標準差計算公式如下：
其中N表示像素點的個數，x表示像素的灰度值，m是圖像的均值。對于計算標準差σ可以利用積分圖求解，加快粗檢操作。
(2)采用直方圖相交對候選框集C1進一步篩選出目標存在可能性大的候選框，得到候選框集C2，直方圖相交公式如下：
如果d≥d0則保留候選框，否則丟棄當前的候選框。其中d0是直方圖相交門限值，d是直方圖歸一化后的相交值。
(3)使用MOSSE濾波器H進行精檢，由文獻[1]可知MOSSE濾波器定義及相關輸出如下：
3 基于TMS320C6678算法實現與測試
TMS320C6678是TI推出的8核浮點DSP，每個核工作頻率在1.25 GHz時運算能力能達到40 GMAC定點運算或者20 GMAC浮點運算。本文采用8個核對算法并行處理，加速跟蹤。
3.1 多核并行設計實現
core0建立TCP服務器與計算機通信，core1作為主協調器協調core2和core3分別計算尺度大的區域和尺度小的區域圖像塊的響應，core4計算當前尺寸的圖像塊的響應，core5負責更新參數α(m，n)以及濾波器H，core6和core7用于目標丟失后重定位。整個多核設計如圖3所示。
3.2 算法在TMS320C6678上測試效果
本文選取了OTB測試視頻集中具有明顯尺寸變化以及目標受到嚴重遮擋的幾個視頻測試，效果如圖4和圖5所示。
圖4和圖5中黑色框為原始KCF算法的跟蹤效果，白色框為本文對KCF算法改進后的跟蹤結果。
本文對改進型的KCF算法在DSP處理器TMS320C6678上使用了多核并行處理。表1列舉了OTB視頻集中的幾個視頻跟蹤的幀率。從表中可以看出跟蹤幀率能達到30幀/s。
4 結論
本文介紹了KCF跟蹤算法原理，在原始KCF算法基礎上改進了尺度更新和由粗到精的目標重定位功能，并在DSP處理器TMS320C6678上成功實現多核并行處理，達到30幀/s的實時跟蹤。
參考文獻
[1] BOLME D S，BEVERIDGE J R，DRAPER B A，et al.Visual object tracking using adaptive correlation filters[C].2010 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，IEEE，2010：2544-2550.
[2] HENRIQUES J F，CASEIRO R，MARTINS P，et al.Exploiting the circulant structure of tracking-by-detection with kernels[C].European Conference on Computer Vision.Springer Berlin Heidelberg，2012：702-715.
[3] HENRIQUES J F，CASEIRO R，MARTINS P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(3)：583-596.
[4] Ma Chao，Yang Xiaokang，Zhang Chongyang，et al.Longterm correlation tracking[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：5388-5396.
[5] HAAG K，DOTENCO S，GALLWITZ F.Correlation filter based visual trackers for person pursuit using a low-cost quadrotor[C].2015 15th International Conference on Innovations for Community Services(I4CS)，IEEE，2015：1-8.
[6] 楊德東，蔡玉柱，毛寧，等.采用核相關濾波器的長期目標跟蹤[J].光學精密工程，2016，24(8)：2037-2049.
[7] Wu Yi，LIM J，YANG M H.Online object tracking：A benchmark[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：2411-2418.