謝文慧，曾培峰

　?。|華大學 計算機科學與技術學院，上海 201620）

       摘要：文章討論了目標定位系統中失真圖像自動校正的方法，并保證目標定位的精確性。在球面投影模型的基礎上，以保持直線特性為約束，實現了廣角鏡頭圖像的自動校正。建立幾何校正模型，采用分塊迭代校正的方法，消除了不確定性誤差的影響，可將失真圖像中的目標精確定位到真實場景中。

　　關鍵詞：目標定位；廣角鏡頭；圖像失真校正

　　中圖分類號：TP751文獻標識碼：ADOI： 10.19358/j.issn.1674-7720.2017.03.013

　　引用格式：謝文慧，曾培峰.目標定位系統中圖像失真的自動校正［J］.微型機與應用，2017,36（3）：42-44，48.

0引言

　　目標定位技術作為計算機視覺領域的熱門研究方向，近年來受到科研人員的廣泛關注。智能視頻監控、移動機器人以及智能交通等新興科學技術都與目標定位技術息息相關。然而，由于鏡頭特性的內在因素以及角度光線等外界因素，圖像難免會出現失真的情況，圖像失真的自動校正是實現目標定位的一個難點。

　　圖像失真包括非線性失真和線性失真。非線性失真由鏡頭特性引起，具體表現為直線彎曲變形為弧線［1］。線性失真主要由拍攝角度引起，具體表現為垂直和水平線發生傾斜［2］。

　　基于鏡頭成像原理建立校正模型是非線性失真校正的基本方法，目前已有的非線性失真校正模型主要包括多項式畸變模型、對數畸變模型、球面投影模型和柱面投影模型等［3］。但校正模型的通用性不高，不能滿足大多數失真圖像的校正要求。PRESCOTT B和MCLEAN G F提出可以從單幅圖像中提取信息［4］，并依據直線的線性特征進行校正。KEDZIERSKI M等人提出了依據差分幾何和弧線曲率的校正方法［5］。這類基于圖像內容的校正方法［6］校正效果更優，但計算量也更大。

　　線性失真校正分為2D校正和3D校正，GALLAGHER A C提出了2D平面內的自動旋轉校正方法［7］，LEE H等人提出了基于人類感知學習的3D校正方法［8］。2D校正速度快但忽略了空間信息，3D校正算法較為復雜，兩者各有利弊。CARROLL等人提出了基于網格的非線性優化方法［9］，其通過最小化直線失真程度和保持局部形狀特征來優化校正效果，不過其需要與用戶交互，不能實現自動校正優化。

　　本文根據目標定位精準性與實時性的要求，選取了合適的校正算法并加以改進，實現了失真圖像的自動校正。此外，針對忽略圖像視覺效果的應用場景，本文提出了分塊迭代校正的方法。該方法最大程度地消除了各種不確定性誤差［10］，實現了目標從失真圖像到真實場景的精確定位。

1系統介紹

　　本系統分為兩部分：實時目標定位模塊和離線校正模塊，系統結構示意圖如圖1所示?！　?/p>

　　目標定位的具體流程為：廣角鏡頭采集輸入圖像，ARM處理器從輸入圖像中提取目標，根據映射參數進行坐標映射，最終標記出目標在真實場景中的位置，并顯示到投影顯示屏上。因為校正算法計算量很大，包含上千次的浮點數乘除法運算，而本系統使用的是Cortex-M3低功耗處理器，執行該算法會耗費大量時間，因此分離出校正模塊來計算映射參數。

　　本系統的應用場景為軍事模擬對戰，對戰場地面積較大，為了能夠拍攝場地全景，選用了視角較大的廣角鏡頭。輸入圖像為廣角鏡頭拍攝的2×6幅1 024×768像素的靜態照片。由于使用了廣角鏡頭且攝像頭與拍攝平面存在夾角，因此圖像同時存在非線性失真和線性失真。

　　為了校正失真圖像，并優化校正效果，本系統在對戰場地中標記了9×7的標準矩形點陣，將場地等分成48個方形區域。經廣角鏡頭拍攝后，該點陣會產生畸變，得到一個失真點陣，如圖2所示。標準點陣與失真點陣的坐標數據作為離線校正模塊的輸入，用來計算實時定位模塊所需的映射參數。

2廣角鏡頭失真校正

　　圖3廣角鏡頭成像示意圖廣角鏡頭的焦距短于標準鏡頭，因為光線的折射規律，擁有較大的視角。假設廣角鏡頭的視角為V1OV2，拍攝方向沿Z軸，其成像原理如圖3所示。對于空間中的一點Po，連接Po與球心O交球面于點Ps，Ps在X-Y平面上的投影點Pd即為Po的像點。

　　Po(xo,yo,zo)與Pd(xd,yd)的坐標關系如下：

　　將Po投影到X-Y平面上并轉換為極坐標（r表示點到球心O的距離，θ表示點和球心連線與X軸的夾角）可得：

　　其中，R為球體的半徑，D=zo為真實平面到像平面的距離。因為θo與θd相等，只需確定ro與rd的函數關系式（2），即可實現失真圖像的校正。

　　在鏡頭參數R未知的情況下，無法直接應用式（2）進行計算。本文利用標準點陣與失真點陣的坐標數據，采用多項式逼近的方法，擬合出等效于式（2）的函數關系ro=f(rd)。函數形式如下：

　　f(r)=k0+k1r+k2r2+k3r3+k4r4（4）

　　其中，k0為平移分量，k1為線性失真參數，k2~k4為非線性失真參數。測試實驗表明，4階多項式的校正效果與3階相比有很大提升，而更高階較4階的提升程度并不明顯。本文最終選擇4階多項式進行擬合。

3直線特性約束

　　直線是圖像中非常明顯的一種信息，保持直線特性可作為圖像失真校正的約束條件。假設(x1,y1)、(x2,y2)和(x3,y3)為失真圖像中3個像素點校正后的坐標，如果這3點在一條直線上，應該滿足：

　　其中dij表示(xi,yi)和(xj,yj)兩點間的距離。

　　在校正后的圖像中，選取原本應在同一條直線l上的N個離散點，根據式（5）可以推導出l的直線能量函數：

　　其中Xn表示平面中點的笛卡爾坐標(xn,yn)。圖像中所有直線的能量函數總和∑El可用來衡量校正效果，∑El越小則校正效果越佳。

4 線性失真校正

　　線性失真校正是對失真圖像進行仿射變換，使傾斜的直線重新恢復垂直或水平。一些復雜的仿射變換模型可能會有較好的校正效果，但是需要從圖像中獲取大量信息，并且計算過程復雜。而本系統的目標是坐標映射的精確度和運算速度，對圖像內容的校正效果（如清晰度等）沒有要求。因此，本文忽略圖像的顏色、深度等信息，只利用圖像中目標點的坐標信息來建立仿射變換模型。

　　對于失真圖像I和原始圖像I′，存在映射關系H，I上的任意一點(x,y)都可通過H映射到I′上的一點(x′,y′)，即：(x′,y′)=H·(x,y)。仿射變換模型的建立就是確定失真圖像與原始圖像之間的映射關系H，本文選取的映射方程如下：

　　上式中有8個未知數，選取失真圖像與原始圖像中4組對應點，建立并求解線性方程組，即可求出映射關系H。

5分塊迭代校正

　　對于面積較大的圖像，不同區域的失真程度也不同，只用一個校正模型對整幅圖像進行校正，無法保證校正效果，對圖像進行分塊校正可以優化校正效果。并且鄰近的分塊之間是相互關聯、相互約束的，利用這種約束關系可以減少誤差。

　　針對本文的校正對象（9×7的點陣），依據點陣的分布，將圖像劃分為48塊。每4個點組成一個四邊形區域，為一個分塊S，如圖4所示。由上文可知，4組對應點可確定一個映射關系H，因此每一個分塊Si都可求解出一個映射關系Hi。對失真圖像中任意一點，先確定其在圖像中屬于哪一個分塊，然后利用該分塊對應的映射關系計算出該點在原始圖像中的坐標。

　　依據上述的圖像分塊方式，點陣中的任意一點P與4個分塊相關聯，這4個分塊可組合成一個大的圖像塊Sc，點P包含在其中。取Sc的4個頂點ABCD，結合標準點陣中對應的4點，計算出原始圖像到失真圖像的逆映射關系H-1c。在無誤差的情況下，應有：P=H-1c·P′（P′為點P在原始圖像中的對應點），但不可避免地會存在誤差Di=H-1c·P′-P。同理，取Sc四邊上的點EFGH，也可計算得到誤差Dj。利用Di和Dj，可以更新點P的坐標為：P1=P-(Di+Dj)/2。遍歷全部點陣后，可得到一組誤差較小的新點陣。如此反復迭代，點陣的誤差會逐漸減小。

6實驗結果

　　應用式（4）對失真點陣進行非線性失真校正后的結果如圖5所示?？梢钥闯?，原本呈曲線分布的點陣已基本恢復線性。但此時的點陣并不能完全滿足直線特性約束。繼續對點陣進行分塊迭代校正，最終得到的點陣如圖6所示。

　　圖7為迭代校正時，圖像中所有直線的能量函數總和∑El的變化情況。迭代15次之后，∑El已減小90%，迭代35次之后，∑El已趨向于0。

　　根據圖6所示點陣與標準點陣的坐標信息，計算出所有圖像塊的映射參數Hi(i=1,2,…,48)，輸入實時目標定位模塊，最終坐標映射的計算結果如表1所示。

　　表1結果表明，本系統計算出的映射坐標和真實場景中的坐標基本吻合。在1 024×768的圖像中，誤差控制在一個像素范圍內。

7結論

　　針對注重精度與速度而不要求視覺效果的應用場合，

　　本文提出了有效校正非線性失真和線性失真，并可消除鏡頭缺陷及人工失誤所產生誤差的方法，可實現失真圖像中的目標在真實場景中的精確定位。

參考文獻

　?。?］ Wei Jin, Li Chenfeng, Hu Shimin, et al. Fisheye video correction［J］. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(10): 1771-1783.

　　［2］ WILIEM P, SIMON C, CHO S, et al. Fast and robust perspective rectification of document images on a smartphone［C］. IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society, 2014: 197-198.

　?。?］ HAN S B, KIM J H, MYUNG H. Landmarkbased particle localization algorithm for mobile robots with a fisheye vision system［J］. IEEE/ASME Transactions on Mechatronics, 2013, 18(6): 1745-1756.

　?。?］ PRESCOTT B, MOLEAN G F. Linebased correction of radial lens distortion［J］. Graphical Models and Image Processing, 1997, 59(1): 39-47.

　?。?］ KEDZIERSKI M, FRYSKOWSKA A. Precise method of fisheye lens calibration［C］. Proceedings of the ISPRSCongress, Beijing, China. 2008: 765-768.

　　［6］ Zhang Mi, Yao Jian, Xia Menghan, et al. Linebased multilabel energy optimization for fisheye image rectification and calibration［C］. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2015: 4137-4145.

　?。?］ GALLAGHER A C.Using vanishing points to correct camera rotation in images［C］. The 2nd Canadian Conference on Computer and Robot Vision (CRV'05), IEEE, 2005: 460-467.

　?。?］ LEE H, SHECHTMAN E, WANG J, et al. Automatic upright adjustment of photographs with robust camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 833-844.

　?。?］ CARROLL R, AGRAWALA M, AGARWALA A. Optimizing contentpreserving projections for wideangle images［J］. ACM Transactions on GraphicsTOG, 2009, 28(3): 43.

　?。?0］ HOU W, DING M, QIN N, et al. Digital deformation model for fisheye image rectification［J］. Optics express, 2012, 20(20): 22252-22261.