摘  要： 回顧了圖像風格化繪制的發展過程，分類介紹了各種方法的特點，最后闡述了圖像風格化仍需解決的問題和未來可能的發展方向。

關鍵詞： 非真實感繪制；筆觸；圖像處理

       卡通應用非常廣泛，在電子郵件（個性化簽名）、即時通信（個性化人臉圖標）、手機彩信、個性化賀卡、視頻會議、影視動畫、娛樂游戲等領域都有很大的應用空間。傳統的卡通是由專業美術人員手繪產生的，創作者需要經過長期的練習才能具備這種本領，并且這種創作方式效率低下。如何通過計算機輔助的方法，讓普通用戶也能夠生成具有特定人物特征的人臉卡通，以提高繪制卡通畫的效率，是一個具有挑戰性的課題。

       人臉卡通化的方法主要有3類：（1）基于人臉變形的卡通圖像生成方法；（2）人臉圖像五官匹配卡通化；（3）圖像風格化。

       基于人臉變形[1-2]的卡通圖像生成方法，通常做法是根據特征點計算人臉面部特征值來判斷需要夸張的部分和各自的夸張變形規則；然后根據特征點生成不同層級的網格并根據不同的變形規則分層實施夸張變形，生成類似漫畫的圖像效果。

       人臉圖像五官匹配卡通化[3-5]，是根據所需要的表情從素材庫中調取相應的五官，利用素材庫里的素材對人臉圖像的五官進行匹配或者替換從而生成出卡通圖像。

       圖像風格化卡通化方法[6]，即非真實感渲染，是利用計算機生成不具有照片般真實感，而具有手繪風格的圖形的技術。其目標不在于圖形的真實性，而主要在于表現圖形的藝術特質、模擬藝術作品（甚至包括作品中的缺陷）或作為真實感圖形的有效補充。

       本文主要介紹人臉圖像風格化的卡通化技術，因為目前它的應用最為普遍。

1 人臉圖像風格化

       人臉圖像風格化是非真實感渲染研究中的一個分支，之所以得到廣泛應用，主要得益于它能實現很多藝術作品的模擬創作和動畫卡通渲染制作，如水彩畫、各種風格的油畫、中國畫以及卡通動畫等。下面對圖像風格化技術分別進行介紹。

1.1 基于筆觸模擬的繪制技術

       基于筆觸模擬的繪制技術著眼于模仿畫家的創作過程，這類技術主要有筆畫屬性的定義、筆畫的布置策略以及筆畫方向設計3個方面。該技術在發展初期，對筆畫的定義以及筆畫布置策略的設計成為研究重點，如何自動布置筆畫、渲染筆畫是這時期的主要工作，隨著研究逐漸成熟，如何生成更自然、逼真的藝術作品逐漸成為大家追求的新目標。下面根據各繪制技術特點進行分類介紹。

（1）筆畫屬性

       HAEBERLI P[7]的系統可以用最少的勞力達到將圖像轉換成印象派的繪畫，該系統通過人工的放置筆畫，決定筆畫的放置順序，每點擊一下就會產生一個基本圖像顏色的虛擬筆刷筆畫，筆畫的屬性與源圖像是一致的，筆畫的顏色和方向都是來自于源圖像，筆畫的順序和尺寸大小都是用戶選擇的，是產生符合審美且沒有丟失顯著細節的結果圖像的關鍵。可看出這一工作中筆畫具有位置、尺寸、顏色、方向以及形狀的屬性，而其中大部分屬性的確定都來源于用戶交互輸入。這一工作為后來的繪制技術提供了有意義的參考，比如對筆畫關鍵屬性的定義就被后來的繪制技術采納。然而，過多的交互使得這種方法對用戶的要求很高，因此如何實現自動繪制成了后來的關注重點。

（2）筆畫布置

       基于圖像的藝術風格化渲染的第一個自動化解決方案在LITWINOWICZ P[8]提出的繪畫渲染工具中進行了詳細描述。系統中這個畫布被均勻地分成一定大小的柵格，按已有規律的間隔在畫布上放置矩形筆刷筆畫，保留了隨機繪畫順序，但是引入了裁剪筆畫的新方法，根據源圖像的Sobel邊緣閾值裁剪。對筆畫進行裁剪可以減輕不重要區域的筆劃覆蓋重要區域的現象。一個更遠的貢獻是在基本沒有紋理的平坦區域內插入圖像梯度。這樣的區域會造成偽梯度方向，產生混亂的筆畫方向。LITWINOWICZ P采用薄板樣條從很強邊緣的筆畫中選取插入筆畫方向。但該技術的筆畫布置僅是直線形式，直接限制了藝術表現力。

       固定尺寸的矩形筆畫，雖然經過裁剪，但是處理后的圖像效果缺少審美。HERTZMANN[9]提出通過基于多層以及曲線筆畫的繪制方法來解決該問題。該算法通過低通金字塔來進行操作，對源圖像以逐漸增加尺度的方式進行一系列的高斯模糊。金字塔越小的尺度相應也就是越小的筆畫。在繪畫層的每一次迭代處理過程中，筆畫根據位置上的梯度信息來放置。然而，如果在給定鄰域的圖像內容與相對應的粗尺度區域無區別時，將不用放置筆畫。因此大筆畫常放在更平坦的區域，而小筆畫一般出現在邊緣細節附近。在此基礎上，傳統筆畫的直線布置被一系列控制點取代，進而對這些控制點進行反走樣3次B樣條擬合，從而形成自然的彎曲筆畫。這種多尺度曲線繪制能更好地模擬真實的繪制過程，對后來的繪制技術有重要影響。

       隨著筆畫定義和布置模式的逐漸成熟，筆畫的走向向視覺元素轉換逐漸成為繪制效果的瓶頸，隨后對此進行了改善工作。

（3）筆畫方向

       在總結之前各種方法優點的基礎上，HAYS J和ESSA I[10]提出了一種統一的繪制框架，并重點對筆畫方向的計算進行了改善。該方法除了采用分層繪制機制以及曲線筆畫，還計算了筆畫方向場。之前的繪制技術對筆畫方向主要為局部梯度的法向，然而這樣的方式對局部梯度的噪聲非常敏感，造成筆畫比較明顯時畫面較亂。而在HAYS J和ESSA I系統中，一些局部梯度較強的點被選為種子點，這些點處的方向由梯度方向決定。其他點的方向由這些種子進行RBF插值獲得，這樣方式確定的筆畫方向更自然、平滑。圖1給出了這種方法的繪制結果，其中圖1（a）為輸入目標圖像，圖1（b）為繪制結果。

1.2 基于感知重要性的繪制技術

       DECARLO D和SANTELLA A[11]是第一批采用圖像分割應用于圖像風格化渲染的人。圖像用Mean-shift的變種，降低采樣率方式分割。一個尺度空間等級的形成通過確定粗尺度的區域，該區域與鄰近的細尺度區域有重疊，并且與細尺度區域享有相似的顏色。這個等級表示一幅圖像可以以高度抽象的形式被渲染（使用金字塔頂部的粗尺度區域），或者對于某些區域通過減小等級進行局部分解成更小的紋理區域。這個過程由凝視追蹤驅動。觀察者看源圖像，記錄他們的注視持續時間和地點。圖像的每個區域的渲染細節水平是確定的。區域采用平鋪彩色著色渲染，用Canny邊緣檢測的平滑的黑色外輪廓。圖2給出了該方法的繪制過程。通過僅強調感知重要的細節，描述場景的顯著細節，抽掉無關的細節，達到圖像卡通化效果。

1.3 基于圖像抽象化繪制技術

       基于圖像抽象化的繪制技術是無需專門硬件和用戶參與的，建模簡單，時間復雜度低，直接對原圖像進行操作的卡通畫渲染方法。

（1）基于雙邊濾波和DoG的風格化

       基于圖像和視頻卡通渲染風格化的全自動渲染是WINNEM?魻LLER H等[12]第一次提出來的，他們利用雙邊濾波器對輸入圖像進行抽象化處理，使圖像中低對比度的區域的對比度變得更低，利用高斯差分線條提取技術增加對比度高的區域的對比度，同時利用顏色軟量子方法對抽象化圖像進行量化處理，以使最終生成的卡通效果具有較好的時間連貫性。該方法的實現過程如圖3所示。

       雙邊濾波平滑低對比度區域并且保留高對比度的邊緣，但對于沒有抽象部分展示或者顯著視覺特征移除的高對比度的圖像來說，雙邊濾波效果不好，還有迭代濾波能模糊邊緣，從而沖淡結果。這些限制可以通過對雙邊濾波后的圖像進行DoG提取圖像邊緣來緩解。

（2）基于Kuwahara濾波器風格化

       原始Kuwahara濾波器將局部濾波鄰域分成公用1個像素的4個矩形子區域。對所有子區域，計算方差（到均值距離的平方和），并用最小的方差作為子區域的均值。對于平坦或者均勻的區域，不同子區域的方差十分相近，因此有最小方差的子區域一般不能很好定義并且容易受噪聲影響。對于小濾波器尺寸，Kuwahara濾波產生合理結果。對于圖像風格化，需要相當大的濾波尺寸才能達到一個抽象的引人注意的藝術品。這些是由于不穩定子區域選擇和矩形子區域造成的。有些方法已解決了這些限制。適用于圖像風格化的第一個方法是PAPARI G等[13]提出的一般化Kuwahara濾波器，引入了兩個重要觀點。一是矩形子區域用平滑權重函數代替，通過磁盤上的扇形建立函數，它們的和服從2D高斯，鄰域權重函數平滑重疊，使用給這些權重函數，加權平均和加權方差可以用每個扇形計算；二是子區域的選擇由扇形加權平均的加權和代替。該方法產生了更合理的結果。

       對于高度各向異性的圖像區域，用一般化Kuwahara濾波器產生扁平化影響太突出，導致模糊了各向異性的結構。像素還會以與濾波器尺寸成比例的方式形成聚類。KYPRIANIDIS J E等[14]引入各向異性Kuwahara濾波器，通過以橢圓定義的權重函數代替以磁盤扇形定義的權重函數，通過調整對應輸入的局部結構的橢圓的形狀、尺寸和方向，就可以避免假象，得到較全面的卡通畫效果。圖4為Kyprianidis的多尺度各向異性Kuwahara濾波器的圖像風格化結果。

（3）其他的抽象化風格化

       KANG H和LEE S[15]是第一次將擴散和沖激濾波結合起來應用于圖像風格化。MCF（Mean Curvature Flow）使等照度曲線在垂直方向曲率速度的下面。MCF作為擴散方法，可以用規則的幾何簡化等照度曲線。與其他流行的邊緣保護平滑技術相比，MCF平滑不僅保護區域邊界切與顏色變化無關，而且簡化邊界的形狀。然而，它也產生了模糊邊緣，是KANG H和LEE S[15]用矢量場限制便利局部圖像結構的擴散。

       數學形態學（MM）為圖像分析和處理提供了集合論方法。MM的基本操作是膨脹和腐蝕，對于灰度圖像，膨脹等同于最大化濾波，腐蝕相當于最小化濾波。衍生出來的操作是開運算和閉運算。按順序采用開和閉運算會產生平滑操作，這樣被稱為形態學平滑。形態學平滑可應用于水彩畫渲染，還可應用于渲染圖像之前進行簡化輸入圖像。

2 圖像風格化應用

       圖像風格化是非真實感繪制技術的一個分支，具有廣泛的應用和市場前景，在數字娛樂行業如影視制作、家庭娛樂、數字游戲、廣告宣傳等多方面將產生巨大的經濟價值。

       （1）影視制作。風格化視頻在影視制作方面比真實感視頻更具感染力，與傳統影視作品相比，它具有引人入勝的視覺效果和令人嘆為觀止的音響效果。

       （2）計算機游戲。非真實感繪制技術可以讓玩家擁有獨特藝術風格的游戲界面，讓游戲設計者通過風格化繪制和渲染技術可以將游戲中的情節更好地表現出來。這種方式具有廣闊的市場前景。

       （3）卡通動畫制作。在傳統卡通動畫制作過程中，需要大量的專業動畫繪制師進行長期、艱苦的集體創作，耗時耗力。利用非真實感繪制技術可以大大縮短傳統動畫的制作周期，讓創作者把更多的精力集中在創作上，進而提高動畫產業的質量。

       本文主要介紹了圖像風格化的非真實渲染方法，詳細介紹了非真實感渲染的幾種主要繪制方法，以及其應用領域，并對其優缺點進行了分析評論。

       圖像風格化開辟了有別于真實感繪制方法的新道路，但并不一定是完美的，仍需要不斷發展改進。今后如何衡量處理后的圖像審美，怎樣抓住圖像的必要部分來進行抽象，如何進一步將藝術家的漫畫方法解釋為機器語言，如何加強非真實感繪制技術到人臉卡通化的移植工作，如何將特征點進一步組合成漫畫特征，這些方面是以后研究中還要繼續改進的方向。

參考文獻

[1] KULKARN P． Interactive caricature generation using frontal photographs[D]． Kanpur： Indian Institute of Technology， 2002.

[2] 周仁琴，周經野，陳益強，等.基于特征發現的卡通人臉肖像生成[J].計算機輔助設計與圖形學學報，2006，18（9）：1362-1366.

[3] 劉振安，劉瑄.基于SVG的卡通人臉圖像自動生成法[J].測控技術，2006，25（5）：24-26.

[4] YANG C Y，  PAI T W，  HSIAO Y S， et al. Face shape classification for 2D caricature generation[C]. Proceedings of Workshop on Consumer Electronics， 2002：1-8.

[5] XU Z J， CHEN H， ZHU S C， et al. A Hierarchical compositional model for face representation and sketching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008（30）：955-969.

[6] KYPRIANIDIS J E， COLLOMOSSE J， WANG T， et al. State of the‘Art’： a taxonomy of artistic stylization techniques for images and video[J]. IEEE Transactions on Visualization and Computer Graphics， 2013，19（7）：866-885.

[7] HAEBERLI P. Paint by numbers： Abstract image representations[C]. Proceedings of SIGGRAPH， 1990：207-214.

[8] LITWINOWICZ P. Processing images and video for an impressionist effect[C]. Proceedings SIGGRAPH， 1997：407-414.

[9] Painterly rendering with curved brush strokes of multiple sizes[C]. Proceedings of SIGGRAPH， 1998：453-460.

[10] HAYS J， ESSA I. Image and video based painterly animation[C]. Proceedings of the 3rd international symposium on Non-photorealistic animation and rendering. ACM， 2004： 113-120.

[11] DECARLO D， SANTELLA A. Stylization and abstraction of photographs[C]. Proceedings of SIGGRAPH， 2002：

1221-1226.

[12] WINNEMOLER H， OLSEN S， GOOCH B. Real-time video abstraction[C]. Proceedings of SIGGRAPH， 2006： 1221-1226.

[13] PAPARI G， PETKOV N， CAMPISI P. Artistic edge and corner enhancing smoothing[J]. IEEE Transactions of Image Processing， 2007，16（10）：2449-2462.

[14] KYPRIANIDIS J E. Image and video abstraction by multi-scale anisotropic Kuwahara filtering[C]. Proceedings of NPAR， 2011：55-64.

[15] KANG H， LEE S. Shape-simplifying image abstraction[C].Computer Graph. Forum， 2008.