摘 要： 以視頻監控系統在物聯網中的應用為背景，介紹了如何在Android平臺上進行實時的視頻監控系統的開發。在對Android操作系統進行深入分析的基礎之上，提出了一個基于Android的流媒體監控方案，此方案通過移植X264開源庫，實現了Android視頻的H.264編碼，并通過雙緩沖文件搭建流媒體服務器對實時視頻流進行發布。通過對系統的測試，指出了值得改進的方向，為今后的研究工作提供參考。
關鍵詞： Android；視頻監控；H.264；雙緩沖技術；流媒體服務器
終端平臺的智能化和3G網絡的覆蓋帶來了移動互聯網時代，這對當今不斷壯大的物聯網帶來了很多的便利。比如對物流車輛進行隨時、隨地、隨身的視頻監控，相比傳統的PC機監控更加方便和高效。在移動終端上進行視頻監控系統的開發，由于其硬件資源和網絡環境的限制，開發難度遠大于PC機，并且對移動終端和網絡都有很高的要求。本文通過分析流媒體服務器的特點，在服務器上實現了一個雙緩沖機制來達到實時發布流媒體的要求，通過服務器多線程的方式實現邊采集邊傳輸并實時的發布。
本文采用Android操作系統作為終端視頻采集的平臺，借助Android系統平臺開發的優點，可以很好地進行推廣及后期應用。此外，為了保證數據傳輸的質量，本文通過在Android中移植X264開源庫來實現流媒體視頻的編碼，并通過雙緩沖文件優化流媒體傳輸機制以實現實時視頻和移動監控的融合。
1 系統分析與設計
1.1 系統總體架構設計
系統由視頻移動終端、流媒體服務器、視頻監控端3部分組成，系統組成框圖如圖1所示。
其中，視頻移動終端通過Anrdoid平臺提供的api實時獲取攝像頭捕獲的視頻流，并通過JNI的方式調用底層的native代碼以完成H.264的編碼工作，之后通過socket傳輸到視頻監控服務器。
視頻監控服務器包括應用服務器和流媒體服務器兩部分。其中應用服務器作為整個系統的服務端，用于處理視頻監控端的視頻請求以及接收視頻移動終端發來的實時視頻流數據。流媒體服務器則用于將應用服務器接收的視頻流數據封裝成流媒體格式并實時發布。
視頻監控端采用Android平臺構建，可以通過RTSP和HTTP兩種協議訪問流媒體服務器以獲得觀看實時視頻的效果。
1.2 視頻采集和編碼
本系統采集的實時視頻來源于Android系統支持的攝像頭?？紤]到無線網絡帶寬的限制，本系統采用H.264標準進行壓縮編碼。由于H.264編碼對硬件要求較高，編碼的速度會受到一定的影響，這樣采集到的視頻可能不夠連貫。本系統采用多線程加緩沖隊列的方法進行采集和編碼。視頻采集線程將捕獲的每一幀數據放入一個緩沖隊列中，視頻編碼線程從隊列中獲取視頻幀集合來完成編碼和傳輸的工作。具體流程圖如圖2所示。
其中視頻采集線程的偽代碼如下：
Begin：
//初始化攝像頭，設置視頻采集參數；
While（視頻采集處于激活狀態）{
從攝像頭獲取一幀數據；
while（緩沖隊列已滿）
wait；//將線程掛起以等待隊列可寫
將一幀數據壓入幀緩沖隊列；
Notify；//通知編碼線程隊列可讀
}
End
視頻編碼線程的偽代碼如下：
Begin：
//設置編碼參數（H.264），初始化編碼對象；
While（編碼標志位為真）{
While（緩沖隊列為空）
wait；//將線程掛起以等待隊列可讀
從緩沖隊列取一幀數據；
Notify；//通知采集線程隊列可寫
JNI調用native代碼對數據幀進行編碼；
If（編碼成功）{
調用RTP組件對數據打包；
通過UDP傳輸RTP包；
}
}
End
1.3 H.264視頻流傳輸控制模型
H.264的定義由視頻編碼層（VCL）和網絡提取層（NAL）兩部分組成。其中VCL作為H.264的核心算法引擎對視頻數據進行壓縮編碼和解碼；NAL層則根據不同的網絡把數據打包成相應的格式并通過網絡傳送出去。為了保證較低的延時，需要將H.264視頻流數據打包成RTP包，并加上時間戳和序列號等信息，然后通過UDP傳輸到服務器。RTP的打包模式有3種：單NAL單元模式、非交錯模式和交錯模式。本文根據系統的要求，采用非交錯模式按照編碼的視頻流順序進行組包，適用于延時較低的實時系統。
由于H.264編碼對CPU消耗較大，如果放在java層則會大幅度影響系統性能。本系統將H.264編碼模塊放在native層，用C/C++實現，通過jni調用編碼接口，然后通過RTP傳輸。
1.4 服務器設計
服務器端采用雙緩沖文件實現流媒體的生成和發布。傳統的實時視頻監控一般采用socket連接實現邊傳輸邊播放視頻，視頻數據并不會被緩存，并且如果要有新的客戶端加入監控，則必須要新建一個socket連接。本系統通過加入流媒體服務器作為視頻中轉，很好地解決了這一問題。由于流媒體服務器發布實時流媒體需要實時的視頻源，本系統的應用服務器將接收的實時視頻流數據寫入一個緩沖文件作為流媒體服務器的視頻源，此緩沖文件通過linux命名管道實現。此外，流媒體服務器發布流媒體也需要一個緩沖文件，用于存放被編碼成流媒體格式后的視頻流數據，以供客戶端調用。服務器的工作流程圖如圖3所示。
2 系統實現
2.1 Android Camera視頻采集
為了實時捕獲Android攝像頭的畫面，需要用到Android Camera。Android Camera包含取景和拍照兩個功能，它實際上是建立在C/S架構上的。Camera運行的時候，可以大致分成服務器和客戶端兩個部分，他們分別運行在兩個不同的進程中，通過Binder機制來完成進程間通信。這種Android特有的Binder機制可以保證客戶端和服務器獨立的變化，客戶端調用接口AIDL定義的接口，功能則在服務器中實現，并且進程間通信的部分對上層程序不可見。
具體實現中，通過Android Framework提供的android.hardware.Camera類來完成和Camera Service服務端通信。由于需要對采集到的每一幀畫面進行壓縮編碼處理，可以通過調用Camera對象的setPreviewCallback函數來設置一個回調對象，此回調對象中的onPreviewFrame函數可用于完成對當前幀的捕獲，這樣就可以在此函數中對采集到的視頻進行編碼的處理了。
2.2 JNI調用X264庫
考慮到無線網絡環境的不穩定性和帶寬有限的問題。本文對采集到的視頻進行H.264標準的高效壓縮編碼。H.264是目前一個廣泛使用的具有高壓縮比的視頻編碼格式，具有較高的視頻壓縮性能，適合用窄帶傳輸，適用于移動互聯網和流媒體播放。本文采用X264開源庫來對實時視頻進行壓縮編碼。首先需要在Android操作系統上移植X264庫。
由于X264是用C語言寫的一個開源庫，為了能夠被Android平臺使用，需要用到NDK工具對其進行編譯。NDK是用來編譯本地代碼的工具，作為Android SDK的一個補充，用于將原生的C/C++代碼集成到應用中，并通過JNI的方式被上層java程序調用。本文采用JNI方式調用X264庫的步驟如下所示。
?。?）JNI接口設計
設計調用本地代碼的函數接口。本文需要對采集的視頻進行H.264編碼，編碼部分需要定義3個接口。分別如下：
private native long CompressBegin（int width，int height）；
private native int CompressBuffer（long encoder，int type，byte[] in，int insize，byte[]out）；
private native int CompressEnd（long encoder）；
其中native關鍵表明這3個函數來自于native代碼。CompressBegin接口是編碼初始化接口，通過傳遞視頻畫面的寬和高來對H.264編碼器進行初始化設定；CompressBuffer接口是編碼接口，通過傳遞encoder編碼器結構和視頻流字節數組來對當前幀的視頻流數據進行H.264編碼，編碼后的結果存儲在out數組中；CompressEnd接口用于釋放編碼資源。
（2）實現本地方法
JNI接口設計完畢之后，需要用C語言實現接口。創建一個H264Android.c的文件，用來實現第一步中定義的3個接口。
?。?）生成動態鏈接庫
實現JNI接口之后，需要生成.so的動態鏈接庫以供java程序調用。為了生成動態鏈接庫，需要編寫Android.mk文件并通過NDK工具對本地代碼進行交叉編譯。交叉編譯時需要針對X264庫編寫相應的Android.mk文件，核心內容如下所示：
include $（CLEAR_VARS）
LOCAL_C_INCLUDES+=libx264/include
LOCAL_MODULE：=H264Android
LOCAL_SRC_FILES：=H264Android.c
LOCAL_LDFLAGS+=$（LOCAL_PATH）/libx264/lib/libx264.a
LOCAL_LDLIBS：=-L$（SYSROOT）/usr/lib-lgcc
include$（BUILD_SHARED_LIBRARY）
其中，LOCAL_C_INCLUDES標明了編譯需要的外部頭文件路徑；LOCAL_MODULE標明了當前生成模塊名稱；LOCAL_SRC_FILES標明了編譯需要用到的源文件；LOCAL_LDFLAGS標明了編譯需要用到的外部靜態庫；LOCAL_LDLIBS標明了引用的外部庫文件。
通過引用X264的靜態庫，即可將X264編譯到native代碼中，并被上層java程序調用。編譯成功之后，會在Android項目的根目錄下的libs文件夾中形成一個libH264Android.so的動態鏈接庫，編譯完成。
?。?）Java程序調用本地代碼
Android中的Java程序可以通過System.loadLibrary（"H264Android"）函數調用第3步中生成libH264Android.so動態鏈接庫。并使用聲明的native方法來完成視頻編碼的功能。
2.3 視頻傳輸的實現
視頻傳輸通過TCP和UDP兩種方式配合實現。為了保證視頻采集終端和服務器之間有可靠的通信機制，采用TCP連接來進行控制信息的傳輸，當視頻終端收到有效的傳輸視頻的控制信息之后，采用UDP連接發送實時的視頻流到服務器。服務器視頻接收線程會將收到的有效視頻數據寫入到一個緩沖文件Camera.h264中，此文件被作為流媒體服務器的視頻源。
2.4 FFmpeg流媒體服務器架設
服務器端采用FFmpeg作為流媒體服務器。FFmpeg是一個開源免費跨平臺的視頻和音頻流方案，屬于自由軟件，采用LGPL或GPL許可證。FFmpeg既可以對視頻進行編解碼，也可以搭建基于http和rtsp協議的流媒體服務器。
本系統服務器利用Camera.h264緩沖文件作為FFmpeg的視頻源進行流媒體的發布。由于ffmpeg發布流媒體需要用到其中的FFserver組件，ffserver組件的啟動需要編寫相應的ffserver.conf配置文件，主要配置如下所示：
Port 8090//配置RTSP端口號
BindAddress 0.0.0.0//綁定本地IP地址
MaxClients 1000//配置最大連接數
<Feed feed1.ffm>//配置流媒體緩沖文件
File/tmp/feed1.ffm
FileMaxSize 200 KB//緩沖文件大小為200 KB
</Feed>
<Stream camera.asf>//配置發布的流媒體格式
Feed feed1.ffm
Format asf
VideoFrameRate 15
VideoSize 352x240
</Stream>
其中，Port指定了流媒體服務器綁定的端口。<Feed feed1.ffm>標簽定義了流媒體服務器運行所需要的一個緩沖文件，大小為200 KB。<Stream camera.asf>標簽定義了流媒體服務器輸出的視頻格式以及視頻相關的參數。如本系統輸出的流媒體格式為.asf格式。
在ffserver啟動時，會根據ffserver.conf文件中的配置新建一個feed1.ffm緩沖文件。此緩沖文件用于存放來自視頻源文件的實時視頻流。FFmpeg會根據配置文件中的視頻輸出格式將視頻源中的文件進行轉換，轉換之后的數據會寫入feed1.ffm文件中。本系統中，feed1.ffm文件大小被限制在200 KB，當200 KB的空間被用完后，新數據會從文件的開頭進行寫入。這樣可以保證當有新的客戶端加入監控時，觀看到的是最新的視頻。
3 系統測試
為了驗證H.264視頻在無線網絡中的傳輸性能，本系統選取了2臺Android 2.3系統的手機進行測試。測試環境如下：
視頻終端：Google Nexus S
CPU主頻：1 GHz
內存：512 MB
操作系統：Android 2.3
服務器采用Ubuntu10.04搭建。
表1對雙緩沖和無緩沖的流媒體傳輸機制進行了測試和對比，顯示了隨著分辨率和每秒傳輸幀數/（F/S）的變化導致的丟包率和延時的變化。
經過測試，在采用了雙緩沖機制發布流媒體之后，客戶端能夠以更小的延時播放流媒體服務器發布的H.264視頻流。由于丟包率主要取決于傳輸帶寬，改變傳輸模式對丟包率的提升并不是很大。
在高速移動互聯網的環境下進行視頻監控成為了物聯網行業一個比較熱門的應用。本文在流媒體服務器的搭建上采用雙緩沖文件技術，有效地保證了視頻源的實時性，降低了網絡傳輸的延時。此外，考慮到無線網絡環境中視頻數據傳輸的困難，本文采用H.264標準對實時視頻進行壓縮編碼，有效地提高了帶寬利用率。由于本文傳輸視頻數據采用的RTP組包模式[5]并沒有考慮到實際的應用背景，會產生一定程度的數據丟包，因此只是和應用與對實時畫面要求不高的場景，比如物聯網物流行業等，如果要實時傳輸更清晰的視頻數據，則需要采用良好的失序和擁塞處理技術，并重寫RTP的組包算法，這樣可以保證視頻數據的穩定性和完整性，這也是今后要研究和改進的方向。
參考文獻
[1] SCHULZRINNE H， CASNER S. RTP： A Transport Protocol for Real-Time Application[M]. RFC3550， 2003.
[2] WENGER S， HANNUKSEL M M. RTP Payload Format for H.264 Video[M]. RFC3984， 2005.
[3] 王立青.基于X264和流媒體的嵌入式視頻監控系統[J].計算機安全，2010（7）：13-15.
[4] 任嚴.基于FFMPEG的視頻轉換與發布系統[J].計算機工程與設計，2007，28（20）：4962-4967.
[5] 魏聰穎.基于實時流媒體傳輸系統的H.264組包算法研究[J].計算機科學，2007，34（8）：41-44.