摘要：為實現網絡化測試系統下非結構化海量網絡數據的快速分析處理，在關鍵的算法和系統化集成處理方面提出解決方法。采用內存映射文件方式快速讀取海量數據，并設計了時間矩陣算法，用以快速進行同步分析處理；應用分布式中間件方式實現海量數據的并發處理和數據分發，對飛行試驗采集的網絡數據進行了分析處理，使用這些算法的數據處理軟件，可以使處理效率滿足飛行試驗海量網絡數據處理的需求。這些都為新一代機載采集系統應用于飛行試驗提供了技術保障。
關鍵詞：IENA；XNET／INET；PCAP；飛行試驗
飛行試驗數據處理是飛行試驗工程中非常重要的一個環節，是對各類試飛數據信息進行細致、充分和全面的分析與處理，數據處理結果是飛行試驗鑒定結論的核心依據。隨著計算機網絡技術在飛行試驗測試領域的深入應用，網絡化測試技術逐漸成為飛行試驗測試技術發展的另一個核心。同時隨著現代飛機設計技術的發展，飛機系統越來越復雜，飛行試驗科目、測試參數、測試數據種類以及測試數據總量越來越多。對飛行試驗數據處理從質量、速度以及數據安全性、可靠性等方面提出了更高的要求。機載網絡化測試系統架構技術應用于最新的飛機測試系統上，該系統采集記錄的網絡數據記錄了飛機一個飛行試驗起落的各類測試數據信息，新一代飛機測試參數總量激增，數據總量達到上百個GB。為縮短單架次飛行試驗周期，如何高效快捷地對這些非結構化的海量網絡數據包進行同步分析處理，方便科研人員的應用，就成為必須解決的實際問題。
1 網絡化機載測試系統飛行試驗數據的特點
在網絡化機載測試系統Kam4000中，網絡數據包從采集器通過二級交換機到記錄器。第一級交換機可以有多個，二級交換機作為系統的時鐘接入點、遙測數據和記錄器的接入點、系統配置文件的加載點，結構如圖1所示。網絡數據包被記錄器完整的記錄下來，在此需要分析的是記錄器記錄的完整的網絡數據。該網絡數據是有一個個網絡數據包組成，每個網絡數據包的格式根據采集器的不同可以是不同的。
1．1 與Kam500采集系統的差別
現在大量應用于飛行試驗的Kam500機載測試系統，采集記錄的飛行試驗數據格式為標準的PCM數據。PCM數據由重復出現的長幀組成，每個長幀的長度是固定的，每個長幀包含若干個短幀。網絡化機載測試系統Kam4000中，采集記錄的飛行試驗數據為網絡數據包格式。每個網絡數據包的大小都可以不同，并且每個網絡數據包中的參數個數也可以不同。
1．2 海量網絡數據包的格式
網絡化測試系統采用ARCA公司的最新采集器，采集記錄的數據格式根據采集器的不同可以是IENA，或XNET／INET網絡數據包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包結構。而采用BCU140(XNET Ethernet Controller)支持XNET／INET的同時，也支持IEN-A。在網絡化測試系統中IENA和XNET／INET網絡數據包以EthernetⅡ協議廣播。根據記錄器的不同，記錄的網絡數據包結構可以是PCAP格式或者IRIG106-10格式記錄。
PCAP基本格式：
文件頭 數據包頭 數據包 數據包頭 數據包 …
IRIG106-10基本格式：
文件頭 特殊字頭 數據包 特殊字頭 數據包 …
根據飛行試驗的測試特性，參照以往的模擬量在飛行實驗中記錄數據的大小，如果參數量為5 000個，一定的飛行時間內記錄的飛行試驗數據為12 GB左右。隨著飛機系統的復雜性的增加，應用于飛行實驗的網絡化測試系統需測試的飛行試驗參數也越來越多，單架次的飛行試驗記錄的模擬量數據將是現在的4倍、5倍甚至更多。
1．3 網絡數據包個數多
為提高發包效率，使發包延遲時間盡可能小，將數據包在采集后快速的發送出去，ARCA公司的采集器規定每個數據包的大小在設計上不允許超過1 500 B。同時，現在的測試參數都是高采樣率，在這樣的測試系統條件下，一個網絡數據包可記錄的參數量非常有限，必然會產生惟一標示的單個網絡數據包的個數激增。
1．4 網絡數據包非結構化
網絡數據包具有典型的非結構化。在采集器端，按照測試系統的配置采集參數，并形成網絡數據包。對于交換機而言，單個網絡數據包的到來和發送沒有完整的規則。在記錄器上記錄的原始網絡數據包數據，在數據包的排列順序上是無序的，數據包的周期是不確定的。不能準確預測到下一個網絡數據包到來的順序和時間。
2 網絡數據處理方法
針對以上網絡數據包的特點：最新的網絡數據包格式和記錄格式，海量的原始數據，數目龐大的測試參數，典型的非結構化，以及上千萬、上億的單個網絡數據包。根據飛行試驗的特點，必須在盡可能短的時間內給出飛行試驗的數據分析結果，以便試飛工程師安排接下來的飛行試驗。
2．1 內存映射文件
內存映射文件，是由一個文件到一塊內存的映射。WIN32提供了允許應用程序把文件映射到一個進程的函數(CreateFileMapping)。使用內存映射文件處理存儲于磁盤上的文件時，將不必再對文件執行I／O操作，使得內存映射文件在處理大數據量的文件時能起到相當重要的作用。在處理飛行試驗海量網絡數據時，需不斷地提取數據的，進行判斷、跳過等文件操作。如果按照以往的文件指針模式去提取網絡數據，在數據處理效率上有可能不能滿足飛行試驗海量網絡數據處理的需求。針對快速讀取海量原始網絡數據，內存映射文件模式提供了解決方法。
2．2 時間矩陣同步分析算法
針對飛行試驗原始網絡數據，每個單獨的網絡數據包總是有時間標識的。這些時間標識在整個原始文件中又是無序存放的。飛行試驗的科目所需要的數據往往存在于多個網絡數據包中，這些網絡數據包中的數據往往不會是同一時刻采集的，也就是說網絡數據包的時間標識不會是同時刻的。針對網絡數據包的這些特性，為快速進行網絡數據包的時統分析，設計了時間矩陣同步分析算法。
如圖2網絡數據包時間順序所示，原始網絡數據包的時間在順序上是無序的。
時間矩陣同步分析算法是一種高效的同步分析算法，是最快最逼近真實數據的一種的算法。將原始數據時間以1 s為單位，以實際需要的每秒采樣率PerCyc為等分值，即將時間軸分PerCyc等分，如圖3所示。
假設PerCyc為6，則在1 s內，平均提取6個時間點。以第二個時間點10為例，從圖中可以看到，某個實際的網絡數據包時間在10附近有08 s，09 s，12 s三點，那么在提取該網絡數據包的時候，比較后選擇09 s點數值為同步分析的結果數值。以此類推，對需要提取的網絡數據包在10 s點的數值都可以比較逼近獲得。
2．3 分布式應用中間件網絡數據處理
以中間件形式(Active控件等)將網絡數據包接口軟件發布在分布式網絡數據處理系統中。該系統在數據管理、海量數據并發處理和數據分發等方面滿足海量飛行試驗數據處理需求，通過基于Web的飛行試驗數據處理子系統實現對所需數據信息的訪問。如圖4所示。
(1)客戶端ActiveX根據調度服務器列表中的IP及端口號循環嘗試建立Socket通信，發出計算請求；
(2)客戶端ActiveX與調度服務器建立連接后，調度服務器經過負載均衡計算，返回給客戶端ActiveX一個計算服務器的IP及端口號；
(3)客戶端ActiveX與計算服務器建立Socket連接；
(4)客戶端ActiveX發出執行計算命令；
(5)計算服務器接收到計算命令后，啟動確定的分布式中間件執行分布式計算任務，并將狀態信息輸出到控制臺，計算服務器中的狀態監控程序用管道技術將分布式中間件的輸出作為自己的輸入，并通過Socket方式返回給客戶端ActiveX；
(6)客戶端ActiveX接收任務執行的狀態信息，顯示給用戶；
(7)當分布式中間件執行完畢，計算服務器中的狀態監控程序將最后的結果文件通過Socket傳給客戶端ActiveX；
(8)客戶端ActiveX控件將文件保存至客戶端，分布式計算結束。
3 結語
本文由面及點地對網絡化測試系統中采集記錄的網絡數據進行了深層次的理解和多視角的剖析。同時為實現對非結構化海量網絡數據進行快速分析處理，對數據處理算法和數據處理軟件集成進行了研究，從接口軟件關鍵算法設計到數據系統集成提出了解決方法。并且這些方法已經在飛行試驗海量網絡數據處理軟件的設計過程中應用，通過對飛行試驗中采集的網絡數據進行分析處理，使用這些算法的飛行試驗海量網絡數據處理軟件的處理效率滿足飛行試驗海量網絡數據處理需求，解決了在飛行試驗中的非結構海量網絡數據快速分析處理問題，為新一代機載網絡化測試系統應用于飛行試驗提供了技術保障。國外許多航空公司已經在飛行試驗中應用網絡化測試系統，對非結構海量網絡數據分析處理技術也在進行研究。