文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.2016.11.001
中文引用格式： 姚雪梅，李少波，璩晶磊，等. 制造大數據相關技術架構分析[J].電子技術應用，2016，42(11)：10-13.
英文引用格式： Yao Xuemei，Li Shaobo，Qu Jinglei，et al. Analyzing the technical framework of manufacturing big data[J].Application of Electronic Technique，2016，42(11)：10-13.
1 制造大數據的產生和研究現狀
1.1 制造大數據的研究現狀
大數據一詞在《The Third Wave》一書中最早被提出后，在農業、交通、金融、醫療、遙感等行業得到了充分的發展和應用，制造業也不例外，尤其在2013年的《中國大數據技術與產業發展白皮書》中，明確指出在制造業采用大數據技術可以減少20%到50%的產品開發時間，促進制造業的轉型升級；在2014年的《大數據標準化白皮書》中強調必須推動大數據在大規模制造業生產過程中的應用，鼓勵企業運用大數據開展個性化定制，創新生產管理模式，降低生產成本，提高企業競爭力。
文獻[1]提出一種基于服務的制造數據管理方法，實現了產品研制和生產制造過程的有效管理；文獻[2]利用物聯網技術加強制造信息的管理和服務，旨在利用大數據技術構建一個高效節能、綠色環保的人性化工廠；文獻[3]利用RFID技術實現生產制造過程的工人、工序、工件、工時的實時統計和分析，便于質量管理和追溯的目的；文獻[4]提出一套制造執行系統的關鍵技術體系和實現框架，為解決生產制造過程實時數據采集和傳輸提供了技術支持；文獻[5]闡述了一種融合RFID和條形碼的生產制造過程自動識別技術；文獻[6]通過對制造單元感知實體屬性和感知設備方面的分析，實現對生產線制造過程的實時跟蹤、精確管理。
綜上文獻資料，學術界近幾年對制造領域的數據分析和處理進行了大量的科學研究。隨著制造業信息化進程的推進，制造業產生的數據量呈爆炸式增長趨勢，傳統的數據分析和挖掘算法在數據維度和規模增大時，需要的內存和硬件資源呈指數級增長，尤其是處理PB級別數據量時，其時空復雜度表現為線性增長，超出人們能夠忍受的正常范圍，急需更簡單有效的算法來解決當前的問題。本文在闡述制造大數據研究現狀的基礎上，綜合分析其來源，給出制造大數據的定義，并提出一種制造大數據的技術架構，同時展開其關鍵技術的探討。
1.2 制造大數據的產生
E-works的黃培博士早在2012績效年會開幕致辭《中國制造業的大數據時代》中提到制造業處于數據爆炸的時代。車間的產品數據，流通階段的運營數據，客戶、廠商和合作者之間的價值鏈數據、市場的輿情數據、行業競爭對手的數據、國家政策信息以及PDM、MES、ERP、CRM、SCM、CAD/M/E、CAPP等軟件和RFID射頻識別、物聯網、傳感器、電子標簽、互聯網+等技術在制造業的廣泛應用，促進了制造模式的創新，產生了制造大數據。
1.3 制造大數據的概念
目前業界對大數據的定義尚有爭議，研究機構Gartner認為“大數據”是在新處理模式下具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；麥肯錫給出的定義是：一種在獲取、存儲、管理、分析方面規模巨大，超出了傳統軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征[7-8]，后者的觀點更能得到業界的普遍認同。
綜合各界對大數據的闡述，結合制造業信息化的概念及應用[9]，將制造大數據定義為：制造業通過網絡化、數字化形成的海量異構制造行業數據資產匯聚，通過信息驅動的制造行業數據資源應用，為改造和提升制造業創新制造及服務能力、促進轉型升級、實現智慧制造提供了支撐[10]。
2 制造大數據的技術架構
2.1 制造大數據處理流程分析
制造大數據的處理流程[11]如圖1所示，主要包括以下部分：(1)傳感器，是制造大數據的主要采集工具；(2)采集中間件，負責源數據的采集，同時對數據預處理，消除數據不確定性，規范化處理數據；(3)存儲中間件，制造大數據具有海量、異構、實時、多源的特點，從而要求存儲設備實現性能和容量的線性擴展；(4)處理中間件，數據處理離不開規則約束下的有效挖掘，因此，高效的人工智能、機械學習、數據挖掘算法是基礎技術；(5)安全管理中間件，制造大數據的應用絕大部分用于車間、工廠、企業、市場，其數據的安全性和準確性直接關系到應用的有效性；(6)制造大數據應用，是制造業信息化、網絡化、智能化的最終體現。
2.2 制造大數據技術架構分析
基于數據驅動的制造大數據處理流程分析，提出如圖2所示的制造大數據技術架構，主要包括數據采集、預處理、分析、應用4個部分[12-13]。(1)數據采集，以傳感器為主要采集工具，結合FRID、條碼掃描器、生產和監測設備、PDA、人機交互、智能終端等手段采集制造領域多源、異構數據信息，并通過互聯網等技術實現源數據的實時準確傳輸。采集的源數據歸納起來一共是結構化、半結構化、非結構化三類數據，相應的數據說明如表1所示。(2)數據預處理，首次采集獲得的源數據是多維異構的，為避免噪音或干擾項給后期分析帶來的困難，必須執行同構化處理，同時將處理結果有效存儲在性能和容量都能線性擴展的分布式數據庫中。數據預處理包括四個步驟[14]：數據清洗、數據交換、數據集成、數據歸約；(3)數據分析，在傳統數據挖掘的基礎上，結合新興的云計算、Hadoop、專家系統等對同構數據執行高效準確地分析運算，并用可視化技術展示結果；(4)數據應用，主要應用于車間、工廠的流程管控和優化，產品研發的決策支持，質量檢測和故障預警，供應鏈優化等方面。
2.3 制造大數據關鍵技術分析
制造系統中不僅包括制造設備軟硬件，還包括制造工藝等多維異構數據。提高采集、分析和處理制造數據的能力，真實客觀地反映制造過程，是確保生產制造過程高效、可靠的關鍵。其中，云計算是基礎；分布式文件系統為其提供數據存儲架構；分布式數據庫便于數據管理，同時提供高效的訪問速度；MapReduce等技術對異構數據進行分析處理，最后利用可視化技術形象生動地呈現在用戶眼前，滿足用戶需求。
(1)云計算
在海量制造數據面前，如何分析、提取有效信息是企業的當務之急。來自公有云、私有云和混合云之上的強大的云計算能力[15]，是提取大數據價值的前提。云計算的核心服務包括三種類型：SaaS、PaaS和IaaS[16]。
(2)分布式技術
分布式文件系統是指管理模式下的實際存儲資源，有的與本地節點直接物理連接，有的則通過互聯網與本地相連[17]。目前常見的分布式文件系統有GFS、S3、TFS等。
分布式數據庫的基本思想是將原來集中式關系型數據庫中的數據分散存儲到多個通過網絡連接的數據存儲節點上，以獲取更大的存儲容量和更高的并發訪問量。目前常見的分布式數據庫有BigTable、PNUTS和Dynamo等。
(3)MapReduce技術
MapReduce是基于Hadoop分布式平臺下的一種計算機編程模型，適用于大規模數據集的并行計算，它為底層程序員提供了一種快速開發、分析處理海量數據的環境，并且使這種模型下開發出來的程序能夠在一些大型的商業集群上以一種高速、穩定、容錯的方式運行[18-19]。
(4)可視化技術
數據可視化主要是借助于圖形化手段，清晰有效地傳達與溝通信息，便于非專業人士根據需要從不同的角度觀察和分析數據。如今，可視化的研究和應用已經覆蓋了科研界、企業界、社交網絡等多個領域。目前常用的可視化工具有FushionCarts、Tableau、Dipity等。
3 制造大數據的應用
(1)基于制造大數據的產品研發決策與優化
美國的福特汽車公司利用大數據分析的技術，打破公司內部數據孤島，通過分析外部收集的數據和內部反饋的詳細數據，探索最佳工藝指標和生產流程，改進或幫助改變其業務模式，對內指導公司生產流水線，提高產品質量，對外推廣市場，贏得較好的口碑和效益，使得福特實現了連續17個季度盈利。
(2)基于制造大數據的生產流程管控與優化
家居行業的尚品宅配利用大數據分析的技術，串聯整個產業鏈，實現了柔性生產和大規模定制。通過收集樓盤、房型數據建立房型庫，再擴展到產品庫、設計庫、解決方案庫的三位一體，形成云設計庫?；诖?，公司產能提高了10倍，出錯率則從30%下降到了3%以下，交貨周期從30天縮短到了15天以內，實現了徹底的零庫存。
(3)基于制造大數據的價值鏈集成和綜合決策
中國石油依托大數據技術發展其“資源、市場、國際化”的戰略。首先，通過挖掘數據潛在價值，實現新的油氣增產；其次，通過完善數據收集分析和監測體系，擴大市場份額；最后，通過對重點資源國地緣政治、經濟動態的分析和把握，建立良性互動的競爭合作關系，從而為正確實施“走出去”戰略，降低海外投資風險提供保障。
4 制造大數據的挑戰
結合我國制造業的現狀和大數據的瓶頸，制造大數據帶來的挑戰表現為以下幾點：
(1)制造大數據多源異構融合的復雜性
制造大數據來源廣泛，種類繁多，關系繁雜。目前缺乏對實時、多源、不確定數據的有效自動識別和獲取的解決方案，致使數據質量參差不齊，難以實現低成本、低能耗、高可靠性的目標。如何構建融合多源異構數據的泛化模型是制造大數據在感知、分析和處理時面臨的巨大挑戰。
(2)制造大數據團隊的核心技術和運營理念
中國的制造業大而不強，源于兩個因素：核心技術依賴于國外、缺乏資源整合和運作的團隊領導能力。大數據的熱潮帶來了創新的思維模式和革新的信息技術，實現技術升級和管理升級是中國制造業面臨的迫切需求。因此，如何培養一批“懂中國”、“懂技術”、“懂管理”的本土專業人才是當前面臨的又一大挑戰。
(3)制造大數據技術有效實施的安全手段
制造大數據自身的特點決定了其處理方式的多樣性、靈活性和廣泛性，大量數據信息跨界傳送，使得安全問題相伴而生。黑客、病毒、人為故障、自然災害等因素都是潛在的安全隱患。常用的數據保護措施不再適用，如何開發出行之有效的保密手段將是下一階段的難點之一。
5 制造大數據展望
兩化深度融合、發展戰略性新興產業和先進制造業是保持我國制造業競爭優勢的重要支撐。未來十年是我國制造業依靠制造大數據技術轉型升級，從“制造大國”走向“制造強國”的關鍵時期。通過大力推行數字化、網絡化、智能化手段，提高創新設計能力，提升產品質量，主要發展以下方向：
(1)基于制造大數據的可持續發展
可持續生產發展關鍵的兩個方面是能源消耗的最小化和廢物排放最少化。因此，制造產品全生命周期中對環境資源的一體化需求驅使用戶思考和使用新的決策工具。借助于制造大數據的契機，積極推進制造業的轉型升級，通過采集、存儲、分析制造業的大數據有望實現制造業資源的浪費最小化和能源最大化利用的目標。
(2)基于制造大數據的智慧制造
在制造業轉型升級過程中，制造業正朝著數字化、信息化、網絡化、綠色化為一體的智慧制造方向前進。在未來一段時期，基于制造大數據技術的智慧制造企業將支撐起中國制造業的可持續發展，智慧工廠就是一個典型。在智慧工廠中，通過人與智能設備的有機協作，利用物聯網感知監控技術加強生產線的可控性，最終提升企業競爭力，促進工業增長。
(3)基于制造大數據的互聯網+協同制造
依托互聯網+，制造業需要通過兩化深度融合，利用制造大數據技術實現用戶、車間、工廠、企業等各個環節數據的快速傳遞，構建網絡化協同制造公共服務平臺，加快形成網絡化制造業生態體系，實現產品全生命周期的互聯、互通、協同，真正滿足市場客戶的個性化定制需求，使企業實現從單純制造向“制造+服務”的轉型升級，最終促進國民經濟的發展。
參考文獻
[1] 劉威，喬立紅，楊建軍.基于服務的制造數據管理[J].計算機集成制造系統，2009(7)：1342-1348.
[2] JAMES T.Smart factories[J].Engineering and Technology，2012，7(6)：64-67.
[3] YAO X，DAI H，ZHANG Z.RFID-enhanced integrated manufacturing for Job-shop floor problems[J].Icic Express Letters Part B Applications，2011(2)：319-324.
[4] 張映鋒，趙曦濱，孫樹棟，等.一種基于物聯技術的制造執行系統實現方法與關鍵技術[J].計算機集成制造系統，2012(12)：2634-2642.
[5] LIU W N，ZHENG L J，SUN D H，et al.RFID-enabled real-time production management system for Loncin motorcycle assembly line[J].International Journal of Computer Integrated Manufacturing，2012，25(1)：86-99.
[6] 彭煜.制造單元物聯感知關鍵技術的研究與實踐[D].武漢：武漢理工大學，2013.
[7] 王珊，王會舉，覃雄派，等.架構大數據:挑戰、現狀與展望[J].計算機學報，2011(10)：1741-1752.
[8] 王元卓，靳小龍，程學旗.網絡大數據:現狀與展望[J].計算機學報，2013(6)：1125-1138.
[9] 顧新建，張棟，紀楊建，等.制造業服務化和信息化融合技術[J].計算機集成制造系統，2010(11)：2530-2536.
[10] 陳偉興，李少波，黃海松.離散型制造物聯過程數據主動感知及管理模型[J].計算機集成制造系統，2016(1)：166-176.
[11] 張桂剛，畢婭，李超，等.海量物聯網數據安全處理模型研究[J].小型微型計算機系統，2013(9)：2090-2094.
[12] 孟小峰，慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展，2013(1)：146-169.
[13] 劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報(工學版)，2014(6)：957-972.
[14] HUANG J，LI Y F，XIE M.An empirical analysis of data preprocessing for machine learning-based software cost estimation[J].Information & Software Technology，2015，67：108-127.
[15] MELL P，GRANCE T.The NIST definition of cloud computing[J].National Institute of Standards and Technology，2009，53(6)：50.
[16] QI Z，LU C，BOUTABA R.Cloud computing: state-of-the-art and research challenges[J].Journal of Internet Services & Applications，2010，1(1)：7-18.
[17] 周江，王偉平，孟丹，等.面向大數據分析的分布式文件系統關鍵技術[J].計算機研究與發展，2014(2)：382-394.
[18] 覃雄派，王會舉，杜小勇，等.大數據分析——RDBMS與MapReduce的競爭與共生[J].軟件學報，2012(1)：32-45.
[19] XIAO Z，XIAO Y.Achieving Accountable MapReduce in cloud computing[J].Future Generation Computer Systems，2014，30(1)：1-13.