近日燧原科技發布了其最新的“邃思”AI推理芯片及其推理卡云燧i20，這是其推理產品的最新迭代。新一代“邃思”AI推理芯片采用第二代高性能計算核心和數據引擎，由12nm工藝打造，通過架構升級，大大提高了單位面積的晶體管效率，從而實現了與目前業內7nm GPU相匹敵的計算能力。同時因為采用12nm的成熟工藝，也實現了更優的性價比。
另外一個重要意義在于，第二代推理產品的面市意味著燧原科技已經實現了推理+訓練的第二代產品組合的全面迭代，這是AI國產自研架構芯片穩步有序邁進的體現。
在燧原科技“芯懷天地”新品發布會上，燧原科技CEO趙立東和COO張亞林針對推理訓練產品及其最新技術進行了精彩的分享。
AI市場新趨勢：推理產品比例變高
人工智能分為訓練和推理兩個主要的任務，訓練是指創建機器學習算法的過程，訓練的比例和整個數據科學家的生產力直接相關，需要大量的計算資源來部署學習框架和訓練數據集。而推理指的是使用經過訓練的算法來進行預測，因此跟整個用戶和海量的應用直接相關，與用戶和用戶所持應用的數量乘積成直接正比例的關系。
上圖是從2017到2023年AI市場的走勢，可以看到推理在整個AI市場中占的比例在逐漸增大，推理的實際應用場景也變得多元化，AI的業務從傳統單一的機器視覺、聲音、文字、決策、推薦等方向性的算法，逐步變成多場景、多應用的落地，廣泛分布在用戶日常生活中。結合推理的客戶需求場景，這樣的計算密集型應用對于性價比的考量也會更為敏感。所以除了GPU之外的其他更具性價比的方案，有望在這部分實現突圍。針對這樣的趨勢，AI芯片公司譬如燧原科技早也在推理產品上進行了投入和布局。
在去年12月，燧原科技就發布了其首款神經網絡模型推理引擎“鑒算TopsInference”及其“云燧i10”推理卡。通過鑒算TopsInference的推理加速，配合云燧i10的高算力及虛擬化技術，可以對計算密集型深度學習工作負載提供高性價比的部署方案。到了今年12月剛好一年的時間，燧原科技隨即發布了其新一代的“邃思2.5”AI推理芯片及其推理卡云燧i20。這也意味著其推理產品也進入了有序的迭代節奏中，同時也是對于當前AI市場推理產品旺盛需求的及時產品補充。
DTU2.5 ：國內首顆TF23推理芯片
“邃思2.5”采用的是專門為云端推理場景而自主研發的計算架構，燧原在這顆芯片上，針對場景落地需求、包括性價比和能效比都有著嚴苛的設計要求。
據張亞東介紹，“邃思”推理芯片采用具備全AI算力空間的計算架構，具備32位的算力，從FP32一直到INT8，包含中間精度TF32、BF16、FP16五個精度構成了全AI算力空間，滿足各種各樣推理的客戶需求。單精度FP32達到了32 TFLOPS、單精度張量TF32達到了128 TFLOPS；同樣具備半精度BF16/FP16的算力，達到128 TFLOPS。在最重要的推理方面，整數精度INT8也有了提升，達到256TOPS。
據悉，這是中國第一顆具備TF32張量單精度的推理芯片，能用16位的算力達到32位的精度，實現4倍于FP32的算力，同時保持99%的整個模型精度一致性。
數據架構方面采用了完全自研的 （Sparse Value Segment ） 數據壓縮格式，能夠進行獨立的分層壓縮和硬件自動循環解壓，使得所有的數據（特別是稀疏數據）在傳輸過程帶寬和功耗減少。同時支持硬件指令預取的操作，使得指令的預取、數據的傳輸和計算可以同時進行，進行并行的數據廣播，使得同樣的數據可以廣播到多個處理器上進行并行執行。同時，這種數據壓縮格式還具有很強的動態功耗控制，讓整個數據傳輸的動態功耗變得非常的有效。
內存方面是采用兩顆HBM2E，單芯片容量為16GB，最大帶寬達到819GB/s。封裝形式采用了2.5D的封裝，整合了5顆芯片進去，尺寸為55mmX55mm。
除了能效比、性價比這些關鍵因素之外，用戶的實際部署易用性也是非常重要的考量。針對當前爆炸式增長的多樣化的推理落地場景，燧原科技進一步加強推理軟件棧，使其更加泛化易用，滿足更多客戶日益增長的需求。
超越主流GPU的性價比之選
搭載2.5代DTU的推理加速卡云燧i20，縱向上實現了比前代產品的大幅提升，橫向上對比GPU的方案也有更好的性價比。
相比云燧i10，云燧i20的浮點32位的算力從17.6T提升到32T，浮點16位的算力從70.4T提升到了128T，INT8整點8位的算力從70.4T提升到了256T，HBM2升級到HBM2E后相應的帶寬也從512GB提升了819GB，連接方式和功耗表現上與前代保持一致。
如下圖所示，根據燧原科技提供的和某次旗艦GPU加速卡的對比數據，以該次旗艦GPU的參數為基準，i20的浮點16位的算力是其2倍，INT8的算力是2倍，內存帶寬是2.65倍。
據張亞東介紹，在DTU2.5設計最初，燧原就定了其性能目標——至少達到主流GPU次旗艦的2.5倍以上，最高達到3.5倍。在這樣的設計目標驅動下，搭載DTU2.5出來i20的實際效果也確實是精準地完成了這一目標。
在實時性方面，DTU相比GPU也有非常出色的表現，根據燧原科技展示的一個實時語意分析的對比demo展示，DTU的實時性能（吞吐量）是GPU的2.5倍以上，而實時的延時DTU卻只有GPU的一半不到。在這種典型的NLP——bert應用中，DTU展現了至少2.5倍于GPU的性能。
“訓推一體化”產品組合升級到第二代
此次全新二代云端推理產品的推出，使得燧原構建了T20+i20的第二代訓推產品組合。但僅僅有產品是不夠的，燧原科技還同步將訓推一體化的系統進行了增強，使得用戶可以方便使用T20和i20，完成訓練加推理一體化的部署。
據張亞東介紹，在TopsRider軟件系統里，從高層的圖優化到中間的算子庫再到中間的編程模型，最后到底層的Runtime，四個階段中分別都實現了整個訓練和推理引擎的統一，使得用一套結構可以支持所有訓練和推理軟件棧。這樣統一的表達、統一的訓練推理的算子編程模型、統一的Runtime，讓T20+i20在訓練和推理棧上進行了很好的深度融合和充分泛化，也使得開發者在運用訓練和推理一體化的時候更加的高效、更加的精密和更加的兼容。
從“邃思”2.5和云燧i20推理卡的發布之后，燧原科技已經完成了二代產品的布局，未來的i30和T30/T31的產品也已經在研發過程中。
總結
燧原科技通過自研架構DPU，實現了比GPU更具性價比的AI推訓方案。“做大芯片、拼硬科技”是其一直奉行的理念，“每代產品比前代實現3倍能效提升、2倍性價比提升、軟件向后兼容”是其產品更新的目標。此次“邃思”2.5和云燧i20推理卡的發布，標志著其推訓一體的產品布局已經夯實，隨著AI市場的繼續發展，未來第三代產品相信也會如期而至。
