人工智能（AI）與5G技術發展逐漸加快，隨之帶來了更高的數據交換需求，這種對數據交換的需求不僅體現在系統之間的互聯，也體現在芯片內部的互聯。在Level4、Level5的自動駕駛中是不需要人來進行操控的，人類將身家性命完全交給半導體來判斷之前，確保系統信號回路傳輸及時、穩定是首先需要解決的問題。而人工智能芯片運算單元豐富，傳統總線架構已經成為系統性能的主要瓶頸，芯片內部的互連需要尋求一種新的方式。
“傳統總線架構只適合簡單架構，下一代芯片，特別是AI芯片，單芯片集成內核數量多，需要互聯的模塊也更多，我們考慮在芯片內部布一個網，類似互聯網那樣，替代總線結構，把所有數據用橋接模塊分成數據包，用互聯網的方法分發出去。” NetSpeed Systems大中華區銷售總監黃啓弘將形象地介紹了NetSpeed SoC芯片內部互連解決方案Orion AI。
NetSpeed Systems大中華區銷售總監黃啓弘
AI的主要挑戰：（1）人工智能工作負載具備獨特性，在訓練側和推理側都需要大型矩陣算法；（2）人工智能架構具備獨特性，內核數量多，大量并行結構，點對點通信；（3）帶寬要求極高（TB/s），未來對帶寬的要求將會更高。NetSpeed推出的Orion AI采用解耦架構，分層堆疊，每層均可擴展或收縮；可編程多播，最早也是目前唯一支持基于廣播推送的可配置多播網絡IP；服務質量（QoS）非凡，以具備端到端QoS規劃的非阻塞路徑來控制帶寬與延遲。
黃啓弘先生介紹了Orion AI的優勢，與傳統總線相比，Orion AI方案解除了總線架構帶來的數據吞吐量限制，片內帶寬可支持到萬億字節每秒（TB/s），接口位寬高達1024位 ，內部結構位寬更高，并可支持高達4K字節的長突發傳輸；采用先進的低功耗管理技術提升能效；內置人工智能，利用先進人工智能算法，在解決方案空間搜尋最有效的解決方案，可謂是“用人工智能設計人工智能芯片”。
Orion AI由NetSpeed的圖靈機器學習引擎提供支持，該引擎使用監督學習來探索和優化SoC設計與架構。Linley Group首席分析師Linley Gwennap表示，這是一種以人工智能為核心的設計方法，“就像有一位隨時在線的建筑大師給出設計建議。處理器架構師可以采納圖靈的建議，然后花時間去解決SoC設計中的其他難題?！?/p>
NetSpeed的方案能幫助SoC設計公司大幅縮減開發時間。據了解，互連IP成本占整體AI成本的3%-10%左右。NetSpeed的客戶通過采用Orion AI，在RTL階段就可進行互連設計，大幅縮減前端設計與后端設計的試錯周期，平均可節約3-4個月時間。據黃啟弘介紹，NetSpeed的其中一個客戶，特斯拉的自動駕駛芯片從設計到流片只花了大約九個月時間。
除了特斯拉外，NetSpeed目前還有英特爾、亞馬遜這些大客戶，在國內有地平線機器人、寒武紀、百度等領先的AI公司。
相比其他消費級應用，自動駕駛應用對安全等級有更高的要求，Orion AI通過了ISO 26262標準，可支持ASIL D級別安全要求，采用Orion AI來進行SoC互聯設計也更容易達到汽車應用的安全要求。
NetSpeed是一個以技術為本的公司，雖然是個年輕的公司，但成立8年以來，已經申請了130多項專利。NetSpeed除了為大客戶提供定制化的IP服務，還提供非加密的互連IP，在授權模式和費用上都可根據中國客戶需求進行靈活調整。目前我國AI應用迅速發展，NetSpeed擁有極佳的市場機遇，NetSpeed提供的更方便、可靠的設計建議也使得AI芯片設計工程師擁有了更多的選擇。