HPE與NVIDIA表示正為客戶提供構建模塊，可用于組裝同布里斯托大學Isambard-AI超級計算機同架構的迷你版本，用以訓練生成式AI和深度學習項目。但目前價格尚未公布，希望數字友好。

兩家公司正聯手銷售一款基于HPE Cray EX2500架構及NVIDIAGrace Hopper超級芯片的模塊化機器，其上運行的則是兩家公司共同提供的軟件工具棧。

該系統將于本周在科羅拉多州召開的SC23高性能計算（HPC）大會上公開演示，設計目標是通過預配置和預測試的完整技術棧，讓組織更輕松地啟動并運行AI訓練。當然，一切要等價格公布之后才有定論。

根據HPE的介紹，該系統是首款采用四GH200超級芯片節點配置的系統，就是說每個節點將包含4塊NVIDIA高端芯片。每塊超級芯片都擁有72核Arm架構Grace CPU與Hopper GPU，并配備480 GB的LPDDR5x內存與144 GB HBM3e高帶寬內存。

這些節點采用HPE的Slingshot互連技術，這項技術屬于以太網的超集，添加了高性能計算（HPC）所必需的諸多功能。

雖然硬件成本相當可觀，但HPE表示這套特殊的解決方案允許客戶先從小規模起步，隨后根據需求靈活擴展。 

HPE高性能計算、人工智能與實驗室執行副總裁Juston Hotard在采訪中表示，“已經有一部分客戶發布了搭載Grace Hopper超級芯片的產品，但我們的EX2500仍然獨一無二，因為它可作為統一的單位進行部署，全部冷卻、供電和計算板件均部署在同一模塊之內?！?/p>

他解釋道，這意味著該系統“不僅為客戶提供了非常簡單的入門選項，同時還具備廣闊的擴展空間。”

作為方案中的軟件技術棧，HPE帶來了自己的機器學習開發環境（Machine Learning Development Environment）。這是一套用于訓練生成式AI模型的平臺，主要基于HPE在2021年收購自Defined AI的技術。

方案中還包含NVIDIA的AI Enterprise套件，這是一系列AI工具和框架的集合，包括TensorFlow、PyTorch、NVIDIARAPIDS與TensorRT軟件庫，以及Triton推理服務器等?？蛻暨€可以獲得HPE的Cray編程環境，這是一套用于代碼開發、移植和調試的工具組合。

Hotard表示，AI訓練是目前計算密度最大的工作負載之一，因此對計算架構的要求也比較特殊。

“我們都知道，云架構是圍繞單一服務器資源的最大化利用設計而成的。因此在面對工作負載時，這類方案傾向于將任務拆分成一個個較小的部分。”

“但AI工作負載，特別是訓練和大規模微調類負載，則有著截然不同的特性。在某些情況下，這些工作負載需要將整座數據中心視為單一計算機來運行。AI工作負載需要運行在幾百甚至數千個節點之上，并要求所有計算、互連和存儲資源都要像在超級計算機內那樣高度一致地規?；\行?！?/p>

當然，這套新系統的服務對象僅限那些掌握充足財務預算的組織，不過HPE目前拒絕透露關于成本的具體信息。Hotard表示價格將在不久之后對外公布。

NVIDIA科學項目經理Jack Wells宣稱，基準測試結果顯示，在使用Llama 2處理大語言模型（LLM）推理工作負載時，基于GH200的單一節點比雙至強CPU服務器快100倍。

他聲稱，“生成式AI正在重構科學計算思路，并帶動起極為巨大的市場需求?！彼瑫r強調，HPE與NVIDIA的這款產品已經吸引到多家客戶。

其中包括蘇黎世聯邦理工學院的超級計算機、波蘭Cyfronet、洛斯阿拉莫斯國家實驗室，以及布里斯托大學的Isambard-AI系統（計劃部署5448塊NVIDIAGH200超級芯片）。

HPE表示，該服務將從12月登陸30多個國家的市場。除了來自公共部門和研究機構的AI創新中心客戶之外，該項目預計還將吸引到不少企業巨頭的關注。