特斯拉在 8 月中旬的 AI 日推出了用于機器學習和神經網絡訓練的汽車芯片、系統和軟件。他們將共同推進自動駕駛汽車模型的培訓。

埃隆馬斯克和他的芯片和系統設計師團隊在三個多小時的演示中提供了大量技術細節。以下是重點。

神經網絡

特斯拉設計了一種靈活、可擴展的分布式計算機架構，專為神經網絡訓練量身定做。Tesla 的架構始于具有 354 個訓練節點的 D1 專用芯片，每個訓練節點都有一個強大的 CPU。這些訓練節點 CPU 專為高性能 NN 和 ML 任務而設計，32 位浮點運算的最大性能為 64 GFLOP。

對于具有 354 個 CPU 的 D1 芯片，32 位浮點運算的最大性能為 22.6 TFLOPs。對于 16 位浮點計算，D1 最大性能躍升至 362 TFLOP。

特斯拉推出了兩個用于神經網絡訓練的系統：Training Tile 和 ExaPOD。一個訓練塊在一個多芯片封裝中具有 25 個連接的 D1 芯片。具有 25 個 D1 芯片的訓練塊構成 8,850 個訓練節點，每個訓練節點都具有上面總結的高性能 CPU。對于 32 位浮點計算，訓練 tile 的最大性能為 565 TFLOP。

ExaPOD 將 120 個訓練塊連接到一個系統中，或者將 3,000 個 D1 芯片與 106.2 萬個訓練節點連接起來。對于 32 位浮點計算，ExaPOD 的最大性能為 67.8 PFLOP。

特斯拉神經網絡公告詳情

D1芯片和Dojo神經網絡訓練系統的推出，昭示了特斯拉的方向。將這些產品投入生產的研發投入無疑是非常高的。特斯拉可能會與其他公司分享這項技術——以創造另一個類似于出售給其他 OEM 的 BEV 積分的收入來源。

下表列出了特斯拉神經網絡產品公告的特點。數據是從 8 月 19 日事件的視頻中提取的。我在幾個地方增加了我對芯片和系統架構的理解。

特斯拉的設計目標是在其芯片和系統中擴展三個系統特性：計算性能、計算節點之間的高帶寬和低延遲通信。高帶寬和低延遲一直難以擴展到數百或數千個計算節點?？雌饋硖厮估呀洺晒Φ乜s放了以連接的 2D 網格格式組織的所有三個參數。

訓練節點

訓練節點是D1芯片上最小的訓練單元。它有一個 64 位處理器，具有 4 寬標量和 4 路多線程程序執行。CPU 還具有 2 寬矢量數據路徑和 8×8 矢量乘法。

CPU 的指令集架構 (ISA) 專為機器學習和神經網絡訓練任務量身定制。CPU 支持多種浮點格式 — 32 位、16 位和 8 位：FP32、BFP16，以及一種新格式：CFP8 或可配置 FP8。

該處理器具有 1.25MB 高速 SRAM 存儲器，用于存儲程序和數據。內存使用 ECC 或糾錯碼來提高可靠性。

為了獲得訓練節點之間的低延遲，Tesla 選擇了信號在 2GHz+ 時鐘頻率的一個周期內可以傳播的最遠距離。這定義了訓練節點的距離以及 CPU 及其支持電子設備的復雜程度。這些參數還允許 CPU 以每秒 512 Gbit 的速度與四個相鄰的訓練節點進行通信。

訓練節點的最大性能因使用的算法而異。浮點性能通常用于比較。最大訓練塊 32 位浮點性能 (FP32) 為 64 GFLOP。BFP16 或 CFP8 算術的最大性能為 1,024 GFLOP。

D1芯片

令人印象深刻的 Tesla D1 芯片是專門用于神經網絡訓練的設計。D1 采用 7 納米工藝制造，在一個 645 平方毫米的芯片中封裝了 500 億個晶體管。該芯片的電線長度超過 11 英里，功耗在 400 瓦范圍內。

D1 芯片有一個帶有高速、低功耗 SerDes 的 I/O 環——芯片周圍共有 576 個通道。每個通道的傳輸速率為 112 Gbps。最大 D1 片上傳輸速率為 10 Tbps(每秒 10 TB)。芯片每側的最大板外傳輸速率為 4 Tbps。

D1 芯片上的 354 個 CPU 中的每一個都具有 1.25 MB 的 SRAM，這加起來超過 442 MB 的 SRAM。D1芯片的最大性能也是基于354個訓練節點的CPU陣列。

32 位浮點計算的 D1 最大性能達到 22.6 TFLOP。16 位浮點計算的最大性能為 362 TFLOP。

訓練瓷磚

Tesla 的 Training Tile 是擴展 AI 訓練系統的基石。Training Tile 將 25 個 D1 裸片集成到晶圓上，并封裝為多芯片模塊 (MCM)。特斯拉認為這可能是芯片行業最大的MCM。訓練塊被封裝為一個大芯片，可以通過一個保留訓練塊帶寬的高帶寬連接器連接到其他訓練塊。

訓練塊封裝包括多層電源和控制、電流分配、計算平面(25 個 D1 芯片)和冷卻系統。培訓板塊用于 IT 中心，而非自動駕駛汽車。

訓練塊為 16 位浮點計算提供 25 倍的單個 D1 芯片或高達 9 Peta FLOP 的性能，為 32 位浮點計算提供高達 565 TFLOP 的性能。

12 個 2x3x2 配置的訓練圖塊可以裝在一個機柜中，特斯拉將其稱為訓練矩陣。

ExaPOD

特斯拉描述的最大系統是 ExaPOD。它由 120 個訓練圖塊組成。這增加了 3000 個 D1 芯片和 106.2 萬個訓練節點。它適合 10 個櫥柜。它顯然是供 IT 中心使用的。

ExaPOD 的最大性能是 16 位浮點計算的 1.09 Exa FLOPs 和 32 位浮點計算的 67.8 Peta FLOPs。

Dojo 軟件和 DPU

Dojo 軟件旨在支持大型和小型神經網絡的訓練。Tesla 有一個編譯器來創建利用訓練節點、D1 芯片、訓練塊和 ExaPOD 系統的結構和功能的軟件代碼。它使用帶有擴展的 PyTorch 開源機器學習庫來利用 D1 芯片和 Dojo 系統架構。

這些能力允許對大型神經網絡進行分區和映射，以提取不同的并行度、模型、圖、數據并行度，從而加速大型神經網絡的訓練。編譯器使用多種技術來提取并行性。它可以使用數據模型圖并行技術轉換網絡以實現細粒度并行，并且可以優化以減少內存占用。

Dojo 接口處理器用于與 IT 和數據中心的主機進行通信。它通過上面解釋的高帶寬與 PCIe 4.0 連接到主機和基于 D1 的系統。接口處理器還為 D1 系統提供高帶寬 DRAM 共享內存。

基于 D1 的系統可以細分并劃分為稱為 Dojo 處理單元的單元。DPU由一個或多個D1芯片、一個接口處理器和一個或多個計算機主機組成。DPU 虛擬系統可以根據運行在其上的神經網絡的需要進行放大或縮小。

底線

特斯拉神經網絡訓練芯片、系統和軟件讓人印象深刻。有很多創新，例如從芯片到系統保持巨大的帶寬和低延遲。Training Tile 的電源和冷卻包裝看起來很創新。

神經網絡訓練系統用于數據中心，肯定會用于改進特斯拉的 AV 軟件。其他公司很可能也會使用這些特斯拉神經網絡訓練系統。

一個關鍵問題是神經網絡系統將如何用于自動駕駛汽車的推理應用?在當前版本中，Training Tile 的功耗看起來太高，無法自動使用。演示中的一張圖片有“15 KW 熱排斥”標簽用于訓練瓷磚。D1 芯片可能在幻燈片中列出的 400 瓦 TDP 范圍內。

看起來特斯拉希望和/或依賴這種神經網絡訓練創新，將其 Autopilot 變成支持 L3 或 L4 的系統——僅使用基于攝像頭的傳感器。這是一個好賭注嗎?時間會證明一切，但到目前為止，埃隆馬斯克的大部分賭注都是好的——只是有些延遲。

更多信息可以來這里獲取==>>電子技術應用-AET<<