Google今天正式發布了其第四代人工智能TPU v4 AI芯片，其速度達到了TPU v3的2.7被。Google實際上已經于2020年就開始在自己的數據中心中使用了新的TPU v4。通過整合4096個TPU v4芯片成一個TPU v4 Pod，一個Pod性能就達到世界第一超算“富岳”的兩倍。這些算力可能在今年晚些時候向Google Cloud用戶開放此功能。且谷歌希望未來可能應用于量子計算。

　　Google TPU系列研發

　　Google于2016年宣布了其首款內部定制的定制AI芯片。

　　與傳統的CPU和GPU組合（用于訓練和部署AI模型的最常見架構）相比，第一款TPU ASIC提供了“數量級”更高的性能。

　　TPU V2于2018年上市，TPU V3于2019年上市，TPU v4于2020年推出。

　　借助TPU v3，這些服務器的機架需要大量的電源，以至于Google必須對其數據中心進行改造以支持液體冷卻，這比傳統的風冷系統具有更高的功率密度。

　　而今，在比TPU v3性能提高2.7倍的基礎上再整合4096個TPU v4為一個TPU v4 Pod，許多Pod再組成TPU v4 Pods，以提供超強的算力。

　　除了將這些系統用于自己的AI應用程序（例如搜索建議，語言翻譯或語音助手）外，Google還將TPU基礎設施（包括整個TPU吊艙）以云的方式（付費）開放給Google Cloud客戶。

　　1 TPU v4 Pod 整合算力 = 2 富岳

　　在其I/O開發者大會上，Google今天（美國時間5月18日）宣布了其下一代定制的張量處理單元（TPU）人工智能芯片。這是TPU芯片的第四代產品，Google稱其速度是上一版本的兩倍。正如Google首席執行官桑達爾·皮查伊所指出的，這些芯片整合了4096個TPU v4，一個pod就可以提供超過一個exaflop（每秒百億億次浮點運算）的AI計算能力，達到目前全球最快的超級計算機“富岳”的兩倍性能。

　　Google使用定制芯片為其自己的許多機器學習服務提供動力，但與此同時它也將把這最新一代產品作為其Google云平臺的一部分提供給開發者。

　　“這是我們在Google部署過的最快的系統，對我們來說是歷史性的里程碑，”Google CEO桑達爾·皮查伊說?！耙郧耙氆@得1個exaflop的算力，通常需要建立一個定制的超級計算機，但我們今天已經部署了許多這樣的計算機，很快就會在我們的數據中心有幾十個TPUv4 pods，其中許多將以90%或接近90%的無碳能源運行。而我們的TPUv4 pods將在今年晚些時候提供給我們的云客戶”。

　　TPU是Google的第一批定制芯片之一，當包括微軟在內的其他公司決定為其機器學習服務采用更靈活的FPGA時，Google很早就在這些定制芯片上下了賭注。雖然它們的開發時間稍長，而且隨著技術的變化很快就會過時，但用于特定場景的運算時可以提供明顯更好的性能。

　　發布會上，Google還展示了其量子數據中心，盡管目前相關研究仍停留于早期階段，但谷歌顯然希望在未來有朝一日夢想成真?；谀壳暗牟牧虾蛯嶒瀳鏊拗?，量子計算必須在極低的超導溫度下運行。

　　或用于量子計算

　　發布會上，Google還展示了其量子數據中心，盡管目前相關研究仍停留于早期階段，但谷歌顯然希望在未來有朝一日夢想成真?；谀壳暗牟牧虾蛯嶒瀳鏊拗?，量子計算必須在極低的超導溫度下運行。

　　Google TPU v4 性能詳解：打破MLPerf中的AI性能記錄

　　機器學習（ML）模型的快速訓練對于提供以前無法實現的新產品，服務和研究突破的研究和工程團隊至關重要。在Google，最近啟用ML的功能包括更有用的搜索結果和一個可以翻譯100種不同語言的ML模型。

　　行業標準MLPerf基準測試對比的最新結果表明，谷歌已打造出世界上最快的ML訓練超級計算機。Google使用此超級計算機以及最新的Tensor處理單元（TPU）芯片，在八項MLPerf基準測試中的六項中創造了性能記錄。

　　圖1：與任何可用性類別中最快的非Google提交相比，Google最好的MLPerf Training v0.7研究提交速度有所提高。不論系統大小如何，總訓練時間都將比較標準化，而系統大小介于8到4096個芯片之間。

　　使用TensorFlow，JAX和Lingvo中的ML模型實現實現了這些結果。在不到30秒的時間里，八個模型中的四個從零開始接受了訓練。為了正確理解這一點，考慮到在2015年，花了超過三周的時間在可用的最先進的硬件加速器上訓練其中一種模型。谷歌最新的TPU超級計算機可以在五年后將相同模型的速度提高近五個數量級。

　　在此文中，我們將研究對比的一些細節，提交如何實現如此高的性能，以及它們對模型訓練速度的所有意義。

　　MLPerf模型

　　選擇MLPerf模型來代表整個行業和學術界常見的尖端機器學習工作負載。上圖中，這是每個MLPerf模型的更多詳細信息：

　　DLRM代表了排名和推薦模型，這些模型是從媒體到旅行到電子商務等在線業務的核心

　　Transformer是自然語言處理（包括BERT）的最新發展浪潮的基礎

　　BERT使Google搜索獲得了“過去五年中最大的飛躍”

　　ResNet-50是廣泛用于圖像分類的模型

　　SSD是一種對象檢測模型，其重量很輕，可以在移動設備上運行

　　Mask R-CNN是廣泛使用的圖像分割模型，可用于自主導航，醫學成像和其他領域（您可以在Colab中進行實驗）

　　除了上述最大規模的行業領先結果之外，Google還使用Google Cloud Platform上的TensorFlow提供了MLPerf提交，供今天的企業使用。

　　世界上最快的ML訓練超級計算機

　　Google在本次MLPerf訓練回合中使用的超級計算機是Cloud TPU v3 Pod的四倍，后者在之前的比賽中創下了三項記錄。該系統包括4096個TPU v3芯片和數百個CPU主機，所有這些都通過超快速，超大規模的定制互連進行連接。總體而言，該系統可提供430多個PFLOP峰值性能。

　　表1：所有這些MLPerf提交的內容都是在Google新型ML超級計算機上以33秒或更短的時間從零開始進行訓練的。2個

　　使用TensorFlow，JAX，Lingvo和XLA進行大規模訓練

　　使用數千個TPU芯片訓練復雜的ML模型需要在TensorFlow，JAX，Lingvo和XLA中結合算法技術和優化。

　　XLA是支持所有Google MLPerf提交的基礎編譯器技術，TensorFlow是Google的端到端開源機器學習框架，Lingvo是使用TensorFlow構建的序列模型的高級框架，而JAX是一個基于可組合功能轉換的以研究為中心的新框架。

　　上面的記錄設置規模依賴于模型并行性，按比例縮放的批次歸一化，有效的計算圖啟動以及基于樹的權重初始化。

　　上表中的所有TensorFlow，JAX和Lingvo提交（ResNet-50，BERT，SSD和Transformer的實現）都在2048或4096 TPU芯片上進行了訓練，每個不到33秒。

　　TPU v4 vs TPU v3，性能提高2.7倍

　　Google的第四代TPU ASIC提供了TPU v3的矩陣乘法TFLOP的兩倍以上，顯著提高了內存帶寬，并且在互連技術方面取得了進步。Google的TPU v4 MLPerf提交利用了這些新的硬件功能以及互補的編譯器和建模優勢。結果表明，在上一屆MLPerf培訓比賽中，TPU v4比TPU v3的性能平均提高了2.7倍，達到了類似的規模。

　　圖2：Google的MLPerf培訓v0.7中的TPU v4結果研究提交的結果，與Google的MLPerf培訓v0.6可用提交中的TPU v3結果相比，平均提高了2.7倍，在相同規模的64核心芯片條件下。此性能改進歸功于TPU v4中的硬件創新以及軟件的改進。

　　沒有有關節點、體系結構或設計的信息，但可以假定它們位于7nm類節點上。同樣，FLOP中只有2倍，而性能則是2.7倍，這意味著它們在提取原始Flop方面更加有效。

　　Google已經在使用這項新技術，并將很快擴大其使用范圍

　　Google實際上已經在使用新的TPU v4。該公司表示已經在自己的數據中心中使用了該技術。至于何時可以訪問Google Cloud客戶，這家搜索巨頭尚未提供確切的日期。但它確實說，它們將在“今年晚些時候”上市。

　　該公司表示，目前，它將很快在其數據中心運行數十個最新的Pod。并指出，其中許多將“以或接近” 90％的無碳能源運行。至少就Google自身的運營而言，使新系統也成為最高效的系統之一。