在今天舉辦的Google I / O 2021上，Google正式宣布了其第四代張量處理單元（TPU），該公司聲稱可以在接近記錄的時間內完成AI和機器學習訓練工作量。谷歌表示，在對象檢測，圖像分類，自然語言處理，機器翻譯和推薦基準等工作負載方面，TPUv4集群可以超越上一代TPU。
據介紹，TPUv4芯片提供的矩陣乘法TFLOP是第三代TPU（TPUv3）的兩倍以上，其中一個TFLOP相當于每秒1萬億個浮點運算。矩陣通常用于表示輸入到AI模型的數據。）。
它還提供了“顯著”的內存帶寬提升，同時受益于互連技術的未指定進步。谷歌表示，總體而言，在相同的64芯片規模下，不考慮軟件帶來的改善，TPUv4的性能平均要比TPUv3提升2.7倍。
Google的TPU是專用于加速AI的專用集成電路（ASIC）。它們是液冷的，旨在插入服務器機架中。交付多達100 petaflops的計算能力；并增強Google產品的功能，例如Google搜索，Google相冊，Google翻譯，Google助手，Gmail和Google Cloud AI API。谷歌 在其年度I / O開發人員大會上宣布了2018年的 第三代產品，今天早晨揭開了繼任者的序幕，后者處于研究階段。
領先的表現
根據Google的說法，TPUv4集群（即“ pod”）共有4,096個芯片，互連的帶寬是大多數其他網絡技術的10倍。這使TPUv4 Pod可以提供超過exaflop的計算能力，這相當于大約1000萬臺平均性能達到峰值的筆記本電腦處理器。
Google首席執行官Sundar Pichai在主題演講中說：“這對我們來說是一個歷史性的里程碑——以前要獲得exaflop的功能，您需要制造定制的超級計算機?！?“但是我們今天已經部署了許多這樣的設備，并且很快將在我們的數據中心中安裝數十個TPUv4四個Pod，其中許多將以90％或接近90％的無碳能源運行?！?/p>
今年的MLPerf結果表明，谷歌的第四代TPU不容小覷。在涉及使用ImageNet數據集對算法（ResNet-50 v1.5）進行至少75.90％的準確度訓練的圖像分類任務中，谷歌全新TPU在1.82分鐘內完成了256個。這幾乎與768個Nvidia A100圖形卡，192個AMD Epyc 7742 CPU內核（1.06分鐘）以及512個華為AI優化的Ascend910芯片與128個Intel Xeon Platinum 8168內核（1.56分鐘）組合在一起的速度一樣快。
當負責在大型維基百科語料庫上訓練BERT模型時，第四代TPU的得分也 很高。使用256個第四代TPU進行培訓需要1.82分鐘，僅比使用4,096個第三代TPU進行培訓所需的0.39分鐘稍慢。同時，使用Nvidia硬件要達到0.81分鐘的培訓時間，需要2,048張A100卡和512個AMD Epyc 7742 CPU內核。
谷歌表示，從今年晚些時候開始，云客戶將可以使用TPUv4 pod。
