財報發布前兩天，英偉達突然冒出來一個勁敵。

一家名叫Groq的公司今天在AI圈內刷屏，殺招就一個：快。

在傳統的生成式AI中，等待是稀松平常的事情，字符一個個蹦出，半天才能回答完畢。但在Groq今天開放的云服務體驗平臺上，你看到的會是一秒一屏。當模型收到提示后，幾乎能夠立即生成答案。這些答案不僅真實可信，還附有引用，長度更是達到數百個單詞。

電子郵件初創企業Otherside AI的首席執行官兼聯合創始人馬特·舒默（Matt Shumer）在演示中親自體驗了Groq的強大功能。他稱贊Groq快如閃電，能夠在不到一秒鐘的時間內生成數百個單詞的事實性、引用性答案。更令人驚訝的是，它超過3/4的時間用于搜索信息，而生成答案的時間卻短到只有幾分之一秒。

雖然今天才刷屏，但Groq公司并非初出茅廬的新創企業。實際上，該公司成立于2016年，并在那時就注冊了Groq商標。去年11月，當馬斯克發布人工智能模型Grok時，Groq公司的開發者們就發了一篇文章說馬斯克撞名自己的公司。信寫的挺逗的，但這波流量他們是一點沒吃到。

這一次他們之所以能突然爆發，主要是因為Groq云服務的上線，讓大家真的能親身感受一下不卡頓的AI用起來有多爽。

有從事人工智能開發的用戶稱贊，Groq是追求低延遲產品的“游戲規則改變者”，低延遲指的是從處理請求到獲得響應所需的時間。另一位用戶則表示，Groq的LPU在未來有望對GPU在人工智能應用需求方面實現“革命性提升”，并認為它可能成為英偉達A100和H100芯片的“高性能硬件”的有力替代品。

01 Groq芯片能在速度上取勝的核心技術是LPU

根據其模型的首次公開基準測試結果，Groq云服務搭載的Llama2或Mistreal模型在計算和響應速度上遠超ChatGPT。這一卓越性能的背后，是Groq團隊為大語言模型（LLM）量身定制的專用芯片（ASIC），它使得Groq每秒可以生成高達500個 token。相比之下，目前ChatGPT-3.5的公開版本每秒只能生成大約40個token。

這一芯片能在速度上取勝的核心技術是Groq首創的LPU技術。

根據推特上與Groq關系密切的投資人k_zeroS分享，LPU的工作原理與GPU截然不同。它采用了時序指令集計算機（Temporal Instruction Set Computer）架構，這意味著它無需像使用高帶寬存儲器（HBM）的GPU那樣頻繁地從內存中加載數據。這一特點不僅有助于避免HBM短缺的問題，還能有效降低成本。

不同于Nvidia GPU需要依賴高速數據傳輸，Groq的LPU在其系統中沒有采用高帶寬存儲器（HBM）。它使用的是SRAM，其速度比GPU所用的存儲器快約20倍。

鑒于AI的推理計算相較于模型訓練需要的數據量遠小，Groq的LPU因此更節能。在執行推理任務時，它從外部內存讀取的數據更少，消耗的電量也低于Nvidia的GPU。

如果在AI處理場景中采用Groq的LPU，可能就無需為Nvidia GPU配置特殊的存儲解決方案。LPU并不像GPU那樣對存儲速度有極高要求。Groq公司宣稱，其技術能夠通過其強大的芯片和軟件，在AI任務中取代GPU的角色。

另一位安卡拉大學的助教更形象的解釋了一下LPU和GPU的差別，“想象一下，你有兩個工人，一個來自Groq（我們稱他們為“LPU”），另一個來自Nvidia（我們稱之為“GPU”）。兩人的任務都是盡快整理一大堆文件。

GPU就像一個速度很快的工人，但也需要使用高速傳送系統（這就像高帶寬存儲器或HBM）將所有文件快速傳送到他們的辦公桌上。這個系統可能很昂貴，有時很難得到（因為HBM產能有限）。

另一方面，Groq的LPU就像一個高效組織任務的工人，他們不需要那么快地交付文件，所以用了一張就放在他們身邊的更小的桌子（這就像SRAM，一種更快但更小的存儲器），所以他們幾乎可以立即獲得所需的東西。這意味著他們可以在不依賴快速交付系統的情況下快速工作。

對于不需要查看堆中每一篇文件的任務（類似于不使用那么多數據的人工智能任務），LPU甚至更好。它不需要像往常一樣來回移動，既節省了能源，又能快速完成工作。

LPU組織工作的特殊方式（這是時態指令集計算機體系結構）意味著它不必一直站起來從堆里搶更多的論文。這與GPU不同，GPU不斷需要高速系統提供更多的文件。”

運用LPU這一技術，Groq生產了加速器單元，根據其網站介紹規格如下：

其特殊內存SRAM的容量是230MB，帶寬80TB/s，在INT8、FP16下算力為188TFLOPs。

02 確實快，但是貴，目前并不能成為英偉達的競爭對手

在Groq剛剛刷屏的時候，AI行業都沉浸在它閃電速度的震撼之中。然而震撼過后，很多行業大佬一算賬，發現這個快的代價可能有點高。

賈揚清在推特上算了一筆賬，因為Groq小的可憐的內存容量（230MB），在運行Llama-2 70b模型時，需要305張Groq卡才足夠，而用H100則只需要8張卡。從目前的價格來看，這意味著在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。

芯片專家姚金鑫（J叔）向騰訊科技進行了更詳細的解釋：

按照Groq的信息，這顆AI芯片的規格如下：

從芯片的規格中，可以看到幾個關鍵信息點：SRAM的容量是230MB，帶寬80TB/s，FP16的算力是188TFLOPs。

按照當前對大模型的推理部署，7B的模型大約需要14G以上的內存容量，那么為了部署一個7B的模型，大約需要70片左右的芯片，根據透露的信息，一顆芯片對應一張計算卡，按照4U服務器配置8張計算卡來計算，就需要9臺4U服務器（幾乎占了一個標準機柜了），總共72顆計算芯片，在這種情況下，算力（在FP16下）也達到了驚人的188T * 72 = 13.5P，如果按照INT8來算就是54P。54P的算力來推理7B的大模型，用大炮打蚊子來形容一點也不為過。

目前社交媒體廣泛傳播的文章對標的是英偉達H100，其采用的是80G的HBM，這個容量可以部署5個7B的大模型實例；我們再來看算力，稀疏化后，H100在FP16下的算力將近2P，在INT8上也將近4P。

那么就可以做個對比，如果從同等算力來看，如果都是用INT8來推理，采用Groq的方案需要9臺包含72片的服務器集群，而如果是H100，達到同等算力大約需要2臺8卡服務器，此時的INT8算力已經到64P，可以同時部署的7B大模型數量達到80多個。

原文中提到，Groq對Llama2-7B的Token生成速度是750 Tokens/s，如果對標的是H100服務器，那這2臺總共16顆的H100芯片，并發吞吐就高到不知道哪里去了。如果從成本的角度，9臺的Groq服務器，也是遠遠貴過2臺H100的服務器（即使此刻價格已經高到離譜）。

● Groq：2萬美金*72=144萬美金，服務器2萬美金*9=18萬美金，純的BOM成本160萬美金以上（全部都是按照最低方式來計算）。

● H100：30萬美金*2 = 60萬美金（國外），300萬人民幣*2=600萬人民幣（國內實際市場價）

如果是70B的模型，同樣是INT8，要用到至少600張卡，將近80臺服務器，成本會更高。

這還沒有算機架相關費用，和消耗的電費（9臺4U服務器幾乎占用整個標準機柜）。

實際上，部署推理性價比最高的，恰恰是4090這種神卡。

Groq是否真的超越了英偉達？對此，姚金鑫（J叔）也表達了自己不同的看法：

“英偉達在本次AI浪潮中的絕對領先地位，使得全球都翹首以盼挑戰者。每次吸引眼球的文章，總會在最初被人相信，除了這個原因之外，還是因為在做對比時的“套路”，故意忽略其他因素，用單一維度來做比較。這就好比那句名言“拋開事實不談，難道你就沒有一點錯的地方嗎？”

拋開場景來談對比，其實是不合適的。對于Groq這種架構來講，也有其盡顯長處的應用場景，畢竟這么高的帶寬，對許多需要頻繁數據搬運的場景來說，那就是再好不過了。

總結起來，Groq的架構建立在小內存，大算力上，因此有限的被處理的內容對應著極高的算力，導致其速度非常快。

現在把句話反過來，Groq極高的速度是建立在很有限的單卡吞吐能力上的。要保證和 H100同樣吞吐量，你就需要更多的卡。

速度，在這里成了Groq的雙刃劍?！?/p>

03 傳奇CEO，小團隊

雖然Groq還面對著很多潛在的問題，但它還是讓人看到了GPU之外的可能路徑。這主要得益于其背后的超強團隊。

Groq的CEO是被稱為“TPU之父”的前谷歌員工喬納森·羅斯；聯合創始人道格拉斯·懷特曼也來自谷歌TPU團隊，并先后創立了四家公司。該公司首席技術官吉姆·米勒曾是亞馬遜云計算服務AWS設計算力硬件的負責人，CMO曾主導了蘋果Macintosh的市場發布。

Groq目前的團隊也相對較小，其總部位于加州山景城，該公司僅有180余名員工，甚至還不到英特爾等大型芯片制造商所需工程師數量的四分之一。

羅斯等人的目標是在Groq復制他在谷歌的成功經驗，打造一個內部芯片項目，引領整個行業向新技術邁進。他希望吸引少數關鍵客戶，通過廣泛部署Groq芯片為公司提供穩定的收入來源，推動公司的獨立發展。目前，這家初創公司已開始向潛在客戶發送樣品。

“這就像獵殺大象，”羅斯說道，“你只需要少數獵物就能維持自己的生命，尤其在我們還如此弱小的時候?！?/p>