編輯 | 白菜葉

人工智能超級計算機公司 Cerebras 表示，其下一代晶圓級人工智能芯片可以在消耗相同電量的情況下將性能提高一倍。

Wafer Scale Engine 3 (WSE-3，文中又稱 CS-3) 包含 4 萬億個晶體管，由于使用了更新的芯片制造技術(shù)，比上一代增加了 50% 以上。

該公司表示將在新一代人工智能計算機中使用 WSE-3，這些計算機目前正在 Dallas 的一個數(shù)據(jù)中心組裝，這將是一臺能夠執(zhí)行 8 exaflops（每秒 80 億次浮點運算）的超級計算機。

另外，Cerebras 與高通簽訂了一項聯(lián)合開發(fā)協(xié)議，旨在將人工智能推理的價格和性能指標提高 10 倍。

CS-3 可訓練高達 24 萬億個參數(shù)的神經(jīng)網(wǎng)絡(luò)模型，是當前最大 LLM 規(guī)模的 10 倍多

憑借 WSE-3，Cerebras 可以繼續(xù)生產(chǎn)世界上最大的單芯片。它呈正方形，邊長為 21.5 厘米，幾乎使用整個 300 毫米硅片來制造一個芯片。

芯片制造設(shè)備通常僅限于生產(chǎn)不超過約 800 平方毫米的硅芯片。芯片制造商已經(jīng)開始通過使用3D集成和其他先進封裝技術(shù)來突破這一限制，以組合多個芯片。不過，即使在這些系統(tǒng)中，晶體管數(shù)量也達到數(shù)百億個。

像往常一樣，這個大芯片配備了一些令人嘆為觀止的高級功能。

你可以在 WSE 芯片的發(fā)展史中看到摩爾定律的作用。第一個于 2019 年首次亮相，采用臺積電的 16 納米技術(shù)制造。對于 2021 年推出的 WSE-2，Cerebras 轉(zhuǎn)而采用臺積電的 7 納米工藝。WSE-3 采用 5 納米技術(shù)制造。

自第一個巨型芯片問世以來，晶體管的數(shù)量增加了兩倍多。與此同時，它們的用途也發(fā)生了變化。例如，芯片上的人工智能核心數(shù)量已顯著趨于平穩(wěn)，內(nèi)存量和內(nèi)部帶寬也是如此。每秒浮點運算（flops）方面的性能改進已經(jīng)超過了所有其他指標。

CS-3 和 Condor Galaxy 3

圍繞新型人工智能芯片 CS-3 構(gòu)建的計算機旨在訓練新一代巨型語言模型，比 OpenAI 的 GPT-4 和谷歌的 Gemini 大 10 倍。

該公司表示，CS-3 可以訓練高達 24 萬億個參數(shù)的神經(jīng)網(wǎng)絡(luò)模型，是當今最大的 LLM 規(guī)模的 10 倍多，并且無需訴諸其他計算機所需的一組軟件技巧。

根據(jù) Cerebras 的說法，這意味著在 CS-3 上訓練 1 萬億個參數(shù)模型所需的軟件就像在 GPU 上訓練 10 億個參數(shù)模型一樣簡單。

可以組合多達 2,048 個系統(tǒng)，這一配置可以在一天內(nèi)從頭開始訓練 LLM Llama 70B。不過，該公司表示，還沒有那么大的項目正在進行中。

第一臺基于 CS-3 的超級計算機是位于 Dallas 的 Condor Galaxy 3，它將由 64 臺 CS-3 組成。與其基于 CS-2 的兄弟系統(tǒng)一樣，Abu Dhabi 的 G42 擁有該系統(tǒng)。與 Condor Galaxy 1 和 2 一起構(gòu)成一個 16 exaflops 的網(wǎng)絡(luò)。

「現(xiàn)有的 Condor Galaxy 網(wǎng)絡(luò)已經(jīng)訓練了一些業(yè)內(nèi)領(lǐng)先的開源模型，下載量已達數(shù)萬次?！笹42 的首席技術(shù)官 Kiril Evtimov 在一份新聞稿中表示，「通過將容量加倍至 16 exaflops，我們期待看到 Condor Galaxy 超級計算機能夠?qū)崿F(xiàn)的下一波創(chuàng)新浪潮。」

與高通達成協(xié)議

雖然 Cerebras 計算機是為訓練而構(gòu)建的，但 Cerebras 首席執(zhí)行官 Andrew Feldman 表示，推理、神經(jīng)網(wǎng)絡(luò)模型的執(zhí)行才是人工智能使用的真正限制。

據(jù) Cerebras 估計，如果地球上的每個人都使用 ChatGPT，每年將花費 1 萬億美元，更不用說大量的化石燃料能源了。（運營成本與神經(jīng)網(wǎng)絡(luò)模型的規(guī)模和用戶數(shù)量成正比。）

因此，Cerebras 和高通建立了合作伙伴關(guān)系，目標是將推理成本降低 10 倍。Cerebras 表示，他們的解決方案將涉及應用神經(jīng)網(wǎng)絡(luò)技術(shù)，例如權(quán)重數(shù)據(jù)壓縮和稀疏性。

該公司表示，經(jīng)過 Cerebras 訓練的網(wǎng)絡(luò)將在高通公司的新型推理芯片 AI 100 Ultra 上高效運行。

相關(guān)報道：

https://spectrum.ieee.org/cerebras-chip-cs3?