12月7日，AMD推出了“能與英偉達H100 HGX媲美”的AI芯片Instinct MI300X加速器。該芯片由8個MI300X GPU組成，能夠提供高達1.5TB的HBM3內(nèi)存容量。AMD聲稱，與英偉達H100 HGX相比，Instinct MI300X加速器在運行大語言模型推理時的吞吐量和時延表現(xiàn)更好。
AMD首席執(zhí)行官蘇姿豐表示，MI300X的存儲表現(xiàn)優(yōu)于英偉達的H100，而對比此前英偉達透露的H200，其存儲性能規(guī)格也優(yōu)于使用HBM3e的H200。
據(jù)了解，MI300X內(nèi)置了8個XCD共304個CNDA 3架構(gòu)的計算單元以及4個IOD，性能相較于此前普遍應(yīng)用的MI250系列提升了約30%。在存儲性能上，AMD使用8個HBM3堆棧，帶來了高達192GB的內(nèi)存以及5.3TB/s的最大帶寬。
根據(jù)AMD提供的數(shù)據(jù)，在大模型訓(xùn)練能力上兩者不分伯仲，而在70億參數(shù)的Llama2和160億參數(shù)的Bloom的推理上，由于AMD單卡具備更好的存儲性能，推理效率已經(jīng)超越了英偉達。但在加速器平臺內(nèi)部的卡間帶寬上，由于英偉達擁有NVLink技術(shù)的加持，AMD 896GB/s的表現(xiàn)仍略低于英偉達。
AMD Instinct MI300X加速器的發(fā)布，引發(fā)了全球AI芯片市場的騷動。微軟聲稱將評估對AMD的AI加速器產(chǎn)品的需求，評估采用該新品的可行性。Meta公司表示，將在數(shù)據(jù)中心采用AMD新推的MI300X芯片產(chǎn)品。甲骨文也表達了將在云服務(wù)中采用AMD的新款芯片的意愿。這些AI芯片采購大戶“不會把雞蛋放到一個籃子里”有了現(xiàn)實考量——英偉達可能遇到了強大的競爭對手。
據(jù)AMD的預(yù)測數(shù)據(jù)，AI加速器在2023年的市場規(guī)模將達到450億美元，2027年將達到4000億美元。
