NVIDIA 轉(zhuǎn)向 SOCAMM 2：新一代內(nèi)存解決方案推動(dòng) AI 服務(wù)器能效升級(jí)
隨著 AI 領(lǐng)域高速發(fā)展，大型模型對(duì)算力和內(nèi)存帶寬的需求持續(xù)攀升。在此背景下，服務(wù)器端內(nèi)存技術(shù)的革新成為行業(yè)關(guān)注的焦點(diǎn)。繼 SOCAMM 模塊的初步布局后，NVIDIA 于近期調(diào)整策略，暫停第一代 SOCAMM 方案，重點(diǎn)推進(jìn)新一代 SOCAMM 2 技術(shù)，并已攜手三星、SK海力士及美光等合作伙伴展開樣品測(cè)試。預(yù)計(jì)明年初將實(shí)現(xiàn)量產(chǎn)，助力下一波高能效 AI 服務(wù)器落地。
SOCAMM 技術(shù)定位與突破
SOCAMM（Stacked On-Carrier Attached Memory Module）技術(shù)主打高帶寬、低功耗與緊湊結(jié)構(gòu)，針對(duì) AI 服務(wù)器的內(nèi)存瓶頸、能耗壓力等難題提出系統(tǒng)性優(yōu)化。其核心思路為：通過(guò) LPDDR 類低功耗內(nèi)存結(jié)合 CAMM（Compression Attached Memory Module）新型模塊化封裝，將傳統(tǒng)數(shù)據(jù)中心 DDR5 RDIMM 方案中難以兼顧的帶寬、能效與空間利用率三點(diǎn)有機(jī)統(tǒng)一。
在產(chǎn)品定義層面，SOCAMM 致力于實(shí)現(xiàn)接近 HBM （高帶寬存儲(chǔ)器）級(jí)別的性能體驗(yàn)，成本卻顯著低于 HBM，并以高度模塊化結(jié)構(gòu)為服務(wù)器設(shè)計(jì)與維護(hù)帶來(lái)極大靈活性。GB300 NVL72 等行業(yè)龍頭新品，在公開規(guī)格表中一度展示其對(duì)高達(dá) 18TB SOCAMM（LPDDR5X）和 14.3TB/s 帶寬的支持。據(jù)悉，受主板架構(gòu)調(diào)整影響，相關(guān)模組暫未實(shí)現(xiàn)即刻商用，但有望在后續(xù) Vera Rubin 平臺(tái)上為 NVIDIA 新一代 CPU 提供更具彈性的內(nèi)存擴(kuò)展方式。
能效驅(qū)動(dòng)下的市場(chǎng)轉(zhuǎn)向
數(shù)據(jù)中心能耗已成為全球性挑戰(zhàn)。據(jù)權(quán)威機(jī)構(gòu)測(cè)算，2028 年美國(guó)數(shù)據(jù)中心用電量或?qū)j升至 580 TWh，占全國(guó)總用電量 12%，較 2023 年增長(zhǎng) 2.3 倍。AI 應(yīng)用的普及加劇這種壓力，但也為高能效硬件變革創(chuàng)造了政策和市場(chǎng)雙重窗口。
低功耗內(nèi)存的優(yōu)勢(shì)在于極大壓縮能耗與發(fā)熱。例如，美光 LPDDR5X 方案，采用更低工作電壓與高效電路，已在權(quán)威評(píng)測(cè)中展現(xiàn)對(duì)比 DDR5 RDIMM 的優(yōu)異指標(biāo)——包括算力提升、響應(yīng)延遲降低和能耗節(jié)約等多個(gè)層面。以主流 AI 推理（如基于 Llama3 70B 的推理任務(wù)）為例，LPDDR5X 架構(gòu)帶來(lái)的**推理吞吐量提升 4 倍、延遲降低 80%、能耗下降 73%**等數(shù)據(jù)，不僅折射硬件創(chuàng)新紅利，更為算力基礎(chǔ)設(shè)施的可持續(xù)發(fā)展提供現(xiàn)實(shí)支撐。
SOCAMM 2 技術(shù)細(xì)節(jié)及行業(yè)合作動(dòng)態(tài)
進(jìn)入 2024 年下半年，SOCAMM 2 模塊已成為產(chǎn)業(yè)合作與測(cè)試的重點(diǎn)。其設(shè)計(jì)延續(xù) 694 個(gè) I/O 端口、接口速率提升至 9,600 MT/s（優(yōu)于上一代的 8,533 MT/s），并布局了支持 LPDDR6 的可能性，進(jìn)一步提升總線和能效極限。
多家頭部廠商加碼新一代低功耗內(nèi)存模塊。三星電子最新發(fā)布的服務(wù)器用 SOCAMM 2 方案采用單面顆粒排布與緊湊螺絲孔設(shè)計(jì)，利于批量部署及散熱優(yōu)化。SK海力士、美光等多家供應(yīng)商均推出基于 LPDDR5X 乃至 LPDDR6 的高密度 SOCAMM/MRDIMM 產(chǎn)品，不斷刷新模塊容量和帶寬上限。江波龍近期亦發(fā)布新款 SOCAMM2（64~256GB / 8,533MT/s）、采用去梯形結(jié)構(gòu)并適配液冷散熱，進(jìn)一步提升了服務(wù)器兼容性及空間利用率。
實(shí)測(cè)數(shù)據(jù)顯示，新一代 SOCAMM2 相比 DDR5 RDIMM，帶寬提升 33%，面積節(jié)省 70%，單位功耗降低逾 67%；同容量帶寬已達(dá) RDIMM 的 2.5 倍。其應(yīng)用場(chǎng)景正在從 HPC 與訓(xùn)練/推理服務(wù)器擴(kuò)展至工業(yè)網(wǎng)關(guān)、智能駕駛等多元市場(chǎng)。
展望：AI 時(shí)代的綠色算力基石
隨著 AI 算力基礎(chǔ)設(shè)施持續(xù)升級(jí)，低功耗高帶寬內(nèi)存正加速成為數(shù)據(jù)中心降本增效的必爭(zhēng)高地。SOCAMM 2 這類新型模塊不僅將重新定義內(nèi)存擴(kuò)展方式，更將協(xié)同 HBM、MRDIMM 等技術(shù)，為行業(yè)提供更寬廣的靈活性和性價(jià)比。
無(wú)論是美光的 LPDDR5X、三星的模塊化創(chuàng)新，還是江波龍等新興力量的工藝精進(jìn)，均表明低功耗高帶寬內(nèi)存生態(tài)正加速裂變。隨著相關(guān)模塊明年初批量上市，AI 服務(wù)器和數(shù)據(jù)中心有望迎來(lái)性能與能效“雙飛躍”，為全球智算基礎(chǔ)設(shè)施綠色升級(jí)按下“加速鍵”。
