半導(dǎo)體產(chǎn)業(yè)步入下行周期之際，2023年ChatGPT的“走紅”為產(chǎn)業(yè)帶來(lái)新的發(fā)展方向：AI人工智能。
ChatGPT正掀起一場(chǎng)聲勢(shì)浩大的AI浪潮，AI時(shí)代下，為滿足海量數(shù)據(jù)存儲(chǔ)以及日益增長(zhǎng)的繁重計(jì)算要求，半導(dǎo)體存儲(chǔ)器領(lǐng)域也迎來(lái)新的變革，HBM技術(shù)從幕后走向臺(tái)前，未來(lái)前景可期。
突破“內(nèi)存墻”瓶頸，HBM應(yīng)運(yùn)而生
HBM（High Bandwidth Memory）即高帶寬存儲(chǔ)器，按照J(rèn)EDEC的分類，HBM屬于圖形DDR內(nèi)存的一種，其通過(guò)使用先進(jìn)的封裝方法（如TSV硅通孔技術(shù)）垂直堆疊多個(gè)DRAM，并與GPU封裝在一起。
HBM通過(guò)硅通孔技術(shù)實(shí)現(xiàn)垂直堆疊
圖片來(lái)源：美光科技
存儲(chǔ)器與處理器性能差異正隨時(shí)間發(fā)展逐漸擴(kuò)大，當(dāng)存儲(chǔ)器訪問(wèn)速度跟不上處理器數(shù)據(jù)處理速度時(shí)，存儲(chǔ)與運(yùn)算之間便筑起了一道“內(nèi)存墻”。而隨著人工智能、高性能計(jì)算等應(yīng)用市場(chǎng)興起，數(shù)據(jù)爆炸式增長(zhǎng)之下，“內(nèi)存墻”問(wèn)題也愈發(fā)突出。為此，業(yè)界希望通過(guò)增加存儲(chǔ)器帶寬解決大數(shù)據(jù)時(shí)代下的“內(nèi)存墻”問(wèn)題，HBM便應(yīng)運(yùn)而生。
存儲(chǔ)器帶寬是指單位時(shí)間內(nèi)可以傳輸?shù)臄?shù)據(jù)量，要想增加帶寬，最簡(jiǎn)單的方法是增加數(shù)據(jù)傳輸線路的數(shù)量。據(jù)悉，典型的DRAM芯片中，每個(gè)芯片有八個(gè)DQ數(shù)據(jù)輸入/輸出引腳，組成DIMM模組單元之后，共有64個(gè)DQ引腳。而HBM通過(guò)系統(tǒng)級(jí)封裝（SIP）和硅通孔（TSV）技術(shù)，擁有多達(dá)1024個(gè)數(shù)據(jù)引腳，可顯著提升數(shù)據(jù)傳輸速度。
HBM技術(shù)之下，DRAM芯片從2D轉(zhuǎn)變?yōu)?D，可以在很小的物理空間里實(shí)現(xiàn)高容量、高帶寬、低延時(shí)與低功耗，因而HBM被業(yè)界視為新一代內(nèi)存解決方案。
圖表：全球半導(dǎo)體觀察整理
資料來(lái)源：SK海力士
自2014年首款硅通孔HBM產(chǎn)品問(wèn)世至今，HBM技術(shù)已經(jīng)發(fā)展至第四代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代），HBM芯片容量從1GB升級(jí)至24GB，帶寬從128GB/s提升至819GB/s，數(shù)據(jù)傳輸速率也從1Gbps提高至6.4Gbps。
ChatGPT效應(yīng)下，HBM需求持續(xù)看漲
與傳統(tǒng)DRAM相比，HBM具備高帶寬、高容量、低延時(shí)與低功耗等優(yōu)勢(shì)，可以加快AI數(shù)據(jù)處理速度，更適用于ChatGPT等高性能計(jì)算場(chǎng)景。
當(dāng)前ChatGPT等AIGC（生成式人工智能）模型需要使用AI服務(wù)器進(jìn)行訓(xùn)練與推理，其中訓(xùn)練側(cè)AI服務(wù)器基本需要采用中高端GPU，如Nvidia A100/H100等，在這些GPU中，HBM的滲透率接近100%；而推理側(cè)AI服務(wù)器盡管目前采用中低端GPU，HBM滲透率不高，不過(guò)隨著AIGC模型逐漸復(fù)雜化，未來(lái)推理側(cè)AI服務(wù)器采用中高端GPU將是發(fā)展趨勢(shì)，未來(lái)這一領(lǐng)域的HBM滲透率也將快速提升。
ChatGPT風(fēng)靡之下，AI效應(yīng)正持續(xù)發(fā)酵，并不斷滲透云端/電商服務(wù)、智能制造、金融保險(xiǎn)、智慧醫(yī)療及智能駕駛輔助等各行各業(yè)，AI服務(wù)器與高端GPU需求不斷上漲，并有望持續(xù)推動(dòng)HBM市場(chǎng)成長(zhǎng)。
全球市場(chǎng)研究機(jī)構(gòu)TrendForce集邦咨詢預(yù)估2023年AI服務(wù)器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬(wàn)臺(tái)，年增38.4%，占整體服務(wù)器出貨量近9%。其中，NVIDIA GPU為AI服務(wù)器市場(chǎng)搭載主流，市占率約60~70%。
從高端GPU搭載的HBM來(lái)看，NVIDIA高端GPU H100、A100主采HBM2e、HBM3。以今年H100 GPU來(lái)說(shuō)，搭載HBM3技術(shù)規(guī)格，其中傳輸速度也較HBM2e快，可提升整體AI服務(wù)器系統(tǒng)運(yùn)算效能。隨著高端GPU如NVIDIA的A100、H100；AMD的MI200、MI300，以及Google自研的TPU等需求皆逐步提升，集邦咨詢預(yù)估2023年HBM需求量將年增58%，2024年有望再成長(zhǎng)約30%。
HBM市場(chǎng)格局：SK海力士、三星、美光三分天下
HBM是新一代內(nèi)存解決方案，其市場(chǎng)被三大DRAM原廠牢牢占據(jù)。集邦咨詢調(diào)查顯示，2022年三大原廠HBM市占率分別為SK海力士50%、三星約40%、美光約10%。
公開(kāi)資料顯示，SK海力士是HBM市場(chǎng)的先行者，也是全面布局四代HBM的廠商。2014年，SK海力士與AMD聯(lián)合開(kāi)發(fā)第一代硅通孔HBM產(chǎn)品；2018年SK海力士發(fā)布第二代HBM產(chǎn)品HBM2；隨后2020年SK海力士發(fā)布第三代HBM——HBM2E，作為HBM2的擴(kuò)展版本，性能與容量進(jìn)一步提升；2021年10月SK海力士成功開(kāi)發(fā)出第四代產(chǎn)品HBM3，并于2022年6月開(kāi)始量產(chǎn)，今年4月，該公司進(jìn)一步宣布，已經(jīng)全球率先研發(fā)出12層堆疊的HBM3內(nèi)存，單顆容量可達(dá)24GB。
三星對(duì)HBM的布局從HBM2開(kāi)始，目前，三星已經(jīng)向客戶提供了HBM2和HBM2E產(chǎn)品。2016年三星量產(chǎn)HBM2；2020年三星推出了HBM2；2021年2月，三星推出了HBM-PIM（存算一體），將內(nèi)存半導(dǎo)體和AI處理器合二為一；2022年三星表示HBM3已量產(chǎn)。另?yè)?jù)媒體報(bào)道，三星已于今年4月26日向韓國(guó)專利信息搜索服務(wù)提交“Snowbolt”商標(biāo)申請(qǐng)，預(yù)估該商標(biāo)將于今年下半年應(yīng)用于DRAM HBM3P產(chǎn)品。
美光進(jìn)軍HBM相對(duì)較晚，相關(guān)產(chǎn)品公開(kāi)報(bào)道不多。2020年美光表示將開(kāi)始提供HBM2產(chǎn)品，用于高性能顯卡，服務(wù)器處理器產(chǎn)品。另?yè)?jù)業(yè)界透露，美光亦在發(fā)力最新HBM3產(chǎn)品。
集邦咨詢指出，2023下半年伴隨NVIDIA H100與AMD MI300的搭載，三大原廠也已規(guī)劃相對(duì)應(yīng)規(guī)格HBM3的量產(chǎn)。其中，在今年將有更多客戶導(dǎo)入HBM3的預(yù)期下，SK海力士作為目前唯一量產(chǎn)新世代HBM3產(chǎn)品的供應(yīng)商，其整體HBM市占率可望藉此提升至53%，而三星、美光則預(yù)計(jì)陸續(xù)在今年底至明年初量產(chǎn)，HBM市占率分別為38%及9%。
結(jié)語(yǔ)
當(dāng)然，對(duì)于新一代內(nèi)存解決方案而言，HBM并非十全十美，現(xiàn)階段HBM成本高昂，這就意味著該項(xiàng)技術(shù)暫時(shí)只能在服務(wù)器等高端領(lǐng)域應(yīng)用，此外由于和主芯片封裝在一起，出廠已經(jīng)確定規(guī)格，難以進(jìn)行容量擴(kuò)展，因此在服務(wù)器等領(lǐng)域，會(huì)出現(xiàn)HBM+DDR搭配使用的方案。
不過(guò)總體而言，在ChatGPT、人工智能訓(xùn)練和推理以及高性能計(jì)算等助力下，市場(chǎng)需要更多極速內(nèi)存，HBM未來(lái)很長(zhǎng)的時(shí)間內(nèi)都將大有用武之地。
