單芯片功耗2200W，帶寬32TB/s：HBM如何撐起萬億參數AI時代？
發布日期:2025-08-28
點擊次數:2045
在人工智能(AI)與數據中心需求的驅動下，高帶寬內存(HBM)被譽為AI時代的“新石油”，也正掀起下一代“存儲革命”。
隨著AI模型的復雜度和規模不斷提升，尤其是生成式AI和大模型訓練對算力的需求激增，數據中心對高性能存儲的需求也日益迫切。而HBM通過垂直堆疊多個DRAM芯片，結合硅通孔(TSV)技術，實現了遠超傳統DDR或GDDR的帶寬和容量，從而有效緩解了AI芯片面臨的“存儲墻”問題。
HBM技術作為下一代高性能計算和人工智能應用的核心技術，其技術路線圖和最新發展動態備受關注。近期，韓國科學技術院(KAIST)旗下的Terabyte Interconnection and Package Laboratory(TERALAB)發布了關于HBM的研究成果。這項研究成果由被業內部分人士譽為“HBM之父”的金正浩教授主導完成，詳細闡述了HBM的未來路線圖，揭示了HBM4到HBM8的諸多技術細節，將為未來數據中心和AI應用提供強大的技術支撐。
與此同時，受到AI和高性能計算(HPC)需求的驅動，尤其是在英偉達、AMD和英特爾等芯片巨頭的推動下，HBM市場正迎來新一輪的升級和競爭。而存儲原廠如SK海力士、三星和美光科技也正積極推進HBM4的量產。值得注意的是，日本軟銀近日也宣布與英特爾合作開發一款新型堆疊式DRAM芯片，其設計不同于現有的HBM，預計可將電力消耗減少約50%。
以上發展動態和行業趨勢，不僅反映了AI和HPC需求的增長，也預示著HBM市場將迎來更加激烈的競爭和更快的技術迭代。然而，HBM的發展仍面臨產能瓶頸、封裝技術難題以及成本壓力等多重挑戰。未來，隨著技術的不斷進步和市場的持續擴張，HBM有望在AI和高性能計算領域發揮更加重要的作用，推動整個存儲產業邁入新的發展階段。
AI需求爆發：HBM增長的核心驅動力
進入2025年，全球科技巨頭在AI數據中心的投資與布局顯著加速。
目前，AI算力集群的建設和數據中心的規劃，以科技公司的業務導向為主，如微軟云、亞馬遜AWS、Google Cloud、阿里云、騰訊云等，通過AI賦能應用加速推動用戶上云的需求，或像Meta、特斯拉等擁有海量數據和AI需求的公司，自建龐大的專用AI集群，其目的主要是服務自身業務。
今年1月，包括OpenAI、軟銀(SoftBank)、甲骨文(Oracle)和中東人工智能基金MGX等在內的美國政府和多家科技巨頭合作啟動了“星際之門計劃”。該項目計劃在未來四年內投資高達5000億美元，其中首期投資為1000億美元。
與此同時，亞馬遜、微軟、谷歌和Meta等科技巨頭也將在2025年進一步擴大在AI數據中心的投資，以支持云計算和AI服務的擴展。據CFM統計，2025年大型云服務商微軟、谷歌、亞馬遜和Meta的資本支出總額將超過3200億美元，同比增幅將達到30%。
其中，微軟計劃在2025財年投資800億美元用于AI數據中心，其中一半以上的支出將在美國。亞馬遜預計增加約3成，達到1000億美元左右，主要用于AI相關業務。谷歌母公司Alphabet的資本支出則將從2024年的525億美元增至約750億美元，主要用于AI基礎設施，如服務器和數據中心。Meta也計劃投資600億至650億美元。
Meta CEO扎克伯格甚至表示，2025年是“人工智能的決定性一年”。
盡管DeepSeek R1發布之后，人工智能的發展重心正從模型訓練向實際推理應用轉移，同時也在一定程度上緩解了行業算力焦慮，但“算力至上”的共識似乎仍沒有打破，也未真正動搖美國“星際之門”計劃的基礎。
值得關注的是，除了中美歐之外，中東國家也在加大AI數據中心的投資與布局，特別是沙特阿拉伯和阿聯酋，正在通過大規模投資數據中心和AI基礎設施，推動本國的數字化轉型和經濟增長。根據SemiAnalysis預測，到2030年，中東地區數據中心運營容量或將超過6GW，并仍可能有顯著的上升空間。僅阿聯酋的G42就計劃在2026年訂購數十萬顆GPU。
在AI數據中心的資本支出持續增長的同時，HBM的需求也將經歷“爆發式”增長。根據Yole Group的預測，主要用于AI的HBM市場營收將從2024年的170億美元增長到2030年的980億美元，年復合增長率高達33%。SK海力士預計，到2025年其HBM銷售額將占其總內存銷售額的50%以上，該公司與美光科技的HBM產能在2025年均已完全分配完畢。
值得一提的是，HBM技術正從數據中心向移動終端等邊緣設備擴展。其中，移動HBM通過堆疊LPDDRDRAM來增加內存帶寬，同時保持低功耗，適合移動終端的高性能需求。三星和SK海力士就分別開發了VCS和VFO技術，以實現移動HBM的量產。未來HBM在移動大模型終端中的應用將普及，如AI手機、AI PC等設備對內存性能的要求不斷提高。最近有消息稱，2027年20周年紀念版iPhone將帶來多項創新，HBM技術預計被引入。而華為也打算將HBM技術引入到智能手機，甚至時間可能比蘋果更早。
此外，HBM在智能汽車中的應用也在不斷拓展。智能汽車對實時數據處理、高分辨率圖像處理和數據存儲等需求較高，而HBM恰好能夠滿足這些需求。比如，SK海力士的HBM2E已用于谷歌旗下的Waymo自動駕駛汽車。
不過，HBM在移動設備和PC等邊緣設備中的應用仍面臨一些挑戰，其中成本較高是主要問題之一。
HBM技術演進：從HBM3E到HBM4
HBM技術自2015年推出以來，已經歷了從HBM1到HBM3e的多次迭代，并正在向HBM4邁進。HBM4作為第六代HBM產品，將在多個方面實現重大技術突破，包括更高的帶寬、更大的容量、更低的功耗以及更先進的封裝技術。
HBM3e是HBM3的擴展版本，在帶寬、容量和能效方面相比HBM3有顯著提升，在2024年由美光科技、SK海力士等頭部廠商量產，是AI加速卡的標配內存。
根據TrendForce的預測，2025年HBM3E的市場需求將大幅增長，尤其是在AI芯片迭代加速的背景下，HBM3E的單位用量和單芯片容量將顯著提升。HBM3E采用24Gb單晶芯片堆棧，并支持8層(8-Hi)和12層(12-Hi)配置，單個HBM3E芯片的容量可達24GB，這將為AI服務器和高性能計算提供更強的算力支持。
毫無疑問，英偉達是HBM市場的最大買家，2025年推出的Blackwell Ultra系列GPU將全面搭載HBM3E，其中B200系列將采用HBM3E 8-Hi配置，Blackwell Ultra則可能采用8顆12-Hi HBM3E，進一步提升其算力密度。TrendForce預測，2025年英偉達在HBM3E市場的采購比重將突破70%，甚至可能達到85%以上。此外，英偉達在2025年推出的GB200系列，進一步推動HBM3E的市場普及。
今年6月，AMD在2025全球AI發展大會發布的最新Instinct MI350系列GPU，支持128條HBM3E內存通道，每顆HBM3E的單顆容量提升至36GB，總體內存容量達到288GB，內存帶寬提升至8TB/s，實現了4倍的AI計算能力提升和35倍的推理性能飛躍。
由此可見，HBM3E將成為2025年HBM市場的主流產品，其需求也將顯著增長。
表1：HBM3E與HBM4關鍵性能對比
而HBM4則是HBM3e的“繼任者”，預計將在2026年大規模量產應用，其設計目標直指“帶寬翻倍、容量倍增、能效再優化”，以滿足萬億參數AI模型需求。
在核心技術上，HBM4的I/O數量從1024增至2048位，通過增加TSV數量并縮小凸塊間距實現，使傳輸速度翻倍。這將是HBM技術自2015年以來的最大變化。同時，HBM4首次采用邏輯-內存異構架構，基礎層(Base Die)由晶圓代工廠(如臺積電)以3－7nm工藝制造，支持可定制化加速功能。此外，HBM4利用混合鍵合取代傳統熱壓鍵合(TCB)，實現＜1μm凸點間距，提升層間互連密度并降低功耗。
目前，英偉達和AMD均已確認在其下一代產品(如英偉達的Rubin和AMD的Instinct MI400)中采用HBM4技術。其中，英偉達的Rubin GPU將采用8個HBM4，而高端的RubinUltra則會配備16個HBM4。Rubin的GPU裸片面積預計為728mm2，單顆裸片功耗800W，其搭載的HBM4內存總容量可達288－384GB，總帶寬16－32TB/s，整個芯片功耗2200W。而AMD的Instinct MI400則更進了一步，計劃提供高達432GB的HBM4內存容量，內存帶寬可達19.6TB/s。不過，因設計復雜度與邏輯芯片成本，HBM4溢價預計＞30%(HBM3E溢價約20%)。
2025年3月，SK海力士交付用于AI的新型超高性能DRAM 12層HBM4樣品
目前各大存儲巨頭如SK海力士、三星電子和美光科技，正積極推進HBM4的量產，以搶占未來市場的主導地位。今年3月，SK海力士已開始向客戶送樣12層HBM4產品，并計劃在2025年下半年完成量產準備，預計2026年量產HBM4產品。6月，美光科技也宣布向多個關鍵客戶交付HBM4樣品，計劃在2026年實現HBM4的產能爬坡。三星也計劃在2025年下半年實現HBM4的量產，并預計于2026年開始商業供應。
HBM“線路圖”：下一代HBM存儲革命
HBM4作為下一代高性能內存標準，將于2026年大規模量產應用。而在AI技術需求的推動下，HBM技術仍將不斷迭代與升級，集中圍繞更高的帶寬、更大的容量、更低的功耗、更先進的制造工藝與封裝技術、更廣泛的散熱解決方案等方面開展。
近期，KAIST旗下TERALAB發布的HBM線路圖，展現了從單純容進化。從HBM4到HBM8的技術演進中，HBM不僅在帶寬上持續突破，還通過優化互連數量、單線路數據速率與TSV密度，進一步提升了整體性能。
表2：下一代HBM技術路線圖
其中，HBM的發展始終圍繞“更高帶寬”這一核心目標展開，通過TSV、混合鍵合、封裝工藝優化和架構創新等多方面的技術突破，實現了從HBM4到HBM8的跨越式發展。根據KAIST預測，HBM技術將從HBM4發展到HBM8，帶寬將從2TB/s增長到64TB/s，數據傳輸速率將從8GT/s提升到32GT/s。這種指數級增長背后，是混合鍵合、窄間距封裝等工藝的突破——從HBM3的微凸點(MR-MUF)技術到HBM5的無凸點Cu-Cu直接鍵合，鍵合精度從35μm級向10－15μm級演進。
其次，存儲容量的升級與帶寬增長形成協同效應，這種效應在HBM技術的演進中尤為明顯。HBM4通過將堆疊層數從HBM3的8/12-Hi提升至12/16-Hi，并結合24Gb/die的存儲密度，使單顆容量達到36/48GB。到HBM8，其將通過20/24-Hi的堆疊與80Gb/die的密度，實現200/240GB的超大容量。這種容量的躍升不僅依賴于DRAM工藝的進步，還得益于分層存儲架構與內存網絡的創新。比如，HBM7通過集成LPDDR-HBM與高帶寬閃存(HBF)，構建起“內存-存儲”一體化網絡，支持128GB/s的HBF鏈路與CXL接口，實現了從內存到存儲的無縫數據流轉。
另外，HBM技術通過將計算能力與存儲架構深度融合，正在重塑AI硬件的底層邏輯。其核心在于通過“近內存計算(NMC)”技術將計算單元直接嵌入存儲堆疊，從而減少數據在CPU、GPU與內存之間的遷移，顯著降低延遲并提升計算能效。HBM4通過定制基底芯片與AI強化TSV布局優化，實現了帶寬與容量的突破。HBM5則確立了近內存計算模式，通過垂直異構堆疊提升算力密度與能效比。HBM6在結構上實現了空間擴展與容量共享，邁入多塔異構架構階段，為大型模型提供更高效的內存平臺。HBM7進一步引入“雙塔式HBM-NMC”架構，通過兩堆DRAM與2048條中介層通道與GPU連接，構建起以存儲為中心的計算架構。
此外，3D集成技術的突破為HBM的演進提供堅實的物理基礎。隨著封裝需求的不斷提升，硅中介層在尺寸、成本和制造工藝上的限制逐漸顯現，尤其是在面對更大規模的芯片集成時，硅中介層的面積限制成為了一個瓶頸。為了解決這一問題，HBM6引入了硅/玻璃混合中介層的設計，通過將硅與玻璃結合，不僅突破了硅中介層的面積限制，還實現了超大尺寸封裝的可能，從而支持更多HBM堆疊與GPU的集成。HBM6的硅/玻璃混合中介層標志著封裝技術從單一材料向異質集成的跨越。HBM8則進一步推動了封裝技術的創新，采用了雙面中介層設計，并在中介層中嵌入冷卻通道與垂直互連柱。未來HBM8的這一突破意味著HBM從單純存儲器件向系統級解決方案的轉變，為未來的高性能計算和人工智能應用奠定了基礎。
當然，隨著功耗密度大幅上行，能耗和散熱問題日益突出，將成為行業長期博弈的主線之一。在HBM4階段，冷卻方式主要依賴于頂部液冷，即通過在芯片封裝頂部加裝散熱器，將冷卻液泵送至熱源。然而，隨著HBM4的功耗和熱密度的增加，這種冷卻方式逐漸力不從心。金正浩教授指出，HBM4的冷卻液僅應用于熱源頂部的散熱器，而無法有效應對整個堆疊的散熱需求。因此，HBM5的浸沒式冷卻成為必然選擇，即整個芯片封裝和基座芯片將被浸入冷卻液中。他也介紹，繼HBM5之后，在HBM7上冷卻方式將再次成為決勝的關鍵。HBM7將采用嵌入式冷卻，即冷卻液將通過專用的流體TSV通道注入DRAM芯片間隙，以實現更高效的散熱。
總結
綜上所述，人工智能和數據中心需求的急劇增長正在推動HBM存儲技術的革命性演進與迭代。HBM作為突破“內存墻”的關鍵技術，將通過3D堆疊和先進封裝技術，實現帶寬和集成度的顯著提升，成為AI和高性能計算領域的重要支撐。
從HBM4到HBM8的演進，不僅是一次技術的升級，更是對整個計算架構的重新定義。HBM將從單純的高速存儲演變為“內存即計算”的核心組件，推動AI、大數據分析和高性能計算的進一步發展。未來，HBM還將與光互聯、片上網絡(NoC)、存算融合等前沿技術結合，構建新一代高性能系統的核心內存平臺。
發送郵件
客服咨詢