被韓媒稱為「HBM（高帶寬記憶體）之父」的韓國科學技術院（KAIST）電氣與電子工程系教授金正浩，近期接受《東亞日報》影像專訪時，談及HBM的技術演進、AI硬件的性能瓶頸，他稱「AI的本質就是記憶體」。

在金正浩看來，過去外界習慣把AI能力歸因於模型算法和GPU算力，但當大模型真正運行起來，注意力機制、上下文緩存、推理生成等都離不開記憶體系統的支撐。

HBM，即高帶寬記憶體，本質上是將多層DRAM垂直堆疊起來，一方面提高容量，另一方面通過大量並行通道提升數據傳輸效率。金正浩將其概括為容量與帶寬，「如果說傳統記憶體像8車道高速公路，那麼HBM就像1024車道、2048車道，未來甚至可能變成100萬條車道。」

金正浩表示，大模型每一個輸出瞬間都需要從HBM、HBF（高帶寬閃存）讀取數據，完成計算後再寫回。期間，讀寫過程佔據了大部分時間，GPU因此經常處於等待狀態。按他的說法，即使部署100萬塊GPU，真正用於計算的時間可能也只有約10%，大量時間都在等待記憶體數據到達，即便通過算法和調度進行優化，這一比例也很難超過30%。

因此，金正浩認為，未來AI計算機的進化方向將讓計算更靠近記憶體，讓數據不再長距離搬運。金正浩將其比喻為，

在公寓一樓安裝GPU，數據坐電梯下來計算，整棟樓解決所有事，省去奔波時間。

並稱從HBM4開始，HBM已經出現「以記憶體為中心計算」的趨勢，部分GPU功能和通信功能被引入記憶體結構。

沿用這一思路，他進一步描繪了HBM、HBF、HBS的三階段演進路線。HBM是堆疊DRAM，優勢是速度快，但容量仍有限；HBF則是堆疊NAND Flash，速度慢於HBM，但容量更大，更適合承接AI的長期記憶、冷數據；HBS則是他提出的高帶寬SRAM設想，目標是在更低延遲、更高速度下支撐未來AI計算。

在金正浩設想的未來中，AI計算機將演變為約100層的三維複合架構，其中HBM如百貨商店（高速熱數據）、HBF如公寓樓群（大容量冷數據）、HBS承擔超低延遲緩存，GPU/CPU則位於頂層負責散熱。

過去，英偉達的強勢建立在GPU對AI訓練的絕對適配之上，但推理時代，記憶體的重要性隨之上升。更關鍵的是，GPU發熱高、需要外部散熱，也難以像DRAM或NAND那樣繼續大規模垂直堆疊。

金正浩特別提到，英偉達CEO黃仁勳近期頻繁出入韓國的原因，就是GPU面臨瓶頸，技術成長幾乎停滯，而未來3DAI計算機的供電和散熱能力將成為核心技術競爭力，決定企業生死。

需要注意的是，韓國作為存儲產業的重要參與者，金正浩選擇強調HBM、HBF乃至更遠期的HBS，主觀上也拔高了韓國存儲產業相對於GPU廠商的地位。他稱韓國兩大存儲廠商既有DRAM堆疊基礎，也有NAND技術積累，更有機會在未來3D AI計算架構中佔據核心位置。

但是未來AI硬件競賽不會是簡單地從「GPU時代」切換為「記憶體時代」，而是進入更復雜的系統工程階段。GPU、HBM、先進封裝、網絡互連、電力和散熱能力，最終都將共同決定AI基礎設施的實力。

不過，金正浩也在訪談中，也提到了來自中國企業的追趕壓力。

金正浩稱，中國企業可以覆蓋Samsung、SK海力士等既有國際供應商產能不足以的市場。其次，隨着中國本土企業尋求自研GPU、NPU或AI晶片，中國記憶體也將被同步帶動。雖然金正浩仍認為目前韓國企業保持領先，但他也明確表示，總有一天，中國甚至美國企業都會在HBM、HBF上追趕上來。

對韓國廠商而言，這是一場關係到生存的長期競爭，只能努力活到最後。

【延伸閲讀】華為τ定律顛覆半導體　晶片不靠縮小密度達1.4nm　帶你拆解黑科技（點擊鏈接看原文）

【本文獲《觀察者網》授權轉載。】