新聞
[周刊王CTWANT] 記憶體缺貨有轉機，搜尋引擎巨頭Google近日釋出AI記憶體壓縮技術 「TurboQuant」，宣稱能在不犧牲模型精準度下，將生成式AI推理階段最消耗資源的「鍵值快取（KV Cache）」空間需求大砍6倍，並讓運算速度暴增8倍。
TurboQuant的核心優勢，在於解決了傳統壓縮技術產生的「記憶體雜訊（Overhead）」。一般當用戶與AI對話時，模型需要將每一輪的對話內容暫存於記憶體中，隨著對話增加，內容會迅速擠爆GPU的高頻寬記憶體（HBM），成為AI推論速度與成本的最大瓶頸。
Google這套不僅優化了Gemini等大型模型的檢索效率，根據實測，在輝達（NVIDIA）H100 加速器上，TurboQuant 相比未壓縮方案，效能最高提升了8倍，更無須重新訓練模型即可直接掛載。
儘管AI技術進步令人振奮，但資本市場卻認為「硬體需求恐將萎縮」，引發記憶體族群股價一度重挫。富國銀行分析師Andrew Rocha認為：「TurboQuant 正在直接攻擊記憶體成本曲線，一旦被廣泛採用，資料中心對記憶體容量的規格要求將被打上大問號。」
市場認為，TurboQuant對手機、筆電等終端裝置更具意義。由於行動裝置記憶體有限，這類高效壓縮技術能讓更強大的AI模型在手機本地端運行（Ondevice AI），這反而會刺激各類終端裝置進行記憶體規格換代。
 |
系統合作: 精誠資訊股份有限公司 資訊提供: 精誠資訊股份有限公司 資料來源: 台灣證券交易所, 櫃買中心, 台灣期貨交易所 |