Blackwell護駕 輝達坐穩AI霸主寶座李佩璇 (2024-09-02 16:52:50)

輝達（Nvidia）所發表的Blackwell架構人工智慧晶片B200，在最新一輪的MLPerf產業基準：Inference v4.1的測試中取得良好成績，在Llama 2 70B上將推論效能提高四倍。

編譯／高晟鈞

輝達（Nvidia）所發表的Blackwell架構人工智慧晶片B200，在最新一輪的MLPerf產業基準：Inference v4.1的測試中取得良好成績，在Llama 2 70B上將推論效能提高四倍。而NVIDIA Hopper架構GPU也在各產業AI基準測試中有著更為優異的表現。

輝達在各項測試領先群雄

即將推出的NVIDIA Blackwell平台，由於使用第二代Transforme引擎與FP4 Tensor核心，相較於在Llama 2 70B上使用H100和競爭對手AMD的MI300X，性能提升高達4倍，彰顯了其在人工智慧領域的霸主實力。

更多新聞: Blackwell有多厲害 輝達預告絕不只是GPU

在大型語言模型（LLM）中，混合專家模型（MoE）透過結合多個專家模型的綜合優勢，在處理繁複任務時有著高效率、高靈活性，且能適應大規模數據而廣受歡迎。輝達的H200 GPU加入了467億個參數、每個token有129億個活躍參數的 Mixtral 8x7B 混合專家（MoE）LLM，在資料中心類別的各項測試裡均有著出色表現。

除了輝達外，包括華碩、思科、戴爾科技、富士通、技鋼科技、慧與科技、瞻博網路、聯想、雲達科技和美超微等十家合作夥伴，同樣都有提出可靠的 MLPerf Inference測試資料，突顯出輝達平台的廣泛性。

堅持不懈進行軟體創新

輝達在軟體方面也持續創新，在效能與功能方面不斷進行改進與優化。輝達眾多產品（包括Nvidia Hopper、Nvidia Jetson和Nvidia Triton伺服器）都取得了巨大突破。

透過廣泛的軟體優化，NVIDIA Jetson AGX Orin 64 GB為邊緣的生成式AI模型實現了巨大飛躍，透過對軟體進行最佳化，吞吐量較先前提升了6.2倍，延遲也較先前低了2.4倍。NVIDIA Triton推理伺服器在這一輪也取得了出色的成績，可與NVIDIA AI Enterprise軟體一起使用，提供了與裸機作品相近的效能。

輝達眾多產品在測試中取得的亮眼表現無疑表明了其在人工智慧領域依舊遙遙領先眾人。從大型資料中心延伸到邊緣領域的生成式AI，輝達都展現了多元用途特色及領先效能的特長，為當前和未來的模型提供出色的推理性能。。

資料來源:NvidiaBlog

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台！

這篇文章 Blackwell護駕 輝達坐穩AI霸主寶座 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。