連輝達都需要的DPU 可以為你做什麼star4038 (2024-08-16 16:03:59)

隨著人工智慧、高效運算、雲端架構以及安全需求的急遽成長，以形成CPU、GPU的需求壓力，連同帶動DPU的成長。所謂DPU，指的是資料處理器（Data Processing Unit），係為專門設計用於處理數據中心網路、存取和運算任務的硬體加速器，與前二者同為未來運算的三大支柱。DPU的出現，可以追溯到智慧網路介面卡的時代，最初設計用於從CPU上分擔部分網路負載，以改善網路流量。依循這個概念，DPU能夠處理大量且為不同形式的資料。

編譯／戴偉丞

隨著人工智慧、高效運算、雲端架構以及安全需求的急遽成長，以形成CPU、GPU的需求壓力，連同帶動DPU的成長。所謂DPU，指的是資料處理器（Data Processing Unit），係為專門設計用於處理數據中心網路、存取和運算任務的硬體加速器，與前二者同為未來運算的三大支柱。DPU的出現，可以追溯到智慧網路介面卡的時代，最初設計用於從CPU上分擔部分網路負載，以改善網路流量。依循這個概念，DPU能夠處理大量且為不同形式的資料。

負載的移除、加速乃至於隔離

輝達（Nvidia） 網路資深副總裁Kevin Deierling表示，DPU用於移除、加速和隔離CPU中專用於客戶的工作負載，也不需擔心惡意軟體或其他不良行為的威脅。所謂隔離，係指雲端服務廠商在DPU上進行運作，而不是在應用程式所運作的主機CPU中。

Deierling指出，即使應用程式受到損害，再加上有心人士在資料中心進行攻擊，也無法透過雲端恣意散播惡意軟體，更不會影響到其他廠商。據其所言，人工智慧正在加大對於DPU的投資，而輝達正於四年前便開始研究該技術要求。

更多新聞：引領AI未來 輝達生成式AI策略一覽

資料傳輸中的交通警察

Deierling認為，下一代人工智慧是透過人工智慧代理與其他人工智慧代理進行對話，而DPU在其中扮演著增加自動化、可擴展性的角色。他補充道，DPU可以擔任交通警察，因為所有這些不同人工智慧元素都會開始運轉並自動相互聯繫，在不需要的時候再進行匝道關閉。

輝達正在建立一個加速推理的微服務平台「NIM」。其中就涉及DPU的採用，以編排人工智慧交互作用，為GPU所加速的推理為服務容器，以達到預先訓練與客製化人工智慧的需求。

超大規模廠商也需要DPU

在現代人工智慧資料中心中的已經能夠按到DPU的技術價值。微軟（Microsoft）收購了Fungible，將其DPU技術整合到其資料中心基礎設施，並於Azure中開始採用。除了輝達之外，英特爾（Intel）、AMD、AWS都擁有自己的DPU。AMD在2022年收購了Pensando及其分散式服務平台，以增強其DPU能力。該平台已在Azure、IBM Cloud和Oracle Cloud中站穩腳步。

AMD網路技術和解決方案小組高級總監Eddie Tan表示，該收購案凸顯出多家超大規模雲端供應商採用了其DPU，其中也涉及Aruba和Cisco。Tan表示，DPU仍然在前端網路功能的GPU安全連接中扮演關鍵角色，並且能夠在模型訓練資料增加的趨勢中加速資料傳輸速度，因此將會有更多的工作負載會轉移到GPU上。

資料來源：Fierce Electronics

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台！

這篇文章 連輝達都需要的DPU 可以為你做什麼 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。