“瘋狂”的H100遭遇微軟砍單?

 行業動态     |      2023-09-20 17:45:50

2023年初以來,由ChatGPT引發的AI大(dà)模型熱潮,催生(shēng)了龐大(dà)的AI算力需求,也帶火(huǒ)了英偉達的AI芯片,特别是H100芯片不僅價格水漲船高,而且“一(yī)芯難求”。然而,9月20日,網傳微軟砍單英偉達H100芯片的消息。這一(yī)傳言的真實性以及微軟和英偉達之間的合作情況,引發了市場的廣泛關注和猜測。

據了解,H100是目前訓練大(dà)語言模型最需要的圖形處理器(GPU),因爲它對于大(dà)模型的推理和訓練都是速度最快的,通常也是推理方面性價比最高的。它可以應用于各種AI場景,如AI聊天機器人、推薦引擎、視覺AI、數據分(fēn)析、高性能計算等。H100芯片還可以搭配英偉達AI Enterprise軟件套件,爲企業提供端到端的AI就緒型基礎架構。

作爲一(yī)款功能強大(dà)的AI芯片,英偉達H100也是微軟Azure雲計算服務中(zhōng)的核心組件之一(yī)。2021年,微軟與英偉達達成了合作協議,采用了數萬顆英偉達H100芯片來支持其AI和雲計算服務。這項合作計劃在當時被視爲一(yī)個重大(dà)的商(shāng)業勝利,也爲微軟提供了更多的競争優勢。

然而,最近有傳言稱,從2022年底開(kāi)始熱銷的英偉達H100市場開(kāi)始飽和,導緻客戶下(xià)單狀況不如以前瘋狂。特别是随着ChatGPT的熱潮逐漸退去(qù),微軟開(kāi)始下(xià)調英偉達H100芯片的訂單,并放(fàng)緩了拉貨速度。市場消息人士還指出,除了ChatGPT熱潮消退外(wài),AI協作工(gōng)具Microsoft 365 Copilot的需求也不如之前強烈,也是微軟下(xià)調芯片訂單的一(yī)個原因。

此前,在《金融時報》的一(yī)篇文章中(zhōng),Nvidia報告稱,預計2023年将在全球範圍内出貨 55萬個最新的H100 GPU。對 GPU 的需求顯然來自生(shēng)成式 AI 熱潮,但 HPC 市場也在争奪這些加速器。甚至沙特、阿聯酋也分(fēn)别購買了數千個英偉達AI芯片,以推動其國内的生(shēng)成式AI的發展。

據投行瑞傑金融估計,每枚英偉達H100芯片的制造成本爲3320美元,而給客戶的售價卻高達25000至30000美元。而知(zhī)名科技媒體(tǐ)Tom‘s Hardware也稱,英偉達H100芯片的成本利潤率高達1000%,即十倍。因此,回顧過去(qù)數月英偉達AI芯片強勁的市場表現,也不得不令人有些意外(wài)。

目前,盡管這一(yī)傳言引發了市場的熱議,但微軟和英偉達尚未就此事發表正式聲明或回應。同時,中(zhōng)國台灣廠AI供應鏈也表示,英偉達AI芯片仍然供不應求,微軟仍然維持2024年需求量翻倍的展望。同時,微軟還上調了GH200芯片的訂單量,表明AI服務器長期增長動能不變。

據英偉達介紹,GH200 Grace Hopper超級芯片是專爲計算和内存密集型工(gōng)作負載而設計,它在最苛刻的前沿工(gōng)作負載上提供了更高的性能,如基于Transformer的大(dà)型語言模型(具有數千億或數萬億參數)、具有數萬億字節嵌入表的推薦系統和矢量數據庫。

1695203274141961.png

GH200 Grace Hopper 超級芯片的邏輯概述 來源:英偉達 


在MLPerf行業基準測試上,與H100 GPU相比,英偉達GH200 Grace Hopper超級芯片具有更高的内存帶寬和更大(dà)的内存容量,性能高出17%。

1695203333187750.png

由此可見,在當前大(dà)模型等 AI 應用呈井噴式增長的背景下(xià),智能算力的需求将依舊(jiù)旺盛。