英偉達(dá)芯片，最新路線圖

  ICC訊  眾所周知，隨著生成式AI的大熱，英偉達(dá)正在數(shù)據(jù)中心領(lǐng)域大殺四方，這也幫助他們實(shí)現(xiàn)了更好的業(yè)績(jī)。根據(jù)公司公布的數(shù)據(jù)，截至 2023 年 7 月 30 日的第二季度，英偉達(dá)收入為 135.1 億美元，較上一季度增長(zhǎng) 88%，較去年同期增長(zhǎng) 101%。

  不過(guò)，英偉達(dá)目前的業(yè)績(jī)預(yù)期很多都是基于當(dāng)前的芯片和硬件所做的。但有分析人士預(yù)計(jì)，如果包含企業(yè) AI 及其 DGX 云產(chǎn)品，該數(shù)據(jù)中心的市場(chǎng)規(guī)模將至少是游戲市場(chǎng)的 3 倍，甚至是 4.5 倍。

  瑞銀分析師Timothy Arcuri也表示，英偉達(dá)目前在DGX云計(jì)算方面的收入約為10億美元。但在與客戶(hù)交談后，他認(rèn)為，該公司每年可能從該部門(mén)獲得高達(dá)100億美元的收入。他給出的理由是Nvidia仍然可以在DGX云上添加額外的產(chǎn)品，包括預(yù)先訓(xùn)練的模型，訪問(wèn)H100 GPU等等。他說(shuō)，現(xiàn)在這些*GPU仍然“非常難”獲得訪問(wèn)，能夠根據(jù)需要擴(kuò)大和縮小規(guī)模，并與現(xiàn)有的云或內(nèi)部部署基礎(chǔ)設(shè)施“基本上無(wú)縫集成”。

  因此，英偉達(dá)在最近公布了一個(gè)包括H200、B100、X100、B40、X40、GB200、GX200、GB200NVL、GX200NVL 等新部件在內(nèi)的產(chǎn)品路線圖，這對(duì)英偉達(dá)未來(lái)的發(fā)展非常重要。

  數(shù)據(jù)中心路線圖

  根據(jù)servethehome披露的路線圖，英偉達(dá)的一項(xiàng)重大變化是他們現(xiàn)在將其基于 Arm 的產(chǎn)品和基于 x86 的產(chǎn)品分開(kāi)，其中 Arm 處于*地位。作為參考，普通客戶(hù)現(xiàn)在甚至無(wú)法購(gòu)買(mǎi) NVIDIA Grace 或 Grace Hopper，因此在 2023-2025 年路線圖的堆棧中顯示它是一個(gè)重要的細(xì)節(jié)。以下是 NVIDIA 提出的路線圖：

  在Arm方面，英偉達(dá)計(jì)劃將在2024年推出GH200NVL，在2024年推出GB200NVL，然后在2025年推出GX200NVL。我們已經(jīng)看到 x86 NVL 系列與NVIDIA H100 NVL一起推出，但這些都是基于 Arm 的解決方案。然后是 2024 年推出的 GH200NVL。還有快速跟隨的 GB200NVL，然后是 GX200NVL。還有非 NVL 版本。

  在NVIDIA 宣布推出雙配置的新型 NVIDIA Hopper 144GB HBM3e 型號(hào)(可能最終成為 GH200NVL)的時(shí)候，我們介紹了具有 142GB/144GB 內(nèi)存的 GH200 (非 NVL)。據(jù)介紹，與當(dāng)前一代產(chǎn)品相比，雙配置的內(nèi)存容量增加了 3.5 倍，帶寬增加了 3 倍，包括一臺(tái)具有 144 個(gè) ArmNeoverse 核心、8 petaflops 的 AI 性能和 282GB 最新 HBM3e內(nèi)存技術(shù)的產(chǎn)品。

  GB200 將成為 2024 年的下一代加速器，GX200 將成為 2025 年的下一代加速器。

  面向 x86 市場(chǎng)，英偉達(dá)預(yù)計(jì) 2024 年將推出 H200，它會(huì)在 Hopper 架構(gòu)上進(jìn)行更新，并具有更多內(nèi)存。B100和B40是下一代架構(gòu)部件，隨后是2025年的X100和X40?？紤]到B40和X40位于“企業(yè)”賽道上，而當(dāng)前的L40S是PCIe卡，因此這些可能是PCIe卡。

  在網(wǎng)絡(luò)方面，Infiniband 和以太網(wǎng)都將于 2024 年從 400Gbps 發(fā)展到 800Gbps，然后在 2025 年達(dá)到 1.6Tbps。鑒于我們已經(jīng)在 2023 年初研究了 Broadcom Tomahawk 4 和交換機(jī)，并看到了合作伙伴今年的800G Broadcom Tomahawk 5 交換機(jī)，感覺(jué)有點(diǎn)像 NVIDIA 以太網(wǎng)產(chǎn)品組合在以太網(wǎng)方面明顯落后。Broadcom 的 2022-2023 年 800G 系列似乎與 NVIDIA 的 2024 年升級(jí)保持一致，NVIDIA 在 2023 年中期宣布了 Spectrum 4，而Tomahawk 5 則在大約 21-22 個(gè)月前宣布。在業(yè)界，芯片發(fā)布與投入生產(chǎn)之間通常存在很大的差距。

  由此可見(jiàn)，在 Infiniband 方面，NVIDIA 是孤軍奮戰(zhàn)。從該路線圖中，我們沒(méi)有看到 NVSwitch/NVLink 路線圖。

  其他人工智能硬件公司應(yīng)該會(huì)被 NVIDIA 的企業(yè)人工智能路線圖嚇到。在人工智能訓(xùn)練和推理領(lǐng)域，這意味著 2024 年將更新當(dāng)前的 Hopper，然后在 2024 年晚些時(shí)候過(guò)渡到 Blackwell 一代，并在 2025 年采用另一種架構(gòu)。

  在 CPU 方面，我們最近已經(jīng)看到了令人激動(dòng)的更新節(jié)奏，x86 方面的核心數(shù)量之戰(zhàn)出現(xiàn)了大幅增長(zhǎng)。例如，英特爾的* Xeon 核心數(shù)量預(yù)計(jì)從 2021 年第二季度初到2024 年第二季度將增加 10 倍以上。NVIDIA 在數(shù)據(jù)中心領(lǐng)域似乎也在緊跟這一步伐。對(duì)于構(gòu)建芯片的人工智能初創(chuàng)公司來(lái)說(shuō)，考慮到 NVIDIA 的新路線圖步伐，這現(xiàn)在是一場(chǎng)競(jìng)賽。

  對(duì)于英特爾、AMD，或許還有 Cerebras 來(lái)說(shuō)，隨著 NVIDIA 銷(xiāo)售大型高利潤(rùn)芯片，他們的目標(biāo)將會(huì)發(fā)生變化。它還將基于 Arm 的解決方案置于*賽道中，這樣它不僅可以在 GPU/加速器方面獲得高利潤(rùn)，而且可以在 CPU 方面獲得高利潤(rùn)。

  一個(gè)值得注意的落后者似乎是以太網(wǎng)方面，這感覺(jué)很奇怪。

  精準(zhǔn)的供應(yīng)鏈控制

  據(jù)semianalysis說(shuō)法，英偉達(dá)之所以能夠在群雄畢至的AI芯片市場(chǎng)一枝獨(dú)秀，除了他們?cè)谟布蛙浖系牟季滞?，?duì)供應(yīng)鏈的控制，也是英偉達(dá)能坐穩(wěn)今天位置的一個(gè)重要原因。

  英偉達(dá)過(guò)去多次表明，他們可以在短缺期間創(chuàng)造性地增加供應(yīng)。英偉達(dá)愿意承諾不可取消的訂單，甚至預(yù)付款，從而獲得了巨大的供應(yīng)。目前，Nvidia 有111.5 億美元的采購(gòu)承諾、產(chǎn)能義務(wù)和庫(kù)存義務(wù)。Nvidia 還額外簽訂了價(jià)值 38.1 億美元的預(yù)付費(fèi)供應(yīng)協(xié)議。單從這方面看，沒(méi)有其他供應(yīng)商可以與之相媲美，因此他們也將無(wú)法參與正在發(fā)生的狂熱AI浪潮。

  自 Nvidia 成立之初起，黃仁勛就一直積極布局其供應(yīng)鏈，以推動(dòng) Nvidia 的巨大增長(zhǎng)雄心。黃仁勛曾在重述了他與臺(tái)積電創(chuàng)始人張忠謀的早期會(huì)面中表示：

  “1997 年，當(dāng)張忠謀和我相遇時(shí)，Nvidia 那一年的營(yíng)收為 2700 萬(wàn)美元。我們有 100 個(gè)人，然后我們見(jiàn)面了。你們可能不相信這一點(diǎn)，但張忠謀曾經(jīng)打銷(xiāo)售電話。你以前經(jīng)常上門(mén)拜訪，對(duì)嗎?你會(huì)進(jìn)來(lái)拜訪客戶(hù)，我會(huì)向張忠謀解釋英偉達(dá)做了什么，你知道，我會(huì)解釋我們的芯片尺寸需要有多大，而且每年都會(huì)變得越來(lái)越大而且更大。你會(huì)定期回到英偉達(dá)，讓我再講一遍這個(gè)故事，以確保我需要那么多晶圓，明年，我們開(kāi)始與臺(tái)積電合作。Nvidia 做到了，我認(rèn)為是 1.27 億，然后，從那時(shí)起，我們每年增長(zhǎng)近 100%，直到現(xiàn)在?！?

  張忠謀一開(kāi)始不太相信英偉達(dá)需要這么多晶圓，但黃仁勛堅(jiān)持了下來(lái)，并利用了當(dāng)時(shí)游戲行業(yè)的巨大增長(zhǎng)。英偉達(dá)通過(guò)大膽供應(yīng)而取得了巨大成功，而且通常情況下他們都是成功的。當(dāng)然，他們必須時(shí)不時(shí)地減記價(jià)值數(shù)十億美元的庫(kù)存，但他們?nèi)匀粡某~訂購(gòu)中獲得了積極的收益。

  如果某件事有效，為什么要改變它?

  最近這一次，英偉達(dá)又搶走了SK海力士、三星、美光HBM的大部分供應(yīng)，這是GPU和AI芯片正在追逐的又一個(gè)核心。英偉達(dá)向所有 3 個(gè) HBM 供應(yīng)商下了非常大的訂單，并且正在擠出除Broadcom/Google之外的其他所有人的供應(yīng)。

  此外，Nvidia 還已經(jīng)買(mǎi)下了臺(tái)積電 CoWoS 的大部分供應(yīng)。但他們并沒(méi)有就此止步，他們還出去考察并買(mǎi)下了Amkor的產(chǎn)能。

  Nvidia 還利用了 HGX 板或服務(wù)器所需的許多下游組件，例如重定時(shí)器、DSP、光學(xué)器件等。拒絕英偉達(dá)要求的供應(yīng)商通常會(huì)受到“胡蘿卜加大棒”的對(duì)待。一方面，他們可以從英偉達(dá)那里獲得看似難以想象的訂單，另一方面，他們也面臨著被英偉達(dá)現(xiàn)有供應(yīng)鏈所設(shè)計(jì)的問(wèn)題。他們僅在供應(yīng)商至關(guān)重要并且無(wú)法設(shè)計(jì)出來(lái)或多源時(shí)才使用提交和不可取消。

  每個(gè)供應(yīng)商似乎都認(rèn)為自己是人工智能贏家，部分原因是英偉達(dá)從他們那里訂購(gòu)了大量訂單，而且他們都認(rèn)為自己贏得了大部分業(yè)務(wù)，但實(shí)際上，英偉達(dá)的發(fā)展速度是如此之快，甚至已經(jīng)超出了他們的想想。

  回到上面的市場(chǎng)動(dòng)態(tài)，雖然 Nvidia 的目標(biāo)是明年數(shù)據(jù)中心銷(xiāo)售額超過(guò) 700 億美元，但只有 Google 擁有足夠的上游產(chǎn)能，能夠擁有超過(guò) 100 萬(wàn)個(gè)規(guī)模的有意義的單元。即使AMD最新調(diào)整了產(chǎn)能，他們?cè)贏I方面的總產(chǎn)能仍然非常溫和，最高只有幾十萬(wàn)臺(tái)。

  精明的商業(yè)計(jì)劃

  眾所周知，Nvidia 正在利用 GPU 的巨大需求，利用 GPU 向客戶(hù)進(jìn)行追加銷(xiāo)售和交叉銷(xiāo)售。供應(yīng)鏈上的多位消息人士告訴semianalysis，英偉達(dá)正在基于多種因素對(duì)企業(yè)進(jìn)行優(yōu)先分配，這些因素包括但不限于：多方采購(gòu)計(jì)劃、計(jì)劃生產(chǎn)自己的人工智能芯片、購(gòu)買(mǎi)英偉達(dá)的 DGX、網(wǎng)卡、交換機(jī)和光學(xué)器件等。

  Semianalysis指出，CoreWeave、Equinix、Oracle、AppliedDigital、Lambda Labs、Omniva、Foundry、Crusoe Cloud 和 Cirrascale 等基礎(chǔ)設(shè)施提供商所面臨的分配的產(chǎn)品數(shù)量遠(yuǎn)比亞馬遜等大型科技公司更接近其潛在需求。

  據(jù)semianalysis所說(shuō)，事實(shí)上，Nvidia 的捆綁銷(xiāo)售非常成功，盡管之前是一家規(guī)模很小的光收發(fā)器供應(yīng)商，但他們的業(yè)務(wù)在 1 季度內(nèi)增長(zhǎng)了兩倍，并有望在明年實(shí)現(xiàn)價(jià)值超過(guò) 10 億美元的出貨量。這遠(yuǎn)遠(yuǎn)超過(guò)了 GPU 或網(wǎng)絡(luò)芯片業(yè)務(wù)的增長(zhǎng)率。

  而且，這些策略是經(jīng)過(guò)深思熟慮的，例如目前，在 Nvidia 系統(tǒng)上通過(guò)可靠的 RDMA/RoCE 實(shí)現(xiàn) 3.2T 網(wǎng)絡(luò)的*方法是使用 Nvidia 的 NIC。這主要是因?yàn)镮ntel、AMD、Broadcom缺乏競(jìng)爭(zhēng)力，仍然停留在200G。

  在Semianalysis開(kāi)來(lái)，Nvidia正在趁機(jī)管理其供應(yīng)鏈，使其 400G InfiniBand NIC 的交貨時(shí)間明顯低于 400G 以太網(wǎng) NIC。請(qǐng)記住，兩個(gè) NIC (ConnectX-7) 的芯片和電路板設(shè)計(jì)是相同的。這主要取決于 Nvidia 的 SKU 配置，而不是實(shí)際的供應(yīng)鏈瓶頸。這迫使公司購(gòu)買(mǎi) Nvidia 更昂貴的 InfiniBand 交換機(jī)，而不是使用標(biāo)準(zhǔn)以太網(wǎng)交換機(jī)。當(dāng)您購(gòu)買(mǎi)具有 NIC 模式 Bluefield-3 DPU 的 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)時(shí)，Nvidia 會(huì)破例。

  事情還不止于此，看看供應(yīng)鏈對(duì) L40 和 L40S GPU 的瘋狂程度就知道了。

  Semianalysis透露，為了讓那些原始設(shè)備制造商贏得更多的 H100 分配，Nvidia 正在推動(dòng) L40S的銷(xiāo)售，這些 OEM 也面臨著購(gòu)買(mǎi)更多 L40S 的壓力，進(jìn)而獲得更好的 H100 分配。這與 Nvidia 在 PC 領(lǐng)域玩的游戲相同，筆記本電腦制造商和 AIB 合作伙伴必須購(gòu)買(mǎi)大量的 G106/G107(中端和低端 GPU)，才能為更稀缺、利潤(rùn)率更高的 G102/G104 獲得良好的分配(高端和旗艦 GPU)。

  臺(tái)灣供應(yīng)鏈中的許多人都被認(rèn)為 L40S 比 A100 更好，因?yàn)樗?FLOPS 更高。需要明確的是，這些 GPU 不適合 LLM 推理，因?yàn)樗鼈兊膬?nèi)存帶寬不到 A100 的一半，而且沒(méi)有 NVLink。這意味著除了非常小的模型之外，以良好的總體擁有成本在它們上運(yùn)行LLM幾乎是不可能的。高批量大小(High batch sizes)具有不可接受的令牌/秒/用戶(hù)(tokens/second/user)，使得理論上的 FLOPS 在實(shí)踐中對(duì)于 LLM 毫無(wú)用處。

  Semianalysis說(shuō)，OEM 廠商也面臨著支持 Nvidia 的 MGX 模塊化服務(wù)器設(shè)計(jì)平臺(tái)的壓力。這有效地消除了設(shè)計(jì)服務(wù)器的所有艱苦工作，但同時(shí)也使其商品化，創(chuàng)造了更多競(jìng)爭(zhēng)并壓低了 OEM 的利潤(rùn)。戴爾、HPE 和聯(lián)想等公司顯然對(duì) MGX 持抵制態(tài)度，但臺(tái)灣的低成本公司，如超微、廣達(dá)、華碩、技嘉、和碩和華擎，正在急于填補(bǔ)這一空白，并將低成本“企業(yè)人工智能”商品化。

  當(dāng)然，這些參與 L40S 和 MGX 游戲的 OEM/ODM 也獲得了 Nvidia 主線 GPU 產(chǎn)品更好的分配。

  雖然英偉達(dá)正在面臨著芯片廠商和系統(tǒng)廠商自研芯片的夾擊。但這些布局，似乎短期內(nèi)都能讓英偉達(dá)高枕無(wú)憂。他們依然會(huì)是AI時(shí)代最成功的“賣(mài)鏟人”。

  參考鏈接

  https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025/

  https://www.semianalysis.com/p/nvidias-plans-to-crush-competition