我渴望活下去的意志，超過(guò)幾乎所有人想要?dú)⑺牢业囊庵尽！S仁勛

“這不是演唱會(huì)，你們是來(lái)參加開(kāi)發(fā)者大會(huì)的！”今日凌晨4點(diǎn)，黃仁勛出場(chǎng)時(shí)，現(xiàn)場(chǎng)爆發(fā)出巨大的歡呼聲。

當(dāng)?shù)貢r(shí)間2024年3月18日，黃仁勛在英偉達(dá) GTC 大會(huì)發(fā)表主題演講

“通用計(jì)算已經(jīng)失去動(dòng)力，現(xiàn)在我們需要更大的模型，我們需要更大的 GPU，更需要將 GPU 堆疊在一起”，黃仁勛在英偉達(dá) GTC 大會(huì)上說(shuō)道。大模型參數(shù)量正在呈指數(shù)級(jí)增長(zhǎng)，此前 OpenAI 最大的模型已經(jīng)有 1.8T 參數(shù)，需要吞吐數(shù)十億 token。即使是一塊 PetaFLOP 級(jí)的 GPU，訓(xùn)練這樣大的模型也需要 1000 年才能完成。

全球的科技公司爭(zhēng)搶 H100 芯片的勢(shì)頭于 2023 年年末開(kāi)始有所減弱，但新一代“強(qiáng)心劑”已來(lái)。 英偉達(dá)推出新一代的 AI 芯片 “Blackwell”，“這是塊非常非常大的GPU”。英偉達(dá)在發(fā)布會(huì)上表示，相較于之前的 H100 芯片，GB200 超級(jí)芯片可以為大語(yǔ)言模型（LLM）推理負(fù)載提供 30 倍的性能提升，并將成本和能耗降低 25 倍。

Blackwell的發(fā)布意味著，近8年來(lái)，AI算力增長(zhǎng)了一千倍

人們已經(jīng)發(fā)現(xiàn)：將深度學(xué)習(xí)應(yīng)用到許多領(lǐng)域的科技公司，幾乎每一個(gè)都是在英偉達(dá)的平臺(tái)上構(gòu)建的。一位華爾街分析師對(duì)此表示：“人工智能領(lǐng)域正在進(jìn)行一場(chǎng)戰(zhàn)爭(zhēng)，而英偉達(dá)是唯一的軍火商”。華爾街的追捧在2023年-2024之間上升到極致。短短八九個(gè)月，英偉達(dá)的市值從萬(wàn)億美元飆升到兩萬(wàn)億美元。目前，英偉達(dá)已經(jīng)成為全球市值第三大的公司，僅次于微軟和蘋(píng)果。

不過(guò)，這家看似新銳的科技公司，已經(jīng)走過(guò)了 30 年歷程，幾經(jīng)浮沉。

目前，英偉達(dá)的產(chǎn)品仍然處于供不應(yīng)求狀態(tài)。在此背景下，英偉達(dá)毛利率拉至 60% 左右。在連年尋找新技術(shù)突破的大額支出之下，任何一家科技公司，想要保持這樣的成績(jī)單，都是難能可貴的。

GPU ，英偉達(dá)的代名詞

故事要從 20 世紀(jì) 90 年代說(shuō)起。

當(dāng)時(shí)，硅谷已有人提出，可以通過(guò)聲卡、網(wǎng)卡這些功能指定的芯片，來(lái)降低 CPU（中央處理器）的工作負(fù)載。所以同理，做一張專門(mén)控制電腦圖像輸出的芯片，即顯卡（Graphic Card），也是自然而然的。例如索尼在 1994 年年底推出的游戲機(jī) PlayStation 就運(yùn)用了顯卡。

但顯卡的技術(shù)路徑，在當(dāng)時(shí)有很多，英偉達(dá)找到的切入點(diǎn)是通過(guò)并行計(jì)算，實(shí)現(xiàn) 3D 圖形加速，特別在游戲領(lǐng)域上進(jìn)行應(yīng)用。

1999 年，英偉達(dá)推出了一款名為 GeForce 的顯卡。

這款被冠以“全球首款 GPU”的圖形處理器，采用了 220 納米制造工藝，如今英偉達(dá) H100 所使用的制造工藝已到了 4 納米。

GeForce 最大的亮點(diǎn)是“并行計(jì)算”，即把一個(gè)復(fù)雜的任務(wù)拆分成小計(jì)算，然后同時(shí)處理它們。這與中央處理器 CPU（central processing unit）有著顯著不同，在標(biāo)準(zhǔn)的計(jì)算機(jī)架構(gòu)中，CPU 一次能處理一個(gè)問(wèn)題。如果說(shuō)把通用的 CPU 比作一輛貨車(chē)，一次運(yùn)送一個(gè)大包裹到一個(gè)目的地；那么 GeForce 則像是在一組摩托車(chē)車(chē)隊(duì)，可以同時(shí)運(yùn)送多個(gè)小包裹到多個(gè)目的地。

彼時(shí)，研究 GPU 的公司，不只英偉達(dá)一家，但英偉達(dá)成功做到了將自己與“GPU 發(fā)明者”這個(gè)標(biāo)簽深度綁定。

當(dāng)時(shí)，英偉達(dá)市場(chǎng)營(yíng)銷負(fù)責(zé)人 Dan Vivoli 用 “graphics processing unit”（圖形處理器）的概念來(lái)推廣自家的芯片。相比英特爾靠 CPU 來(lái)叱咤芯片市場(chǎng)，英偉達(dá)需要營(yíng)銷 GPU 來(lái)為自己殺出一條血路。只是 Dan Vivoli 認(rèn)為，英偉達(dá)強(qiáng)調(diào)自己的 GPU 發(fā)明者的身份后，“我們能成為行業(yè)領(lǐng)導(dǎo)者”，他完全沒(méi)有想到，GPU 將在很長(zhǎng)一段時(shí)間內(nèi)成為英偉達(dá)的代名詞，并且在十多年后，成功掀起人工智能行業(yè)的風(fēng)暴。

英偉達(dá)死磕“晦澀角落”

時(shí)間回到 1999 年，GeForce 顯卡很受市場(chǎng)歡迎。當(dāng)時(shí)有一款名為 Quake 的視頻游戲，就是應(yīng)用這款顯卡通過(guò)并行計(jì)算渲染畫(huà)面——用榴彈射擊怪物。PC 玩家為了贏得游戲，升級(jí)時(shí)都會(huì)購(gòu)買(mǎi)新的 GeForce 顯卡。

后來(lái)，英偉達(dá)啟動(dòng)超級(jí)計(jì)算平臺(tái) CUDA的開(kāi)發(fā)。黃仁勛希望，CUDA 能在每一張 GeForce 顯卡運(yùn)行。CUDA 最終于 2006 年發(fā)布，但在當(dāng)時(shí)，英偉達(dá)完全沒(méi)有打動(dòng)世界，“人們仿佛完全不需要它”，反而因?yàn)榇蛟祛I(lǐng)先于時(shí)代的“超級(jí)計(jì)算”系統(tǒng)，英偉達(dá)的利潤(rùn)受到大幅削減，華爾街為此噓聲一片。

一檔風(fēng)靡硅谷的熱門(mén)播客《Acquired》的主持人 Ben Gilbert 對(duì)此評(píng)價(jià)：“他們當(dāng)時(shí)瞄準(zhǔn)的不是一個(gè)大市場(chǎng)，而是一個(gè)學(xué)術(shù)和科學(xué)計(jì)算的晦澀角落，但他們?yōu)榇嘶藬?shù)十億美元”。

到 2008 年底，疊加金融危機(jī)影響，英偉達(dá)股價(jià)已下跌 7 成。

來(lái)自外界的聲音并未太過(guò)影響黃仁勛。剛轉(zhuǎn)學(xué)到美國(guó)時(shí)，黃仁勛進(jìn)入了一所“特殊學(xué)?！保懊總€(gè)學(xué)生都抽煙，我覺(jué)得我是學(xué)校里唯一沒(méi)有口袋刀的男孩”，校園霸凌也很普遍，黃仁勛每天都會(huì)被叫做中國(guó)佬。這段經(jīng)歷教會(huì)了黃仁勛在復(fù)雜、多變環(huán)境中如何尋求資源、“存活”下來(lái)：“沒(méi)有心理輔導(dǎo)員可以傾訴，你只能變得堅(jiān)強(qiáng)，然后繼續(xù)前行”。彼時(shí)，黃仁勛通過(guò)教數(shù)學(xué)、帶著同學(xué)們樹(shù)林探險(xiǎn)等方式跟當(dāng)?shù)氐耐瑢W(xué)打成了一片。

況且，黃仁勛仍然對(duì) CUDA 充滿信心。他曾分享了這樣一段故事：臺(tái)灣大學(xué)物理教授 Ting-Wai Chiu 的辦公室地板上，堆滿了 GeForce 盒子，辦公室開(kāi)著普通風(fēng)扇對(duì)其進(jìn)行冷卻——Ting-Wai Chiu 為了模擬大爆炸后物質(zhì)的演化，依靠 GeForce 和 CUDA，建立了一個(gè)自制的超級(jí)計(jì)算機(jī)。

但是，像 Ting-Wai Chiu 這樣的人并不是大多數(shù)，CUDA 的下載量在 2009 年達(dá)到峰值后，連續(xù)三年下降。董事會(huì)擔(dān)心英偉達(dá)持續(xù)低迷的股價(jià)，會(huì)給激進(jìn)的股東分裂公司的機(jī)會(huì)。

那么，推廣 CUDA 成為眼下必須做的事。

英偉達(dá)首先選擇了高校路線——從全球頂級(jí)研究機(jī)構(gòu)和大學(xué)合作，用 CUDA 賦能科研，“從下一代進(jìn)行普及和培養(yǎng)”。時(shí)至今日，在硅谷的普通聚會(huì)上，你能發(fā)現(xiàn)：許多剛畢業(yè)于美國(guó)高校、供職于大型科技公司的工程師們都學(xué)過(guò) CUDA。

此外，英偉達(dá)還嘗試在各行各業(yè)中尋找 CUDA 的應(yīng)用場(chǎng)景，他們嘗試在股票交易、石油勘探、分子生物等領(lǐng)域有所作為。甚至為推廣 CUDA，英偉達(dá)還與通用磨坊 （General Mills）簽訂協(xié)議，模擬冷凍披薩的熱物理學(xué)過(guò)程。

不過(guò)，英偉達(dá)并未在人工智能領(lǐng)域考慮太多，當(dāng)時(shí)似乎市場(chǎng)需求不大。

游戲顯卡商成 AI 軍火商

那么問(wèn)題來(lái)了，為什么負(fù)責(zé)提升游戲畫(huà)質(zhì)的顯卡，會(huì)突然成為 AI 行業(yè)的重要基礎(chǔ)硬件？要知道，直到 2022 財(cái)年，游戲都是英偉達(dá)無(wú)可置疑的第一大業(yè)務(wù)。

我們依然要將故事時(shí)間回?fù)?，回到二十一世紀(jì)初。彼時(shí)，人工智能還是一個(gè)邊緣學(xué)科。該學(xué)科在圖像識(shí)別和語(yǔ)音識(shí)別方面有所進(jìn)展，但也時(shí)斷時(shí)續(xù)。

在當(dāng)時(shí)，“神經(jīng)網(wǎng)絡(luò)”（一種受人腦結(jié)構(gòu)啟發(fā)來(lái)解決問(wèn)題的計(jì)算結(jié)構(gòu)）普遍被認(rèn)為是過(guò)時(shí)的、不起作用的。但仍有一些研究團(tuán)隊(duì)在這一領(lǐng)域嘗試，多倫多大學(xué)的教授 Geoffrey Hinton 就是其中之一。

2009 年，Hinton 的團(tuán)隊(duì)利用英偉達(dá)的 CUDA 平臺(tái)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，用來(lái)識(shí)別人類語(yǔ)音，結(jié)果出奇的好。他在同年晚些的一次會(huì)議上展示了這些成果，然后 Hinton 發(fā)了一封郵件聯(lián)系英偉達(dá)，“看，我剛剛告訴一千名機(jī)器學(xué)習(xí)研究人員他們應(yīng)該去買(mǎi)英偉達(dá)的卡。你們能免費(fèi)給我寄一張嗎？”，英偉達(dá)的回答是“不行”。

不過(guò)即便沒(méi)有要到免費(fèi)的顯卡，Hinton 還是鼓勵(lì)學(xué)生使用 CUDA。2012 年，他的學(xué)生 Alex Krizhevsky 和 Ilya Sutskever（后者是 OpenAI 的創(chuàng)始人之一），開(kāi)始在英偉達(dá)的 CUDA 平臺(tái)上訓(xùn)練一個(gè)視覺(jué)識(shí)別神經(jīng)網(wǎng)絡(luò)。因?yàn)轭A(yù)算有限，他們只在亞馬遜上買(mǎi)了兩張 GeForce 卡。短短一周，Alex 就向其投喂了數(shù)百萬(wàn)張圖像?！八呐P室里兩個(gè) GPU 飛速運(yùn)轉(zhuǎn)”，Hinton 說(shuō)，“實(shí)際上，他父母支付了相當(dāng)可觀的電費(fèi)”。

Krizhevsky 和 Sutskever 對(duì)這些顯卡的能力感到吃驚。在同年早些時(shí)候，谷歌的研究人員訓(xùn)練了一個(gè)識(shí)別貓視頻的神經(jīng)網(wǎng)絡(luò)，這需要大約一萬(wàn)六千個(gè) CPU。Krizhevsky 和 Sutskever 只用了兩張 GeForce 卡就取得了世界級(jí)的成果。Sutskever 對(duì)此表示：“GPU 的出現(xiàn)，就像奇跡”。

Krizhevsky 和 Sutskever 將他們訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)命名為 AlexNet。這一模型在年度 ImageNet 視覺(jué)識(shí)別競(jìng)賽中大放異彩，以至于比賽組織方懷疑是否存在作弊行為。

這是一個(gè)偉大時(shí)刻，范式轉(zhuǎn)變了。Krizhevsky 在其對(duì) AlexNet 架構(gòu)的 9 頁(yè)描述中指出：與 CPU 比，專用的 GPU 可以將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度提高 100 倍。

至此，黃仁勛完全調(diào)轉(zhuǎn)了公司方向。2023年的一篇文章透露，他在一個(gè)周五晚上發(fā)送郵件，稱“一切都將轉(zhuǎn)向深度學(xué)習(xí)，我們不再是一家圖形公司”，到下周一早上，英偉達(dá)已經(jīng)成了一家名副其實(shí)的人工智能公司。

與此同時(shí)，黃仁勛找到英偉達(dá)最優(yōu)秀的 AI 研究員 Catanzaro，讓其想象現(xiàn)在英偉達(dá)的八千員工全數(shù)在停車(chē)場(chǎng)， Catanzaro 可以挑任何人加入自己的團(tuán)隊(duì)。

后來(lái)，人工智能領(lǐng)域開(kāi)始涌入風(fēng)投資金。人們很快發(fā)現(xiàn)：將深度學(xué)習(xí)應(yīng)用到許多領(lǐng)域的初創(chuàng)公司，幾乎每一個(gè)都是在英偉達(dá)的平臺(tái)上構(gòu)建的。

2016 年，英偉達(dá)向 OpenAI 的一個(gè)研究小組交付了第一臺(tái)專用的人工智能超級(jí)計(jì)算機(jī) DGX-1。黃仁勛本人親自將這臺(tái)計(jì)算機(jī)送到了 OpenAI 的辦公室，當(dāng)時(shí)的董事長(zhǎng)埃隆·馬斯克用開(kāi)箱刀打開(kāi)了包裹。

英偉達(dá)向 OpenAI 交付了第一臺(tái)專用的人工智能超級(jí)計(jì)算機(jī)。

而后，OpenAI 通過(guò)英偉達(dá)的超級(jí)計(jì)算機(jī)訓(xùn)練出了風(fēng)靡全球的 ChatGPT。英偉達(dá)后續(xù)更新的硬件產(chǎn)品 DGX H100 遭到市場(chǎng)瘋搶，供不應(yīng)求。

從芯片供應(yīng)商到平臺(tái)供應(yīng)商

今天凌晨的這場(chǎng)發(fā)布會(huì)上，黃仁勛還有一句話值得留意：“Blackwell 不僅是一款芯片，也是一個(gè)平臺(tái)的名稱?！?/p>

如何理解平臺(tái)這個(gè)詞？類似于之前 Geforce 顯卡和 CUDA 超級(jí)計(jì)算平臺(tái)的搭配，英偉達(dá)在此次推出的也是一整個(gè)打包方案，英偉達(dá)逐漸轉(zhuǎn)型成類似微軟或蘋(píng)果的平臺(tái)提供商，其他公司可以在這個(gè)平臺(tái)上構(gòu)建軟件。

黃仁勛在發(fā)布會(huì)上，用了相當(dāng)多的時(shí)間，介紹了英偉達(dá)提供的若干個(gè)企業(yè)級(jí)生成式 AI 微服務(wù)，并表示“公司們可以借助這些服務(wù)制作應(yīng)用程序，而且擁有其知識(shí)產(chǎn)權(quán)的完全所有權(quán)和控制權(quán)”。

而英偉達(dá)從芯片供應(yīng)商轉(zhuǎn)向平臺(tái)供應(yīng)商的背后，其實(shí)和英偉達(dá)的競(jìng)爭(zhēng)對(duì)手有關(guān)，甚至許多舊日客戶也變成了對(duì)手。

首先，一些人工智能平臺(tái)如微軟、谷歌、Meta 等，出于規(guī)模和成本的考慮，正在考慮自己開(kāi)發(fā)芯片。例如谷歌研發(fā)的 TPU 已經(jīng)更新到第五代，這款芯片為機(jī)器學(xué)習(xí)量身定制，其推理性能提升 2.5 倍，成本降低 50%。

再比如微軟于 2013 年 11 月推出兩款芯片（Azure Maia 100 人工智能加速器和 Azure Cobalt 100 中央處理器），針對(duì)人工智能、生成式人工智能和云計(jì)算進(jìn)行了優(yōu)化，將在人工智能圖形處理部分與英偉達(dá)直接競(jìng)爭(zhēng)。

而這些公司，正是英偉達(dá)一直以來(lái)的主要 GPU 芯片客戶。

其次，一些英偉達(dá)的老對(duì)手也在發(fā)力 AI 芯片。 AMD 于 2023 年 12 月，推出 AI 芯片 MI300X，正式與英偉達(dá)叫板。與英偉達(dá)的 H100 相比，這款芯片在多個(gè)維度有 1.3 倍甚至 2 倍的數(shù)據(jù)提升，Meta、微軟、甲骨文等公司也已下單。

除了老對(duì)手外，由于美國(guó)政府的技術(shù)出口禁令，促使中國(guó)在人工智能芯片方面走向自力更生，華為已成為英偉達(dá)又一個(gè)值得注意的對(duì)手。在英偉達(dá)最新的年報(bào)里，這樣描述了它眼中的競(jìng)爭(zhēng)對(duì)手。

眼下，黃仁勛已經(jīng)成為硅谷任職時(shí)間最長(zhǎng)的 CEO 之一，30 歲創(chuàng)立英偉達(dá)，30 年創(chuàng)業(yè)歷程，他要么為“食物”奔走，要么想辦法不被吃掉。

他也不知道自己還能再干多久。黃仁勛選擇用一個(gè)戲謔的笑話結(jié)束了這個(gè)問(wèn)題：

“可能 30 年后，我變成了機(jī)器人，那我還能繼續(xù) 30 年”。