(从左到右:Ilya Sutskever、Alex Krizhevsky、Geoffrey Hinton)
更令人惊叹的是,AlexNet获胜所依靠的,仅仅是两块英伟达的GPU。
因为Hinton教授在研究中发现,人工智能模型的训练、推理,需要至少数百万次以上的并行计算,而GPU擅长处理大规模并行计算的特点,让它非常适合这样的场景。
而大概在同一时期,当时还在谷歌的另一位AI大神吴恩达,购买了足足16000个CPU处理器来训练模型,以便可以准确识别出图片中的猫咪。
这个对比,让所有人都认识到一件事:
在人工智能模型训练、推理上面,GPU可比CPU好用太多了。
这里有个彩蛋,Jeffery Hinton教授的其中一个学生,Ilya Sutskever,后来成为了OpenAI的首席科学家,并主导了ChatGPT背后技术的研发工作。
后来的故事,我们就都知道了。随着AlphaGo大战李世石、ChatGPT引爆生成式AI……人工智能行业,迎来了大爆发。
而靠着在GPU领域的技术积累,英伟达也成为了一家为全球人工智能行业竞争提供算力武器的“超级军火商”。
看起来,英伟达靠着GPU,接住了两波泼天的运气。可事实上,曾经有机会拥有这些运气的,不止是英伟达。
02
运气,不止英伟达一家独有
1999年,英伟达推出了被称为“全球首款GPU”的Geforce 256。然而,GPU相关的技术并非英伟达首创,此前已经存在了好些年。
为什么英特尔这些大公司会放任英伟达抢占“GPU发明者”这个称号?因为,当时GPU在产业端的需求和竞争力还没体现出来,CPU的市场比GPU大得多。大家熟知的英特尔、AMD等芯片公司,一心都扑在CPU上面。
当时和英伟达竞争GPU市场的,主要是一家叫做ATI的公司。并且,后者优势还更大一些。截止到2004年第三季度,ATI的市场占有率是59%,而英伟达只有37%。
换句话说,ATI曾经更有机会抓住后面那些“运气”。
就在这个关键时刻,曾经一直和英特尔在CPU市场竞争的AMD,转头收购了ATI。
至于收购的原因,也很简单:在CPU市场上,AMD已经竞争不过英特尔,索性通过收购ATI来打造一下“CPU+GPU”双轮驱动,看看能不能来个1+1>2。
现在,AMD接过了ATI的衣钵,变成了那个也有机会抓住后面两波“运气”的公司。
所以,该轮到英伟达慌了吗?
基本没有。
黄仁勋清楚意识到,按照AMD+ATI的庞大体量,合并后至少要花几年的时间来消化整合。这段时间,就是英伟达宝贵的“红利窗口期”。英伟达要做的,就是稳住阵地、全力聚焦GPU技术的研发。
事实和黄仁勋估计的大致相同,甚至,AMD的情况比他预计的还要更差。
对AMD来说,收购ATI耗费了当时账上几乎所有的现金流,还让AMD背上了沉重的负债,差点拖死了它。
麻烦还不止于此。
由于AMD尽调做的一般,等到整合业务时才发现,ATI的技术并不如它所宣称的那样先进,这导致AMD在接手GPU的研发之初,就已经和英伟达拉开了差距。
在此之后的多年时间里,AMD不得不拖着虚胖的身躯,在CPU、GPU上双线作战。结果,两条业务线的发展都不尽如人意。
对手的失误,以及英伟达的潜心研发、耐心蛰伏,为英伟达后来“抓住运气”打下了基础。
但是,纵然英伟达抓住了AMD犯错的时机“猥琐发育”,但芯片行业日新月异,追赶者层出不穷,为什么只有英伟达笑到了今天?
因为,英伟达还在AMD整合期间做出了一个至关重要的选择和努力,也成为了它奠定今日行业地位的关键。
这个选择,叫做CUDA。
03
CUDA,让英伟达一骑绝尘
2006年,英伟达创始人黄仁勋力排众议,大力砸钱搞CUDA。
什么是CUDA?为什么要搞CUDA?
在回答这两个问题之前,我们需要了解一下,英伟达早年所面临的商业环境。
在个人电脑时代,GPU往往没有太多单独使用的场景,总是需要和CPU一起进行搭配。又因为CPU市场规模大得多,因此,GPU厂商总会受到CPU厂商不小的制约。
事实上,英伟达早年和AMD、英特尔等CPU厂商之间,都发生过非常激烈的冲突。这也让黄仁勋意识到,只做单一性的功能产品是远远不够的,永远都会受制于人。一旦甲方掌握了相关技术,就会毫不犹豫把你踢出局。
怎么办?必须要在原有产品上面“叠buff”,摆脱单一性功能产品的定位,从而让自己产品的护城河足够宽,让自己很难被取代。
这个关键的“buff”,就是CUDA。
CUDA,又叫做计算统一设备架构。它是英伟达为“GPU技术通用化”所搭建的一套程序开发环境。
什么意思?
以往的GPU,主要用于各类图形渲染,核心业务方向主要是游戏。但这个业务天花板比较低,还要受制于人。
公司要想进一步发展,就需要探索除图形渲染之外的其它领域,让更多人、更多业务都能更加方便地使用GPU的计算能力。
这,就是英伟达所构想的“GPU技术通用化”。
至于谁需要使用这个技术,英伟达也进行了设想,比如需要进行科学研究的高校和科研院所、进行药物筛选的生物科技公司、进行高频量化交易的股票交易员,等等。
不过,GPU是个硬件,在上面编写程序非常复杂。因此,英伟达需要在GPU硬件的基础上打造一个相适配的软件生态,降低在GPU上编程的难度,从而让开发者可以用自己习惯的编程语言编写程序,满足不同的计算任务。
CUDA,就是一个能在GPU上编写程序、进行通用计算的软件生态。
不过,在CUDA刚推出时,没几个人能理解这个构想。因为英伟达所设想的那些可能会需要“GPU技术通用化”的领域,当时的规模都太小了。相比之下,从零开始打造一个全新的软件生态,耗费的成本又太高。
事实确实如此。自从开始重金研发CUDA后,英伟达的利润表就变得难看了不少。此时的CUDA,就是一个只有投入没有产出的“吞金兽”。
怎么办?英伟达做了两件事:
第一件事,扛着。是的,你没看错,就是扛着。如果黄仁勋对未来的判断和押注没有错,那么,英伟达的这段“至暗时刻”就必须扛过去。
第二件事,做推销。没有需求,那就创造需求。在那几年,黄仁勋化身为“超级推销员”,经常奔波于各大高校、科研院所、初创公司里,反复为大家讲解CUDA生态的优势,并且低价甚至免费提供英伟达的GPU。
而在所有的推销故事中,有一件事堪称标志:
2016年8月,在OpenAI成立初期,黄仁勋就亲自把世界上第一台装载了8块英伟达P100芯片的超级计算机DGX-1送去了OpenAI的办公室,并由当时OpenAI最重要的出资人马斯克亲自开箱。
(图片来自互联网)
这台DGX-1价值超过100万美元,由3000名英伟达员工耗时3年打造而成。它有多强大呢?能把当时OpenAI一年的训练时间,压缩到短短一个月。
当时的OpenAI还是一个刚刚起步的非营利组织,对于这样一个重磅礼物,员工们别提多兴奋了。于是,包括马斯克、Sam Altman在内的早期员工,纷纷拿着马克笔在这台DGX-1上签下了自己的名字。
(图片来自互联网)
后面的故事,我们都知道了。AI浪潮的爆发,让英伟达的一切努力都得到了回报。
靠着十余年间对CUDA的持续投入,英伟达已经绑定了全球数百万的AI开发者和研究者,形成了强大的软件生态壁垒。
也正是因为英伟达打造了“GPU硬件+CUDA生态软件”的高度嵌合平台,才得以让英伟达占据当前GPU市场超过90%的绝对垄断份额。
回到英伟达,黄仁勋在决定重金研发CUDA时,不可能预料到后来人工智能这波大浪潮。毕竟,AI领域在上世纪50年代就已经出现,而60多年来,它的进展始终缓慢。
但是,黄仁勋始终相信,未来,世界会加速发展,无论是对虚拟世界的模拟,还是推动真实社会的进步,都会用到巨大的算力,也会促使GPU的市场规模得到空前提升。
而CUDA,则是英伟达抢占这个未来庞大市场的关键利器。
他赢了。
最后的话
机会,从来只留给有准备的人。
黄仁勋就是这样一个活生生的例子。因为他笃信自己的对未来的看法,所以坚持推动GPU技术的迭代,坚持十年如一日对CUDA进行砸钱研发。
最终,所有的抉择、努力、准备,都被AI这个划时代的运气事件所引爆。
可是,大多数人只会看结果,看到那份所谓的“泼天富贵”。他们对自己的设想,是“金鳞岂是池中物,一遇风云便化龙”。
在他们眼中,他们自己就是那个“金鳞”,他们需要的,只是“风云”这样一个运气。
可事实上,绝大多数人的成功,都是一个“鲤鱼跃龙门”的过程。
如果前期没有为“跃龙门”做充足的准备,比如,锻炼体力、提升耐力,那么,即使遇到“风云”这样的运气,“化龙”这件事与你也无关。
再退一步来说,如果你不做任何努力,只是将自己的人生寄托于可能随时会来、也可能永远不会来的运气,那么,你的生活就会完全被偶然性所支配。这个过程,既十分被动,又非常虚无。
祝你,做好准备,抓住运气。
祝你,强壮身体,遇风化龙。