当初，《注意力是你所需要的一切》一文提出了名声大噪的Transformer模型，该模型现已成为了生成式AI发展的奠基石。如今Transformer八子均已离开谷歌，开启AI创业之旅。
3月18日至21日，英伟达将召开GTC 2024大会，英伟达表示本次GTC大会主要面向AI开发者。本次大会上有两个重磅看点：一是英伟达将在大会上发布全新的B100芯片，二是英伟达邀请《注意力是你所需要的一切》论文的八位作者参加会议，与老黄对谈。
《注意力是你所需要的一切》这篇论文发布于2017年，可以认为是目前AI领域最重要的一篇论文。截至目前，这篇论文被引用了超过8万次。它提出了基于注意力机制的 Transformer语言模型，用于取代循环和卷积神经网络。
Transformer引领AI发展Transformer模型在整个AI发展过程中起着至关重要的作用，包括ChatGPT在内的几乎所有AI产品都是依靠Transformer存在。
为什么Transformer对AI发展如此重要？因为它真正的威力远超语言范畴，它可以生成任何具有重复图案或者模式的内容，包括Dall-E、Midjourney和 Stable Diffusion等工具生成的图像，还包括 GitHub CoPilot等工具生成的计算机代码，甚至DNA。
论文作者之一Ashish Vaswani解释Transformer工作原理，“Transformer能非常快速地捕捉输入不同部分的交互关系，一旦捕捉到，它可以从中学习到一些特征。”Vaswani补充说，
这是一种通用的方法，它可以捕捉句子里的片段、音乐中的音符、图像中的像素、蛋白质组成部分。它可以用于任何任务。
而论文发表后，Parmar就发现Transformer不仅可以用于翻译，还可以生成长页面文本，而这是以前的模型难以做到的。此外，她还认识到了Transformer的一个关键特性：当你给它们越来越多数据的时候，“它们能学得更好”。Parmar补充说，“无论人们丢给它什么，它都能很好的工作”。这无疑时为GPT-4等大模型的出现指明了道路。
如今，Transformer 支撑着AI开放中大多数前沿应用。它不仅被嵌入在谷歌搜索和谷歌翻译中，还为所有大型语言模型提供支撑，其中就包括ChatGPT和Bard背后的模型。
Alphabet的成长基金CapitalG的合伙人Jill Chase说，她专注于投资人工智能投资，而“所有的产品都是依靠Transformer而存在的”。
八子“出逃”谷歌，开启AI创业Transformer的研究团队来自谷歌，团队包括Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhin八人。
随着AI研究的步伐在不断加快，Transformer被广泛运用在生成文本和图像领域，但这些研究大多来自OpenAI等初创公司，而不是谷歌。他们发现，谷歌的结构并不允许冒险创业，也不允许快速推出新产品。
于是八名研究人员先后离开。Polosukhin于2017年离开，创办了区块链初创Near公司。Gomez当时实习生身份加入团队，是团队里最年轻的成员，2019年Gomez离开了谷歌，随后创立了Cohere，致力于将大预言模型帮助银行和零售商解决客服服务问题。Cohere目前估值超过20亿美元。
Kaiser、Uszkoreit、Shazeer、Vaswani和Parmar五人于2021年离开谷歌，Kaiser成为OpenAI研究员。Uszkoreit与他人共同创立了Inceptive，该公司正在使用深度学习技术设计“生物软件”，帮助研究人员寻找新药和生物技术。Shazeer与他人共同创立了Character AI，该公司主要创建个性化的聊天机器人，Character AI目前估值超过10亿美元。Vaswani和Parmar先后创立了Adept AI 和Essential AI，致力于为企业构建软件以使用大型语言模型。Essential AI目前已筹集了800万美元。
Jones则是直到2023年才离开谷歌，与他人共同创立了Sakana AI。
本文来自华尔街见闻，欢迎下载APP查看更多