掼蛋桌上，别看你手里还握着一大把牌，但只要连起来是顺子，你就胸有成竹。
你知道，自己只需要一个牌权，就可以出光。
可是，架不住上家直接扔出一副王炸，赢下比赛。
几天前的Google，差不多就是这种心情。
两个小时的Google I/O开发者大会中，Google甩出一手顺子——全新版本的基础模型Gemini系列、AI助手Project Astra、视频生成模型Veo、文生图模型Image3、谷歌搜索新功能AI Overview……十几种AI相关的产品依次亮相。
图1. Google I/O开发者大会中 一共提到了121次AI
但就在Google I/O开发者大会的前一天，OpenAI只花了二十几分钟，在首次「春季新品发布会上」发布了全能模型GPT-4o——现在ChatGPT可以接收文本、音频和图像任意组合作为输入，并实时生成文本、音频和图像任意组合作为输出。不仅能做到与人类相似的320毫秒平均反应速度，甚至还可以识别到人的情绪。
图2. 全能模型GPT-4o发布
这……
Google这个发布会，就有点像局牌结束了，输的人把牌一摊，拍着大腿说：“哎呀！你看我这牌，多好，就是没走成啊。”
坐不住，Google根本坐不住。
这个5月，被称为科技界的“AI月”，从5月13日OpenAI的春季发布会开始，“坐不住”将会是各家的常态，接下来的几周中，英伟达将公布一季报，微软和苹果将陆续举办年度开发者大会，2024GenAI旧金山峰会也即将召开。
还有一个坐不住的。
就在GPT-4o发布一天之后，OpenAI的首席科学家Ilya Sutskever官宣离职。
相比于各家AI公司在比拼谁能更早实现AGI，令Ilya Sutskever坐不住的，是研究如何阻止人工超级智能的失控。
去年七月，Ilya Sutskever就作为牵头人之一，在OpenAI成立了「超级对齐」（Superalignment）团队，目标是在四年内，用OpenAI20%的算力，解决超级智能AI对齐的问题。去年11月沸沸扬扬的OpenAI内部宫斗事件，就与这有关。
图3. Ilya（左三）在官宣离职文案下配的合照
人工智能真的会失控吗？
围绕Ilya的出走，本期【朋克金融学】，分享几个与他相关的人工智能概念科技定律：
01 克拉克定律：普通人几乎无法区分“前沿技术”与“魔法”的差别
在官宣离职后，Ilya的好友、OpenAI董事长及联合创始人Greg Brockman提到了一本对他俩都很有启发的作品——《未来的轮廓》《Profiles of the Future》，这本书出版于1962年，距今都已经半个多世纪了。
而他的作者，就是以《2001太空漫游》而全球闻名的科幻小说作家亚瑟·克拉克。
在这本书中，克拉克试图从历史的轨迹里预测未来世界的样子，并因此回溯了飞行、宇航、原子弹的发明过程。
图4. OpenAI董事长及联合创始人Greg Brockman
克拉克讲过一个关于白炽灯发明的故事。
爱迪生在这件事上比较高调，在发明它的前一年前就官宣说：“我们要发明电灯，一定超棒！”
于是，英国议会专门成立了一个专家小组去调研，最后得出的结论是——这玩意儿纯属骗局，不可能实现，燃气公司不会受影响。
结果一年之后，爱迪生实现了技术变革。
“不可能”的言论在大部分时候都是对的。
问题在于，当“不可能”的预测错了，一切都会无法想象。
“克拉克三定律”的第三条就是，“任何足够先进的技术都无法与魔法区分开来”。
克拉克想说，随着科技的进步，人们可能无法区分科技与魔法之间的差异——高度先进的技术可能会表现出常规意义上难以理解的能力。
在去年旧金山的对齐研讨会上，Ilya把“那些专家断言技术革命不会成为现实”归结于想象力的缺失，他说：“现在有大量证据表明，AI已今非昔比，但在很多方面，我们仍受到想象力的限制。”
在更早的2019年，Vox网的专职作家Kelsey Piper曾对Ilya和Greg有过一次专访，Greg提到了一幅2014年流行的漫画，就是上图这幅。
左边的人说：当一个用户拍照时，软件应该可以检查用户是否在国家公园……
右边的程序员说：没问题，简单的查找功能而已，几个小时搞定。
左边的人说：还需要检查一下照片是不是关于一只鸟的。
右边的人说：emmmm，那我需要一个研究小组和5年的时间。
Greg想用这幅漫画说明，在计算机科学领域，很难对用户和产品经理解释“容易实现”和“基本不可能实现”之间的区别。尽管适应能力非常强的我们，已经把人工智能的发展看成理所应当的东西，但要去理解它的进步和发展，依然是非常困难的。
因为担心受到自己想象力的局限，Ilya一直绷着一根弦，致力于对“魔法”的失控防范。
02 把Ilya拉入AI的三种力量是什么？
在一次TED的演讲中，Ilya提到了把他拉入AI的三种力量。
第一种力量：意识体验
当Ilya还是个5、6岁的孩子时，他对自己的意识体验感到震惊。
“我就是我，我对正在经历一些事感到震惊。当我看到东西时，我看到了它们，这种感觉会随着时间消失，但现在只要我提一下，它又会回来……”
这种奇怪的意识体验令Ilya不安，所以当他学习人工智能时，他想，如果有一台机器能帮助人了解自己的意识就好了。
第二种力量：智力如何工作
90年代末，当Ilya还是个十几岁的孩子时，他有种感觉，当时的科学根本不知道智力是如何工作的，于是他决定去研究。
第三种力量：超越想象的影响力量
很早的时候Ilya就很清楚，如果人工智能有效，它将产生难以置信的影响。
基于上面的三种力量，Ilya认为，人工智能是值得他全力以赴的好领域。就整个职业生涯来看，Ilya也确实经历了目前为止，人类通往AGI道路上的几个关键点。
图5. Ilya在TED的演讲
【1】深度学习的爆发
在大多数人工智能研究者都认为“神经网络”这条路走不通时，2012年，Ilya在后来被称为深度学习三巨头之一的Geoffrey Hinton带领下，建立了一个名为AlexNet的神经网络，AlexNet识别照片中物体的能力在当时遥遥领先。
Ilya所在的团队最早证明了模式识别问题可以被解决——秘诀是一个经过大量数据和算力训练的深度神经网络，这直接推动了后续神经网络的发展。
【2】AlphaGo对人类的碾压
2013年3月，Google收购了Ilya当时所处的DNNResearch，并聘请Ilya担任Google Brain的研究科学家。
之后几年，Google的AlphaGo在围棋上对人类的吊打，使得AlphaGo成为了第一个在复杂决策领域完胜人类的人工智能项目。Ilya正是Alpha Go论文的众多作者之一。
【3】ChatGPT的横空出世
2015年，Ilya成为OpenAI的联合创始人，以研究总监的头衔开始领导OpenAI的研究和运营，再后来的故事我们都很熟知，ChatGPT的出世让整个创始团队受到前所未有的关注。
去年，Ilya入选了2023年度十大科学人物榜单，被Nature评价为“ChatGPT和其他改变社会的人工智能系统的先驱”。
从Ilya的经历视角，我们完全可以认为，人工智能就像是Ilya从零开始培养的孩子，孩子大了，不能光指着孩子长个儿，该管还是得管。
2022年时，Ilya就公开说：“AI可能已经“有一些知觉”。
他大胆预言，如果一个模型能够很好地预测下一个词，这意味着它能够理解导致这个词产生的深刻现实。也就是说，如果AI按照现有路径发展下去，在不久的将来，一个超越人类的人工智能系统就会诞生。到那个时候，人类又该如何监督比自己聪明得多的人工智能系统？
这就是Ilya近些年致力于“对齐”的意义。
03 一个猜想：人工智能的“叛逆”会如何到来？
人们的一个普遍困惑是，如果人工智能系统能一直按照人们的意愿工作，那为什么还需要对齐呢？或者人工智能这个“孩子”，会进入“叛逆期”吗？
在去年的旧金山对齐研讨会上，Ilya举了AI学习的不同范式，以此说明对齐的难度，以及可能发生的事。
【1】监督学习
一种使用人类标注者生成的数据集训练人工智能的方式。
这种情况就像是家长自己先做了一遍题，理解了，再让孩子学。
在这种情况下，人们利用已充分理解的数据进行监督学习时，可以不用太担心训练结果。
【2】无监督学习
人们使用大量互联网上的数据对神经网络进行预训练。
这种情况就像是家长丢给孩子一台电脑，让他自己上网找答案学习，那谁还知道孩子是真的在学习，还是在干点啥别的。
Ilya认为，由于我们对神经网络了解较少，不确定它们究竟学到了什么，甚至难以让神经网络实现我们所期望的行为。
【3】强化学习
人工智能在预训练之后，会启动强化学习阶段，就是给一些“奖励”去进行引导。
Ilya说，由于强化学习的过程非常复杂，更为关键的挑战在于，强化学习甚至具备一定创造性，而强化学习时的AI提出的一些创造性解决方案，可能是人们目前无法理解的。
基于以上简单的说明，我们不难理解对齐的重要性以及困难程度。Ilya的前导师Hinton评价他，说他有很强的道德感，真的非常关注AI的安全。
图6.AlexNet团队 Ilya Sutskever（左）、Alex Krizhevsky（中）、Geoffrey Hinton（右）
Google I/O开发者大会上，Google开源了27B的Gemma 2和视觉语言模型PailGemma，包括之前Meta的Llama 3，不少大模型都选择开源，而OpenAI一直选择对其代码和训练数据保密。
对此，Ilya从安全角度的考虑是——从长远来看，封闭系统将是避免让其他人制造出强大AI的负责任的做法。今年四月时他说：“在某一个时间点，AI的能力将变得非常强大，以至于开源模型显然是不负责任的。”
与开源相对的，在OpenAI的「春季新品发布会上」宣布，以后OpenAI做产品要免费优先，让更多的人能使用。
“我对接下来发生的事情感到兴奋，接下来从事的这个项目对我来说非常有意义，我会在适当的时候分享细节。”这是Ilya官宣离职文案中的最后一句话。
没有透露什么具体信息，但在之前TED的演讲结尾，他说他真的很欣赏AGI的不可思议和戏剧性，随着每一代AI的进步，所有人都会体验到AI能做什么，这将改变人们对AI和AGI的看法，改变集体行为。尽管这项技术暴露了巨大挑战，但Ilya依然希望，自己能够克服这些失控的可能。
参考资料：
法律声明
本资料不作为任何法律文件，不代表泉果基金的任何意见或建议，不构成泉果基金对未来的预测，所载信息仅供一般参考。前瞻性陈述具有不确定性风险，泉果基金不对任何依赖于本资料而采取的行为所导致的任何后果承担责任。