泉心泉意
这是一场世界观的对抗；是“对技术变革乐观的企业家”和“保持质疑精神的政治家”之间的思维碰撞。这不仅揭示了内塔尼亚胡的科技哲学，也展示了他对权力的理解，以及他会以什么样的方式领导他的国家。作为乐观主义者，马斯克假设人类可以建设更美好明天，并将他的电动汽车、火箭和AI算法押注在这一基础上。但内塔尼亚胡认为，所有这些技术进步的好坏取决于操作它们的人类——但他对人性保持怀疑态度。
——《大西洋月刊》
以色列再次成为全球关注的焦点。
“生活是一场搏斗。它被定义为一场搏斗。它一直都被定义为一场搏斗。在这里，你与自然力量竞争、与其他人或动物竞争，在这个过程中，你要不停歇地改善自己的位置。这就是人类对自己的定义。我们的自我定义也基于此——无论是作为个人，作为国家，还是作为整个人类。”
Life is a struggle. It's defined as a struggle. It's defined all the time as a struggle.
Where you're competing within forces of nature, or with other human beings, or with animals, and you constantly better your position.
This is how the human race has defined itself, and our self-definition is based on that, both as individuals, as Nations, as Humanity, as a whole.
在三周前，9月18日，以色列总理内塔尼亚胡在美国旧金山，与特斯拉创始人埃隆·马斯克进行了圆桌讨论。尽管话题是以AI技术为主题切入，但其实讨论的是整个国家的发展，甚至是整个人类未来的生存方式。因此，《大西洋月刊》评论说，这次对话展现的不仅仅是内塔尼亚胡的科技哲学，也揭示了他对权力的理解，以及他领导国家的方式。就在这场讨论中，内塔尼亚胡表达了“life is a struggle”的上述观点，这可以说是他最为核心的对人类世界的价值观。
图1. 以色列总理内塔尼亚胡
来源：网络
与埃隆·马斯克和内塔尼亚胡同时参与讨论的还有两个人，一位是格雷格·布洛克曼（Greg Brockman），他是OpenAI的联合创始人、董事长兼首席技术官（CTO）；另一位则是目前在公众间备受欢迎的麻省理工学院物理科学家马克斯·泰格马克（Max Tegmark）*，他的科技播客拥有广泛受众。
*马克斯·泰格马克（Max Tegmark）麻省理工学院物理科学家、宇宙学家和机器学习研究员。
泰格马克教授刚刚出版了《生命3.0：AI时代的人类》。他也是研究AI对人类风险的生命未来研究所的主席，该研究所由DeepMind研究科学家Viktoriya Krakovna等人共同成立，埃隆·马斯克是该研究所的顾问之一。
正因如此，这次讨论在全球科技界都引发了广泛关注。
内塔尼亚胡被称为以色列历史上最具影响力、同时最有争议的领导人之一。他担任以色列总理超过15年，比任何前任总理任期都长。他毕业于美国麻省理工学院，还曾在波士顿咨询公司（BCG）担任顾问。
图2. 马克斯·泰格马克与格雷格·布洛克曼
来源：网络
在这次讨论中，内塔尼亚胡非常犀利，对马斯克抛出了“灵魂四问”：
问题1：价值数万亿美元的AI公司好像一夜之间诞生，将巨大的财富和权力集中在越来越少的人身上，这将在富人和穷人之间造成越来越大的距离，导致更大的不稳定，你知不知道如何应对？
问题2：比起AI可以创造的新的工作岗位，如果AI蚕食了更多工作机会，怎么办？
问题3：即使这项技术有好处，因为AI所需的数据、算力和工程人才集中在少数国家，是不是只会对少数人产生好处？
问题4：我们该如何为AI这种指数级的变化，注入它应该有的责任和道德约束？
马斯克解释说，“AI也有可能产生非常积极的场景，比如你可能拥有你想要的任何东西，你不需要工作，你没有什么义务，任何疾病都可以治愈，这在很多方面，类似于我们对天堂的描述，而死亡只是‘一种选择’。”
而内塔尼亚胡反驳道：“你真的想要活在这样的世界吗？
在讨论结束，内塔尼亚胡向包括埃隆·马斯克在内的企业家和科学家们正式发出了邀请，希望他们在以色列继续这场对话，他说，“我想邀请你们所有人都到以色列，延续这次对谈，再邀请你们的同事和一些领导者一起，共同讨论这个国际战略，让志同道合的国家首先开始行动，然后推广到全世界，把这作为一项行动计划如何？”
图3. 对谈中的内塔尼亚胡与马斯克
来源：网络
本期【泉果探照灯】全文编译刊登了这场科技讨论的核心内容，全文总长1.9万字。如果您时间有限，我们梳理出【15】条核心观点如下，您可以在1分钟内快速了解此次对话。
本杰明·内塔尼亚胡：
【1】（相对于AI的发展速度），我们在社会和政治方面的发展滞后了。（现在的我们）就像人在石器时代，手里却拥有了核技术！我们该如何应对？我们需要采取哪些方案，才能最大化效益并限制风险？
【2】我们已经不可能为AI发展按下“暂停键”了，就如同我们不可能把“精灵”收回“瓶子”一样，我也不确定人们是否真的能放缓 AI 的发展速度，我们唯一能做的，就是加快我们自己努力的节奏。
【3】我是一个坚定的自由市场人士。自由市场意味着公开竞争，这是有利的。我曾与你们的同事彼得·泰尔（Peter Thiel）聊过，他对我说：“规模优势都是垄断。”我说：“是的，我相信，但我认为我们必须在某个点，在形成垄断的边缘停下来，因为我们不希望压抑竞争。”
【4】我担心AI正在产生一堵新的墙，就像垄断一样。价值数万亿美元的AI公司，它们将巨大的财富和权力集中在越来越少的人手中。问题是，对于这种垄断力量，我们该怎么办？
【5】如果AI要吞食的工作比要创造的工作多得多，那么我们必须改变我们的经济政策和政治政策，我们可能有足够的钱来做到这一点，但这对于像我这样的自由市场信徒来说，我需要一个新的模型去应对。而且AI正在迅速发展，不会延缓，我们并没有那么多时间来适应这种变化。
【6】如何不仅确保我们照顾好自己，还要确保这些好处能传递给科学技术匮乏的地区，我认为这是另一个真正的问题。如何共享科技的红利，实现对每个人滴灌式的福利？但在AI方面，我似乎看到的是一个资源集中的状况，这将在富人和穷人之间创造越来越大的差距，这是另一个可能导致世界不稳定的重要因素，我不知道你是否有办法克服这个问题？
埃隆·马斯克：
【7】我们与数字超级智能（digital super intelligence）的关系就类似于，我们的大脑皮质和边缘系统，大脑皮质都是为更本能的边缘系统服务的。大脑皮质，也就是控制思维的部分，一直在努力制造人的本能上的快乐，尽管它比本能部分聪明得多。这表明，即使我们不了解数字超级智能，仍然可能有一个美好的未来。就像我们的边缘系统不了解皮质层一样，但皮质层始终在努力在让我们的边缘系统感到开心。
【8】很多人可能并未意识到，你们已经是一个半机械人了。我们的人体本身有着自己的边缘系统、驱动器，我们的大脑皮层中包含我们的思考和计划，而我们的计算机、设备、手机和笔记本电脑，其实就是我们身体的机械延展——这就是为什么如果你忘记了手机，感觉就像失去了肢体一样。
【9】我们所做的事（脑机接口），是提高大脑皮层和你的AI之间的带宽。比如，手机就是你自己身体的延展，而输入信息的手速限制了你的信息带宽。我们假设你是AI, 如果你只是希望人类告诉你，他们想要什么，那人类只要说出来他们的需求就好了, 但是我们现在说得太慢了。
格雷格·布洛克曼：
【10】我们需要有创造性的解决方案。社会的经济产出和构建一个稳定社会所需的条件，可能会从根本上改变。
【11】我们将会迎来“后稀缺社会”：工作不再是为了生存，而是一种身份的认同。你的整个身份都围绕着你的工作展开。我们和工作的关系，以及我们的意义体系将会发生根本性的变化，这可能会导致一个看起来非常不同的景象。
【12】我们正在构建的技术具有非常不同的属性，我们需要不断校准，而不是仅关注AI在当前的系统里能做什么。也是我们研发Chat GPT的原因——为了防止我们被头脑中的思维定势所限制，不要想当然地做出判断：比如这就是一切将如何发展的路径，这就是人们将如何滥用 AI 的方式……我们需要花很多时间去思考，什么是AI真正的应用场景，哪些合适哪些不合适，但也要真正尝试向前看。
【13】库兹韦尔的著作《奇点临近》得到了很多人的认可，人们有时会认为它是一本在这个领域近似于圣经的存在。
马克斯·泰格马克：
【14】AI对人类，既是祝福也是诅咒。很长一段时间里，我都对祝福部分感到非常兴奋，比如我们该如何使用AI来解决那些所有因为我们不够聪明所以过去没能解决，但是将来要解决的问题，让人类可以在地球或者更远的地方繁衍数十亿年。同时，我也非常关心诅咒的部分，我们需要引导这种强大的技术远离诅咒，并趋近祝福的方向。
【15】被动的态度是错的。如果我们采取被动的方式，比如，坐在这里吃爆米花，等待未来降临，那么，我们将直奔灾难。即使在经济学中，一个国家也不能只是坐下来等待事情发生，你要问自己想要达到什么目标，然后去做。
以下为1.9万字全文精华实录：
本杰明·内塔尼亚胡, 以下简称内
埃隆·马斯克, 以下简称马
格雷格·布洛克曼, 以下简称布
马克斯·泰格马克, 以下简称泰
诅咒还是祝福
内:
我先在此插播一下泰格马克教授写的这本书《生命3.0：AI时代，人类的进化与重生》，我读了，这是一本好书。所以这是用Chat GPT写的吗，还是……？（笑）
泰:
我可以证明不是AI写的（笑），我有AI的不在场证明。因为连格雷格的 OpenAI都还没开发出这么快的AI，无法在这本书出版的时候把它写出来。
我同意你们之前提到的一个说法：AI对人类，既是“祝福”也是“诅咒”。很长一段时间我都对祝福部分感到非常兴奋，比如我们该如何使用AI来解决那些因为我们不够聪明所以过去没有解决，但将来要解决的问题，让人类可以在地球或者更远的地方繁衍数十亿年。
同时，我也非常关心诅咒的部分，所以9年前，我创立了一个名为“生命的未来”的非营利研究所，我与马斯克一起发起了有史以来第一次将AI安全主流化的尝试，通过启动全球捐赠计划、教育和会议等来确保AI安全。格雷格也参与了我们这些项目，帮我们引导这种强大的技术远离“诅咒”，靠近“祝福”。
内:
在座诸位都堪称才华横溢，你们正在改变历史。但同时这种能力也会带来巨大的责任，我们讨论的关键是，如何在这种指数级的巨变中，融入我们所需的责任与道德。你们会怎样做？这是我真正想从你们这里了解的。
马:
我认识AI领域的每个顶级专家，我真的想不出有谁在AI研究上有不良动机。我认为我在AI领域认识的每个人都有很好的动机。他们希望创造帮世界变好的技术。但你也可以说，如果你想到像爱因斯坦这样的人，他显然是一个非常爱好和平的人，他并不知道自己在物理学上的成果会导致核武器的诞生。他并不是说，让我们来造超级武器吧，他只是想试图了解宇宙的真相……
大家在对AI进行任何批评之前，我很想说，对AI发展进程的讨论，并不等同于对研究AI的人的批评。我希望大家记住，就像爱因斯坦一样，他没想到他的研究会导致核战争。我们需要保持谨慎的是，即使有最善意的意图也可能创造出有不良后果的东西，这是可能的结果之一。我们希望尝试采取所能采取的一切措施，来确保人类的未来是美好的，我希望AI更像是一个对人类的祝福，而不是诅咒。
布:
这绝对是我为之工作的原因，我不认为AI是为了作恶，但我认为平衡真的很关键，真正重要的是去校准关于技术权力的选择。
AI技术真的令人惊讶。它和之前科幻小说中阿西莫夫、埃利亚斯·亚德科夫斯基他们讲到的都不一样，甚至和所有人类对这种甚至比人类更聪明的机器的假象也都不一样。不知道为什么，这些都没有真正准确地预测GPT3。
*艾萨克·阿西莫夫：美国科幻小说黄金时代的代表人物之一，他的代表作“基地三部曲”被认为最重要的现代科幻作品，他一生创作和编辑过的书籍超过500册。
*埃利亚斯·亚德科夫斯基：是美国决策理论、AI研究人员和作家，以推广“友好人工智能”的理念而闻名。他认为，友好（即不伤害人类的愿望）应该从一开始就被设计出来，但AI设计师应该认识到他们自己的设计可能存在缺陷，并且机器人会随着时间的推移学习和发展。
我们正在构建的技术真的具有非常不同的属性。
比如国际象棋，AI改变了人们过去对国际象棋竞技的看法，事实证明这只是第一步。我们真正需要的是不断校准，而不是仅关注AI在当前的系统里能做什么。这也是我们研发Chat GPT的原因，为了防止我们被头脑中的思维定势所限制，不要想当然地做出判断：比如很肯定地下定论——这就是一切将如何发展的路径，这就是人们将如何滥用它的方式……
我们需要花很多时间去探索AI真正的应用场景，哪些合适？哪些不合适？要真正尝试向前看。
因此，我们一直在努力地进行AI的能力预测。在我们新发布的GPT4的版本中，有一个进展是被忽略的，这就是我们对GPT4实现了比前几版更确切的能力预测，甚至在训练它之前，就已经预测了它能力可达的范围。这是我们在以前模型上无法实现的成就，我认为这种AI的能力预测，尤其是在GPT社会应用规模上实现这种预测，这是我们如何把这件事做对的关键之一。现在当我们走到十字路口，我们已经能预测出结果了。而此前AI在大多数时间里，会让我们措手不及。
*能力预测（Capability Prediction）：LLM模型的“能力预测”是个新研究方向。它采用小模型来预测某些参数组合下对应大模型的某种能力，如果预测足够精准，能够极大缩短训练的周期，同时极大减少试错成本，所以无论理论价值还是实际价值都很可观。
后稀缺社会 工作的意义
内:
我想再问一些不同层次上的问题。我认为AI带来重大变革前，我们可能还有大约6年的时间来思考这个问题。
作为一个国家的领导人，我很清楚地知道以色列拥有非常多的AI人才，相对于人口规模，我们AI人才的绝对数量在全球排名第二，但我希望我们整体的AI实力将来能够进入全球前三，因为这对国家的发展至关重要。
与此同时，我也有担忧。比如，现在美国好莱坞的编剧、导演和演员已经因为ChatGPT的出现而集体抗议，你认为随着AI发展，对劳动力市场的影响会是怎样的？
当然，你可以试图安慰我说，以前的科技革命都创造了更多的工作岗位，而且比失去的工作岗位多得多，但我想问，现在你真的还相信会是这样吗？
布:
说实话，我认为答案并不明朗，答案不是显而易见的。
最重要的是要全局考虑。当然，有些工作将会消失，但边际岗位创造的最终平衡状况到底会是怎样的呢？
像你说的，我们可以讲述一个听上去令人欣慰的故事，比如看看以往的每一项技术……但我确实认为，AI是不同于以往的技术，此前，通常我们看到的，是创造过程中，机械部分的自动化，而AI几乎是改变了创造的创造性本身。
但我们希望，能从那些我们曾经做的对的地方出发，更进一步。这不仅仅是说，好吧，我本来可以成为一个艺术家，现在AI也成了一个可以和我媲美的艺术家。我们希望，AI可以帮助我们提出想法，并解决那些我们以前无法解决的问题。
那么，这个世界会是什么样子呢？在一个“后稀缺社会”中，工作不再是为了生存，而是一种身份的认同。你的整个身份都围绕着你的工作。
内:
你通过工作来定义自己。
布:
是的，没错。那么接下来会发生什么，会是什么样子呢？我对这个问题并没有确切的答案，但我认为我们和工作的关系，以及我们的意义体系将会发生根本性的变化，这可能会导致一个看起来非常不同的景象。
对于这个问题的答案，就好像你是一个狩猎采集者，有人问你，在农业革命后，我们的狩猎采集者工作会发生什么变化，这听上去很奇怪，对吧？因为框架改变了，所以我并不是在回避问题。
我认为确实有可能像大家担心的，会有更多的工作消失而不是创造，也可能会有很多动荡，但我认为我们必须去看大趋势，我们越能预测它的走势，我们就越能得出具体的答案。我们的团队在努力尝试，但我认为我们只是刚刚开始，我们也需要大家的帮助。
内:
我是一个坚定的自由市场人士。自由市场意味着公开竞争，这是有利的。我曾与你们的同事彼得·泰尔（Peter Thiel）聊过，他对我说：“规模优势都是垄断。”我说：“是的，我相信，但我认为我们必须在某个点，在形成垄断的边缘停下来，因为我们不希望压抑竞争。”
但是我担心AI正在产生一堵新的墙，就像垄断一样。价值数万亿美元的AI公司，它们将巨大的财富和权力集中在越来越少的人手中。问题是，对于这种垄断力量，我们该怎么办？
如果AI要吞食的工作比要创造的工作多得多，那么我们必须改变我们的经济政策和政治政策，去安顿失去工作的人们，确保他们有体面的生活和必要的服务。
我们可能有足够的钱来做到这一点，但这对于像我这样的自由市场信徒来说，我需要一个新的模型去应对。而且AI正在迅速发展，不会延缓，我们并没有那么多时间来适应这种变化。
泰:
我喜欢你们的质疑态度，我尝试延续这一主题。如果我们采取了被动的方式，比如，坐在这里一边吃爆米花一边等待未来降临，那么，我们将直奔灾难。被动的态度是错的，即使在经济学中，一个国家也不能只是坐下来等待事情发生，你要问自己想要发生什么，然后去做。
在这种情况下，我认为要提出的问题是，如何确保我们能够控制AI，而不是被AI控制？我很荣幸我的这本书没有无聊到把你们看睡着。我与这本书的合著者撰写了一篇论文，介绍了我们如何控制比我们更聪明的机器。
你知道，唯一能让你相信，比你聪明得多的东西会按你的意愿行事的方法，就是通过证明，因为无论它有多聪明，它也永远无法做到被证明不可能的事情。
内:
你怎么知道证明一定是正确的？
泰:
这就是数学的美妙之处，你实际上可以检查这个结果。
布:
我认为还有一个更大的图景。在我看来，如果你考虑网络安全，它就永远是一场猫捉老鼠的游戏。有攻击者，有防御者，每个人都在升级，试图击败另一个。会有防御者完全获胜的时候吗？会有攻击者完全获胜的时候吗？我认为有了AI，这种平衡可以改变，我认为形式验证就是一个例子，也许你可以让防御者一劳永逸地获胜。
内:
我认为，除了你提出的这些宏大问题之外，对我来说，更棘手的是制定一项国家级别的政策。我打算在几个月内宣布一些相关政策，这次谈话再次提醒我了这一点。
大家都在思考，要如何相对应地去改进所有系统？交通、健康、教育、农业生产等等，政府、私营部门、慈善事业、学术界等等，他们的作用是什么？各个国家都在寻找解决方案。
你会做些什么？你会建立什么样的机制？
我认为更大的问题是，像你之前说的，埃隆，你需要大数据，你需要足够的算力，你需要创建算法，但这些资源都只是集中在少数几个国家。
同时，如何不仅确保我们照顾好自己，还要确保这些好处能传递给在科学技术匮乏的地区，我认为这是另一个真正的问题，如何分享科技的红利，实现对每个人滴灌式的福利？但在AI方面，我似乎看到了一个资源集中的情况，这将在富人和穷人之间创造越来越大的差距，这是另一个导致我们世界巨大不稳定的因素，我不知道你是否有办法克服这个问题？
布:
首先，我想说，就人才密度而言，我们公司就有相当数量的以色列工程师、科学家和管理者，他们是毫无疑问的顶尖人才。比如我们有一位负责核心团队的经理，他是特种部队出身，没有什么能吓倒他。
我认为我们应该追求的世界是——所有“船”都在上升的世界，我认为在这个领域会存在某种不平等，我认为这是像您这样的领导人需要意识到的问题，我们已经讨论过无条件基本收入（UBI）的议题。OpenAI实际上已经进行了全球范围内最全面的UBI研究。这个研究的概念是，政府只负责分发金钱，而大多数人都将不再需要工作，这是否行得通？也许可以，也许不可以。因为需要考虑很多的假设。
但我认为我们需要有创造性的解决方案。就像我之前说的，就像防守与进攻可能从根本上改变，经济产出和构建一个稳定社会所需的条件，也可能会从根本上改变。
奇点临近 人机结合？
内:
埃隆，我曾经问过你一个问题。我记得是某个晚上，我问你当人们不用工作，而政府照样给他们钱的时候，你会怎么做？我记得你说，“哦，住在天堂有什么不好的”，对吧？我记得你说过。
马:
是的，我印象中，在天堂里你不需要工作，我的理解是这样。
我并不是说这一定会发生，AI的未来有一系列的可能的场景，从非常负面到非常积极。非常积极的情况基本上听起来就像天堂，你可以拥有你想要的任何东西，你不需要工作，你没有任何义务，你遇到的任何疾病都可以治愈。
内:
这样的话，我们什么时候死？
马:
这是一个很好的问题。
布:
我认为这将是一个选择问题。
马:
我认为死亡最终可能是一种选择。
内:
你真的想要生活在这样的世界吗？
马:
嗯，我不知道，这是一种哲学上的辩论，就是通常所描述的天堂实际上是否是你想要的。我的意思是，如果在未来，AI可以比你做得更好，甚至远远超过你，这有点像“人为什么活着”这种生活如何寻找意义的问题。那如果我们生活在一个AI可以比你做得更好的世界中，我们要不要过享乐主义的生活呢？我不知道，这很难说。
但从积极的角度来看，将不会有物质和服务的匮乏，无论你想要什么，想要多少，机器人和计算机都可以制造出来，给到需要的人，没有任何限制，我们所面临的任何匮乏都是人为的。也就是说，如果你定义一个人类创作的特殊艺术品是独特的，那么这是人为的稀缺，但实际上将不会有任何真正的匮乏，除非我们刻意地定义它，只是为了找到一些所谓稀缺的东西。
所以我认为对于很多人来说，这是一个好的未来。但对我个人来说可能有些沮丧，因为我可能会想，那我现在该做点什么呢？
内:
到时候你会想出一些事情的。
我想向大家请教的是，我们如何定义自己？你谈到了这一点，格雷格，圣经中有这个神话，我们有天堂，你可以从树上摘下水果，你什么都不必做，然后蛇来了，把事情搞砸了，然后我们要为劳动而劳动。
生活是一场搏斗。它被定义为一场搏斗。它一直都被定义为一场搏斗。在这里，你与自然力量竞争、与其他人或动物竞争，在这个过程中，你不停歇地改善自己的位置。这就是人类对自己的定义。我们的自我定义也基于此——无论是作为个人，作为国家，还是作为整个人类。
但是，现在这一基础可能受到挑战，也确实受到了挑战。因此，受到挑战的，既是我们在整个人类历史和进化过程中的自我定义，也是我们继续存在的问题。
布:
在我心目中，整个过程都是关于范式转变的。
我认为，对于后AI时代，我们可能很难想象真正的好处是什么，因为这不仅仅会是物质的丰富，不仅仅是我们都有漂亮的车之类的东西，比如特斯拉（笑），而且每个人都能接受良好的教育。
你知道，很多人小时候都有过这样的经历，比如一个特别关注他们的好老师，在某个特定科目上，通过鼓励，激发了他们的成长。想象一下，如果你可以不断地得到一位这样的老师，在任何一个你想要涉足的领域，那人们将变得多么优秀？我们与他人的关系会也会变得更好，而这只是可能产生的众多好处之一。
我认为作为一个人的意义是什么，你知道，如果回到预测下一步的问题，对于AI革命将如何发展，我认为最有远见的思考者实际上是雷·库兹韦尔（Ray Kurzweil）。
马:
我同意。
布:
是的，他的书《奇点临近》得到了很多人的认可，我认为人们有时会认为它是一本在这个领域近似于《圣经》的存在，但实际上它是一本非常枯燥的分析性著作。他只是观察计算曲线，并说这是智能的基本解锁方式，每个人都认为这是疯狂的，但现在它基本上已经成为了共识。
*《奇点临近》2005年出版，作者雷·库兹韦尔是世界领先的发明家、思想家、未来学家。奇点 （Singularity）表示当社会模式变化的加速度与信息技术的指数增长速度相同，都处于曲线的拐点时，在这个时期，指数增长的趋势将变得非常明显，一旦越过这一阶段，这种加速的趋势将呈爆炸式地增长。他预言，在2045年，奇点来临，人工智能完全超越人类。而他最新的观点认为2030年，人类就将获得永生。届时，人、机开始结合，碳基生命转变成硅基生命，人类物种很可能就此改变，人也将可以实现永生。
图4. 《奇点临近》作者雷·库兹韦尔
来源：网络
马:
是的，我一直告诉人们，他说的几乎完全正确。
布:
这真的听起来让人毛骨悚然。他说2030年左右，我们将迎来“人机合并”。我们会有神经连接等技术，以及其他类似的系统。那么，一旦你与智能实体合并，这意味着什么呢？
马:
Neuralink的发展速度必然比AI慢，因为当你要将设备放在人类身上时，你必须非常小心。所以我不清楚Neuralink是否会在AGI之前准备好，我认为AGI可能会首先发生。有时数字超级智能被称为奇点，就像黑洞一样，我们很难预测通过黑洞后会发生什么。
所以Neuralink最初对大脑或脊柱受伤的人非常有帮助，只是用于做一些基本的事情，比如让像斯蒂芬霍金这样的人，和其他人交流起来，实际上比我与一个功能齐全的身体交流更快。
*Neuralink：马斯克旗下的脑机接口公司，主要开发人脑与机器的接口，将人类与计算机连接起来。2019年，Neuralink首次宣布在猴子身上测试其设备；2021年，Neuralink展示一只植入其设备的猴子通过心灵感应玩电子游戏，引起巨大轰动；2023年5月，Neuralink宣布已获得美国食品药品监督管理局（FDA）的批准，将启动首次脑植入物人体临床研究。
图5. 猴子通过心灵感应玩电子游戏
来源：网络
最终我们要提高的是大脑皮层和你的AI版本之间的传输带宽。
事实上，很多人可能并未意识到，你们已经是一个半机械人了。我们的人体本身有着自己的边缘系统、驱动器，我们的大脑皮层中包含我们的思考和计划，我们的计算机、设备、手机和笔记本电脑，其实就是我们身体的机械延展——这就是为什么如果你忘记了手机……
内:
你会惊慌失措，人们可不愿意离开他们的手机！
马:
是的。如果你忘记了手机，就像得了“失去肢体综合症”一样，你会奇怪，那东西去哪儿了？所以正因为如此，手机就是你自己的延伸。手限制了你的信息传输带宽。因为你可以输入的速度，或者我应该说输出信息到你的手机或电脑的速度非常慢。
所以对于手机来说，你的信息带宽限制是你拇指移动的速度。在最好的情况下，您在键盘上的打字手速很快，但即使是这样，你的数据速率传输也非常慢。我们谈论的是每秒数十位，也许数百位。而计算机可以每秒以数万亿比特的效率进行通信。
我们假设你是AI，如果你只是希望人类告诉你，他们想要什么，那人类只要说出来他们的需求就好了，但是我们现在说得太慢了，像树和树之间的交流一样。其实，你知道树也在交流的，如果你认真观察树，比如加速播放一棵树生长的延时摄影视频，你会看到它实际上在交流，它在与土壤交流，它试图找到阳光，它对其他树做出反应，但这种类似的事情非常缓慢，虽然从树的角度来看，它并不慢。
所以我想说的是，我们不想成为树，这就是高带宽神经接口的理念，假设AI迫切想要为我们做好事时，我们可以比现在更快地进行交流，去加速实现这些任务。
泰:
我喜欢你提到的树的例子，因为如果有人仍然很难理解为什么我们很有可能被AI灭绝，不妨想想这个例子。对于超级智能的AI来说，我们就像树一样。
AI的思维比我们快得多。所以如果一些在热带雨林中的树，担心有人类会来砍伐它们，它们可能会彼此鼓劲“哦，不用担心，我们很聪明，我们会阻止那些人类”。但如果真是这样，那我就只能祝树们好运了。
我喜欢你在这里进行哲学讨论，谈论成为人类的意义，我想继续延伸探讨这个问题。
内:
所以你假设人类有灭绝的风险，是因为计算机会超越人类，比人类强大很多倍，但它们不一定会重视人类的持续存在，它们会编程将我们消灭，这就是你的想法吗？
泰:
如果我们愚蠢到创建出比我们强大得多的实体，却给它设定与我们一致的目标，是一个非常糟糕的事。我们不要犯这个错误——赋予机器太多的权力，却不主张共同的价值观。
当然，我们可以用各种方式来解决这个问题。但具体能做什么？我想起一句关于人类的哲学观点，对我来说，我作为人最珍视的一件事是：我拥有主观能动性，我可以做出选择，并有所作为。
不要只问自己，“我们认为会发生什么”，而是问“我们想发生什么”。
第二，我在很多点上都赞同格雷格，也非常尊重你的工作。我们之间存在的一个友好分歧是，我签署了那封呼吁暂停训练 AI 的公开信，认为我们应暂停那些最危险的事情，而你没有。
我认为应该效仿生物技术方面的做法，并制定一个明确的安全标准。就好像你想发布一种新药，你不能直接上市销售，必须进行临床试验，或者以某种方式说服专家，这种药是安全的。
我们可以将这些标准落实到位后，继续用人工智能技术做各种奇妙的事情。有些东西会等待更长时间，但这份等待是值得的，因为它是安全的。
我想说的最后一件事是，我认为对于我们来说，要真正发挥能动性并共同努力，不仅是在公司之间，而且在跨国之间，我们需要一个共同的积极愿景。
当石器时代 有了核武器
内:
我们的技术发展很快，而我们在社会和政治方面发展的相对有点滞后。我们现在就像是身处石器时代，却拥有了核技术，我们该如何应对？这或多或少就是我谈论的发展速度问题，我们需要采取什么方案，以最大化效益并限制风险？
我想我们应该形成共识。埃隆，你前几天在参议院开会，我猜想你们谈论的与这个相关。你不必透露你不能泄露的信息，但可以透露一些你能透露的。
*注：美国参议员Chuck Schumer在参议院办公大楼举办了一场“人工智能洞察论坛（AI Insight Forum）”，讨论潜在的AI监管问题。与会者包括埃隆·马斯克、比尔·盖茨、马克·扎克伯格、Open AI的山姆·奥尔特曼和英伟达的黄仁勋等。
马:
当时有很多人参会，所以我觉得这应该不是什么机密。这只是一场关于人工智能监管的讨论，OPEN AI的山姆·奥特曼（Sam Altman）也在现场，还有很多企业家、领导人都在。
我认为，成立人工智能的监管机构是个好事，可以集思广益以获得最大程度的互相理解，根据提议去拟定一些规则，最终制定法规。这就像药品有食品药品监督管理局，火箭有联邦航天局。
随着时间推移，你会发现，能对公众构成危险的事情，往往缺乏一个监管机构来保护公共安全。而我们往往是在灾难发生后才学会这一点。
当然我不认为监管是灵丹妙药，只有好处没有坏处。监管当然也会带来一些负面影响，比如延缓技术发展的进程、有时你的发展会被监管限制住，诸如此类……但总的来说，我认为公众并不想摆脱大多数的监管机构。
你可以把监管机构想象成裁判——什么体育比赛会没有裁判呢？我们需要有裁判来确保大家不违背规则、公平竞争，这就是为什么几乎每项体育运动都设有裁判。这也是人工智能能够实现安全发展的基础条件。我也一直在向外界表达这一主张。
几个月前，我到访中国，会见了一些高层，但我们探讨的主要话题的是人工智能的安全和监管。经过长时间讨论后，我们达成一致，对人工智能进行监管是有意义的，并且立即采取了相关措施。
我们有时候会看到这样的评论：如果西方国家对人工智能进行监管，而中国放任人工智能的发展，然后突飞猛进，我们该怎么办？但我认为，中国对监管也是十分重视的。
格雷格，不知道你对此怎么看？
布:
很多人都在谈论“回形针问题”，这个理论假设，我们真的在一台机器上编程，让 AI 制作尽可能多的回形针，AI 变得非常智能，然后所有的房子和工厂，以及其他不生产回形针的东西，现在都被 AI 用于回形针的生产。但这并不是我们实际上正在走的技术道路。
*回形针问题：这一个思想实验，它说明当以单一目标为编程目标时，通用人工智能的潜在危险。它设想了这样一个场景，将通用人工智能的目标设为，最大限度地提高回形针的产量，当它不顾一切地追求这一目标，可能会造成意想不到的后果，甚至伤害人类。它强调要赋予AI系统的与价值观一致的目标，并确保AI对其行为的后果，有更全面的理解。
但是，其实GPT3是一个能够理解细微差别的系统，（并不像回形针问题中假设的那样），它具有常识，当然它有一些其他问题，它也会犯那些没有人类会犯的错误，比如失去了思维逻辑，会说一些奇怪的话，编造一些内容出来等等。
泰格马克提到了暂停信。暂停信的关键诉求是，呼吁在接下来的6个月内不训练GPT5。其实无论如何，我们在接下来的6个月里都不会训练 GPT5，我们本来也没有这个计划。
我认为，这项技术的发展还有另一种祝福和诅咒。
比如我们谈论数字超级智能，也谈论ChatGPT，但这些都是非常不同的东西，虽然它们之前有千丝万缕的联系。
我认为值得高兴的是，我们窥见了一点未来，我们在尝试做一个系统，为每个人提供的个性化导师。现在，它不是一个完美的导师，它有很多问题，但你可以免费使用ChatGPT，询问任何事情，它有时的确会给你一些非常有见地的东西。
我们应该区分当今人工智能技术可能带来的问题和这一应用的开源传播。我认为技术开源就像人才的培养一样，我们不应该压制那些我们本应该推广的技术。
再说一点，我们正在建造人类有史以来最庞大的机器。
就像埃隆所提到的，这些令人震撼的数据中心，如果你只看抽象数据，你是不会有那种感觉的。
你只有肉身到场，亲眼见到了，你才能真正感受到。我去过一些数据中心，当你看到如此大规模的GPU（图形处理器）和算力，这是非常不同的。你会意识到我们正在建造一种怎样规模的智能。我认为这种事情我们是需要国际上的共识和合作的。
“暂停键”不存在
内:
我完全同意你的看法。恕我直言，“暂停键”是不存在的。我们不能把从瓶中放出来的精灵再装回去，也不确定是否真的能放慢速度——唯一能做的就是加快我们自己的努力的节奏。我也很认同你，必须实现国际协作。
我们可以先从志同道合的部分国家开始。进行一次有力的对谈。首先明确在我们中间有什么是不想共享出来的负面清单，即那些与我们国家安全息息相关的信息。道德标准和其他法规也必须在行业和政府之间迅速推行。然后，我们再像刚开始那样，基于世界其他大国的自身利益，与他们开展讨论与协作。
我认为我们有机会，在某种程度上掌控我们的未来。
我不确定我是否想生活在天堂，这可能很无聊。我不是说公司无聊，而是我们共同的发展中的未来社会。
但是我宁愿生活在一个无聊的天堂，而不是一个有趣的地狱。
泰:
在特斯拉，他们称暂停为休整。当我们发布这封暂停信时，我个人并不认为它会立即引发暂停。它的真正目的是将这些问题的讨论主流化，这也确实产生了效果。我真的很感谢，你和合伙人山姆，以及你的同事们能够公开表示，如果条件合适，你们可能会想要暂停某些事情。
这是我好奇的事情。实际上，我很想听听你们都有什么标准？有哪些事情会让你很想暂停？即使你和山姆想暂停，你们是否能抵抗住商业压力？
布:
我同意你们俩的观点。
我认为未来人工智能发展，并不像很多人描述的那么简单——你正在做规模扩张，在这一过程中，你看到了一些错误和风险，然后你就能简单地暂停，转头回去做一些校准，然后就能让它朝正确的方向发展。
绝不会是这样简单。
我们需要为创造一个美好的未来而付出最大的努力，这是你不想停下来的事情，我们现在想做的就是挽起袖子去干。
现在的问题是，哪些行动会带我们去想去的地方？而哪些行动会阻碍这个目标？这是我们应该讨论的问题。
我们没有开始训练GPT5的原因是，在我们做能力预测的时候，虽然预测质量有了很大的提高，但其中有一些实验还是有点奇怪的地方，我们不确定已经完全理解了它们。
我们花了很多时间来解决这个问题。实际上我们这样做的原因之一是出于安全考虑，因为如果忘记了这一点，就不能建立一个好的系统。
我认为AI在很多地方，其实技术有用性和安全性是高度一致的。当你发布了新的GPT，你会发现市场真正讨厌的是模型胡编乱造。我认为修复这些技术漏洞和实现安全性其实是非常一致的。
但是，其实更难的问题是，当技术、安全与其他价值观发生冲突。
比如我们推出初始GPT的API（应用程序编程接口）的方式是，我们将会监控和记录一切，这样如果出现错误，我们将去回看日志来解决问题。但是这会让我们看到用户做了什么。而人们讨厌这样，对吧？
大家都希望对其他人这样做，但是想保护自己的隐私权，这就很矛盾，我们如何平衡这些因素？
事实上，我们十分清楚，要想真正赢得这门生意，就得向客户保证“我们不会保留您的任何数据，我们会立刻删除数据”。这将导致我们事后无法回溯调查。
实际上，政府的强制规范可以在这一点上提供很大帮助。如果这是强制的规则，每个人都必须遵守，就可以避免恶性竞争。
这有点微妙，有时会完全违反我的直觉。
就像我们现在所了解很多知识，如果你10年前告诉自己这些内容，你那时会觉得，这不可能、太疯狂了！但是，我们必须克服这一点。
内:
我想邀请你们所有人都到以色列，延续这次对谈，再邀请你们的同事和一些领导者一起参与，共同讨论这个国际战略，让志同道合的国家首先开始行动，然后推广到全世界。把这作为一项行动计划如何？
你们所做的工作令人惊叹，没有什么比这更了不起。
埃隆在说，什么是人？这是一种像猿一样的两足生物，他有欲望、皮质层和大脑，但大脑正在以我们无法想象的方式发展，没有停止。
马:
我之前也提到过，应该对数字超级智能（digital super intelligence）的未来乐观一点点，而不是以非常具体的措施去限制它的发展。
*注：马斯克认为人类和机器之间的最佳结果是共生，意即人类自身转变成为AI。如此一来就不用再担心产生邪恶AI独裁的可能性。任何人都可以自愿地成为一个“AI 和人的共生体”。马斯克用人脑中边缘系统（Limbic System）和大脑皮质之间的合作来比拟这种关系。称这种共生，就像人类大脑中这两个分别控制直觉本能和思维的区域在协同工作，很难看到有人可以只依赖其中一个存活。
就类似于，我们的大脑皮质和边缘系统，大脑皮质实际上都是为边缘系统服务的。大脑皮质，也就是控制思维的部分，一直在努力制造人本能上的快乐，尽管它比本能部分的边缘系统聪明得多。
数字超级智能（digital super intelligence）比我们的大脑皮层聪明得多，但它仍然希望让大脑皮层快乐，并最终让边缘系统（直觉本能）快乐。
这表明，即使我们不了解数字超级智能，但仍然可能有一个美好的未来。就像我们的边缘系统不了解皮质层一样，但它最终在努力让我们的皮质层和边缘系统感到开心。
内:
这听上去，可以作为咱们这次讨论的一个开心的阶段性收尾？
泰:
我认为这是一个很好的结束语。
马:
谢谢！
布:
今天的讨论太有趣了！
参考资料：
AI Safety Panel | Elon Musk, Max Tegmark, Greg Brockman, Benjamin Netanyahu, Sep 18, 2023
The Unlikely World Leader Who Just Dispelled Musk’s Utopian AI Dreams, the Atlantic, Sep 22, 2023
脑机接口会彻底颠覆人类文明的进程吗？
戏说三国之“经济学之叔”的诞生（下）
戏说三国之“货币霸权”争夺战（上）
电竞首金背后：关于冠军心性、饭圈文化和产业认知
历史上的今天 |【9.25】川行万里 山河同心
为什么说芯片是世界上最关键的技术争夺战？
请带着恐惧同行，但别让他碰方向盘
从跟跑到领跑：中国商学院如何破局？
哪里跪了？（下）巴菲“特”烦恼：城市套路深 我想回农村
哪里跪了？（上）华尔街的800个心眼子 巴菲特也烦
遥遥领先：如果了解历史，你就知道技术不可能被垄断
9.11逃生的血泪教训 警惕潜意识的致命操纵
塞思·卡拉曼24000字市场及投资观点（全文编译）
100年前的投资圣经，到今天还有价值吗？
泡泡玛特王宁：为什么13年还没碰到真正的对手？
王国斌：“骑驴与献铝”从文明和视野的冲突看投资
王国斌：珍惜不确定性 保持乐观
任莉：因上努力 果上自成
泉果之道 “涌泉”相报
草木山石 “心远·地偏”之处炼就浩然之气
王国斌谈投资的成功归因：变动的市场 不变的人性
王国斌：如果巴菲特投资A股 他会怎样赚钱?
叙事与投资：王国斌“后疫情时代投资”演讲实录
法律声明
本资料不作为任何法律文件，不代表泉果基金的任何意见或建议，不构成泉果基金对未来的预测，所载信息仅供一般参考。前瞻性陈述具有不确定性风险，泉果基金不对任何依赖于本资料而采取的行为所导致的任何后果承担责任。
• END •