4月18日，Meta重磅推出Llama 3，称其为迄今能力最强的开源大模型，Llama3的登场，又一次影响AI大模型竞争格局，引爆AI圈。
同日，Meta CEO 扎克伯格与知名科技播客主持人Dwarkesh Patel专访同步发出，在长达80分钟访谈里，主要围绕Llama3、AGI、能源问题、AI安全问题、开源的风险与意义进行探讨。
扎克伯格称，AI已成为Meta核心，Meta AI现在是目前可免费使用的最智能的AI助手，即将推出的Llama 3大型版本将拥有超过4,000亿参数。
AI模型训练与发展方面，扎克伯格提到Llama 3的出现，证实大规模数据与计算资源对AI模型的重要性，未来，训练大型AI模型，可能面临资本与能源限制等挑战，强调AI的出现，不是试图取代人类，而是为了赋予人们更强大的工具，完成更有挑战性的任务。
扎克伯格称，AI发展遇到GPU供应与资金不足问题前，会首先遇到能源问题；Meta可能很快就会在自研芯片上训练大模型。
访谈全文：
Llama 3顶配版仍在训练
Dwarkesh Patel：Mark，欢迎来到这个播客。
Mark Zuckerberg：谢谢你邀请我，我是你播客的忠实粉丝。
Dwarkesh Patel：非常感谢你的赞美。让我们先聊聊这次采访发布时，也会同步发布的产品。能跟我讲讲关于Meta AI与相关模型的最新进展吗？有哪些令人兴奋的地方？
Mark Zuckerberg：我想大多数人会关注到Meta AI新版本，我们正在做的最重要事情是升级模型。我们发布Llama 3，我们以开源方式提供给开发者社区，同时它将为Meta AI提供支持。
关于Llama 3有很多值得讨论的地方，我认为最重要的一点是，我们现在认为Meta AI是人们可免费获得最智能的AI助手，我们整合了Google与Bing以获取实时知识。
我们将让它在我们应用中更加突出，在Facebook、Messenger顶部，可以直接使用搜索框来提出问题。
我们增加了一些我认为非常酷、人们会喜欢的创作功能。我觉得动画是很好的例子，你基本上可以拿任何图像，让它动起来。
人们会觉得非常惊艳的一点是，它现在可以如此快速生成高质量图像，是在你输入的同时，实时生成与更新。你输入查询，它就会去适配，比如给我看一张牛站在有山脉背景的田野里，吃着夏威夷果，喝着啤酒的图片，它会实时更新图像，这非常酷，我想人们会很喜欢，我觉得这将是大多数人在现实世界中能感受到的。
我们正在推出它，不是所有地方，我们从少数几个国家开始，未来几周与几个月会扩大范围。我认为这将是很了不起的事情，我真的很兴奋能把它交到人们手中，这是Meta AI的一大进步。
如果你想深入了解一下，Llama 3是技术上最有趣的。我们正在训练三个版本：分别是80亿、700亿、4,050亿的密集模型，4,050亿模型仍在训练中，我们今天并未发布。
但我对80亿与700亿表现非常兴奋，按照它们的规模来看是领先的。我们会发布一篇博客文章，附上所有基准测试结果，人们可以去看看，它是开源的，大家有机会试用它。
我们有一个新版本的路线图，将带来多模态性、更多的多语言性，以及更大的上下文窗口。
希望在2024年晚些时候，我们能推出4,050亿参数版本。目前的训练情况看，它在MMLU上已经达到85分左右，我们预计它在许多基准测试中都会有领先的成绩，我对这一切都非常兴奋。
700亿版本也非常棒，我们今天发布它，在MMLU上大约是82分，在数学与推理方面有领先的成绩，我觉得把它交到人们手里，会非常酷。
Dwarkesh Patel：有意思，这是我第一次听说MMLU作为一个基准，这太令人印象深刻。
Mark Zuckerberg：80亿参数的版本，几乎与我们发布的最大版本Llama 2一样强大。最小的Llama 3，基本上与最大的Llama 2一样强大。
Dwarkesh Patel：在我们深入讨论这些模型之前，我想回到过去。我猜想你们是在2022年开始采购H100，或者你可以告诉我具体是什么时候，当时股价受到重创。
人们问这些资本支出是怎么回事，人们不买账元宇宙。我想你花费资本支出来购买这些H100，你当时是如何知道要买H100的？你怎么知道你需要GPU？
Mark Zuckerberg：我想是我们当时在开发Reels，我们总是希望有足够算力来构建一些我们看不到未来的东西。我们在开发Reels时，遇到这样的情况，我们需要更多GPU来训练模型，这是我们服务的一个重大进化。
我们不仅是对你关注的人或主页的内容进行排序，我们开始大力推荐非关联内容，也就是来自你没有关注的人或主页内容。
我们可能向你展示的内容候选库，从数千个量级扩大到数百万个量级，它需要完全不同的基础设施。我们开始着手进行这项工作，但在基础设施方面受到限制，无法以我们想要的速度赶上TikTok进度。
我基本上是这样看的，我想我们必须确保不再陷入这种境地。让我们订购足够的GPU来完成Reels、内容排名与信息流方面需要做的事情，让我们再加倍。再次强调，我们的普遍原则是，总会有一些我们还看不到未来的事物。
通往AGI之路
Dwarkesh Patel：你知道那会是AI吗？
Mark Zuckerberg：我们认为那将是与训练大型模型有关的事情，当时我认为可能与内容有关，这只是经营公司的一种模式匹配，总会有另一个需要应对的方向，当时我深陷试图让Reels与其他内容的推荐系统运作良好。
这对Instagram与Facebook来说是巨大突破，能够向人们展示来自他们甚至没有关注人的有趣内容。
事后看来，这个决定非常正确，这决定源于我们的落后。这并不是，我想得太多了。事实上，大多数时候，我们之所以做出一些后来看起来不错的决定，是我们之前搞砸了一些事情，只是不想重复犯错。
Dwarkesh Patel：2006年你没有以10亿美元价格出售，但我想你心里肯定有一个你愿意出售的价格，你有没有心里盘算过，我认为Facebook当时实际估值是多少，他们给的价格并不合理？如果他们出价5万亿美元，你当然会卖。你当时是如何权衡这个选择？
Mark Zuckerberg：我觉得有些事情只是个人层面，我不知道当时我是否有足够的精明去做那样分析。我周围的人，都在为10亿美元找各种论据，比如我们需要创造这么多收入，我们需要做到这么大，这是很多年以后的事，这远超出我们当时的规模，我当时并没有真正具备参与那种辩论所需的金融专业知识。
内心深处，我相信我们正在做的事情。我做了一些分析，如果我不做这个，我会做什么，我真的喜欢创造东西，我喜欢帮助人们沟通，我喜欢了解人与人之间正在发生的事情与互动。
我想，如果我卖掉这家公司，我可能会再建一家类似的公司，而我还挺喜欢现在这家。那又何必呢？我认为人们做出的很多最大的赌注，往往只是基于信念与价值观。要做前瞻性分析，往往非常困难。
Dwarkesh Patel：Facebook AI研究已经很长时间了。现在它似乎已成为你公司的核心。在什么时候，让AGI，或者无论你如何看待这个使命，成为 Meta 正在做的事情的一个关键优先事项？
Mark Zuckerberg：一段时间以来，这都是一件大事。大约 10 年前，我们开始 FAIR。我们想法是，在通向AGI或任何你想称之为的东西的道路上，将会出现所有这些不同的创新，这将改善我们所做的一切。我们并没有将其视为一种产品，它更像是一个研究小组。
过去10年里，它创造了许多不同东西，改进了我们所有产品。它推动了该领域发展，允许该领域其他人创造出同样改进我们产品的东西，我认为那太好了。
随着 ChatGPT 与围绕图像创建的扩散模型的出现，过去几年，发生了很大变化。这是一些非常疯狂的东西，很明显会影响人们与每个应用程序的交互方式。
那时，我们成立第二个小组，GenAI 小组，目标是将这些东西带入我们产品中，并构建领先的基础模型，来为所有这些不同的产品提供动力。
当我们开始这样做时，最初的理论是我们正在做的很多事情都是相当社交的。它帮助人们与创作者互动，帮助人们与企业互动，帮助企业销售产品或提供客户支持。还有基本的辅助功能，无论是我们的应用程序、智能眼镜还是VR 。
因此，一开始并不完全清楚你是否需要完整的 AGI 才能支持这些用例。通过所有这些微妙的方式，通过对它们的努力，我认为已经很清楚你是这样做的。例如，当我们开发 Llama 2 时，我们没有优先考虑编码，人们不会在 WhatsApp 中向 Meta AI 问很多编码问题。
Dwarkesh Patel：现在他们会了，对吧？
Mark Zuckerberg：我不知道。我不确定WhatsApp、Facebook、Instagram，是否是人们会提出大量编码问题的UI，也许是我们正在推出的网站meta.ai。
过去18个月中，令人有些惊讶的结果是，编码对许多领域都很重要，而不仅是编码。即使人们没有提出编码问题，对编码模型进行训练也可以帮助他们更加严格回答问题，并帮助他们在许多不同类型的领域进行推理。
这是一个例子，对于Llama 3，我们真正专注于通过大量编码来训练它，即使人们主要不问编码问题，这也会让它在所有这些事情上做得更好。
推理是另一个例子，也许你想与创作者聊天，或者你是一家企业，并且你正在尝试与客户互动。这种互动并不只是这个人给你发了一条消息，你只需回复。这是一个多步骤的互动，你试图思考我如何实现这个人的目标。很多时候，当客户来时，他们不一定确切知道自己在寻找什么或如何提出问题。因此，AI 的工作并不仅回答问题。
你需要更全面思考它，这真的变成推理问题。如果其他人解决了推理问题，或者在推理方面取得良好进展，而我们坐在这里使用基本的聊天机器人，与其他人正在构建的产品相比，我们产品就很弱。最终，我们基本上意识到，我们必须解决AGI问题，我们只是加大赌注与投资，以确保我们能够做到这一点。
Dwarkesh Patel：将为用户解决所有这些用例的 Llama 版本，是否足够强大，可以取代你在这栋大楼中可能拥有的程序员？
Mark Zuckerberg：我不知道时间表具体如何，我觉得这些事情都会随着时间逐步推进。Dwarkesh Patel：最终的情况是：Llama-10。
Mark Zuckerberg：我觉得这个问题包含很多内容，我不确定我们是在取代人，还是更多在给人们提供工具来做更多事情。
Dwarkesh Patel：有了Llama-10之后，这栋大楼里的程序员会变得生产力提高10倍吗？
Mark Zuckerberg：我希望不止10倍。我不认为人类有一个单一的智力阈值，人们有不同的技能。我认为在某个时刻，AI可能会在大多数事情上超过人类，这取决于模型的强大程度。
我认为这是循序渐进的，我不认为AGI只是一件事。你基本上是在添加不同的能力。多模态是我们现在关注的一个关键点，最初是照片、图像、文本，最终会延伸到视频。我们非常关注元宇宙，3D类型的东西也很重要。
我非常关注的一种模态，我没有看到业内有很多其他人关注，那就是情感理解。人类大脑有如此多的部分，只是专门用来理解人、理解表情与情绪。我认为这本身就是一种完整的模态，使AI能够真正理解并表达情感，人与机器之间的互动，将会变得前所未有的自然与深入。
除了在推理与记忆方面，有很大改进外，还有许多不同的能力，是你希望训练模型去关注的，记忆本身就是一个完整的事情。
我认为未来我们不会主要把东西，塞进一个查询上下文窗口，来提出更复杂的问题。会有不同的存储器存储或不同的定制模型，它们会更加个性化，这些都只是不同的能力，还有把它们做大做小，我们两者都关注。
如果你运行的是像Meta AI这样的东西，那是非常基于服务器的。我们也希望它能在智能眼镜上运行，而智能眼镜中没有太多空间，你希望有一个非常高效的东西来实现这一点。
Dwarkesh Patel：如果你在工业规模上使用智能进行价值数百亿美元，甚至最终价值数千亿美元的推理，用例是什么？是模拟吗？是元宇宙中的AI吗？我们将把数据中心用于什么？
Mark Zuckerberg：我们的赌注，是它基本上会改变所有产品，我认为将会有一种Meta AI通用助手产品。我认为它将从更像聊天机器人的东西，你问一个问题，它会制定一个答案，转变为你给它更复杂的任务，它会离开，并完成这些任务。这需要大量推理，需要大量计算与其他方式。
我认为，与其他人的其他智能体互动，将是我们所做的一大部分，无论是针对企业，还是创作者。我对此的一个重要理论是，不会只有一个你与之交互的单一AI，每个企业都会想要一个代表他们利益的AI，他们不会想主要通过一个会销售竞争对手产品的AI与你互动。
我认为创作者将是一个很大的群体，我们平台上大约有2亿名创作者。他们基本上都有这样的模式，他们想吸引他们的社区，他们受到时间的限制。他们的社区通常想吸引他们，他们不知道自己受到白天时间的限制。
如果你能创造出一种东西，让创作者基本上可以拥有AI，按照他们想要的方式训练它，并让他们社区参与进来，我认为这也会非常强大，所有这些事情都会有大量的参与，这些只是消费者使用案例。
我与妻子经营我们的基金会，陈-扎克伯格倡议。我们在科学方面做了很多工作，有很多AI工作将推进科学、医疗保健与所有这些事情。因此，它最终会影响产品与经济的基本上每个领域。
Dwarkesh Patel：你提到AI可以为你做一些多步骤的事情，这是一个更大的模型吗？例如，对于Llama 4，是否仍然会有一个700亿参数的版本，你只需要在正确的数据上训练它，它就会非常强大？进展是什么样？是纵向扩展吗？还是像你说的那样，同样大小，但不同的数据库？
Mark Zuckerberg：我不知道我们是否知道这个问题的答案。我认为一个似乎是一种模式的东西是，你有Llama模型，你在它周围构建某种其他特定于应用程序的代码。其中一些是针对用例的微调，但有些是，例如，Meta AI应该如何使用Google或Bing等工具来引入实时知识的逻辑，这不是基础Llama模型的一部分。
对于Llama 2，我们有一些这样的东西，它更多是手工设计。我们对Llama 3的部分目标，是将更多这样东西纳入模型本身。
对于Llama 3，当我们开始进入更多这些类似agent行为时，我认为其中一些将是更多手工设计的。
我们对Llama 4的目标，将是将更多这样东西纳入模型。
在每一步中，你都会感觉到在地平线上什么是可能的。你开始摆弄它，在它周围做一些hack。我认为这有助于磨练你的直觉，知道你想尝试在下一个版本的模型中训练什么。这使得它更加通用，对于任何你手动编码的东西，你可以解锁一些用例，它本质上是脆弱与非通用的。
Dwarkesh Patel：当你说纳入模型本身时，你是指在模型本身想要的东西上训练它吗？你说的纳入模型本身是什么意思？
Mark Zuckerberg：对于Llama 2，工具的使用非常具体，Llama 3在工具使用方面要好得多。我们不必手动编写所有的东西，来让它使用Google，并进行搜索，它可以直接做到这一点。
类似，对于编码与运行代码，以及许多类似的东西，也是如此。一旦你获得这种能力，你就可以瞥见我们接下来可以开始做什么。
我们不一定要等到Llama 4出现，才开始构建这些功能，我们可以开始在它周围做一些hack。你做了大量的手工编码，至少在过渡期内，这会使产品变得更好。然后这有助于为我们想要在下一个版本模型中构建的东西指明方向。
Dwarkesh Patel：你最期待Llama 3的哪个社区微调？也许不是对你最有用的那个，而是你最享受玩的那个。他们在古代对它进行了微调，你就会与维吉尔交谈之类的。你对什么感兴趣？
Mark Zuckerberg：我认为这类东西的本质，是你会感到惊讶。任何我认为有价值的具体事物，我们可能都在构建。我认为你会得到蒸馏版本，我认为你会得到较小的版本。
有一点是，我认为80亿还不够小，无法满足大量用例。随着时间推移，我很乐意得到一个10~20亿参数的模型，甚至是一个5亿参数的模型，看看你能用它做什么。
如果有80亿个参数，我们几乎与最大的Llama 2模型一样强大，有10亿个参数，你应该能做一些有趣的事情，速度更快。
在将其提供给最强大模型，以完善提示应该是什么之前，它非常适合于分类，或者人们在理解用户查询意图方面所做的许多基本事情，我认为这可能是社区可以帮助填补的一个空白。我们也在考虑自己开始蒸馏其中一些东西，现在GPU都被用来训练4,050亿的模型。
Dwarkesh Patel：你有所有这些GPU，我想你说过到2024年底会有35万个。
Mark Zuckerberg：那是整个系列，我们建造了两个，我想是2.2万或2.4万集群，这是我们用来训练大型模型的单个集群，是在我们所做的很多事情中。我们很多东西都用于训练Reels模型、Facebook新闻源、Instagram信息流。
推理对我们来说是一件大事，我们为大量人提供服务。考虑到我们所服务社区的庞大规模，我们所需的推理计算与训练之比，可能比大多数从事这些工作的其他公司要高得多。
Dwarkesh Patel：在他们事先与我分享的材料中，有一点很有趣，你在训练时使用的数据，比仅用于训练的计算最优数据还要多。推理对你们来说是一个大问题，对社区也是如此，在里面放入数万亿个token是有意义的。
Mark Zuckerberg：尽管有了700亿参数的模型，有一件有趣的事情是，我们认为它会更加饱和。我们用大约15万亿个token，对它进行了训练。我想我们一开始的预测是，它会更多的渐近，即使在最后它仍在学习。我们可能本可以给它更多token，它就会变得更好一些。
某种程度上，你在经营一家公司，你需要做这些元推理问题。我是想把我们GPU花在进一步训练700亿模型上，我们是想继续下去，以便开始测试Llama 4的假设。我们需要做出这个决定，我认为我们在这个版本的700亿中，取得合理的平衡。
未来还会有其他的700亿，多模态的那个，会在接下来一段时间内推出。令人着迷的是，这一点上，架构可以接受如此多的数据。
能源瓶颈制约发展
Dwarkesh Patel：这真的很有趣。这对未来的模型意味着什么？你提到Llama 3的80亿，比Llama 2的700亿还要好。
Mark Zuckerberg：不，它几乎一样好。我不想夸大其词，它在同一数量级上。
Dwarkesh Patel：这是否意味着，Llama 4的700亿将与Llama 3的4,050亿一样好？未来看起来如何？
Mark Zuckerberg：这是个很棒的问题，我想没有人知道。
这个世界上，计划指数曲线是最棘手的事情之一。它会持续多久？我认为我们很可能会继续下去。我认为值得投资数百亿，或超过1,000亿美元来构建基础设施，并假设如果它继续发展，你将获得一些真正惊人的东西，这将创造出惊人的产品。
我不认为业界有任何人，真的可以肯定的告诉你，它肯定会以那种速度继续扩展。一般来说，在历史上，你在某些时候会遇到瓶颈。现在有如此多的能量投入到这个领域，也许那些瓶颈会很快被打破，我认为这是一个有趣的问题。
Dwarkesh Patel：在没有这些瓶颈的世界里，会是什么样？假设进展只是以这种速度继续下去，这似乎是可能的。从更广的角度看，忘记Llamas...
Mark Zuckerberg：会有不同的瓶颈。过去几年里，我认为有GPU生产的问题。即使是有钱购买GPU的公司，也不一定能得到他们想要的多，有所有这些供应限制，现在我认为这种情况正在减少。你看到一群公司，现在正在考虑投入大量资金来建设这些东西。我认为这将持续一段时间。有一个资本问题。在什么时候投入资本，就不值得了？
我认为在我们遇到这个问题之前，将遇到能源限制。我不认为有人已经建造千兆瓦级的单一训练集群，你遇到的这些东西最终会在世界上变得更慢。获得能源许可，是一项受到严格管制的政府职能。
你从软件开始，软件在某种程度上受到监管，我认为它比许多技术界人士认为的要受到更多监管。如果你正在创办一家小公司，也许你会感觉到这一点。我们与世界各地不同政府与监管机构互动，我们有很多规则需要遵守，并确保我们做得很好。毫无疑问，能源是受到严格管制的。
如果你在谈论建设大型新电厂或大型扩建，建设穿越其他私人或公共土地的输电线路，那只是一件受到严格管制的事情，你说的是多年的准备时间。
如果我们想建立一些大型设施，为其供电是非常长期的项目。我认为人们会这样做，我不认为这是一件可以像达到一定的AI水平、筹集一大笔资金，投入进去，模型就会......你会在过程中遇到不同的瓶颈。
Dwarkesh Patel：你提到Meta即使研发预算或资本支出预算是现在10倍，也无法负担得起的事情吗？有没有这样的事情，也许是与AI相关的项目，也许不是，即使像Meta这样的公司也没有资源？有没有你脑海中闪过的事情，以现在的Meta，你甚至无法为此发行股票或债券？它的规模比你的预算大10倍？
Mark Zuckerberg：我认为能源是一个方面，我认为如果我们能获得能源，我们可能会建造比目前更大的集群。
Dwarkesh Patel：这在极限情况下，从根本上受到资金的限制吗？如果你有1万亿美元......
Mark Zuckerberg：我认为是时间问题，这取决于指数曲线走多远。现在许多数据中心规模在50兆瓦或100兆瓦左右，或者一个大的数据中心可能是150兆瓦。拿一个整个数据中心，装满你需要做训练的所有东西，你建造你能建造的最大的集群，我认为有一群公司正在做这样的事情。
但当你开始建造300兆瓦、500兆瓦或1吉瓦的数据中心时，还没有人建造过1吉瓦的数据中心，我认为这将发生，只是时间问题，但不会是2025年的事，一些事情需要几年的时间来建设。只是为了说明这一点，我认为千兆瓦的数据中心，相当于一个有意义的核电站，只用于训练一个模型。
Dwarkesh Patel：亚马逊没有这样做吗？他们有950兆瓦的。
Mark Zuckerberg：我不确切知道他们做了什么，你得问他们。
Dwarkesh Patel：但它不一定要在同一个地方，如果分布式训练有效，它可以是分布式的。
Mark Zuckerberg：我认为这是个大问题，它将如何工作。未来似乎很有可能，我们所说的这些大模型的训练，更接近推理生成合成数据，再将其输入模型。
我不知道这个比例会是多少，我认为合成数据的生成，比今天的训练更像是推理。如果你这样做是为了训练一个模型，它就是更广泛的训练过程的一部分。这是一个悬而未决的问题，这个平衡以及它将如何发展。
Dwarkesh Patel：这是否可能适用于Llama 3，也许从Llama 4开始？
就像你把它放出来，如果有人有大量算力，他们就可以使用你放出的模型，让这些东西变得任意智能。假设有一些随机的国家，比如科威特或阿联酋，它们有大量算力，它们可以只使用Llama 4来制造更智能的东西。
Mark Zuckerberg：我认为会有这样的动态，我也认为模型架构有一个根本的限制。我认为像我们用Llama 3架构，训练的700亿模型可以变得更好，它可以继续发展。
正如我所说，我们觉得如果我们继续给它更多数据或再次轮换高价值token，它就会继续变得更好。
我们已经看到世界各地一群不同的公司，基本上采用Llama 2 700亿模型架构，构建一个新的模型。
但是当你对Llama 3 700亿或Llama 3 4,050亿进行代际改进时，今天还没有任何类似的开源模型，我认为这是一个巨大的阶跃。人们能够在此基础上建立的东西，我认为不能无限从那里发展。在你达到下一个阶跃之前，可以对其进行一些优化。
AI未来会发展到哪一步
Dwarkesh Patel：让我们从具体的模型，甚至你需要获得能源审批的多年准备时间稍微放大一点。大局来看，未来几十年，AI会发生什么？它感觉像是另一种技术，比如元宇宙或社交，还是感觉像是人类历史进程中根本不同的东西？
Mark Zuckerberg：我认为它将是非常根本性的，我认为它将更像是计算机本身的创造。你将获得所有这些新的应用，就像你获得网络或移动电话时一样。
人们基本上重新思考了所有这些体验，以前不可能的很多事情，都变得可能。我认为这将会发生，我认为这是一个低得多的创新层次。我的感觉是，它将更像是人们从没有电脑到有电脑。
宇宙尺度上，这会在几十年时间内迅速发生。有一些人担心它真的会失控，并在一夜之间从有点智能变成极其智能。
我只是认为，有所有这些物理限制，使得这不太可能发生，我只是不认为这会发生，我想我们会有时间适应一点，但它会改变我们工作方式，并为人们提供所有这些创造性的工具来做不同的事情，我认为它将真正使人们能够做更多他们想做的事情。
Dwarkesh Patel：也许不是在一夜之间，从宇宙尺度看，我们能以这种方式思考这些里程碑吗？人类进化了，AI出现了，他们去了银河系。也许需要几十年，也许需要一个世纪，但这就是现在正在历史上发生的宏伟蓝图吗？
Mark Zuckerberg：抱歉，从什么意义上说？
Dwarkesh Patel：从这个意义上说，还有其他技术，如计算机，甚至是火，AI本身的发展与人类进化一样重要。
Mark Zuckerberg：我认为这很棘手。人类历史就是人们基本上认为人性的某些方面在不同方面真的很独特，接受这不是真的这一事实，人性仍然非常特别。我们认为地球是宇宙的中心，事实并非如此，但人类仍然非常棒，非常独特。
我认为人们倾向于有的另一种偏见，是认为智能在某种程度上与生命有根本联系，它并不清楚是否如此。我不知道我们是否有足够清晰的意识或生命的定义，来充分审视这一点。
所有这些科幻小说关于创造智能，它开始呈现出所有这些类人行为与类似东西。目前所有这些东西的化身，感觉它正朝着一个方向发展，在这个方向上，智能可以与意识、能动性与类似的东西进行分离，我认为这只是使它成为一个超级有价值的工具。
开源的风险平衡
Mark Zuckerberg：预测这些事物随时间发展的方向极具挑战性，我认为任何人都应避免以教条方式规划它们的开发或用途。
每次发布新产品时，我们都需要重新评估。我们非常支持开源，并不意味着我们会公开所有成果。
我倾向于认为，开源对社区与我们自身都是有益的，这将促进创新。如果某个时刻，这些技术能力发生质的变化，我们觉得开源是不负责任，我们会选择不公开，这一切都充满了不确定性。
Dwarkesh Patel：如果你在训练Llama-5或Llama 4时，看到什么具体的质变，会让你觉得是否要开源它？
Mark Zuckerberg：抽象回答这个问题有点困难，任何产品都可能表现出负面行为，只要你能减轻这些行为，就没问题。
社交媒体有不好的东西，我们努力去缓解。Llama 2也有不好的地方，我们花了很多时间努力确保它不会帮助人们实施暴力行为或类似事情。
这并不意味着它是一种自主的或智能体，这只是意味着它学到很多关于世界的知识，它可以回答一些我们认为让它回答是没有帮助的问题。我认为问题不在于它会表现出什么行为，而在于它表现出这些行为后，我们不能缓解什么。
我认为有太多方式可以让事物变得好或坏，以至于很难事先列举出所有这些方式，看看我们在社交媒体中不得不应对的情况与各种伤害。
我们基本上已经总结出大约18或19类人们会做的有害事情，我们基本上已经建立了AI系统来识别这些事情是什么，并尽可能确保这些事情不会在我们网络上发生。
随着时间推移，我认为你也能把它分解成一个更详细的分类。我认为这是我们花时间研究的事情，我们想确保我们理解这一点。
Dwarkesh Patel：在我看来，这是个好主意。如果在未来，AI系统没有广泛部署，每个人都无法访问它们，我会感到失望。
同时，我想更好理解缓解措施。如果缓解措施是微调，关于开放权重的问题是，你可以移除微调，微调通常是在这些能力之上的表面功能。如果它就像在Slack上与生物学研究人员交谈，我认为模型离这还很远。
现在，它们就像Google搜索。但是如果我能向它们展示我的培养皿，它们能解释为什么我的天花样本没有生长以及需要改变什么，你如何缓解这个问题？有人可能会对这些模型进行微调以满足自己的需求。
Mark Zuckerberg：这是真的。我认为，大多数人会选择直接使用现成模型，也有一些心怀不轨的人，可能会试图利用这些模型进行不良行为。
我在哲学上如此支持开源的原因之一是，我认为未来如果AI过度集中化，潜在风险可能不亚于它的广泛传播。
许多人都在思考：如果我们能够做到这些，这些技术在社会上的广泛应用是否会成为坏事？
另一个值得思考的问题是，如果一个机构拥有比其他所有人更强大的AI，这是否也是一件坏事？
我想到一个安全类比，许多不同的事物中存在如此多的安全漏洞。如果你能回到一两年前，假设你只是多了一两年关于安全漏洞的知识，你几乎可以侵入任何系统，这不是AI。
相信一个非常智能的AI，可能能够识别一些漏洞，基本上就像一个人类可以回到一两年前，并破坏所有这些系统，这并非完全是天方夜谭。
我们作为一个社会，是如何应对这种情况的？一个重要部分是开源软件，它使得当软件得到改进时，它不会只局限于一个公司的产品，而是可以广泛部署到许多不同系统中，无论是银行、医院还是政府的东西。
随着软件变得更加强大，这是更多的人可以看到它，更多的人可以敲打它，关于这些东西如何工作有一些标准，世界可以一起很快升级。
我认为，在一个AI被非常广泛部署的世界里，它已经随着时间的推移逐步得到强化，所有不同的系统都会以某种方式受到制约。
在我看来，这从根本上比更集中要健康得多。各方面都有风险，我认为这是一种我没听到人们谈论得多的风险，有AI系统做坏事的风险。
但我整夜担心的是，一个不值得信赖的行为者，拥有超级强大的AI，无论是敌对政府、不值得信赖的公司，还是其他什么，我认为这可能是一个大得多的风险。
…………