美国风险投资公司a16z日前在视频平台Youtube上发布了联合创始人马克·安德森和本·霍洛维茨拍摄的视频。在这段对话视频中，安德森与霍洛维茨探讨了面对大型科技公司拥有了算力和数据规模优势，小型人工智能初创公司如何与之竞争；揭示了数据作为可出售资产被高估的原因；以及人工智能热潮与本世纪初互联网浪潮的异同之处。
2009年，马克·安德森（Marc Andreessen）和本·霍洛维茨（Ben Horowitz）联合创办了风险投资公司Andreessen Horowitz。因为这家风投公司名称的第一个字母A和最后一个字母Z之间有16个字母，所以简称为a16z。还有一种说法称，只要对参投对象满意，这家风投公司会参与初创公司从A轮到Z轮的所有融资。
划重点
①面对大型科技公司的算力和数据优势，小型AI初创公司需要专注于构建与大公司不同的、具有独特价值的产品和服务。
②数据作为可出售资产常被高估，真正的价值在于如何利用数据，而非数据本身。
③技术进步和市场反应存在不确定性，风险投资模型接受一定比例的失败作为创新过程的一部分。
④谷歌和微软等企业为追求利润不惜牺牲国家和全球利益，同时要求政府限制技术的开放性，揭示出资本主义黑暗面的道德和策略矛盾。
⑤历史上的重大技术进步往往伴随着金融泡沫，这是新技术推广的自然组成部分。
⑥互联网的发展经历了从开放到封闭的过程，人工智能的发展可能面临类似的选择，这将对其普及和创新产生深远影响。
⑦技术创新尽管会伴随着投机和泡沫，但终推动了社会进步和经济增长，应被视为积极的社会力量。
以下为对话全文：
巨头阴影下的机会
AI初创公司的生存之道
安德森：今天我们将讨论一个非常热门的话题--人工智能。我们将集中讨论截至到2024年4月的人工智能产业现状。我们希望这将对任何在初创公司工作的人或在大型公司工作的人都有所帮助。我们一如既往地在社交媒体平台X上征集了话题，收到了许多精彩的提问，因此我们准备了一系列听众问答，现在就让我们直接进入正题。
首先的三个问题都聚焦于同一主题：一是人工智能初创公司如何与大公司竞争。面对即将到来的人工智能时代，初创公司的创始人们目前应该专注于构建什么？二是小型人工智能初创公司如何与拥有巨大算力和数据规模优势的老牌科技企业竞争？三是对于依赖OpenAI等公司的技术的初创公司，哪些公司能够从基础模型未来的指数级改进中受益，哪些公司又可能因此而失败？
我先从第一个问题开始，然后再深入讨论。OpenAI首席执行官山姆·奥特曼（Sam Altman）最近在一次采访中提出了一些我本人非常认同的观点。他的观点大致是，作为初创公司的创始人，应当预料到大型人工智能公司推出的基础模型会大幅改进，并应就此提前制定出应对策略。如果当前的基础模型性能提升100倍，初创公司的创始人们会有什么反应？他们应当对此感到兴奋，因为这对自己的公司构成利好；还是应当感到担忧，因为这可能会带来一系列的问题？你对此有何看法？
霍洛维茨：我基本认同奥特曼的这个观点，但也有一些细节需要注意。从他的角度来看，他可能在劝阻人们不要自己构建基础模型，我并不完全同意这一点。许多正在构建基础模型的初创公司实际上做得非常好。出现这种情况的原因有很多，首先是模型架构的差异，这决定了模型的智能程度、响应速度以及在特定领域的性能。这不仅适用于文本模型，也适用于图像模型。不同类型的图像对提示词的反应各不相同。例如，如果你向两款模型提出相同的问题，它们会根据用例以非常不同的方式作出反应。
其次，模型蒸馏（distillation，能够把大模型的知识迁移到更小、更高效的模型中，在保持性能的同时降低算力和内存需求）技术的出现。OpenAI可以开发全球最大、最智能的模型，初创公司则可以推出蒸馏版本的模型，用更低的成本实现非常高的智能。鉴于此，尽管大公司的模型无疑会变得更好，但如果初创公司构建的模型在某些方面有所不同，或者专注于不同的领域，那么即使大公司的模型越来越出色，也不一定会影响这些初创公司。
如果初创公司选择正面硬刚大型科技公司，可能会遇到真正的问题，因为后者银行账户中储备着巨额的现金。但如果初创公司从事的工作足够独特，或者专注于不同的领域，情况则会完全不同。举例来说，日前推出开源模型DBRX的初创公司Databricks，尽管这家公司也开发了一款基础模型，但它采用非常特定的方式把这款基础模型与自己领先的数据平台结合在一起使用。即便是OpenAI的模型变得更好，也不足以对专注于特定领域的人工智能模型构成真正的威胁。人工智能语音克隆初创公司ElevenLabs的语音模型已经嵌入到每个人的人工智能堆栈中。所有人都把该公司的语音模型作为人工智能堆栈的一部分使用。还有，ElevenLabs的语音模型拥有开发者接口。这家初创公司专注于自己从事的事情。尽管一些初创公司表面上看起来是在与OpenAI、谷歌或微软竞争，但实际上并没有真正的竞争，我认为此类公司前景广阔。
2
AI智能存在极限值
训练数据质量至关重要
安德森：我们更深入地探讨一下“上帝模型”（God models）是否会出色100倍的问题。你认为大模型，即所谓的“上帝模型”，真的会变得更好100倍吗？
霍洛维茨：我倾向于认为，大语言模型的性能确实有可能提升100倍。以我们目前对大语言模型的了解，尽管它们已经非常先进，但真正的区别可能只有深入研究它们的专业人士才能察觉。如果我们谈论的是性能提升100倍，那么按理说，我们应当能够看到某些模型在性能上与其他模型明显拉开差距。不过对在日常生活中使用（如提问和获取信息）大语言模型的普通用户而言，这种提升可能不会那么明显。
安德森：我们期望的提升可能包括知识的广度和能力的提高。我认为在某些方面，如模型对于不同问题的响应速度和知识面，确实有可能实现显著的进步。此外，输出的精细度和质量也将是提升的关键。这包括减少错误信息，即减少‘幻觉’，以及确保回答具有事实依据。
霍洛维茨：我赞同这些方面的表现将会大幅提升的观点，因为人工智能技术正朝着这个方向迅速发展。目前，我们面临的挑战是模型的对齐问题，即模型虽然越来越智能，但它们并不总是能够准确表达所知信息。这种对齐问题在某种程度上也限制了模型的智能表现。
另一个问题是，我们是否需要一个突破性的进展，从而从当前的人工智能--我称之为“人工人类智能”（artificial human intelligence）--过渡到更高级的“通用人工智能”（artificial general intelligence）。所谓“人工人类智能，”指的是人工智能在模仿人类认知和语言使用方面已经达到了令人惊叹的水平，它能够执行许多人类能够完成的任务。但如果要达到更广泛的智能水平，我们可能需要某种形式的技术突破。
如果我们目前的技术已经接近极限，那么在某些方面它可能不会实现100倍的提升。因为与人类相比，它们已经相当不错了。尽管如此，人工智能在知识掌握、减少幻觉以及在多个维度上的表现上，仍有望实现巨大的飞跃。
安德森：业界流传着一张图表，我记不太清它的具体坐标轴，但它大致展示了不同人工智能模型性能提升的情况。在一些测试中，人工智能模型的得分仅仅略高于普通人。这并不令人意外，因为人工智能的训练完全基于人类数据。有人反驳说，这些测试是否太过简单了？是否需要更复杂的测试，就像SAT考试一样来真正衡量人工智能的能力？如果在SAT考试当中，许多学生在数学和语言部分都得到800分的满分，这是否意味着评分标准过于局限？我们是否需要一种能够真正测试出爱因斯坦级别智慧的测试？现有的测试方法固然有其价值，但我们可以设想一种能够准确区分超高智商人群的SAT考试，一种能够真正衡量人工智能超越人类水平推理能力的测试。
霍洛维茨：事实确实如此。人工智能可能需要这样的测试。此外，还有一个经常被人们提出的问题，也是我们内部一直在讨论的问题，即我们是否需要采取更具挑衅性、更乐观、或者说更具科幻色彩的预测。当用来自互联网的数据训练一个语言模型时，互联网数据集的本质是什么？它实际上是一切的平均水平，它是人类活动的一种代表。由于人口中智力分布的特点，大多数内容处于中等水平，因此被用于训练模型的数据集平均而言代表了普通人类。使用此类数据，我们只能训练出一个非常普通的模型。互联网上大部分内容都由普通人创造，所以整体而言内容是普通的，生成的答案也是普通的。根据定义，互联网中的答案平均而言是普通的。
如果用默认的提示词询问模型一些常规问题，如“地球是否绕着太阳转？”我们会得到一个普通的答案，这已经足够了。不过这里有一个关键点：虽然平均数据可能来自普通人，但数据集也包含了所有聪明人所写和所想的一切，所有这些内容都在数据集中。因此，这引出了如何通过特定的提示来引导人工智能，让它能够使用数据集中“超级天才”的内容进行训练。如果以不同的方式构建提示词，实际上可以引导人工智能沿着数据集中的不同路径前进，从而得到不同类型的答案。
举例来说，如果要求人工智能编写一段执行某项任务的代码，比如排序一个列表或渲染一个图像，它会给出普通的代码。但如果要求它编写安全代码，它实际上会生成更少安全漏洞的优质代码，这非常有趣。这是因为它访问了一个不同的训练数据集，即安全代码的数据集。再比如，如果要求人工智能以电玩游戏程序员约翰·卡马克（John Carmack）的风格编写图像生成程序，你会得到一个好得多的结果，因为它能够接触到数据集中来自卡马克编写的代码，他可是世界顶级的图形程序员。可以想象，在许多不同的领域中通过精心设计的提示词，我们可以解锁人工智能潜在的超级天才能力，从而得到默认答案之外更优秀的答案。
安德森：我也赞同这个观点。我认为人工智能的智能可能存在一个潜在的极限。我们之前讨论过，世界非常复杂，而智能就是如何能够更好的理解、描述、代表这个世界。但当前的人工智能迭代中，由人类构建结构，然后再把构建出的结构输入到人工智能中，所以人工智能擅长预测人类如何构建世界，而不是世界实际是怎样的。后者可能更为复杂，也许在计算中不可简化。
我们是否会遇到一个极限，即人工智能可以非常聪明，但它的极限是与最聪明的人类一样聪明，而不是比最聪明的人类更聪明？还有一个相关的问题，人工智能能否想象出全新的事物，比如新的物理定律等等。当然，能够做到这一点的人类可能只有三十亿分之一，这是一种非常罕见的智能类型。所以，人工智能仍然极其有用，但如果它们是人工人类，而不是所谓的超级人类，那么它们扮演的角色会有所不同。
霍洛维茨：就拿人工智能性能可以提升百倍的超级乐观情况来说，愤世嫉俗的人会说，奥特曼宣称人工智能会优秀百倍。这恰恰是因为它们不会变得更好。奥特曼这么说基本上是出于恐吓的目的，阻止其他人参与竞争。
安德森：我认为，无论人工智能是否会优秀百倍，奥特曼都会宣称这一天终将会到来。对于那些不了解奥特曼的人而言，他是一位非常睿智的人。但毫无疑问，他是一位好胜心强的天才。所以在作出任何决定之前，必须考虑到这一点。
霍洛维茨：如果人工智能的性能提升有限，奥特曼可能会说它们会变得更好；但如果它们确实有望大幅提升，他同样也会从这个角度进行宣扬。毕竟，为什么不呢？现在，让我们来探讨一个乐观的论点，即人工智能的性能可能会提升百倍，甚至千倍，并长期保持上升趋势。虽然我将要提出的每个观点都可能存在争议，但在人工智能领域里，许多睿智的人都支持我的观点。
首先，神经网络内部正在出现泛化学习，这一点通过内省技术（introspection techniques）得到了证实。此类技术使我们能够观察神经网络内部的神经回路是如何在训练过程中演变的。神经网络正在发展出通用的计算功能。例如，最近有人通过在大量国际象棋游戏上训练神经网络，结果网络内部构建了一个棋盘模型，能够走出创新性的棋步。此外，所谓的“过度训练”--即对同一模型使用相同数据进行更长时间的训练——实际上被证明是有效的。特别是，Meta和其他一些公司最近一直在讨论所谓的过度训练实际上是如何工作的，即基本上继续对同一个模型进行训练，对相同的数据进行更长时间的训练，投入更多的计算周期。一些领域的专家甚至认为这种方法效果非常好，且不担心增加训练会导致收益回报递减。
安德森：在Meta最近发布的大语言模型Llama中，使用的主要技术就是过度训练。实际上，有专家告诉我们，目前我们可能不需要更多的数据来提升这些模型的性能，我们需要的是更多的计算周期。通过大幅度增加训练次数，人工智能的性能就有望得到显著提升。
霍洛维茨：监督学习（supervised learning）在数据标注方面对人工智能的提升作用不容小觑，它为这些模型带来了巨大的性能飞跃。
安德森：我们目前听到许多关于人工智能自我完善循环的传闻和报道，这些循环正在积极进行中。该领域的许多前沿实践者认为，某种形式的自我完善循环已开始奏效。这涉及到让人工智能执行所谓的“思维链”（chain of thoughts），即让它逐步解决问题，直到它能够熟练掌握这一过程。不过通过在这些答案上对人工智能进行再训练，可以在推理能力的各个周期中实现类似于叉车式升级（即用户为了获得新技术所带来的好处，必须用新设备取代旧的硬件）的情况。