a16z（美国风投公司）和数十位《财富》500 强企业和顶级企业领导者进行了交谈，并调研了另外 70 位人士，了解他们在生成式AI的情况。
调研结果令人震惊：24年这些企业在AI的预算增加了2倍，扩大了在开源模型的部署，同时在实际生产中开始应用生成式AI。
以下是具体的报告内容
1生成式人工智能预算正在飙升
2023年采访的数十家公司在生成式AI平均支出为 700 万美元。本次采访的几乎每家企业都有了生成式AI早期结果，并计划在 2024 年将支出平均增加 2.5 倍到1800万美金
2人工智能从一次性预算项目调整到经常性预算项目
2023年企业 genAI 大部分支出来自“创新”预算或其他一次性预算。2024 年许多企业把支出分配到更永久的软件产品上。不到四分之一的企业表示今年 genAI 支出仍将来自创新预算。如果这种趋势持续下去，未来 genAI 的支出将大幅增加。
“创新”占最大比例，为24%；
“业务单位预算”占21%；
“重新分配自IT（非AI）”占15%：15%的资金原本是分配给非人工智能的IT领域，后来重新分配给了生成性AI；
“净新增IT预算用于大型语言模型(LLMs)”占19%，这部分资金是专门新增加的，用于支持大型语言模型的开发和运营；
“重新分配自其他AI”占13%， 13%的资金原本是分配给其他人工智能项目的，现在转而用于生成性AI；
“研发/产品开发”占比8%
3怎么衡量genAI的投资回报仍是艺术
56%的企业认为投资回报是正面的，但没有精确测量
31%的企业专注于从节约成本得到投资回报
9%的企业认为能带来新的收入机会
4%的企业没有考虑投资回报
4 企业缺少实施AI的合适人才
大模型只占了成本的四分之一，大模型API开发成本占了预算的大部分，企业缺乏生成式AI人才。因此提供工具简化生成式AI开发的初创公司会获得更多的采用率
5 企业在尝试多种模型
6个多月前，绝大多数企业只尝试 1 种模型（通常是 OpenAI ）或 2 种。
而现在企业在测试（甚至在生产中使用）多个模型。原因是企业可以根据性能、规模和成本定制模型，并且避免锁定某个具体模型。还有模型还在快速迭代，企业希望能结合最先进的模型。
有36%的企业使用3个模型，28%的企业使用4个模型，29%的企业使用5个以上模型
企业正在用的模型排行如下：OpenAI, Google,Llama,Anthropc等
6 开源模型正在快速发展
2023 年闭源模型市场份额为 80%–90%，其中大部分份额是OpenAI。
2024年，有41%的企业表示，如果开源性能能够匹配现有解决方案，他们会选择转换到开源软件；
另外41%的企业说，他们将增加使用开源软件的比例，或者已经主要使用开源软件了。
剩下的18%的AI领导者表示没有计划增加开源软件的使用
到 2024 年及以后，企业预计使用情况将显著转向开源，其中一些企业明确目标是 50/50 的比例——高于 2023 年 80% 封闭，20% 开放的比例。
7 可定制，可控，成本低使开源具有吸引力
企业选择开源主要的原因是
1 可控制
2 可定制（根据企业需要可以定制）
3 成本比闭源低
8 企业要可控要求是因为敏感的数据
由于监管或数据安全方面原因，企业不愿意与闭源模型提供商共享数据。一些企业通过自己托管开源模型来解决这一问题，一些企业优先考虑与虚拟私有云 (VPC) 集成的模型
9 企业通过微调来定制模型，而不是从头开始构建模型
2023 年，围绕构建定制模型进行了很多讨论。
2024年，企业仍然对定制模型感兴趣，但随着高质量开源模型的兴起，大多数企业选择不从头开始训练自己的模型，而是使用微调开放模型满足特定需求
72%的企业选择微调模型，22%的企业选择Retrieval-Augmented Generation的方式定制模型，只有6%的企业选择自己从头开始构建模型。
10云在模型购买决策中具有很大影响力
2023 年许多企业出于安全原因通过现有的云服务提供商 (CSP) 购买模型。
2024年仍然如此，这意味着CSP和首选模型之间的相关性相当高：Azure用户普遍更喜欢OpenAI，Amazon用户更喜欢Anthropic或Cohere。
如下图所示，在使用 API 访问其模型的 72% 的企业中，超过一半使用其 CSP 托管的模型。超过四分之一的受访者进行了自我托管，可能是为了运行开源模型。
11客户仍然关心新功能
企业认为推理能力、可靠性和易于获取（比如在他们云服务提供商上）是采用某个模型的主要原因，但他们也倾向于选择具有差异化特性的模型：比如200K上下文窗口是选择Anthropic的主要原因，选择Cohere的原因是因为方便微调
12大多数企业认为模型正在趋同
企业更关注于经过微调的开源模型或闭源模型性能与自己内部的基准比较。闭源模型在外部测试表现更好，但企业仍推荐开源模型，因为开源模型能定制，成本更低。有一家公司提到 “ 经过微调后，Mistral和Llama的性能几乎与OpenAI一样好，但成本要低得多。”
调研数据69%使用内部基准来评估模型性能。
66%根据开发者或技术团队的偏好来评估模型性能。
54%使用项目特定的基准来评估模型性能。
46%参考外部基准来评估模型性能。
9%通过口碑来评估模型性能
不同模型的推荐值（NPS）
13企业设计时保持灵活避免依赖单一模型
大多数企业都在开发自己的应用程序，可以在不同模型间更方便的切换。企业采取这种方法是因为他们从云时代学到了减少对供应商依赖的教训；还有是因为市场发展速度很快，只使用单一供应商是不明智的
14 企业倾向自己开发而不是购买
.企业普遍专注于内部构建应用程序，原因之一是还没有成熟的企业人工智能应用程序。
还有就是基础模型提供API，企业比以往更容易地构建自己的AI应用。
比如企业在构建客户支持，内部聊天机器人，编写消费品配方等等。
但当更多面向企业的AI应用进入市场时，这种状况是否会发生改变尚无定论。
15 企业对内部使用genAI感到兴奋，对外部使用仍然谨慎
外部使用企业担心两个问题
1）幻觉和安全的潜在问题 2）部署 genAI 的公共关系问题，特别是敏感的消费领域（例如医疗保健和金融服务）。
去年最流行的应用要么关注内部生产力，要么在接触客户之前通过人工进行传递，例如辅助编码、客户支持和营销。
目前企业最主要的genAI内部应用包括文本总结(62%)，企业知识管理(60%)，客户服务(59%)，市场营销文案(53%)，软件开发(53%)，合同审查(45%)。
外部应用包括聊天机器人（39%），推荐算法（39%）
16 巨大并且快速的增长
2023年模型API（包括微调）市场的年收入率收入约为15亿至20亿美元。到2024 年底，模型API（包括微调）总支出将增长到超过 50 亿美元，而企业支出将是重要组成部分。
$半导体板块指数ETF-iShares(SOXX)$ $半导体ETF-VanEck Vectors(SMH)$ $北美科技软件股指数ETF-iShares(IGV)$