发布于: 雪球转发:16回复:83喜欢:12

$微软(MSFT)$ $谷歌C(GOOG)$  有个问题一直没搞清楚答案,谁了解的话麻烦分享一下:

如果,按照Bing目前的用户规模和现有的硬件成本,全量免费放开ChatGPT相关对话功能的支持,每年要花掉的费用大概是怎么一个量级?

PS:之前看到的一些说法,ChatGPT处理每次对话的成本大概需要0.1美元,不知道是否靠谱。

精彩讨论

遵白李2023-02-16 17:43

在语音类模型里,每个token的计算成本是2N,其中N是模型的参数量,目前最火的GPT的参数量是3000亿个。假设模型的 FLOPS利用率约为 20%,那么粗略估算GPT在处理一个30字的问题时所需要算力资源是2*3000亿*40*/20%=0.12PetaFLOP/S
今年1月份GPT的月活是1300万,假设每个人平均每天提问1000字,合计130亿字,相当于173.3亿个token,平均分配到24小时,需要算力173.3亿*2*3000亿/(20%*24小时*3600秒)=601.75PetaFLOP/S。
一个英伟达的DGX A100算力性能为 5 PetaFLOP/S,想要支持1300万人的访问,大概需要602/5=120.4个服务器。这只是平均算力要求,假设峰值期间的算力要求是均值的5倍,那么就需要102.4x5=602个DGX A100服务器,而一个服务器的售价为19.9万美元,合计1.2亿美元。

超弦小提琴2023-02-16 16:50

你这个问题应该问ChatGPT。

南山赵思思2023-02-16 20:07

达美是我见过最纯洁的男孩

过期蛋白粉2023-02-16 20:26

你那几柜子衣服一定是化缘化的

陈达美股投资2023-02-16 17:36

一分钱不是一毛钱。

全部讨论

2023-02-17 00:39

必应目前日活上亿,去年广告收入一百亿美金。目前一次回复平均成本我的估计是在一到三美分,可以认为一天花费一百万到三百万美金,算平均就是二百万美金,一年就是7亿美金。 这个算低估了,每个用户每天提问三四次也正常,这样算下来几十亿美金是要花掉的。 当然,单次回复的花费是我自己估计的,因为很多时候回复一次要调用多次模型,所以估个3美分上限也合理。综合来看,目前如果彻底放开花费会极为巨大,但如果带来了足够的广告收入,比如让现在的一百亿美金的广告收入翻倍,那么对微软来说完全划得来。 不过需要强调一个事情就是底层的硬件优化应该可以改善速度,另外很可能transformer架构在未来会被抛弃。未来新的架构上线,花费变成原来的十分之一,那么大幅盈利可以期待。

2023-02-16 20:18

由于我并不知道Bing的具体用户规模和硬件成本,所以无法给出精确的数字。但是,对于类似于ChatGPT这样的自然语言处理模型,它们需要大量的计算资源来支持其运行和提供高质量的服务。这些资源包括大量的服务器、存储器和带宽等。

对于全量免费放开ChatGPT相关对话功能的支持,估算年花费的量级可以从以下几个方面考虑:

计算资源成本:根据ChatGPT的计算资源消耗情况,每年的计算资源成本可能会达到数百万美元至数千万美元不等。

数据存储成本:需要大量存储ChatGPT的模型和训练数据,这可能需要大量的存储资源。据估计,每年的存储成本可能会达到数百万美元至数千万美元不等。

带宽成本:处理大量的用户对话可能需要大量的带宽,这可能需要数百万美元至数千万美元不等的带宽成本。

因此,总的来说,全量免费放开ChatGPT相关对话功能的支持,每年需要花费数百万美元至数千万美元不等的费用。但是,这只是一个非常粗略的估计,具体的费用将取决于Bing的用户规模、使用量以及硬件和基础设施的成本等因素。

2023-02-16 18:38

一帮小白在瞎猜。使用成本和搜索差不多。

2023-02-16 17:45

一般来说,搜索量增长10倍,应不会提高成本。除非openai为每次应答收费。

2023-02-16 17:36

CEO说是几美分,同时有测算是现有搜索技术的成本的十倍以上。

2023-02-16 17:11

粗估,predict一下要十几分钟通用cpu等价算力吧?大概1rmb左右吧,不便宜吧,就是不知道工程上怎么优化,牺牲点效果感觉搞个x10不是啥问题,但感觉还是太贵

2023-02-16 17:10

补充一句:就算是把训练模型的成本撇掉,不摊销到单次服务成本里,只计算每次提供服务所需要的能源和硬件折旧,这一块有人算过吗? 别跟我说“反正很便宜”,毕竟谷歌和Bing都是日搜索请求次数以亿计的庞然大物,再便宜的单次成本,乘上这个规模也不是个小数目。

2023-02-16 17:01

用的人越多成本越低,用到最后全世界都用成本忽略不计,基本上相当于一个服务器的价格。

2023-02-16 16:52

用户越多边际效用越大

2023-02-16 16:50

仅仅是使用成本,肯定没那么高。不会算,但是肯定没多少钱,成本不在使用上。