发布于: 雪球转发:16回复:83喜欢:12

$微软(MSFT)$ $谷歌C(GOOG)$  有个问题一直没搞清楚答案,谁了解的话麻烦分享一下:

如果,按照Bing目前的用户规模和现有的硬件成本,全量免费放开ChatGPT相关对话功能的支持,每年要花掉的费用大概是怎么一个量级?

PS:之前看到的一些说法,ChatGPT处理每次对话的成本大概需要0.1美元,不知道是否靠谱。

全部讨论

2023-02-16 17:43

在语音类模型里,每个token的计算成本是2N,其中N是模型的参数量,目前最火的GPT的参数量是3000亿个。假设模型的 FLOPS利用率约为 20%,那么粗略估算GPT在处理一个30字的问题时所需要算力资源是2*3000亿*40*/20%=0.12PetaFLOP/S
今年1月份GPT的月活是1300万,假设每个人平均每天提问1000字,合计130亿字,相当于173.3亿个token,平均分配到24小时,需要算力173.3亿*2*3000亿/(20%*24小时*3600秒)=601.75PetaFLOP/S。
一个英伟达的DGX A100算力性能为 5 PetaFLOP/S,想要支持1300万人的访问,大概需要602/5=120.4个服务器。这只是平均算力要求,假设峰值期间的算力要求是均值的5倍,那么就需要102.4x5=602个DGX A100服务器,而一个服务器的售价为19.9万美元,合计1.2亿美元。

2023-02-16 16:50

你这个问题应该问ChatGPT。

2023-02-16 17:36

一分钱不是一毛钱。

2023-02-16 22:59

就像刷脸,训练成本高,使用后极度便宜

2023-02-16 18:11

我问过chat了,回复是训练费用高,使用成本极低

2023-02-16 18:10

使用成本应该就是电费啊,前期投入很大

2023-02-16 17:46

我个人的理解:如果训练完成了,费用应该不会那么高了;如果硬件投入固定的话,就不存在每次的使用费用了,而是固定的总费用了。

2023-02-17 00:55

不用考虑那么多,只算边际成本就行了,你就想特斯拉的训练集群庞大,支出高,但是训练好了,交给车载端芯片,单机就能搞定。

2023-02-16 22:29

师父的赌场是利用人性中对钱的贪婪,大师兄的保险是利用人性中对死亡的恐惧,二师兄的银行是利用人性中对希望的痴迷。我就想来个大锅烩,把你们的事儿都办了。”小孩子胸有成竹,字里行间霸气外露。



“我要把所有的商业整合在一个平台,在这平台上,大家可以共同生存,相互竞争,互相蚕食,就像罗马的角斗场。而观众既是决定输赢的投票机,又是购买门票的消费者。”



“你说的这些和我们的人脉有什么关系呢?”这次是二师兄发问。



“平台要有他的承载力,而承载力的根源是信任。如果师父师兄们能将500大企业请进来玩儿,那后面的小鱼小虾也会跟注了。”小孩依旧霸气十足,字字诛心,“让500大加入平台,将自己的资产开放一小部分,可以自由买卖,咱就叫股份吧。”



“人家500大最不缺的就是钱,再说了缺钱了有贷款和发债兜底,凭什么卖自己的资产,这不国有资产流失吗?再说就算他们愿意干,上层也不会同意啊。”仨人刚要反驳,却早在小孩子的意料之中。



“我知道你们的顾虑,这步是最难的但也是最简单的。我问各位500大有没有软肋

最简单的?软肋?三个人还是不知所云。傻呆呆地只能看着小孩子接着往下说。



“软肋就在你们手上,就是他的债权。所谓的500大其实都是水货,外强中干。摊子铺的大,却债务重重,坏账累累,内忧外患,迫于压力还要账面上好看,就只能通过金融手段不断供血来维持局面。明明肾虚,一边补肾一边还想要女人。而你们手上的债权就是他们最大的软肋。”小男孩捂着腰歪愣着身子,模仿着肾虚的样子,让人忍俊不禁。



然而三个人却丝毫没有笑意,而是头皮发麻,小孩子杀人诛心的大计划,已经让金融家族以及500大玩家都拴在了一辆无法回头的急驶列车上。先到目的地还是先车毁人亡,毫无可知……



“大家别怕,我是你们的徒弟和师弟,怎么会让各位立于危墙之下呢?”小孩子露出了得意的笑容。然而是得意还是诡异,三人已无从知晓,“大棒要与胡萝卜一起才有效力,你们可以用手里的债权做要挟,要求500大用债权转股权。另一方面再给足面子和好处:换多少,怎么定价都让他们自己说了算。”



小孩子依旧胸有成竹,仿佛第一枚棋子落下就预见到终局:“放心吧,游戏刚开始只要有一点点流通股份,就能玩起来。股份是一定的,钱是无限的,玩家的赌性会把股价吹得极高,那时想不想出货就看500大自己了。到时不是愿不愿意,而是贪不贪心了。当然有上层的管制,500大也只能是做做样子,只要承诺绝不假戏真做,赚点小钱顺便甩出点债务和不良资产也是好事儿,小赌怡情,上层会默许的。”



小孩为了让三位听明白,真是费尽周折,绕了一个大圈终于说到重点:“我们也只是为了请500大打个样儿,挥挥大旗,招呼两声,为的是引来小鱼小虾。小的们看见大哥都率先垂范了,也会无脑跟进,鱼多了水就活了。有人搭台,有人唱戏,就不愁没有观众,我们只是圈个场地,既收了门票又能看戏。至于下一步是否上台喊两嗓子,那就看咱师徒的造化了。网页链接

前几天不是说,500万美元训练一次1750亿参数吗