张小丰 的讨论

发布于: 雪球回复:21喜欢:35
未来趋势肯定是电脑,笔记本,手机都会本地部署训练好的大模型。因为目前服务器处理成本太高了,简单来说chatGPT蹦出的每一个字都太贵了。

热门回复

2023-11-13 21:08

不是的,AI分训练和inference。本地是训练好的,直接inference推理。最耗算力,需要大量H100的是训练。

2023-11-13 21:02

想多了,按照每年15%芯片算力增长,也得66年后(增长1万倍)本地化算力才有一点可能能追上现在的gpt4……

2023-11-13 21:21

训练的话,本地化现在也就ai最强的骁龙3也就70t,和前几年的h100集群极限算力10万p相差142万倍了

2023-11-13 21:17

就是推理不是训练

2023-11-13 21:31

不是硬盘啊,350gb是每个推理卡集群内都需要用到的最低显存数,从而进行全局推理……实际上更复杂点

2023-11-13 21:28

这个伟大发明。未来怎么盈利?能持续盈利吗?

chatgpt才20b的模型,很便宜。 vivo主要是秀一下自己的能力,之前看superclue open那个榜,vivo是国内最接近chatgpt的,比文心4都强。

2023-11-16 12:15

硬盘还是能支持几百G,问题是v厂这个,估计是手机直接发信息到网上的服务器实现的

2023-11-14 10:23

这不又回到全民挖矿了吗,然而,我认为并没有卵用,就好比八字节运算提升一万倍,仍然赶不上16字节原地踏步,更别说别人也在提升,硬件缩小差距才是唯一途径,毕竟科技发展都有潜在的摩尔定律限制,我拍脑袋认为可以通过生产高制程算力芯片来暂时缩短模型差距.....芯片设计端差距还是没那么大的

顺便问一问,这么大个模型是完全放在手机端吗?是不是有部署在云端的哟?完全在手机端有点吓人