不是的,AI分训练和inference。本地是训练好的,直接inference推理。最耗算力,需要大量H100的是训练。
想多了,按照每年15%芯片算力增长,也得66年后(增长1万倍)本地化算力才有一点可能能追上现在的gpt4……
训练的话,本地化现在也就ai最强的骁龙3也就70t,和前几年的h100集群极限算力10万p相差142万倍了
不是硬盘啊,350gb是每个推理卡集群内都需要用到的最低显存数,从而进行全局推理……实际上更复杂点
chatgpt才20b的模型,很便宜。 vivo主要是秀一下自己的能力,之前看superclue open那个榜,vivo是国内最接近chatgpt的,比文心4都强。
硬盘还是能支持几百G,问题是v厂这个,估计是手机直接发信息到网上的服务器实现的
这不又回到全民挖矿了吗,然而,我认为并没有卵用,就好比八字节运算提升一万倍,仍然赶不上16字节原地踏步,更别说别人也在提升,硬件缩小差距才是唯一途径,毕竟科技发展都有潜在的摩尔定律限制,我拍脑袋认为可以通过生产高制程算力芯片来暂时缩短模型差距.....芯片设计端差距还是没那么大的
顺便问一问,这么大个模型是完全放在手机端吗?是不是有部署在云端的哟?完全在手机端有点吓人