但是端测ai可以大幅降低cloud的latency不是吗?就算是7B的llama要想跑起来的话是不是也需要大家开始进行pc和其他消费电子设备的换代了?
我的看法是,AI PC是个伪概念。两个原因,1是PC硬件限制无法部署超大模型,单个7B的llama已经是普通PC的极限,inference性能也很有限。2 AI真的流行起来,普通人的使用场景,应该是一个人对多个大模型有数次的掉用,而不是对一个大模型有非常高次数的掉用
你的想法大概是,拿出来7G左右的内存存放大模型参数,然后用CPU里面的NPU来做推理
行是行,但是吧,你真的会需要一个单独部署的大模型服务,然后频繁的去调用么?
另外,这种也只能部署在PC上,而普通人使用PC的机会越来越少,大多数使用电子产品的场景都是手机平板
这里其实有一个悖论,频繁调用大概率出现在工作场景,帮助生产力提高的情况下。但当一个工作岗位需要且能够通过频繁调用ai大幅提高生产力,这个岗位的存在就进入倒计时。