NeoKJ 的讨论

发布于: 雪球回复:5喜欢:4
@翻番 @娴熟 另外你们怎么看lisa一直提到的ai pc?在我理解就是edge ai的概念吧?25年消费电子换代会不会给amd带来很大的top line contribution?

热门回复

AI PC是英特尔Gelsinger提的,苏妈顺水推舟没去反驳,反正也是两家都得益
我的看法是,AI PC是个伪概念。两个原因,1是PC硬件限制无法部署超大模型,单个7B的llama已经是普通PC的极限,inference性能也很有限。2 AI真的流行起来,普通人的使用场景,应该是一个人对多个大模型有数次的掉用,而不是对一个大模型有非常高次数的掉用

但是端测ai可以大幅降低cloud的latency不是吗?就算是7B的llama要想跑起来的话是不是也需要大家开始进行pc和其他消费电子设备的换代了?

你的想法大概是,拿出来7G左右的内存存放大模型参数,然后用CPU里面的NPU来做推理
行是行,但是吧,你真的会需要一个单独部署的大模型服务,然后频繁的去调用么?
另外,这种也只能部署在PC上,而普通人使用PC的机会越来越少,大多数使用电子产品的场景都是手机平板

这里其实有一个悖论,频繁调用大概率出现在工作场景,帮助生产力提高的情况下。但当一个工作岗位需要且能够通过频繁调用ai大幅提高生产力,这个岗位的存在就进入倒计时。

不是edge ai,就是运行在终端设备的ai inference,苹果高通都在做