05-02 21:16
你的想法大概是,拿出来7G左右的内存存放大模型参数,然后用CPU里面的NPU来做推理
行是行,但是吧,你真的会需要一个单独部署的大模型服务,然后频繁的去调用么?
另外,这种也只能部署在PC上,而普通人使用PC的机会越来越少,大多数使用电子产品的场景都是手机平板
我的看法是,AI PC是个伪概念。两个原因,1是PC硬件限制无法部署超大模型,单个7B的llama已经是普通PC的极限,inference性能也很有限。2 AI真的流行起来,普通人的使用场景,应该是一个人对多个大模型有数次的掉用,而不是对一个大模型有非常高次数的掉用
$AMD(AMD)$ 又到了请大佬点评财报的时候了 @翻番 @娴熟 感谢!
你的想法大概是,拿出来7G左右的内存存放大模型参数,然后用CPU里面的NPU来做推理
行是行,但是吧,你真的会需要一个单独部署的大模型服务,然后频繁的去调用么?
另外,这种也只能部署在PC上,而普通人使用PC的机会越来越少,大多数使用电子产品的场景都是手机平板