05-12 10:56
llama3 13b,qwen 32b这些模型能在MacBook上跑吗?我这边4090都有些吃力,想知道MacBook上的推理生态真的有这么好吗?需要多大内存才能流畅推理呢?功耗30w的Apple silicon能打600w的gpu吗?
大道谦虚的说自己不懂英伟达,当然他也就不会被推理gpu之类瞬息万变的前沿技术所缠绕。
10年以上的视角,会让我们看到更多本质的东西。
llama3 13b,qwen 32b这些模型能在MacBook上跑吗?我这边4090都有些吃力,想知道MacBook上的推理生态真的有这么好吗?需要多大内存才能流畅推理呢?功耗30w的Apple silicon能打600w的gpu吗?
推理芯片的技术壁垒与训练相比更小。这也是为什么NVDA因为产能瓶颈,目前集中资源迭代模型训练生态。 当scaling law到达极限之后,推理才会是重点。另外, 苹果的芯片应该是与操作系统深度绑定的, 但现在绝大多数数据中心, 安卓手机平板操作系统都是linux那一套。苹果在服务器市场份额有限,不认为它的芯片可以与主流linux服务器兼容。
大道的每一条言论你都看了?大道在前几天就说过不喜欢别人随便@他以前也说过不喜欢和不认识的人讨论问题,在雪球他只是分享他的一些观点