回复@冷雨夜h58: 谢谢提醒,确实是疏忽了。以前没有发过帖不了解这个机制。//@冷雨夜h58:回复@迷人的存钱黑鹰:大道的每一条言论你都看了?大道在前几天就说过不喜欢别人随便@他以前也说过不喜欢和不认识的人讨论问题,在雪球他只是分享他的一些观点
软件工程师,AI创业
回复@冷雨夜h58: 谢谢提醒,确实是疏忽了。以前没有发过帖不了解这个机制。//@冷雨夜h58:回复@迷人的存钱黑鹰:大道的每一条言论你都看了?大道在前几天就说过不喜欢别人随便@他以前也说过不喜欢和不认识的人讨论问题,在雪球他只是分享他的一些观点
回复@LSM-Tree: 需要quantization,或者用Mac Pro等上大内存。我认为目前除了CUDA之外,苹果的架构是第二受欢迎的,而且远远领先于第三名。//@LSM-Tree:回复@迷人的存钱黑鹰:llama3 13b,qwen 32b这些模型能在MacBook上跑吗?我这边4090都有些吃力,想知道MacBook上的推理生态真的有这么好吗?需要...
回复@PaulWu: 目前模型的基础还是Transformer和Diffusion两种模型架构的天下。但是在此基础以上,不同的公司发布的模型差异也不小,但一般都支持CUDA / 英伟达GPU。如果模型开源,基本上很快就可以在Apple Metal / MPS上面跑,AI社区里面经常会出现魔改的模型,比如本来是FP16的模型,很快就有8-bi...