发布于: 修改于:iPhone转发:0回复:3喜欢:0
回复@沈正2024: 就一个内存的问题那是最简单的问题,直接在下一代iPhone里把内存带宽加到16GB不就完了..
就算内存没那么大有足够强大的模型量化和内存池使用方法仍然可以有很好的效果.
这种微小的问题苹果一个已经all in AI的公司还会想不到!?//@沈正2024:回复@天上的剑:错了,要做本地推理ios设备其实不占优,本地大模型吃数据吞吐 吃内存带宽,这点A系列SoC比高通其实没什么优势,但M系列SoC的统一内存当显存用是实打实领先红蓝厂,不过牙膏厂新一代移动SoC已经跟进了,就这次发布会透出的信息来看,果子短期内对手机端本地推理并不看好,仰仗iCloud云的优势和强大的平台号召力搞拿来主义在短期内更合理,不过这样做恐怕难免与果子口号上的隐私保护信条相悖
引用:
2024-06-12 22:50
$苹果(AAPL)$ 是的,他又领先了。
苹果的上涨本质上还是手机芯片的算力优势。
原先的话,手机性能已经过剩了,所以大家体验都差不多。
但是他接入了大模型变成ai手机,对算力又有了很强的需求,他手机的3纳米的优势,又体现出来了。
而竞争对手还卡在7纳米,其实好几年前就设计出5...

全部讨论

06-13 21:51

技术问题攻克起来可能比你想象中困难,当然我非常赞同苹果在“移动端本地推理”上占据的优势。简单加内存是不足以解决数据吞吐问题的,x86平台已经有纯cpu+内存运行大模型本地推理把内存干废的案例了,通常意义上的内存就不是为大模型推理这种量级的数据吞吐设计的;不过目前还没有听说过在M系列芯片上跑本地大模型把统一内存干废这种事,这也是为什么说我赞同苹果在该方向上占据又是,但这改变不了短期内移动AI终端还是相当依赖云这一点,当然这反而更加强了苹果的优势。

06-13 21:54

您看我美股组合下的讨论,我从相当一段时间前就认为应该匀一点NV的仓位给Apple了