回复@仓又加错-刘成岗: 推理是需要多卡互联的，单卡现存当KV cache可能都不够，这样实现不了长文本窗口。
推理常见的几种并行加速方法，张量并行、数据并行、流水线并行等等，基本上都是把推理请求压成batch，分配到多张卡上，这样可以计算&存储资源利用最大化。否则存储资源远落后于计算，是个瘸子腿～
总之回到最重要的点，云端的推理成本快速下降，Edge AI现在确实有点尴尬了（成本和安全是最大的优势）。。可能还需要一些时间继续提升硬件性能。//@仓又加错-刘成岗:回复@舟宿夜江:三点技术错误哈：
1、AR是端上计算的，演示的这个是云上计算的，所以【过去AR用一堆硬件+摄像头想去实现的能力，还塞不进去，还担心功耗等等问题，现在一个模型实现了】不是Apple vs. Apple的比较。
2、推理不需要片间互联，一块GPU就能支持很多推理请求。这个无需技术背景就能明白，如果做个推理也要多块GPU一起，成本会高得可怕。
3、调用摄像头、麦克风不需要系统级权限，普通的App就可以，基于浏览器的网页也可以，微信小程序也可以。