回复@打完怪兽好睡觉: 克服存储的性能瓶颈，确实是我没想到的，长文本窗口是我脑子短路了没往那边想。不在一线写代码果然还是不行的啊、惭愧。我想打赏这条评论，雪球却取消了这个功能。//@打完怪兽好睡觉:回复@仓又加错-刘成岗:推理是需要多卡互联的，单卡现存当KV cache可能都不够，这样实现不了长文本窗口。
推理常见的几种并行加速方法，张量并行、数据并行、流水线并行等等，基本上都是把推理请求压成batch，分配到多张卡上，这样可以计算&存储资源利用最大化。否则存储资源远落后于计算，是个瘸子腿～
总之回到最重要的点，云端的推理成本快速下降，Edge AI现在确实有点尴尬了（成本和安全是最大的优势）。。可能还需要一些时间继续提升硬件性能。