发布于: 雪球转发:0回复:0喜欢:0
大模型装进手机,这样的手机需不需要大电池?
引用:
2023-12-21 15:00
苹果日前在arxiv发表论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。论文称,LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战,该论文构建了一个以闪存为基础的推理成本模型,将在两个关键领域进行优化:... 网页链接