发布于: 雪球转发:0回复:0喜欢:0

$九安医疗(SZ002432)$ 月之暗面相关负责人解释:在概念上,月之暗面给出的是200万字无损上下文长度,而不是长文本。“之所以不能称为‘长文本’,是因为输入的信息不只是文本,也可以是图片、录音、视频、动作等多模态的信息。”月之暗面相关负责人对《华夏时报》记者表示。另外,上述负责人指出,一些产品对数百万甚至上千万字的文档支持,通常采用的并不是无损长上下文窗口的方案,而是一种被称为检索增强生成(RAG)的方案,这种方式是从文档中搜索出相关的部分内容,然后将这些内容给到大模型去做推理,模型的真实上下文窗口长度,也就是真正输入给模型去推理的内容,仍然是 3 万字左右(以当前市场上常见的32K上下文窗口模型为例)。“以读书来比喻的话,支持长上下文窗口的模型是真的逐字读了一本书,然后跟你讨论书的内容;RAG方案是读了几个摘抄片段,然后跟你讨论书的内容。讨论的深度和精度自然不可同日而语。”