20231104周末热点分析 （行万道归一）

事件催化：OpenAI首届开发者大会，将推出Stateful API

OpenAI宣布将于2023年11月6日在旧金山举行公司首届开发者大会“OpenAIDevDay"，亮点有“多模态”及“嵌入各类APP”，预计会发布有储存能力的开发者工具，从而大幅降低开发者成本，具备视觉能力的新开发工具或也将推出。

预期差在于两点：

1、视觉API，允许开发者构建可以分析图像的软件

2、推出Stateful API，据传可以让开发者成本减少95%，即有望让AI应用盈利提升20倍。

利好利用OpenAI大模型创建应用的基座公司，重点关注微软OpenAI合作企业、AIGC相关企业、视觉应用企业等，受益方向：影视游戏＞教育＞办公＞购物＞医疗，如鼎捷软件、汉王科技、万兴科技，天地在线、润达医疗、果麦文化、天龙集团

下面为Stateful API简单科普

早期OpenAI的LLM API是无状态的（即Stateless）。这种方式的优势在于易实现，方便client端定制和修改历史对话，缺点是在多轮对话场景下，序列的请求中包含了很多重复的部分，会重复计算。虽然在Stateless API下也可以针对性的进行缓存设计，但由于这套API暴露了太多内部状态，使得一些更加复杂的多轮对话优化方案变得难以实现。

基于对话Session的API主要有三种优化方案：

1、多轮对话KV-Cache，使用分布式对象存储服务。或只使用单机磁盘存储状态，把Region设置为机器级别，这会制约负载平衡策略的决策空间和效果。

2、私有的长对话历史的压缩/检索策略

目前长对话历史的压缩策略都是调用API的应用层进行处理，在基座模型供应商层面也可以采用简单的滑窗策略、session级别向量召回以及更重的检索策略等等，甚至可以提供参数由用户指定方案，来平衡效果和成本。

3、多模态API与文档输入

在一次对话中，可以缓存的内容并不只KV-Cache和对话历史的压缩/检索结果，当支持多模态输入的时候，输入的图片、文档的预处理结果、内部索引也都是可以被记录到session存储的。Stateful API才是多模态下多轮对话下最自然的API风格。

针对知识库构建这类应用，可以使用Stateful的API，但作为对话session级别可能并不合适，需要超越短期Session，需要生存时间更长的workspace级别的Session，用来存储知识库的信息，并提供更新方式。需要对话查询时，从具体的workspace来创建对话session。也可以构建长时间存在的长期对话session，提供极长的等效context window能力，满足持续的无遗忘对话场景需求。