回复@美丽的邂逅: 老实说你有多少股了//@美丽的邂逅:回复@美丽的邂逅:$恒生电子(SH600570)$
这篇文章是在ChatGPT火爆出圈前不久发表的，以CHATGPT为分界线，相关AI的文章，或者说NLP AI方面，都有清晰的分水岭或界线。当时可能难以想象到，几个月之后的CHAPGPT就有那样的一种效果。文章谈到的应对手段，明显与大模型方向是不同的。但恒生在AI方面的研发与投入，的确是10年前就已经开始在搞与应用了。
恒生首席科学家白硕：精准NLP的机会与挑战 2022-09-21
从答案复杂度看NLP技术的演进
这一波以深度学习为核心技术的AI浪潮中，NLP（自然语言处理）可以说是成功的AI应用典范之一。放眼其他AI应用，或许只有人脸识别可以与之相提并论。在资本市场的金融科技实践中，我们也亲身经历了NLP用于客服、投研、投顾、法务和运营/运维一体化等各类应用尝试。
这几年的尝试说明，在一些简单场景使用深度学习的现有NLP技术是有效的，但只要把要求进一步提高，NLP就难以胜任。
在这个过程中，我们最深切的体会就是：领域知识和AI模型难以有效融合。究竟是AI模型只需要数据、不需要领域知识也能搞好，还是AI模型受自身局限所致，无法融合领域知识？“懂业务”能否成为NLP技术和产品的核心竞争力？是我们无法逃避的“灵魂之问”。
精准NLP如何破局实现精准NLP，应该从哪里入手，才能真正破局呢？笔者认为，应该从以下三个方面入手：
1.在文本侧实现精准解析。所谓精准解析，就是构建有层次的句法结构。我们看到，最近业界对基于依存语法的分析器的需求明显上升。依存语法面向英语的解析能力相对成熟，面向汉语还有很长的路要走。
2.在应用侧进行元数据集成。所谓元数据集成，就是构建不同应用场景所需的、可关联可组合的“技能”框架群。从IT观点看，资本市场是一个高门槛、小体量的市场，需要的“技能”总量或许没有互联网电商那样庞大，但对“技能”及其背后的数据、元数据的理解，对框架之间的关联关系、组合关系的理解，却需要一定的专业能力。
3.在语义侧实现资源图谱。所谓资源图谱，就是打通文本侧和应用侧的中间知识表示，也是屏蔽应用侧个性，合并应用侧共性的中间知识表示。
我们认为，这个中间知识表示的载体，非知识图谱莫属。其原因是——知识图谱的表达能力足以覆盖应用侧的各类元数据抽象，知识图谱的丰富协议栈至今没有其他知识表示体系可以超越。
笔者认为，在上述文本侧、应用侧、语义侧的技术准备就绪并连成一体的情况下，精准NLP的破局就势在必行。这是挑战，更是机会。
NL2X：恒生进军精准NLP之路
进一步追问，究竟在对NLP哪些方面提出了什么“高”要求，NLP就开始不那么胜任了呢？也许，在对追问的回答中就包含了通向NLP正确发展道路的钥匙。追问当然可以在很多维度上展开，但是我们发现，“答案复杂度”是一个有意义的维度。如只看表象，一个自然语言对话系统的输入是文本，输出也是文本，输出的文本要多复杂就可以多复杂，其实这是误导。如我们把一部FAQ切割成若干个“固定答案”，每个答案只需要一个分类标签，那么整个问答的过程就是一个根据输入问句寻找匹配的分类标签的分类问题。知道了这一点，全部深度学习的精华就可以套上去了。只要有足够多的数据，足够大的模型，这个“文本固定答案（分类标签）”的问题就可以做得足够好。可是，继续深挖场景，我们会进入“固定答案”难以满足应用需求的情况。人们常用“技能”来描述NLP的能力。掌握一个“技能”，并不是说可以回答一个答案固定的问题。比如在基金电商的场景，完成购买基金产品的一个“交易”，就是一个技能。这时，基金的名称、风格、收益状况、过往业绩和基金经理的人脉圈子，以及客户想要购买的份额数量等都是变化的。执行交易，意味着一个按照参数设定完成一个交易行为。但NLP要做的，是既要正确地定位“买基金”这样一个动作类型，还要正确获取完成这个动作所需要的各个参数。这就是一个“技能”。如果说，技能名是一个“固定标签”的话，一个完整的技能就是这个“固定标签”再加上一组该技能对应的参数。这组参数可以用若干个“槽-值对”来刻画。技能名+“槽-值对”，在业务上相当于一个表单，在AI中这就是一个“框架”。“输入一段文本，输出一个框架”，这是NLP的第二个能力阶梯。跃上第二个能力阶梯，是NLP在答案复杂性上的一个重要的飞跃。再进一步，很多场景下，单独一个“框架”也满足不了用户用自然语言提出的要求。比如调阅一个数据表，按照一定的条件筛选出符合条件的数据记录，对之进行字段裁剪并指定排序规则输出一个结果视图。这是典型的数据库单表查询。如用自然语言文本来表达这样的查询意图，输出的就不是“一个”框架，而是一段SQL程序。当然如果已经建立多表的关联，也可以在自然语言文本“召回”下，通过关联来进一步完成多表的查询。测试脚本、运维自动化的脚本，也可以通过自然语言文本的描述来生成。所有这些，都不再是简单“文本到框架”映射，而是更复杂的“文本到多层框架组合”的映射。于是我们来到第三个能力阶梯的面前，它的最大特点同时也是最大难点，就是“组合”二字。所以，在现阶段，谈到精准NLP其实最核心的关键技术就是精准地把文本映射为框架组合。如果这个部位有所突破，哪怕是在一个很具体的应用领域，也会带来应用面貌的巨大改变。