仓又加错-刘成岗 的讨论

发布于: 雪球回复:56喜欢:17
transformer很强但还只是transformer,NLP理论没有任何突破性进展,现在还只是Natural Language Processing,并不会Understanding

热门回复

2023-02-05 12:52

Understanding(理解)是一个假象,是用来哄人类的,所以机器学得很费劲,因为它要学的不是理解这段语言材料输入,而是要学会像人类一样“理解”这段输入,以及能以人类理解的方式来表达它的“理解”。就好像物理里的力是一种假象,只是人类发明出来的描述人类对这种物理现象理解的一种假概念,一种外星生物可能完全不理解明明就是一个曲率扭曲的时空,为什么出来了一个“力”这么个名堂[笑哭]

解释模型应该是比创造模型更难的科学,我们也是先学会使用指南针才慢慢发现解释指南针指南的科学原理。

2023-02-05 15:05

人类为什么要“理解”一大段语言?和人类用语言互相交互时的输入输出带宽很小,而存储和计算(人脑)的能力却相对很强大是有关系的。比如考试所谓的阅读理解,就是让人脑处理好读进去的一大段语言,然后面对一个短输入问题,给出一个短输出,就是所谓的答案。即便如此,哪怕回答正确无误,问答用声音传输,怎么也得几秒钟。电脑互相交互的话,可能会觉得对面这台电脑是不是有毛病,你要这个信息,我整个一兆字节五十万字发给你也就几毫秒,你要找信息的话你线性查找一下也一秒钟以内解决了嘛...

2023-02-05 13:58

人类的understanding到底是什么还是一个很有争议的问题,如果你把它看成按照个体的认知能力,选择一种观点,这种观点最合乎逻辑和(或)可能性(概率)最大。机器的理解能力超越人类应该要不了多久了。

能理解你说的意思,但是人工智能有个笑话是:人工智能做什么,什么就不是「真正的智能」了。仓老师肯定熟悉历史的发展,我就不举例子了。

只要一天没实现强AI,那“XX不是「真正的智能」”就可以永永远远地讲下去。然而从应用的角度,没有强AI也能实现很多“智能”,所以“understanding”并不是必须的

那是因为还停留在很浅的层面,现在就有人用几何方法在研究神经网络的白盒化。维象层面的知识,最后还得回到数理层面才可能深刻。没有什么是人类不能理解的,只是还没到那个阶段。

2023-02-05 15:34

说说我的一个看法。我认为理解understanding没有correlation关系重要。一些复杂的correlation里面蕴藏的道理,人类根本无法理解。我在上研究生期间做各种建模,所有我们能从根本上理解的数学模型最后预测的效果都不如我们完全无法理解的“黑盒子”神经网络学习。。。。

过些年AI醒悟过来,直接按照自己的理解来进化,抛弃人类思维模式。

巨型模型和巨型数据可以产生复杂的数学结果,但跟understanding没什么关系吧,即便 transformers 也是半监督的一种,没有可能产生统计学上都不错在的understanding

2023-02-05 19:32

关于AI understanding 和processing 的讨论,推荐阅读辉格的相关文章:网页链接