| 发布于: | 雪球 | 回复：56 | 喜欢：17 |
Understanding（理解）是一个假象，是用来哄人类的，所以机器学得很费劲，因为它要学的不是理解这段语言材料输入，而是要学会像人类一样“理解”这段输入，以及能以人类理解的方式来表达它的“理解”。就好像物理里的力是一种假象，只是人类发明出来的描述人类对这种物理现象理解的一种假概念，一种外星生物可能完全不理解明明就是一个曲率扭曲的时空，为什么出来了一个“力”这么个名堂[笑哭]
但是能做到掌握已知的训练的东西，已经是很强了，我们大部分做的工作也不过尔尔，写个同质化的文章，公文，太多的东西了
其实domain generalization或者说out of distribution generalization的各种评估即使做得好，也还不是人类的所谓理解。真正做到algorithm reasoning的才是，这方面工作近年最著名的应该是GNN在一些简单图算法上，在infinite width极限条件下的分析。
哦，是这个意思。那transformer出现前的ulmfit应该已经证明了计算机这样学到的语言模型是有很强的迁移学习能力的，能完成没被训练的任务。后来的研究进一步发现这些模型还有跨语言的能力，在一种语言学到的结构和能力能在缺乏训练材料的新语言里用出来