发布于: 雪球转发:4回复:9喜欢:30

【大佬的言论,可以看看】

Meta的首席科学家、「图灵三巨头」之一的杨立昆一直是AGI降温论的主张者,他的最近一场播客里完整的讲述了他的判断思路:
语言是低带宽的,平均每秒的接收量差不多是12个字节,一个标准的大模型训练量是2x10的13次方字节起步,相当于一个人要花10万年才能读完的文本。
视觉的传输速率是每秒20MB,达到了语言带宽的1600万倍,一个4岁孩子所看到的信息总量,就比最大的大模型能够从互联网上进行训练的公开文本多了50倍。
这意味着三件事情:
1、冗余很重要,未必每个视觉神经都是有效的(你看到的大多数画面其实都不会记得),但从训练来说,冗余是自我学习的条件,冗余越多,越能接近世界全貌;
2、大部分的人类知识来自我们对于物质的感官体验,语言只是锦上添花,我们需要蛋糕来支持糖衣;
3、如果不能为机器充分提供高带宽的学习条件,达到人类水平的AGI是不可能做到的。

人类可以在看不到的情况下也能发展智能,甚至在看不到也听不到的情况下也变得相当聪明,但没有触觉是不可能的,触觉也是一种高带宽的能力。

全部讨论

03-10 17:19

非常好的思维角度,对大模型,甚至对人学习知识的方法,都有了更深入的理解。比如,人的视觉(视频)、其他感官(听觉、嗅觉等),接受了很多,但大部分都冗余了,我们不会记得,貌似是无感的,但其实是下意识的,是必要的。
而语言是高度意识的,是甚至于是结构化的,但“语言只是锦上添花,我们需要蛋糕来支持糖衣”,说的太棒了。
对文中数据也很感兴趣,我用excel逐个数据核算了下。一点小更正,20mb=20*1024*1024是12的174.7万倍。。而不是1600万倍。
交叉验证:
4岁小孩,看到的东西,因为看是文字的160万倍,所以,相当于640万倍,也就算比前边大模型10万年,多了64倍。说50倍是合适的。如果“1600万倍,那么是500倍才合适”。

03-10 14:09

1.瞎子也可以思考,聋子哑巴也可以很聪明。说明人类信息处理最重要的不是输入和输出,最大的信息处理应该是中间的逻辑结构。
2.现在的大模型在中间层的网络规模和冗余结构是非常多的,这也是规模大了之后能涌现能力的原因。也就是说为了理解处理低带宽的信息,在内部构建了大规模的逻辑结构,内部吞吐远远超出NLP任务本身的信息量。所以才能从逻辑上理解世界,只不过是通过文字来交互而已。
从输入输出的吞吐量来思考,不太令人信服。hinton和乐村更靠谱点。

03-10 20:04

杨乐坤低估了语言对人类智力发展的重要性。语言的出现才使人类具有抽象思考的能力,才让智人把其它物种远远抛在进化史中。猫猫狗狗猴子猩猩都有视觉,信息带宽都很大,但是没有用。

03-10 14:09

原来是法国人,怪不得听起来有点吃力

03-10 13:55

他好像支持另外一种技术路线

03-10 13:55

高质量见解。冗余信息过滤能力。不然对于非文本的电磁波信号世界,存储空间永远不够。

大师就是看的更深

03-10 13:43

有道理