发布于: 雪球转发:0回复:0喜欢:0
[很赞]//@曼巴投资:非常好的思维角度,对大模型,甚至对人学习知识的方法,都有了更深入的理解。比如,人的视觉(视频)、其他感官(听觉、嗅觉等),接受了很多,但大部分都冗余了,我们不会记得,貌似是无感的,但其实是下意识的,是必要的。
而语言是高度意识的,是甚至于是结构化的,但“语言只是锦上添花,我们需要蛋糕来支持糖衣”,说的太棒了。
对文中数据也很感兴趣,我用excel逐个数据核算了下。一点小更正,20mb=20*1024*1024是12的174.7万倍。。而不是1600万倍。
交叉验证:
4岁小孩,看到的东西,因为看是文字的160万倍,所以,相当于640万倍,也就算比前边大模型10万年,多了64倍。说50倍是合适的。如果“1600万倍,那么是500倍才合适”。查看图片
引用:
2024-03-10 13:38
【大佬的言论,可以看看】
Meta的首席科学家、「图灵三巨头」之一的杨立昆一直是AGI降温论的主张者,他的最近一场播客里完整的讲述了他的判断思路:
语言是低带宽的,平均每秒的接收量差不多是12个字节,一个标准的大模型训练量是2x10的13次方字节起步,相当于一个人要花10万年才能读完的...