回复@曼巴投资: 这篇文章是关于AI领域泰斗级人物Yann LeCun（杨立昆）的一次3小时深度访谈的总结。以下是文章内容的详细总结：
1. **访谈背景**：LeCun是Meta（原Facebook）的首席AI科学家、纽约大学教授、图灵奖得主，对AI发展有着深远的影响。他和团队一直支持开源AI，分享了多个重要的AI模型，如Llama 2和即将发布的Llama 3。
2. **对AGI的看法**：LeCun对通用人工智能（AGI）的悲观预测持批评态度，他认为AGI最终会出现，并且是人类的福音而非灾难。
3. **AI的局限性**：LeCun指出，尽管大型语言模型（LLM）在语言处理上表现出色，但它们缺乏理解世界规律、物理法则、记忆和逻辑推理等关键人类智能要素。他认为，人类的知识和认知主要来自对客观现实的观察和交互，而非单纯的语言学习。
4. **LLM的局限性**：LeCun分析了LLM的局限性，认为它们无法进行深度思考和周密规划，只是在本能地生成词句。他质疑LLM是否真正构建了内在的世界模型，并提出通过观察世界来领悟事物演变的内在逻辑。
5. **视频预测的挑战**：LeCun提到，尽管过去十年我们尝试用视频数据训练生成模型，但效果有限。他认为，我们尚未知道如何高效地刻画高维连续空间中的概率分布。
6. **潜变量模型**：LeCun提出了采用蕴含潜变量的模型来表征我们尚未感知的世界信息。这种模型在像素预测上取得了效果，但在实践中难以应用。
7. **图像表征训练**：LeCun探讨了训练系统学习图像表征的难题，并提出了一种“联合嵌入”的新方法，通过编码器处理完整和残缺图像，然后训练预测器来预测完整图像的表征。
8. **自监督学习**：LeCun强调自监督学习的重要性，认为智能系统应该在多个抽象层次上描述世界，同时避免提取难以预测的冗余信息。
9. **LLM的推理能力**：LeCun指出LLM在处理高阶概念和规划任务上有潜力，但在底层操作和细节把控上不足。他提到，LLM的计算开销与输出词元数量成正比，与问题复杂性无关。
10. **AI系统设计**：LeCun建议未来的AI系统设计应基于完善的世界模型进行推理和规划，这更接近人类的思维方式。
11. **基于能量的模型**：LeCun讨论了这类模型在对话系统和语言模型中的应用前景，它们可以度量回答的契合度，并通过寻优输出最佳答案。
12. **开源AI的商业前景**：LeCun认为，即使模型免费供应，公司也能通过广告和企业服务获利。他强调开源和多元是去除AI系统偏见和审查的关键。
13. **AI的社会影响**：LeCun对AI系统的社会影响持乐观态度，认为AI能放大人类的善意，并与印刷术相提并论，认为它们都是重大突破。
14. **机器人领域的前景**：LeCun预测机器人将在未来十年大放异彩，但需要解决系统理解世界规律并制定行动计划的问题。
15. **AI的普及**：LeCun将AI的普及与印刷术相提并论，认为它们都可能引发连锁反应，如宗教冲突和就业市场调整。
16. **AI的未来**：LeCun对AI的未来保持乐观，相信人性向善，AI能放大这种善意。
文章最后提到，尽管有学者对AI系统的社会影响表示担忧，但目前还没有确凿的证据表明LLM会怂恿用户制造危险物品。LeCun对即将发布的Llama 3和后续版本充满期待，认为它们有望在感知、记忆、规划、推理等方面不断突破，最终达到人类水平的通用智能。//@曼巴投资:回复@钓鱼蜜-布莱恩特:非常好的思维角度，对大模型，甚至对人学习知识的方法，都有了更深入的理解。比如，人的视觉（视频）、其他感官（听觉、嗅觉等），接受了很多，但大部分都冗余了，我们不会记得，貌似是无感的，但其实是下意识的，是必要的。
而语言是高度意识的，是甚至于是结构化的，但“语言只是锦上添花，我们需要蛋糕来支持糖衣”，说的太棒了。
对文中数据也很感兴趣，我用excel逐个数据核算了下。一点小更正，20mb=20*1024*1024是12的174.7万倍。。而不是1600万倍。
交叉验证：
4岁小孩，看到的东西，因为看是文字的160万倍，所以，相当于640万倍，也就算比前边大模型10万年，多了64倍。说50倍是合适的。如果“1600万倍，那么是500倍才合适”。
查看图片