这两天World Government Summit 2024在迪拜举行，邀请了很多AI名人，如Open AI的CEO Sam Altman，Nvidia的黄仁勋，但听惯了对当前AIGC的吹捧，对Meta Yann LeCun唱反调更有些不一样的兴趣，一些要点记录如下
1、AGI也就是人类水平的通用人工智能还需要20年的时间才能实现。现在的LLM是新一轮的AI Hype, 过去五年一次的hype没有本质区别，背后都有初创公司融资的目的
2、实现AGI的路径绝不是现在的AIGC范式，还是需要新的架构，如Yann Lecun自己的I-JEPA（Image Joint Embedding Predictive Architecture）
3、AGI的最终实现还缺少4个突破
通过观察和互动学习世界系统是如何工作的，如给AI系统看视频，让其学习预测下一帧图像
需要有记忆能力，而不是像现在的LLM一样所有的背景信息只来自于Prompt（不过昨天OpenAI刚发布了memory的功能，虽然chatgpt还是不能根据交互更新系统参数）
需要有真实的推理能力，现在的LLM就是个概率统计机器，计算并输出下一个概率最高的单词
需要有提前计划的能力，能够针对现实世界的任务进行计划（这个没get到他到底说的是啥意思。。。）
基于transformer架构的LLM的scaling law（大力出奇迹）是否能继续神奇还是真像LeCun说的需要新的架构，等今年GPT-5以及Clauder-3出来后，就能见分晓了，期待。
P.S. Yann说，要训练一个foundation model需要至少1万6千张卡，而Meta今年计划购买60万张，算力军备进行中