文章很长,不是全部都懂,个人实际体验下来,那个ChatGPT4收费版已经挺不错了,和它聊会儿天感觉它还不笨,更像一个婆婆妈妈的初中老师,聊天过程中总想教你什么,你之前和它说什么他会记的,后面的对话中他还会引用。
三星新版手机已经可以用基于本机芯片计算的AI、下半年其他品牌新版旗舰机型大概率也会自带这个功能,AI时代正快速向我们走来,希望国内的普通人也能享用这个科技成果,别被摔下这趟科技快车。
$科大讯飞(SZ002230)$ $昆仑万维(SZ300418)$ $金山办公(SH688111)$
目前的GPT-4的水平,只是到了“解决某一项任务”的水平,还不能“替代某一项工作”。因为任何一项人类工作都是非常多“任务项”组成的,一项任务的解决无法撑起一个工种。但正如上图所示,人类工作种类是分层的,随着AI能力一步步爬升,是对一项项任务、最终是一个个工作类别的持续替代。AI进步慢,替代就慢,AI进步快出现跃升(如到了AGI),替代会猛然加速。这可能就是未来5年的叙事。短期看不到商业价值也不代表一直是0和1,人类任务越过及格线的科目从量变到质变,直到AGI那一天捅破象限...
因此比尔盖茨说的很清楚,18个月后(2025年6月)会看到AI对各领域实质性的广泛渗透。UBS和Morgan Stanley都对北美500强企业的CIO(首席信息官或技术官)做了调研,结果也显示AI对企业流程的改造都在POC验证阶段,24年H2会看到更多原型验证跑通、进入实际生产流程,25年才可能大规模进入实际生产。为什么都是25年?因为在等两件事情,1)GPT-5(或者不知道叫什么)的发布,模型能力上一个台阶,解决幻觉问题、鲁棒性一致性问题、复杂推理能力问题;2)算力成本降低到之前的1/10,目前算力成本按照每12-18个月除以10的速度降低,18个月后很多被成本制约的应用场景才可以落地。
这里引申出关键的问题还是,1)下一代模型的能力会如何;2)再之后AI会否遇到瓶颈“撞墙”。
1) GPT-5(或者其他名字)的能力提升幅度其实大概已经确定,首先肯定距离AGI还很远,这一点sam altman在圣诞节明确表示了,且看完上面你就知道AGI意味着什么分量,你就会更加敬畏,甚至希望这玩意最好是个科幻,晚点来。其次,GPT-5的能力下限,应该至少会比Gemini ultra强,如果只是看纸面结果,大概能推断:多模态且增加视频生成能力(3D未知)、Long sequence更长的输入窗口进而显著提高通用性、复杂推理能力相比GPT-4明显提升、可能开始具备较强的planning能力。再量化一点,就是刚刚sam在达沃斯上的比喻“假如GPT4完成了人类工作10%,那GPT5应该是15%或20%”。此外按照常理,解决相同问题的算力成本,可能会比GPT-4降低一个数量级。
2) GPT-5之后会不会撞墙。GPT-4用了MoE因此引发了对OpenAI单模型能力撞墙的质疑,但MoE的更大价值在于降低推理成本,更像是“优化”而不是“登月”。模型的瓶颈 1 是transformer架构的争论,的确有微创新的可能,ilya在“事变”之前的采访中,提到了现有注意力机制算力消耗过大问题,但他也提到有了解决方向。但你说新架构如RWKV、Mamba替代transformer?引用一个哥们的观点,领军企业用脚投票了,这是个生态、资源、人才自我加强的过程,新的架构崛起有点难,至少按照ilya、Anthropic Dario等领军人物的看法,transformer潜力还有很大挖掘空间。此外,从LSTM到transformer出现是20多年,架构的创新节奏即便加速也是以10年为单位;
模型的瓶颈2:对世界知识高质量压缩的数据是不是穷尽了。按照scaling law那条曲线,达到一个“能写论文独立做科研水平的”的AI需要的数据是目前的5个数量级,去哪儿找...视频等多模态数据的价值更多在于文本数据提供的知识对现实世界的grounding,但视频图片等本身对世界知识的压缩率远低于文本,正如一本几百KB的书包含的知识转化为视频可能是几个T。怎么办?
按照sam达沃斯上的说法,未来不需要那么多数据,质量更重要,数据训练效率也在提高(更少数据提取更多认知),以及可以设更多epoch反复“咀嚼”。且之前关于Q-star的猜测和Jim Fan、Musk等人的评论表明,OpenAI很可能已经实现了合成数据的有效利用。甚至Anthropic的Dario在播客中也提过“数据很可能不是制约因素,出于多种原因我不应该细说,但世界上有很多数据来源,也有很多方法可以生成数据”。这种合成数据引导法可以类比人类进化,我们灵长类祖先在掌握语言之前,是无法总结、提炼、应用、累积认知和经验的,但一旦人类发展出语言,就会出现基因/文化的共同进化,这与 LLM 的合成数据/self-play循环非常相似。此外,做个轻松点的比喻,我们读了万卷书,行了万里路,看了万千世界,就好比电影《这个男人来自地球》,一个人活了百万年,几乎是个行走的世界知识库。此时的他再学习一门新知识,是否需要那么多输入?我们说“悟性”高的人是一点即通,为什么?因为过去的高质量训练让他建立了世界运行原理的底层“相关性”。这可能也就是目前模型训练正在做的事(难怪OpenAI内部说他们在building god)。
因此,不妨对scaling law的延续乐观一点,这一次我们真的可能在一条指数线的早期。与摩尔定律一样,这是个经验性规律,一定需要严密的理论解释吗?Maybe not。直到蒸汽机发明一个世纪后,人类才对热力学有了全面的了解。技术发展历史经常出现发明先于理论,或许这一次AI也是如此。就好比,并没有什么物理定律规定摩尔定律一定持续下去,总会出现一些瓶颈让人高呼摩尔定律已死,但台积电、英特尔、AMD、苹果这些伟大企业和领军人物,凭着产业、商业、甚至人性最深层的驱动力,让这一经验定律延续了几十年。
因此回到今年的GPT-5,预期其能力可能也没那么重要,更重要的是,要持续观察我们是否保持在这条trajectory指数曲线上。
就比如手机端Agent,假如2024年是雏形,或称之为手机agent元年,对其能力期望可能就不要太高。但随着前沿模型能力爬升,agent会逐渐接管个人生活、工作、应用任务,并反映为agent的订阅ASP逐年提高。它也不像硬件终端打包价,也不像会员费,和saas订阅也不完全一样,更像你雇了一个管家,其能力从实习生逐渐成长为CEO,他能为你做的事越来越复杂,从辅助你完成工作到给你创造增量价值,且越来越了解你,粘性越来越强,你付给他的薪水只会越来越高(当然这只是从需求角度,定价上限取决于供给、稀缺性等等)。
引用下前几天sicong发我的一篇海外博主文章,这个博主对比了互联网和AI的付费用户所处阶段,可能更有说服力。互联网的付费用户渗透是这样的:
AI用户的付费渗透率,博主也大概也拍了下:
因此从付费用户渗透率的角度(更接近真实商业价值),现在AI仅仅相当于互联网时代的1996年:
这个作者也算了算目前AI CAPEX的投资回报率,大概可以参考下:
以及AI各层的利润率和投资回报,compute& Network的价值含量和利润率最高:
这就有意思了。结合前文对比AI和智能机互联网时代的不同,个人认为,随着这条指数曲线向上,底层计算会一直处于剧烈变化,也就是“iPhone4”时刻即便到来了,也只是个起点,而不是终点,质变会继续推进。假如底层计算范式在剧烈变动、创新、无法稳定,上层的应用又怎么能构建稳定生态呢?因此,个人认为,computing&Networking在整个AI的价值量占比,会在相当长一段时间保持高位,这会和互联网时代截然不同。当然,故事的结尾,永远是“离C端更近的攫取最大价值”,但走到结尾稳定态的时间,可以完全不同。从这个角度,又该如何看待英伟达呢?
这又让我想起最近讨论的小话题,你说能把英伟达从鱼头吃到鱼尾的,是对冲基金,Long Only,自有资金,还是产业资本?说小点,是半导体分析师,软件分析师,互联网分析师,还是早期VC投资人?(开放话题,没有答案)
最后,送上今天看的段子(from周总),我也转到了朋友圈:
那些年
高速行驶的铁路火车是不现实的,因为,乘客会由于车速太快不能呼吸,窒息而死。——Dionysus Lardner博士(1793-1859),自然哲学、天文学教授,伦敦
折腾交流电是浪费时间,人们永远也不会使用它。——托马斯·爱迪生,1889年
“马匹不会过时, 而汽车只是流行一时的新奇事物。”——美国密歇根州储蓄银行总裁,1906年
全世界所需要的计算机大概是……五台。——IBM 公司,1943年
过了一开始的六个月,电视就不会再有任何市场了,人们很快就会厌倦每天晚上盯着一个胶合板做的盒子。——二十世纪福克斯高管达里尔·扎纳克,1946年
人们没有理由想要在家里拥有一台电脑。——数字设备公司总裁肯·奥尔森,1977年
移动电话不会取代固定电话。——马蒂·库珀,1981年
我预测互联网很快将成为壮观的超新星, 而到1996年就会遭遇灾难性的崩溃。——罗伯特·梅特卡夫,1995年
不支持3G、造价高,而且连最起码的摔落测试都没能通过,不太可能对诺基亚构成威胁。——诺基亚工程师对第一代iphone的评估报告,2007年
$微软(MSFT)$ $腾讯控股(00700)$ $英伟达(NVDA)$ @今日话题
(完)
(原创 Jason 信息平权)
文章很长,不是全部都懂,个人实际体验下来,那个ChatGPT4收费版已经挺不错了,和它聊会儿天感觉它还不笨,更像一个婆婆妈妈的初中老师,聊天过程中总想教你什么,你之前和它说什么他会记的,后面的对话中他还会引用。
三星新版手机已经可以用基于本机芯片计算的AI、下半年其他品牌新版旗舰机型大概率也会自带这个功能,AI时代正快速向我们走来,希望国内的普通人也能享用这个科技成果,别被摔下这趟科技快车。
$科大讯飞(SZ002230)$ $昆仑万维(SZ300418)$ $金山办公(SH688111)$