1.前天公众号预测了，会让GPT-4免费，但没想到是多模态的免费...并且过去只有Plus付费用户才有的GPTs、browring、图像理解、代码解释器等全部免费。当然用量是限制了，5X标准用量后才会收费。但别着急，等GB200部署后，一定是GPT-4 level模型全部免费，你们不是追赶GPT-4吗，不是卷价格吗，Ok大家都别赚了。剩下的收费点：用量、新模型
2. 最惊人的低延迟如何实现的？这是个系统工程，全栈优化。从模型到硬件Infra到推理工程软件优化等等。首先过去的语音模型3个模型，现在端到端了，其次一个月前老黄刚刚交付给OAI最新的H200，推理速度是H100的2倍，以及正如中国模型最新进展，OAI一定做了大量未知的架构创新（毕竟已经1年多了...），还有网络优化、推理引擎、批次处理等等雕花小技巧。但能力不降甚至略高于GPT-4情况下，依然实现如此低延迟，还是非常惊人。这一下拔高了推理延迟的标准，而从硬件角度如果大家去追逐低延迟的话，又会再次强调访存带宽、片间互联，且随着模型变大，高带宽域也需要更大，又回到了NVL72的精妙之处...所以你说老黄定义的准不准（提前知道答案能考得不好吗）
3. 免费/低价+低延迟，可用性大幅提高，应用开发可能性大幅提高。比如下图
语音对话的同时，开启摄像头，让ChatGPT实时看到你所在的环境以及你看到的信息（不是视频，而是截图，可能考虑input token数量和视频理解能力不成熟），这是典型的AR应用，过去AR用一堆硬件+摄像头想去实现的能力，还塞不进去，还担心功耗等等问题，现在一个模型实现了，且可以嫁接到任何有摄像头的IOT设备。
再比如，ChatGPT电脑客户，现在只是复制、分享电脑屏幕。因为accuracy还有待提高，这要等下一代模型。但accuracy上来了，下一步就是模型/agent自动操作电脑屏幕。的确很多桌面端或者移动端APP要瑟瑟发抖，在他们身前凭空加了一个新入口。
再比如下面这个，两个模型/agent对话。过去因为延迟也好，隐私也好，没看到成熟应用。现在终于看到了科幻小说般的场景，agent与agent协同，人与人之间的很多交互，是不是分解为每个人各自诸多助理之间的交互？
更不用说其他大量应用场景过去都被延迟限制了，现在全部解锁。cost、latency、accuracy、complexity，四个解决了2个了，就看下一代模型解决后两个，应用会进一步被释放。回到我们1月文章所说，这是个阶梯式逐渐解锁的过程...
当然，又是模型对一堆应用公司的绞杀，看看多邻国的跳水...隔壁谷歌还反弹了，毕竟整个过程和search搜索相关性几乎没有，但也只是现在。以及现在我对苹果9月发布会更有信心了，这种体验如果是siri，算不算苹果的巨大升级？能不能驱动换机？明白了为什么OAI放在谷歌IO前一天...比武招亲？
这里自然引出另一个话题，OAI和苹果的合作模式会是什么样的。OAI需要的最核心的是端侧应用权限，系统级权限，只有苹果能提供。而苹果显然需要的就是GPT-4o这种模型。那按道理安卓机也可以去调用GPT-4o，那苹果的优势在哪儿？可能又回到了本身自制芯片、封闭生态、统一OS体验等等。以及这种siri的商业模式会如何？假如明年真的GB200让GPT-4o干到近乎免费，苹果10亿用户存量（能支持GPT-4o的存量机型不知道有没有这么多，但云端倒是都可以），会是多大的调用量...正如之前我们说的，苹果+OAI，会让推理的用量不敢想象...且都是这种极低延迟推理，对infra的需求是巨大变化
（完）
infra角度如何实现低延迟？稍晚整理好会继续更新在星球：