第二点持保留看法哦。现在可能如此,以后需求应用的爆发对推理的要求和需求都会大增,单卡提升太慢了,老黄家的解题思路是用NVL把计算单元从单芯片升级为package乃至数据中心。随着推理算力成本的急速通缩,低成本和大用量会成正循环,如今云上吃算力的大活儿也会被下放至端侧。
1、AR是端上计算的,演示的这个是云上计算的,所以【过去AR用一堆硬件+摄像头想去实现的能力,还塞不进去,还担心功耗等等问题,现在一个模型实现了】不是Apple vs. Apple的比较。
2、推理不需要片间互联,一块GPU就能支持很多推理请求。这个无需技术背景就能明白,如果做个推理也要多块GPU一起,成本会高得可怕。
3、调用摄像头、麦克风不需要系统级权限,普通的App就可以,基于浏览器的网页也可以,微信小程序也可以。//@舟宿夜江:回复@信息平权:学习了。
1.前天公众号预测了,会让GPT-4免费,但没想到是多模态的免费...并且过去只有Plus付费用户才有的GPTs、browring、图像理解、代码解释器等全部免费。当然用量是限制了,5X标准用量后才会收费。但别着急,等GB200部署后,一定是GPT-4 level模型全部免费,你们不是追赶GPT-4吗,不是卷价格吗,Ok大家...
第二点持保留看法哦。现在可能如此,以后需求应用的爆发对推理的要求和需求都会大增,单卡提升太慢了,老黄家的解题思路是用NVL把计算单元从单芯片升级为package乃至数据中心。随着推理算力成本的急速通缩,低成本和大用量会成正循环,如今云上吃算力的大活儿也会被下放至端侧。
推理是需要多卡互联的,单卡现存当KV cache可能都不够,这样实现不了长文本窗口。
推理常见的几种并行加速方法,张量并行、数据并行、流水线并行等等,基本上都是把推理请求压成batch,分配到多张卡上,这样可以计算&存储资源利用最大化。否则存储资源远落后于计算,是个瘸子腿~
总之回到最重要的点,云端的推理成本快速下降,Edge AI现在确实有点尴尬了(成本和安全是最大的优势)。。可能还需要一些时间继续提升硬件性能。
感觉好厉害完全看不懂
给我这个AI小白最直观的感觉,以后类似于带有GPT-4O这样的大模型产品普及,真的会越来越多的使用云计算吧,可能是指数级别的?
Hi,我理解信息平权说的推理是云端内部的推理能力的泛化,不是基于每个端侧的场景的推理实现。个人见解哈
大模型
谢谢。