Augustusss 的讨论

发布于: 修改于:雪球回复:0喜欢:8
其实涉及到一个涌现的问题,就是scale到一定规模后,模型会突然出现很强大的能力,OpenAI称之为“涌现”。这可能说明一个问题,模型能力和算力不是线性关系,而是达到一定规模后会量变产生质变。这个质变的量是多少,前沿AGI的公司都在探索,用的参数不一样,可能量也不一样。就像这次特斯拉FSD突飞猛进,马斯克宣布8.8就能robotaxi了,这个都超出很多他们公司人的预期,我觉得只能用涌现来解释。这种“涌现”,肯定所有大厂都体会过,所以他们不可能停止算力投入。因为一旦你停止了,别人继续投,别人“涌现”了更强大能力,你的业务就被别人降维打击了。这就是杨植麟说的,你去做AIGC、做应用,结果人家AGI公司取得突破,掉过头来做应用,你就被降维打击了,用户会全部流失掉。所以,Scaling Laws揭示的是AI时代最本质的问题,目前看,这个矛盾的主要方面还是算力。