发布于: 修改于: iPhone转发:0回复:4喜欢:2
回复@花匠秀: 其实涉及到一个涌现的问题,就是scale到一定规模后,模型会突然出现很强大的能力,OpenAI称之为“涌现”。这可能说明一个问题,模型能力和算力不是线性关系,而是达到一定规模后会量变产生质变。这个质变的量是多少,前沿AGI的公司都在探索,用的参数不一样,可能量也不一样。就像这次特斯拉FSD突飞猛进,马斯克宣布8.8就能robotaxi了,这个都超出很多他们公司人的预期,我觉得只能用涌现来解释。这种“涌现”,肯定所有大厂都体会过,所以他们不可能停止算力投入。因为一旦你停止了,别人继续投,别人“涌现”了更强大能力,你的业务就被别人降维打击了。这就是杨植麟说的,你去做AIGC、做应用,结果人家AGI公司取得突破,掉过头来做应用,你就被降维打击了,用户会全部流失掉。所以,Scaling Laws揭示的是AI时代最本质的问题,目前看,这个矛盾的主要方面还是算力。//@花匠秀:回复@Augustusss:这么说没问题,但值得思考的是Scaling Law也可能有瓶颈,但到没到瓶颈不懂,纯吃瓜
引用:
2024-04-09 11:43
马斯克说特斯拉的算力储备足够了?怎么感觉还是在阴阳奥特曼[斜眼]

全部讨论

04-09 12:16

这些在现在说呢就是比较浅的通识道理,大家都懂。我指的是涌现也可能有“边界”,当然也可能没有,太深的不懂。