发布于: Android转发:0回复:1喜欢:4
$闻泰科技(SH600745)$ $浪潮信息(SZ000977)$ 晚上多家卖方辟谣了。
deep speed chat对算力影响
公式:gpt3.5/4/5 +RLHF=chatgpt
deep speed chat调整的点在RLHF
你还是需要训练出gpt3.5/4/5才能搞出chatgpt。
一句话总结:gpt3/3.5/4/5 ,money is all you need
根据instructgpt的数量,大概不到10w条
一条算100个token= 1000w个token
但gpt3 用了3000亿个token
所以数据上的话1000w/3000亿=10万分之三
RLHF优化对算力影响微乎其微
ai发展对算力的追求没有天花板
继续拥抱最确定的环节
影响:
加速应用百花齐放,降低训练门槛。如办公、多模态GPT、智能助理、金融、医疗等场景训练中FINETUNE难度与便捷性比以前好很多。
中期加大算力需求:我们一直强调,训练端算力需求极其有限,而应用爆发才是指数型增长。
DEEP SPEED-chat加速各类应用落地,中期算力需求有望迎来大爆发。这和市场目前的误解有差异。

全部讨论

2023-04-14 12:50

最近吃肉了吗