发布于: Android转发:0回复:0喜欢:0
好想你,还有救吗?
引用:
2024-04-12 13:39
光模块10倍史诗级增量逻辑?去年,GPT-3使用了大约2000个光学互连,在1K集群上进行了培训。今天,我将讲述正在25K集群上训练的GPT-4,这是25倍大的集群,需要大约75000个光互连。模型会越来越大。我们看到100K集群即将面世,这可能需要五层交换,因此可能需要500.000个光互连。人们谈论的是100万个...