$英伟达(NVDA)$，不管GPU拆的运算单元再细，把存储和运算单元封装的再近，它本质上也还是一个冯诺依曼架构，也就是说，算归算，存归存。
那么当模型参数不断变大，一次训练需要读取的参数就越多，假设如果你的大脑左脑负责运算，右脑负责存储。每次你想问题都需要把右脑的信息，先加载到左脑，你会不会烧掉脑子？
transferformer是对人类神经网络的模拟算法，而GPU则是人类用冯诺依曼机给人类大脑做的一个虚拟机。计算机并不是好的模拟人脑的运算平台。
当然，炒股并不需要这些知识。只需要记住，堆算力是死路，如果堆算力加参数法则成立，现在OPEN AI推出的就不会是GPT4o而是GDP40。
$金山软件(03888)$
全部讨论
你错了，冯诺依曼体系中根本就没有GPU，这是老黄自创的发家概念。
真正的智能可能需要量子计算。不过当下能做的也很多了。
是的 存算一体化或许是方向 哪天老黄买下美光就无敌了
大模型并没有像人一样先构建内在的心理模型或抽象概念，然后将这些概念转化为语言表达。相反，自回归式大模型更像是在接收到输入后直接根据已积累的知识库进行响应，一个词接着一个词地生成文本，这是杨立昆说的，transferformer不是人类神经网络模拟，概率计算就需要大力飞砖加大算力
但人类智能到底是什么好像还不是特别清楚。我作为AI技术背景，确实也不认同大模型就是AGI，不过您可以看看这篇文章，网页链接