我愚人 的讨论

发布于: 雪球回复:12喜欢:6
你错了,冯诺依曼体系中根本就没有GPU,这是老黄自创的发家概念。

热门回复

唉,把股民想的太聪明,就是我不聪明的地方。

说明你还是没懂,你去看看冯诺依曼体系,哪里有GPU?

其实这里在讨论内存墙的问题。GPU里面ALU和memory也是分开的,中间用内部总线相连。现在大模型越来越大,ALU能力上升是飞快,但哪怕用GPU、内存也逐渐成为瓶颈,更不用说内存带宽了。这也是HBM等技术开始变得热门起来的原因。

我推荐你去看看黄在mit或斯坦福的那次演讲,2010年之前。对计算机,你绝对没有我懂。

而且AI集群还涉及到了服务器内、服务器间的GPU互联

GPU虽然还不是完全存算一体,至少也是近存计算,一定程度上旁路了CPU

你找个大模型问问吧,别来问我了,我不想回答那么基础的问题。

你一开口就已经没法聊了。你连高中计算机课都没搞懂。

他想说的是存算一体。就是利用模拟电路的特性(而不是用数字电路),把卷积最基本的乘加运算在存储器内部的管级做了。

gpu只是分担一部分cpu工作而已,因为分担工作重要才特化成gpu,本质是属于cpu的一部分,所以还是冯诺依曼结构。