说明你还是没懂,你去看看冯诺依曼体系,哪里有GPU?
其实这里在讨论内存墙的问题。GPU里面ALU和memory也是分开的,中间用内部总线相连。现在大模型越来越大,ALU能力上升是飞快,但哪怕用GPU、内存也逐渐成为瓶颈,更不用说内存带宽了。这也是HBM等技术开始变得热门起来的原因。
我推荐你去看看黄在mit或斯坦福的那次演讲,2010年之前。对计算机,你绝对没有我懂。
而且AI集群还涉及到了服务器内、服务器间的GPU互联
GPU虽然还不是完全存算一体,至少也是近存计算,一定程度上旁路了CPU
你找个大模型问问吧,别来问我了,我不想回答那么基础的问题。
你一开口就已经没法聊了。你连高中计算机课都没搞懂。
他想说的是存算一体。就是利用模拟电路的特性(而不是用数字电路),把卷积最基本的乘加运算在存储器内部的管级做了。
gpu只是分担一部分cpu工作而已,因为分担工作重要才特化成gpu,本质是属于cpu的一部分,所以还是冯诺依曼结构。