其实这里在讨论内存墙的问题。GPU里面ALU和memory也是分开的，中间用内部总线相连。现在大模型越来越大，ALU能力上升是飞快，但哪怕用GPU、内存也逐渐成为瓶颈，更不用说内存带宽了。这也是HBM等技术开始变得热门起来的原因。