| 发布于: | iPhone | 转发：0 | 回复：5 | 喜欢：0 |
$英伟达(NVDA)$，不管GPU拆的运算单元再细，把存储和运算单元封装的再近，它本质上也还是一个冯诺依曼架构，也就是说，算归算，存归存。
那么当模型参数不断变大，一次训练需要读取的参数就越多，假设如果你的大脑左脑负责运算，右脑负责存储。每次你想问题都需要把右脑的信息，先加载到左脑，...
那些多模态的大模型和语言的关系是不是没那么大，比如特斯拉的端到端自动驾驶模型。印象中大模型的核心是transformer结构和scaling law，这两个东西和语言的关系是绑定的吗？感觉输入输出应该不仅限于语言，也可以是图片、视频等等？