发布于: 雪球转发:0回复:0喜欢:0
回复@游资小马甲: sram造价,太贵了。要是这都可以,谁还用ddr啊//@游资小马甲:回复@游资小马甲:不是说Grog超级贵不能用吗...
引用:
2024-02-20 15:31
比GPT-4快18倍,世界最快大模型Grog登场!每秒500 token破纪录,自研LPU是英伟达GPU 10倍。
重点:不同于英伟达GPU需要依赖高速数据传输,GroQ的LPU在其系统中没有采用高带宽存储器(HBM)。它使用的是SRAM,其速度比GPU所用的存储器快约20倍。
鉴于AI的推理计算,相较于模型训练需要的数...