发布于: Android转发：0回复：6喜欢：3
LPU等新架构颠覆英伟达的可能性还是挺大的
当前chatGPT等大模型的痛点是什么？就是反应太慢了，问个问题要等很久，而LPU大大加快了反应速度。
所以看华尔街文章中那神马专家去比较什么成本，能耗，都是扯淡。
现在是抢用户的窗口期，那些科技巨头在乎成本吗？拼的是用户体验啊，
何况groq的LPU目前还是第一代，还是初创企业，还是14nm工艺，成本和能耗未来可以降下来的。$英伟达(NVDA)$ ，$苹果(AAPL)$ ，$AMD(AMD)$ ，台积电，特斯拉

全部讨论

forcode
02-22 01:16

利好国产ai产业？

ffffdddd
02-22 00:25

其实就是和特斯拉hw芯片一个思路，专攻推理，高带宽和高性能缓存。同样算力特斯拉芯片处理视频帧数能力大概也是10倍，针对大模型lpu估计也是这个路数。
颠覆的是英伟达芯片用作推理的市场，训练的芯片微软，谷歌，亚马逊，meta，特斯拉都在开发，英伟达未来暴利是不大可能的。

红杉树森林
02-22 04:33

据一位网友估算，要运行LIama2模型，需要购买约568块芯片，而这将花费高达1171万美元。与之相比，英伟达的H100卡在同等吞吐量下的硬件成本只有Groq的40分之一，能耗成本则只有其1/10。

hartmon
02-22 08:55

SRAM存储一个bit需要6个晶体管，但是内存只需要一个。无论作何设计，都没法改变这种物理特性。
LPU适用于不差钱的极少数场景，NV不会受到多少冲击的。