发布于: iPhone转发:2回复:40喜欢:17
技术大牛贾扬清在twitter上解读了最近大火的LPU。因为Groq小的可怜的内存容量(230MB),在运行Llama-2 70b模型时,需要305张Groq卡才足够,而用H100则只需要8张卡。从目前的价格来看,这意味着在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。所以结论就是,目前LPU要取代GPU还是天方夜谭。从这个角度看SDRAM的主题投资高度不会很高,说不定明天就要迎来退潮。
$北京君正(SZ300223)$ $英伟达(NVDA)$ $中际旭创(SZ300308)$

精彩讨论

可怕的鲨鱼02-21 09:15

那位贾老师是不是忘记了一件事:中国人买不到英伟达卡。在根本买不到的背景下,怼几百个14纳米的无门槛老古董ram大力出奇迹,也能用,还很快,就是贵点,不是很合理么?换言之,谷歌团队搞这个设计出来,怎么看怎么都像是专门帮忙被制裁国家安排一条出路(打开新销路)这么个节奏。挺不错的。

竞价与概率02-21 08:12

SRAM的体积是比较大的,要想提高算力就必须要提高器件的密度,从这点来说,SRAM是不太适合做大算力场景的。采用SRAM的这些公司都在基于边缘端做小算力的场景,比如语音识别、智能家居的唤醒、关键命令词的识别等

fDhdhfu02-21 07:47

说实话,只要快,成本根本不是他们考虑的问题,奥特曼都提出要7万亿重造芯片了,你觉得他们关心钱吗?

坐看潮起落02-21 09:09

十多年前在芯片公司呆过,那时候SRAM的面积是DRAM的四倍吧,功耗也大,做出来的芯片烫手,现在有改观了?

乱吧四万02-21 08:43

再快和北京君正有啥关系?人家要买他的货么。今天低开低走!

全部讨论

说实话,只要快,成本根本不是他们考虑的问题,奥特曼都提出要7万亿重造芯片了,你觉得他们关心钱吗?

02-21 09:15

那位贾老师是不是忘记了一件事:中国人买不到英伟达卡。在根本买不到的背景下,怼几百个14纳米的无门槛老古董ram大力出奇迹,也能用,还很快,就是贵点,不是很合理么?换言之,谷歌团队搞这个设计出来,怎么看怎么都像是专门帮忙被制裁国家安排一条出路(打开新销路)这么个节奏。挺不错的。

02-21 08:12

SRAM的体积是比较大的,要想提高算力就必须要提高器件的密度,从这点来说,SRAM是不太适合做大算力场景的。采用SRAM的这些公司都在基于边缘端做小算力的场景,比如语音识别、智能家居的唤醒、关键命令词的识别等

02-21 07:34

估计一日游,昨天先信的吃肉今天卖给后信的

02-21 08:43

再快和北京君正有啥关系?人家要买他的货么。今天低开低走!

02-21 12:27

炒这东西的真是韭菜,按这个逻辑,将RAM集成到芯片里面,也就是将寄存器做得跟RAM一样容量?

02-21 09:09

十多年前在芯片公司呆过,那时候SRAM的面积是DRAM的四倍吧,功耗也大,做出来的芯片烫手,现在有改观了?

02-21 08:09

马车比火车便宜多了

02-21 18:34

jyq的计算方式本来就有问题,忽略了batching。实际上测算出来的100t token成本groq是要更低的

昨天没买sram!?