$北京君正(SZ300223)$ Groq的效益成本问题才是关键
原阿里技术副总裁贾扬清发文分析称，要保证LPU和H100同样吞吐量，就需要更多的卡，而一张LPU卡仅有230MB的内存，且售价超2万美元，在运行Llama-2 70b模型时，需要305张Groq卡才足够，而用H100则只需要8张卡。从目前的价格来看，这意味着在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。如果运营三年，Groq的硬件采购成本为1144万美元，运营成本为76.2万美元。相比起来，8卡H100的硬件采购成本是30万美元，运营成本是7.2万美元。
但华为“天才少年”左鹏飞在知乎上发文反驳了贾扬清的说法，左鹏飞认为大家混淆了售卖价和成本价。应该以Groq自己生产卡的成本价来计算推理成本。虽然 Groq 卡的售卖价是2万美金，但其成本价非常低，预计每卡成本在1200美金左右。
左鹏飞直言，GPU的成本大头则在HBM，但 Groq 直接丢掉了HBM，可以按 SRAM 的成本价估算卡成本。按1200美金/卡的成本计算，500张Groq卡的总成本是60万美金。Groq 公司拿这60万美金只能采购两台英伟达H100。两台英伟达 H100 能跑出 500 tokens/s的性能吗？