发布于: iPhone转发:0回复:0喜欢:0
jyq的计算方式本来就有问题,忽略了batching。实际上测算出来的100t token成本groq是要更低的
引用:
2024-02-21 07:27
技术大牛贾扬清在twitter上解读了最近大火的LPU。因为Groq小的可怜的内存容量(230MB),在运行Llama-2 70b模型时,需要305张Groq卡才足够,而用H100则只需要8张卡。从目前的价格来看,这意味着在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。所以结论就是,目前LPU要取代GPU还是天...