技术大牛贾扬清在twitter上解读了最近大火的LPU。因为Groq小的可怜的内存容量(230MB),在运行Llama-2 70b模型时,需要305张Groq卡才足够,而用H100则只需要8张卡。从目前的价格来看,这意味着在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。所以结论就是,目前LPU要取代GPU还是天...
美帝又不擅长制造。这东西如果没有被证伪,后续展开只能是中方去买G公司的授权,在中国自己生产,生产商必然是君正,赵姨其实也有那个技术,但不确定目前还有没有现成的产线。
懂哥你好