如果现在些大企业ai搞不上来钱,还拼命的投入注定不可持续,最后搞不下去了就是越来越多公司法放弃投入,哪怕知道是未来也会放弃,因为他们没有巨量的钱财砸进去和几个巨头竞争。//@泡沫艺术家:回复@mike163:其实天天玩本地部署ai的都知道,推理的硬件需求远远低于训练,尤其是一些量化模型还能极大的节约内存。去年是训练端硬件需求爆发,但是这样烧钱的下游是不可持续的,而且订单因为需求的饱和,也会慢慢下来。这意味着今年先进制程会开始过剩,所以美股那财报后猛跌是有基本面原因的。
话说好多估计炒ai的就跟分不清传统制程与先进制程一样,分不清推理与训练的硬件差别。
groq能够成功部署llama3,提供每秒800 token的输出,以及1M token不到1美元的成本,证明 $英伟达(NVDA)$ 至少在推理端,遇到了强大对手。华尔街反应速度超快。
——————————————————————
Groq是一个专注于提供快速语言模型推理服务的公司,它通过其专有的硬件和软件技...