泡沫艺术家 的讨论

发布于: 雪球回复:20喜欢:43
说一下,现在不到碰半导体的时候的,得等。
知道外盘为啥最近AI股大跌吗?因为成熟制程现在库存天数依然极高,产能过剩,而先进制程去年订单爆发后,下游没有盈利模式,要开始没钱烧了,未来先进制程也要开始相对过剩了。
其实关于这个问题,不说那些专业领域,就说玩个AI绘画的朋友应该知道的吧。你想训练一个XL的Lora模型,最好得有4090这样的显卡,而如果出图做推理的话,甚至一块3060就够了。包括那些语言模型也一样,想训练得2块A100起步,而推理只需要四分之一甚至更小的显存,消费级显卡就能轻松单机部署。
知道这是啥含义吗?对于先进制程高端专业卡订单,去年该买的都买了后,推理硬件需求低,先进制程也会很快过剩的...

热门回复

早着了,本地部署能靠谱点的14B语言模型使用INT8量化优化后显存,大概也需要占用18G,推理的时候GPU还完全占用。也就是说需要一块4090性能级别的,跟当初PhysX物理加速卡一样作为AI辅助运算卡才行...

泡大对医疗etf怎么看

游戏业才是最大爆点吧,把npc ai部分运算放到本地,需求就炸了。

为啥8bit,5.65-6 bit是甜点区域,损失相当低。对应GGUF格式的Q5_K_M或者exl2的6bit。
70B的4bit也能用。
还有更低的量化,如果只是为了创造性写作,也某种程度上凑合。

总算力不足,可以选择开dlss或者ai,或者土豪双开。你觉得是开ai多还是dlss多?是ai带动显卡销量还是dlss带动销量?

50系旗舰应该可以基本流畅,tensor负责ai,shader负责图形,类似当年20系的光追。但是这玩意儿带来的冲击不是光追可以比的。

更低的量化总有各种问题,尤其是重复...

最好解决方案,双4090[狗头]

DLSS由Tensor core提供计算支持的...

现在臭打游戏的手头也紧