05-23 17:32
用户每交互一次,比如和ChatGPT对话或生成图片,都会在云端运算一次,继而产生对应的成本,只能通过软件优化单次交互消耗的算力,但“用一次算一次”的拿货成本无法改变。
例如问“画一幅小猫开车”的图片,与讲一个“关羽上太空”的故事,如果用“函数”去理解,按道理两者的参数不一样,为什么大模型可以用统一的训练好的参数去推理这两个问题?
用户每交互一次,比如和ChatGPT对话或生成图片,都会在云端运算一次,继而产生对应的成本,只能通过软件优化单次交互消耗的算力,但“用一次算一次”的拿货成本无法改变。
推理算力也是要的,访问越多,推理算力也同比上涨。
推理成本算边际成本。
软件的边际成本都是非常非常低的,近乎零了。扩大规模再生产,对软件来说,太容易实现了。