媒体:昆仑万维在大模型训练方面有什么优势?我们知道大模型训练需要消耗大量算力,昆仑万维在算力储备方面是什么情况?
方汉:我们投入了大量资金进行算力采买,而且我们启动GPU采买的时间比较早,2022年七八月份就开始买,所以购买的价格是比较合适的。
可以说我们已经有接近万卡的训练资源,这在中国是位于前列的。我认为万卡资源足够支持下一代多模态大模型的训练。长期来看,如果遇到算力受限的情况,就要求你去优化推理和训练的算法。
媒体:国内大模型厂商似乎都在追赶OpenAI,您怎么看?您觉得将模型训练做得更好和追求商业化落地哪个更重要、更优先?方汉:都在追赶OpenAI是一个事实,这个目标也是必然要达到的。
如果一定要比较,我觉得更重要的是要把大模型训练得更好,但事实上这两者并不矛盾。训练大模型是基础,应用落地是实现。基础打不牢,实现就做不了。
对我们来说,优先级更高的是对文本大模型底座能力的训练,因为这个决定了你能否在其他子领域取得SOTA红利,这个是非常重要的。