采访中谈及当下AI大模型训练的关键点时,不同于大众认知的“缺算力”和“缺数据”,方汉坦言最大的差距将会是不同项目组之间的工程经验积累。
从算力上看,“这些年我们的工程师可以通过优化算法,不断抬高算力天花板。”方汉说道,相比之下,对于大模型此类大项目的工程调度,精细化调试将成为最大短板。
方汉解释道:“以训练数据为例,其实业界最难的不是找数据,而是如何给AI投喂数据。什么样的数据不能使用,筛选数据的标准是什么,如何做数据的剪枝、清洗等。通过筛选数据调整参数、改进模型设计才是最核心的机密,这也是OpenAI没有在论文中公开的核心技术。”$昆仑万维(SZ300418)$