机器之心专栏 微软亚洲研究院 本文提出了 TinyMIM，它是第一个成功地使小模型受益于 MIM 预训练的模型。 一、研究动机 掩码建模（MIM, MAE）被证明是非常有效的自监督训练方法。然而，如图 1 所示，MIM 对于更大的模型效果相对更好。当模型... 网页链接