腾讯 ARC Lab 又有新动作，这一次，生成式 AI 的焦点放在了 3D 生成上。不久前，腾讯 ARC Lab 发布了一种新的 AI 模型 "InstantMesh"，可以使用单张静态照片渲染 3D 对象。根据腾讯研究院的说法，InstantMesh 是一种用于从单个图像即时生成 3D 网格的前馈框架，能够在 10 秒内创建多样化的 3D 资产。通过网络图片实时转换，InstantMesh 可以生成元宇宙中的 OBJ 格式 3D 模型。
实际体验下来，InstantMesh 生成的模型质量见仁见智，但生成速度的确出乎意料。有用户在社交媒体上展示了利用 InstantMesh 预置图像生成 3D 模型的过程，并一连用 "Super fast""high quality" 形容 InstantMesh 的输出效果。InstantMesh 的架构与 Instant3D 类似，都是由多视图扩散模型和稀疏视图重建模型组成。整个 3D 生成过程拆分为了两步：
首先，在给定输入图像后，使用多视图扩散模型生成 3D 一致的多视图图像；然后，利用稀疏视图大型重建模型直接预测 3D 网格，通过集成等值面提取模块（即 FlexiCubes）渲染 3D 几何形状，并将深度和法线等几何监督直接应用于网格表示以增强结果。几秒钟内就可以完成建模。面对单一输入图像，InstantMesh 选择了将具有可靠的多视图一致性和定制的视点分布的 Zero123++ 集成到框架之中，通过多视图扩散模型生成围绕对象调整的六个新视图，捕捉全方位视角。同时微调 Zero123++ 来合成一致的白色背景图像，确保后期稀疏视图重建过程的稳定性。
从游戏场景物体到虚拟人、虚拟世界，AI 正在以复制现实世界为目标进步，在相关技术进一步完善与融合后，只需要一段文字、一张图片、一段视频，就可以构建一个场景真实、人物逼真的幻象空间。
