关注 算力、数据要素
多模态将会给AI行业带来以下变量:
1)算力方面: 多模态大模型需要处理的非结构化数据较多，参数规模更大，在训练和推理阶段所需的算力支持更高。据报道，谷歌Gemini 已在 TPUv5 Pod 上进行训练，算力高达~ e26 FLOPS，比训练GPT-4的算力还要大 5 倍。
2)数据方面: 多模态数据涉及图像、视频、语音等多种类型，且规模更大。据报道，Gemini 的训练数据库为 Youtube 上 93.6 亿分钟的视频字幕，总数据集大小约为 GPT-4 的两倍。我们认为这将带来更多大数据处理需求。3)应用方面，多模态能力的加入使大模型具备了视觉和听觉，进一步接近人类获取信息的方式，有望使模型的泛化能力得到飞速提升，大幅拓展下游应用场景