•23年底META表示24年底计划购买35万片英伟达H100，加上其他GPU约等效60万H100GPU的计算能力。Omdia报道，2023年Meta和微软各购得15WH100，谷歌、亚马逊、甲骨文和腾讯各购得5WH100，特斯拉1.2WH100。TNP测算目前META拥有约6.6WV100、7.6WA100、15WH100，预计今年还将到货35WH100和2.4WB系列芯片。
•公司上调Capex指引为350-400亿美元，同比+13%-40%。TNP预计24年底GPU相关的累计资本支出将近150亿美元，其中24年一年支出达94.7亿美元，占比63%。经过22年与23年初的降本增效周期，META重新开始新一轮硬件投资。一季度财报会公司上调2024年资本开支至350-400亿美元(前值300-370亿美元)，同比+13%-40%
•Meta建立两个数据中心规模集群，各自拥有24,576个GPU，均支持400Gbps端点之间的互联。一个是采用了基于Arista7800交换机的远程直接内存访问（RDMA）和融合以太网（RoCE）网络解决方案，另一个则应用了英伟达Quantum2InfiniBand的网络架构。两个集群的不同设定能够评估不同类型互联的适配度和拓展性，为未来更大集群设计积累经验。
•公司重申了对其开源GrandTeton服务器设计和OpenRack机架的承诺，这些机器将被安置在其中，以及对开源PyTorch框架和其开源LlamaLLMs的承诺。Llama3成功地在RoCE和InfiniBand集群上运行了大规模的GenAI工作负载（包括我们在RoCE集群上持续进行的Llama3训练），并且没有遇到任何网络瓶颈问题。
•二代GPU集群依旧采用Core-Spline-Leaf三级CLOS拓扑结构。单Rack搭载两个8卡服务器和一个顶部交换机，利用18个集群交换机连接192个Rack成为集群，共有八个小集群，集群交换机形成Spline层。Spline层与上方18个聚合交换机（Core层）形成互联，组成整个集群。这种架构预留了空间和拓展性，未来可以直接拓展到32K个卡的规模；
•Llama1模型7B和13B使用1万亿tokens，33B和65B模型使用1.4万亿个tokens。在2,048个A100上进行训练，上下文长度为2048tokens。
•Llama2模型开始开源，使用了2万亿个tokens进行训练，有7B、13B、34B和70B版本，上下文窗口翻倍至4,096tokens。通过超过100万个人工注释减少错误和幻觉，在测试中提高了准确率。Llama2技术文档提到提示的质量和偏好排名对对齐模型的性能有很大影响，该版本最大改进来自精心整理提示数据并对人工注释进行多轮质量保证。
•Llama3模型具有8B和70B参数，使用15万亿个标记进行了训练，但不是MOE架构。META也表示训练Llama3使用了合成数据（Llama2生成的数据），上下文窗口提升至8192tokens。超过5%的训练数据(约8亿个tokens)属于30种不同语言的数据，使用的编程语言代码是Llama2的4倍。
•Llama370B性能优异，在测试集比拼中超过谷歌的Gemini1.5Pro、Mistral的MistralMedium模型、OpenAI的GPT-3.5和ClaudeSonnet。Llama3模型现已在Facebook、Instagram、WhatsApp、Messenger上为MetaAI助手提供支持，将以托管形式托管在各种云平台上，包括AWS、Databricks、GoogleCloud、HuggingFace、Kaggle、IBM的WatsonX、MicrosoftAzure、Nvidia的NIM和Snowflake。
•META表示目前正在训练一个规模超过4000亿个参数的Llama3模型，主要具有“多种语言交谈”的能力，能够接收更多数据，并且能够理解图像、其他模态以及文本，在架构选择上仍然不是MOE架构。公司财报会表示持续投资未来几年的Llama5、6和7模型的研究。
•一定参数的模型用比最佳训练计算量更多的数据训练性能可以呈现对数线性提升。公司表示在开发Llama3的过程中，虽然8B参数模型的Chinchilla最佳训练计算量（有限计算量下模型达到最优性能）对应于约200B个token，但在使用两个数量级以上的数据（15T）训练模型后，模型性能仍呈对数线性提升。较大的模型可以用较少的训练计算来匹敌这些较小模型的性能，但较小的模型通常是首选，因为它们在推理过程中效率更高。
•METE官方表示从2023年2月到9月Llama的下载量超过3000万次，其中9月份的下载量就达到1000万次。从去年9月到现在的下载量呈线性增长，那么到现在Llama的下载量将突破1亿次
•GPU大规模替代，对于系统能力会更高，对广告收益提升，因为：
•①通过其并行计算能力提升了模型性能，模型承载力得到提升，能够在更大的样本去做选择；
•②CPU无法做用户序列的模型，耗时长，计算难度更高，GPU可以提高序列长度，提高准度；
•GPU的成本是否能够被广告收益覆盖，涉及到广告商的边际效益/成本情况。大模型能力加入到广告算法里面去做训练，增加的维度是比较多的，同时向量拼接之后还需要接入很多神经网络，因此对训练的资源要求较高。考虑到国内大模型训练，当前大模型阶段可能没有冗余的算力去做广告方面的应用。
•从提升内容理解方面，如果公司既做广告又做内容，广告测可以用到用户在内容侧的消费信息，在用户广告测的兴趣刻画会更准确，因为广告推荐反馈的用户数据是稀疏的，用户曝光的广告或者用户去点击广告是偏少数的。
•Wide组件（广义线性模型）：主要负责记忆能力，Memorization能够从历史数据中学习到高频共现的特征组合的能力，Wide组件主要处理规则性和记忆性的信息密集特征，比如用户ID、商品ID等类别特征。
•Deep组件（前馈神经网络）：主要负责泛化能力，寻找抽象泛化后的特征间的非线性数理关系，提高模型的表达能力。Generalization代表模型能够利用相关性的传递性去探索历史数据中从未出现过的特征组合，主要处理数值和非规则性特征，比如用户的年龄、性别等。基于Embedding的DNN模型在Generalization表现优异，但在数据分布较为长尾的情况下，对于长尾数据的处理能力较弱，容易造成过度泛化。
•DNN神经算法层拟合性会比较好，三层的DNN已经具有拟合任何可测的函数，通常不超过十层，更多的层数可以增加模型的表示能力，但也可能导致过拟合和计算成本的增加，推荐算法层数限制是为了平衡模型的复杂度和泛化能力
•LLM嵌入+RS：这种方法将LLM视为特征提取器，其中输入的项目和用户的特征被输入到LLM中，并将生成的嵌入用作传统RS模型的输入。当LLM不是为直接推荐目的而设计时，更适用于这种建模范式是合适的。通过使用LLM嵌入，RS模型可以捕获更高级别的语义信息并做出更明智的推荐。
•LLMTokens+RS：在这个范式中，输入序列由个人资料描述、行为提示和任务说明组成。LLM根据输入的商品和用户特征生成Token，通过语义挖掘捕获潜在偏好，生成的token随后被集成到推荐系统的决策过程中。当LLM在大量文本数据上进行训练时，这种方法特别有用，使其能够生成信息丰富的推荐。
•LLM作为RS：在此建模范式中，LLM被视为直接生成推荐的强大推荐系统。输入序列通常由项目描述和用户个人资料组成，输出序列提供推荐项目的排序列表。这种方法消除了LLM和RS模型之间额外交互的需要，使其计算效率更高。但是，它需要仔细调整LLM的超参数以确保准确的推荐。
•HSTU编码器是为生成推荐模型（GRs）设计的高性能自注意力编码器，HSTU采用了一种新的点积聚合注意力机制，替代了传统的softmax注意力机制。由多个相同的层堆叠而成，每层通过残差连接，这种设计有助于提高模型的深度和表达能力。
•Wukong使推荐模型能够像大型语言模型（LLM）一样满足建立扩展定律，即模型质量能够随着数据集大小、计算和参数预算的增加而持续提升。Wukong两个主要目标是有效捕捉高阶特征交互以及确保模型质量随数据集大小和参数预算的增长而优雅地扩展。
•生成式模型隐藏层加深加宽，允许更高学习率和更深网络结构，降低过拟合风险。GR通过序列化方法和目标感知表示提高编码和向量化效率，突破神经网络层数限制，提升检索和排序效果与效率，更好地捕捉和学习复杂数据分布，提高推荐准确性和用户满意度。传统深层网络理论上能捕捉更复杂特征，但存在边际递减效应。GR通过采用特殊网络结构（如ResNet和注意力机制）和引入跳跃连接等机制，有效解决梯度消失问题
生成推荐模型（GRs）是一种新的推荐系统范式，将传统的排名和检索任务转化为序列转导任务，在生成模型框架内处理，训练过程也是端到端的。
①序列化特征：GRs首先将用户与物品的交互历史以及用户的特征（如浏览历史、购买历史等）序列化为一个时间序列，捕捉了用户行为的动态变化。
②构建动态词汇表：由于推荐系统中的物品和用户特征通常是动态变化的，GRs构建了一个动态词汇表来表示这些变化的元素。这个词汇表允许模型在生成过程中引用和生成最新的内容。
③序列转导任务：GRs将推荐问题转化为序列转导任务，即在给定用户的历史序列和其他上下文信息的情况下，预测下一个最可能发生的用户行为或推荐的物品。这个过程可以通过生成式模型来实现，其学习到用户行为的模式和偏好。
④生成过程：在生成阶段，GRs会根据已经学习到的模式，从动态词汇表中采样下一个状态或物品，这个过程基于概率，确保了推荐内容的多样性和个性化
•2022年8月，Meta整合自动化广告产品推出赋能型产品系列（MetaAdvantage），涉及预算管理、用户定位和广告制作。自动化程度高的产品包括Advantage+Shopping（电商）、Advantage+APP（应用）两类解决方案和Advantage+Creative（自动化素材生成）、Advantage+audience（自动化受众）、Advantage+Placements（自动户版位）、Advantage+catalogads（目录广告/动态广告）的四种单步骤工具。
•2023年10月Meta推出生成式广告素材工具AISandbox，通过这个工具可以完成背景生成、图片拓展和文字变体等功能，从而提高广告素材质量和与平台适配度。
•2024年5月Meta降低了广告投放的学习周期，从过去的50个周期降至当前的10个周期，大大加快广告投放算法的拟合速度，提高了广告投放的效率，当前功能处于Beta测试阶段，预计之后将全面开放。
•2023年全年利用Advantage+Shopping和App功能的广告收入实现超过100%的增长，广告主使用意愿明显，23Q4的ARR已达到100亿美元。据Meta官网2023年有关文章表述，Advantage+平均降低CPA28%，提升ROAS32%
Advantage+拥有四个自动化单步骤产品，以匹配广告主不同广告场景的需求
以advantage+ShoppingCampaign为例。投放流程清晰，只需选择绩效目标、上传素材和选择性提供现有客户信息即可投放
•国内外头部互联网平台亦有类似的智能投放产品，三款产品均属于黑盒性质的产品，黑盒化产品的使用提高了广告主对平台的依赖度，较过往形成更强的用户粘性。广告主在广告投放的自由度下降，同时对广告投放运行的过程与机制是无法直接观测，同时投放结束后只会得到一份浅层的分析报告，无法获得精准的成功转化用户数据等信息，难以迁徙至其他平台上继续使用。
•谷歌YouTube的内容质量高，受众信服度高，对品牌的曝光量大；而Meta用户群体庞大，推广内容容易被更多人看到。对于SMB广告主而言，预算是第一要义，Meta触达面广且成本可控的优势，促使SMB广告主优先选择Meta投放
•从广告收入环比数据同期对比，AI工具的推出对广告收入产生正向影响。电商行业广告主受益幅度最明显，主要因为1）电商涉及各类商品参数和用户参数，数据维度高，更利于算法优化；2）电商优化目标明确，即最大化GMV，单一目标优化效果明显；3）自动化产品的使用具有更高权限获取更多的数据，形成闭环数据飞轮，提高数据利用率。
•AI自动化产品对中小型广告主价值更大，使用意愿更高。中小广告主在广告投放上存在运营能力差、分析能力弱等天然劣势，对AI产品使用意愿更高；而大企业在AI产品使用会更加谨慎。
•据统计显示，约75%的中小广告主选用Meta作为投放平台，而50%会选用YouTube，47%选用谷歌搜索。相比之下，中小广告主更依赖于Meta的社交媒体，在广告投放上存在偏好性，Advantage+产品使用率上限更高
•24年4月MetaPlatforms在推出了Llama3时同时推出其改进的MetaAI聊天界面，该界面嵌入其Facebook、Instagram、WhatsApp和Messenger应用程序中。
•MetaAI主要在聊天、搜索、总结等需求中使用，可以访问实时信息、生成图片。META与谷歌和必应合作获得实时信息，下一阶段的AI可以处理更多任务，形态更像一个Agent而不是聊天机器人。
•公司财报会表示对AI带来的短期收入转化较为保守。AI收入并非直接体现在AI服务，而是可能通过其他方式。比如公司表示不做搜索广告，但MetaAI互动中可能会出现广告和付费内容。比如也可能为更大的模型、更多的计算能力或高级功能付费。
•Click-to-message广告允许用户通过点击将客户引导至WhatsApp、InstagramDirect和Messenger，直接与品牌进行对话。这种广告类型特别有利于扩大覆盖面并有效提高与客户的互动。
①实时聊天：通过实时聊天更快地接触到客户，满足现代消费者对于快速响应的期望；
②个性化消息：能够直接与品牌建立联系，允许品牌向互动过的人发送个性化消息，提高受众参与度和品牌认知度；
③互动答疑：吸引潜在客户点击消息，与广告进行更多互动，对话介绍产品更新、优惠和折扣，建立对业务的兴趣；通过该类广告为WhatsApp平台（类似企业微信）带来极大收入增长。WhatsApp商业版目前不通过订阅直接向用户收费，也没有计划在聊天中投放广告。23年初，该应用推出了自动化和自定义商家消息的付费功能。Meta还通过向企业收费发送特定信息给客户，以及销售链接至WhatsApp聊天的点击的消息广告来实现盈利
•2023年2月，扎克伯格财报会表示Click-To-Message广告在全球的RunRate收入已达到100亿美元（占比总收入约8%）。
•23年10月，扎克伯格表示印度的点击消息广告收入同比翻了一番，印度超过60%的WhatsApp用户每周都会向商业应用帐户发送消息。印度作为WhatsApp最大的市场拥有超过5亿用户。年初，WhatsApp在印度允许用户使用即时通讯应用程序内的各种支付选项付款，包括信用卡和其他UPI应用。
•扎克伯格还表示，目前大多数“信息传递商业”都发生在“劳动力成本足够低，以至于企业让人们通过短信与客户通信是有意义的”的国家
•24年6月，Meta在巴西的“Meta交流大会”上宣布为WhatsAppBusiness引入了几项新的AI功能。包括营销人员将能够利用AI技术创建卖家可直接向用户发送消息、将销售广告嵌入聊天内容的click-to-message广告，目前正在美国和新加坡等市场测试此功能，并计划逐步推广至其他市场。之前的回复通常是集成到常规消息流中，以便在客户联系时快速回答客户的问题，还可以在离线时间提供客户服务并处理简单任务。
•扎克伯格表示，“公司的目标不仅是创建一个AI助手，而是开发一系列AI代理，以满足不同行业特别是商业领域的需求。Meta希望企业能够迅速部署AI代理，以有效地与客户沟通、提供服务并推动商业活动。”MetaAI助手目前就能够在Facebook、Instagram和WhatsApp平台上回答用户的各类问题
•Meta的RL（RealityLabs，现实实验室）业务是公司在增强现实（AR）和虚拟现实（VR）领域的主要部门，主要研发包括智能眼镜、虚拟现实头戴设备等产品。如Quest系列头显，用户可以通过它进行游戏、社交和工作等活动。
•22年RealityLabs亏损大幅影响公司利润，24Q1财报指引RealityLabs亏损逐年增加：22年战略转型期，RL的亏损加大伴随营收下滑一度使得META净利率从近30%下滑至15%。Meta对RL业务采取了长期的战略视角，预计短期内不会实现盈利，而是专注于研发和市场扩张。
•RL业务主要收入为VR硬件销售，其中Quest系列累计出货超过2000万台，重磅产品Quest2累计出货达1800万台。23年下半年推出的Quest3VR产品，相对于PlayStationVR2和AppleVisionPro的硬件和软件性能
•MetaQuest32023年底正式推出，并获得了普遍好评。Meta的RealityLabs有望在2024年主导VR市场，但它现在在高端市场与AppleVisionPro并驾齐驱，在有线AAAVR游戏方面则与PSVR2并驾齐驱。
•IDC预计到2028年底，虚拟现实耳机的销量将达到2470万台，五年复合年增长率(CAGR)为29.2%。2023年全球增强现实和虚拟现实(AR/VR)耳机出货量下降了23.5%，但2024年有望成为复苏之年，企业越来越多地采用耳机进行培训、设计等。与此同时，AR耳机的销量将从2024年不到100万台增长到2028年的1090万台，复合年增长率为87.1%
•根据IDC数据，2022年全球AR眼镜出货量Top5分别为Nreal、微软、Rokid、TCL（雷鸟创新）、爱普生，合计市场占比约为76.3%，其中Nreal以36.3%的市占率排在首位。在中国区域，雷鸟创新、Nreal、Rokid、INMO占据市场份额的82%。
•AI背景下，AR眼镜作为人类传感器外设、同时替代手机屏幕的作用凸显，AR正向多智能领域融合的智能终端发展。
•微软、谷歌、META、苹果、英伟达等科技大厂对AR多有布局，纷纷开始发力。苹果近日AI眼镜专利，采用了“主辅双屏幕+LED阵列”的设计，主高分辨率显示器用于复杂交互，辅助低分辨率显示器初步展示虚拟对象，实现个性化服务与交互。近日英伟达也正在与斯坦福大学合作改进AR眼镜的设计，使其更轻、体积更小。谷歌联合创始人谢尔盖·布林认为公司的GoogleGlass过于超前，但随着AI的进步，现在可能是回归的好时机。
中性关键假设1.ReelsMAU在2024年/2025年增长至18/20亿（YoY+13%/11%），使用时长达到22/32分钟（YoY+60%/+45%)。
2.成熟业务（Feed、Stories）AdLoad维持当前水平，Reels的Adload在2024年/2025年达到15%/20%。
3.全平台平均CPM，2024年受益于选举、体育赛事及AI工具应用同比增长7%；2025年在高基数前提下，受益于AI工具CPM同比3%。
乐观假设变化
1.ReelsMAU在2024年/2025年增长至19/21亿（YoY+19%/11%），其中Reels使用时长25/33分（YoY+79%/+29%)。2.全平台平均CPM，2024年同比增速8%，2025年同比增速4%。
悲观假设变化
1.ReelsMAU在2024年/2025年增长至18/20亿（YoY+13%/11%），使用时长21/26分钟（YoY+47%/+26%)。2.全平台平均CPM虽然今年受益于下游需求，但同行竞争激烈、AI工具增效效果不明显，假设2024年同比增速7%，2025年同比1%。