【AI服务器调研纪要】
Q:当前AI服务器市场的大厂需求如何？A:目前AI服务器市场呈现显著增长态势，尤其在2024年的第一季度和第二季度。相较于2023 年全年约120万台的GPU服务器需求，2024年预计将增长至160万台左右，增长率明显。北美地区的主要云计算服务提供商（CSPs）如亚马逊、微软、谷歌等，全年预估增长幅度在20%至30%之间。
Q:亚马逊的AI服务器需求具体如何？
A:亚马逊今年整体需求预计为17万台，其中英伟达提供的占比约25%，即4.4万至4.5万台。其他主要客户如谷歌、微软和字节跳动也有较大的需求。特别是字节跳动，其订单主要集中在9月份和第四季度交付，包括几十柜样机。
Q:GB200服务器的订单情况如何？
A:GB200服务器的订单开始显现，但主要的发货时间点集中在2024 年第三季度末至第四季度。NVIDIA预计在9月份交付部分样机，数量在几十台左右。主要客户包括海外的抖音（TikTok）、AWS、谷歌以及微软。GB200服务器的首批交付将包含不同配置版本，包括72GB和36GB两种型号。
Q:GB200服务器的报价情况？
A:GB200服务器的报价因配置而异，其中36GB版本的报价大约在360万美元左右，而72GB版本的报价约为170万美元。需要注意的是，这些价格会根据客户的具体需求和定制化选项有所浮动，最终客户可能会通过成本优化措施降低实际采购价格。
Q:TikTok的GB200服务器部署计划？
A:TikTok计划在美国的数据中心部署GB200服务器，尤其是72GB高密度版本。这些数据中心均为新建设施，具备支持高功率密度服务器的能力，例如单个机柜可达120千瓦。不过，关于美国新建数据中心的高密度供电能力，尚无具体统计数据，但初步估计至少需要20兆瓦的电力供应。
Q:高密度数据中心的全球部署趋势？
A:TikTok短期内将在美国部署GB200服务器，长期来看可能会扩展到欧洲。除欧美之外，东南亚地区的部署暂时受限。然而，北美地区的大型CSPs如亚马逊，由于在全球范围内拥有广泛的数据中心网络，可以根据业务需求灵活部署服务器，这意味着未来有潜力在全球各地增加高密度数据中心的数量。
Q:北美数据中心的业主是谁？
A:北美数据中心的业主通常是本地的运营商，负责数据中心的建设和运维。具体到与我们合作的业主，我们直接对接的是这些本地运营商，但具体是哪家，需要进一步确认。数据中心通常分布在美东和美西两大区域，比如圣何塞和华盛顿附近，以满足不同地区的服务需求。
Q:Q4交付的服务器主要用于哪些客户？
A:Q4交付的服务器主要分为两大客户群体：字节跳动和AWS。其中，AWS的需求量较大，约占36%，而字节跳动则占据了剩余的份额。在交付给字节跳动的服务器中，有一部分会包含定制化元素，以满足其特定需求。
Q:服务器价格差异的原因？
A:服务器价格的差异主要源于定制化程度的不同。其中，NVIDIAGPU的价格相对固定，由供应商定价，而液冷系统的定制则是影响价格的关键因素。液冷系统的设计需要考虑机房环境、CPU散热标准以及客户端的液冷设施，因此在机柜和服务器上的管路设计、冷板和冷却模组的功率等方面会有差异，导致价格波动。
Q:字节跳动机房的液冷设置如何？
A:字节跳动在与伟丽的合作中，探讨了机房液冷系统的设计，包括CDU（CentralDistributionUnit）的部署方案。伟丽作为总包商，负责CDU的供应，但不涉及二次侧的manifold（分配器）和loop（循环管路）组件。CDU可以内置于机柜中，形成一体化的解决方案，也可以外置于机房内，采用一拖几的方式服务于多个机柜。目前，客户更倾向于内置CDU的方案，因为其安装和维护更为便捷。
Q:AWS的液冷解决方案是什么？
A:AWS采用的液冷解决方案与字节跳动类似，但具体配置可能有所不同。AWS倾向于使用内置CDU的方案，即将CDU集成在机柜内部，实现更紧凑、高效的数据中心布局。这种内置方案便于现场的管路连接和维护，提升了数据中心的运营效率。
Q:液冷系统定制化服务范围？
A:液冷系统定制化服务涵盖了从机柜管路设计到服务器冷却模组功率调整的全过程。这包括了根据机房的具体环境和客户需求，设计适配的管路标准、冷板和冷却模组，以确保服务器在高负载运行时的散热效果，同时满足能效和环保要求。定制化服务的目的是优化液冷系统与硬件设备之间的匹配度，提升数据中心的整体性能和可靠性。
Q：AW在冷却分布单元（CDU）的选择上采取了何种策略，是倾向于内置设计还是外部设计？
A：AW最初似乎选择了内置设计的CDU方案。不过，随着项目进展，我们会根据数据中心的整体设施状况重新评估这一决定，判断是否需要转向外部设计。如果最终确定采用内置设计，那么CDU的实施将由我们自行负责，而非外包给第三方。
Q：即便选择了内置设计，CDU是否仍需从外部供应商处采购？NVIDIA在这一过程中扮演什么角色？
A：确实如此，无论采用内置还是外部设计，CDU均需从外部供应商处采购。NVIDIA在初期供应阶段起到了关键的推荐作用，他们会推荐特定制造商，如Invec，而我们则会将这些推荐与国内供应商进行对比，以寻找最符合成本效益和可靠性标准的选项。选择供应商并非完全由客户决定，我们自身拥有决策权，可以依据具体需求自由挑选。
Q：面对未来NVIDIA推荐组件市场份额可能下降的情况，公司如何规划，特别是在扩展至新数据中心时？
A：预计NVIDIA推荐组件的市场份额将会随时间逐渐减少，特别是在我们向新地点拓展时。每年，我们都会针对新建数据中心进行一轮招标过程，在此期间，客户会要求ODM厂商降低报价。为了实现成本节约，我们首先会考虑机器外部组件的降价潜力，比如CPU和液体冷却系统。虽然机器内部组件的成本削减同样可能，但其影响范围更广，需要进行更多的测试和验证工作。
Q：在成本控制方面，CDU是否有可能成为ODM厂商的关注点，还是说他们更倾向于将其留给专业供应商处理？
A：实际上，CDU并不被视为ODM厂商的重点关注对象。尽管技术上ODM厂商有能力承担CDU的设计和生产，但由于CDU的价值量相对较低，且与服务器等核心业务不在同一数量级，大部分ODM厂商不愿意在此领域投入过多的研发资源。因此，引入诸如Master、Invec等专业供应商，由他们提供CDU解决方案，成为了一个更为合理的选择。这遵循了“术业有专攻”的原则，即专注于各自的核心竞争力。
Q：关于冷却系统的流速控制，您提到伟帝工程师和销售团队强调了其在软件控制方面的优势，尤其是在流速、水压控制及防腐蚀方面的稳定性与可靠性。您如何看待这一观点，以及客户是否会因价格差异而冒险更换供应商？
A：对于伟帝工程师和销售团队提出的观点，我个人持保留态度。伟帝的确在软件控制、流速和水压管理以及防腐蚀技术上具备一定优势，但这并不构成绝对竞争优势。实际上，国内一些供应商的整体报价相较于伟帝低约30%，这在成本敏感的市场环境中颇具吸引力。尽管伟帝在系统稳定性和可靠性方面表现出色，客户在评估供应商时，除了考虑技术优势，还会综合考量成本效益。即使微小的价格差距也可能促使客户重新考虑供应商选择，特别是在数十亿美元级别的数据中心投资背景下，任何可能导致运行风险的因素都会被慎重对待。
Q:您认为国内制造商如英维克专注于自身发展是合理的吗？此外，您认为英维克是否有机会进入AWS或微软等大公司的供应链？
A:国内厂商，如英维克，专注于自身技术与市场适应性的提升是合理的，尤其是考虑到其主要服务中国客户。从长远角度看，若无国家政策限制，英维克确实有机会进入如AWS或微软的供应链。关键在于英维克能否成功打入台系ODM厂商的供应体系。一旦英维克能够大规模地为这些ODM厂商提供服务，它将有很大可能直接成为AWS的供应商之一。
Q:在选择供应商时，台湾厂商更倾向于什么类型的合作伙伴？这如何影响英维克的市场前景？
A:台湾厂商往往偏好价格更低廉的供应商。在国内市场，英维克和其他国内厂商在价格上具有竞争优势。对于北美客户，如果数据中心位于美国，他们可能优先选择美国本土供应商，这对英维克构成挑战。然而，如果数据中心设在美国以外地区，如东南亚，英维克则有很大的机会成为供货商，因为从美国进口CDU（冷却分配单元）会带来较高的运输成本和关税，这使得国内供应商更具吸引力。
Q:除了英维克，您认为还有哪些国内厂商有机会在CDU市场取得突破？
A:英维克在国内市场份额较大，除此之外，台达、技嘉等厂商也在CDU领域有所涉猎，尽管它们的产量相对较小。欧洲的一些厂商倾向于本地采购，如艾默生和微图在CPO（冷却性能优化）领域有所作为。此外，还有来自丹麦的Asetek、中国的高澜节能等企业值得关注。
Q:明年整体市场需求预测？
A:对于2024年和2025年全年的市场需求，预计总需求可能在56000柜左右。其中，2024年的需求预计在5000至6000柜之间，而2025年需求可能接近5万台。考虑到市场需求的不确定性，实际发货量可能会跨越年度，部分2024年的订单可能推迟至2025年初交付。
Q:富士康的订单量与市场预期？
A:富士康声称已获得几万台GB200机柜的订单，但实际可达到的量可能在15000柜左右。这15000柜中，约有4000柜是为英伟达代工的D9X系列，专供超算中心、国防及科研机构等特殊客户。其余11000柜则主要面向云计算服务提供商（CSP）客户，其中微软可能是最大买家。市场预期微软的总需求在2万柜左右，而AWS的订单量可能在12000至15000柜之间。
Q:微软与AWS的机柜需求分析？
A:微软的2024年需求预计在2万柜左右，不太可能达到3万。具体数量取决于其业务部署情况。而对于AWS，其2024年需求可能在12000至15000柜之间，其中推理业务的机柜（以36柜为主）可能占60%，而训练业务的机柜（以72柜为主）占40%。这种比例反映了AWS业务的多样化需求，36柜因其较低的成本，在推理业务中更受欢迎。
Q:Meta的H100GPU消耗能力及2024年的GB200服务器采购预测？
A:Meta在2024年可能难以完全消耗其H100GPU库存，因此对于GB200服务器的采购量，预计在6000台左右。这一预测反映了Meta在处理高性能计算资源时的谨慎态度，以及市场供需关系的实际考量。
Q:谷歌的GPU采购趋势及其GB200服务器需求预测？
A:谷歌在CPU产品线自用的同时，其GPU采购量持续上升，显示出对高性能计算资源的强劲需求。预计到2025年，谷歌对于GB200服务器的采购量不会超过1万台，大约在7000到8000台之间。这表明谷歌在平衡成本、性能与市场需求方面采取了审慎策略。
Q:市场主要玩家的GB200服务器采购预测汇总？
A:综合市场分析，谷歌的采购量约为8000台，Meta约为6000台，AWS在12000至26000台之间，Microsoft则在24000台左右。此外，市场总量预计为56000台，其中10000台将由渠道商采购。渠道商倾向于从SuperMicro、Dell、HP等品牌购买物理机，而非直接从ODM厂商或大型云服务商处采购。
Q:SuperMicro、Dell、HP等品牌在GB200服务器市场的预期表现？
A:SuperMicro预计能够售出约5500台GB200服务器，而Dell有望达到3000台，HP则可能售出2000台左右。这些预测基于市场分析和对未来需求的评估，反映出渠道商对高性能计算资源的兴趣逐渐增长。
Q:SuperMicro的市场预期与其自身管理目标的对比？
A:SuperMicro管理层的目标是月产能达到1000台GB200服务器，年度目标市场量为1万台以上。然而，市场实际需求受制于业务场景的拓展，特别是推理业务的落地情况。实际销量可能无法达到管理层的激进预期，反映出市场实际需求与企业战略之间的差异。
Q:NVIDIACEO黄仁勋推动GPU业务多元化的影响？
A:黄仁勋致力于推动GPU产品和业务解决方案在机器人、医药、自动驾驶等领域的应用，旨在加速GPU技术在各行各业的落地。这一策略有望刺激底层推理业务的客户需求，促进AI服务器市场的进一步增长，特别是GB200等高端产品的需求。
Q:主要公司GB200服务器采购量预测的依据？
A:采购量预测主要基于与客户交流的信息，尤其是来自台湾的合作伙伴CTC（ComputeTechnologyCorporation）的反馈。CTC作为NVIDIA的控股子公司，负责向海外客户销售，其信息反馈对NVIDIA的战略调整至关重要。
Q:ZT在NVIDIA供应链中的角色与重要性？
A:ZT作为NVIDIA控股70%的子公司，承担着部分销售职能，帮助NVIDIA低调地扩大市场份额，避免在服务器领域占据主导地位所带来的负面影响。NVIDIA通过ZT转移部分收入，确保市场格局的均衡，同时也反映出NVIDIA在战略规划上的谨慎与深思熟虑。
Q:OpenAI在2024年与NVIDIA的合作模式？
A:2024年，OpenAI所有使用的服务器均由NVIDIA通过ZT提供。微软的AI业务中，一部分算力资源分配给了OpenAI，这部分资源在2023年几乎全部也来源于NVIDIA。这反映了NVIDIA与ZT在AI领域的深度合作，以及对OpenAI这类创新企业的关键支持。
Q:微软与ZT早期合作的历史背景？
A:微软早在2017或2018年就与ZT在超级计算机项目上有过合作，奠定了双方长期合作的基础。ZT在超算领域的专业性和历史合作关系可能是微软在OpenAI项目中选择ZT作为合作伙伴的原因之一。
Q：您如何看待去年英伟达内部不同业务单元（如BOBO1、BOBO2等）的发货量变化，尤其是下半年发货量显著增加的现象？此外，对于GB200时代到来后，代工厂商的份额相较于HGXH100时代的变化，您有何见解？例如，广达在争夺微软市场份额上的表现，以及原有份额较高的供应商是否有所下滑？
A：英伟达内部不同业务单元的发货量变化反映了市场需求的波动，尤其在去年下半年，发货量激增近三倍，表明行业对高性能计算解决方案的需求高涨。进入GB200时代，代工厂商的市场份额确实在经历调整。广达在争取微软等大客户上展现出了积极姿态，而原本占据较大份额的供应商，如回应科技，其市场份额确实有所下滑。这背后是市场竞争加剧和客户需求多样化的结果。
Q：富士康作为英伟达的重要合作伙伴，其市场地位在GB200时代会有何变化？特别是考虑到国家超算中心、军队、国防和科研机构等新客户群体的加入，富士康的策略将如何调整？
A：富士康的市场地位在GB200时代有望进一步巩固。除了继续服务于微软、谷歌、AWS等传统大客户，富士康还将迎来更多来自国家超算中心、军队、国防和科研机构的新订单。这些新增客户群体的订单通常不会通过英伟达流通，而是直接与富士康合作，基于双方的战略合作关系。这不仅包括GPU卡的供应，还包括NV自主品牌产品如HDS和DTSC的交付，凸显了富士康在供应链中的核心地位。
Q：随着GB200时代的到来，市场竞争格局将如何演变？特别是惠普、戴尔等品牌是否会加大参与力度，以及这将如何影响代工厂商的角色？
A：进入GB200时代，市场竞争格局将更加多元化。惠普、戴尔等品牌预计会加大对市场的参与力度，试图从中分一杯羹。然而，这些品牌更多是通过渠道销售策略参与竞争，而不是直接与ODM厂商交易。ODM厂商如富士康、广达和英业达，仍将面向懂服务器定制开发的大客户群体，保持其在定制化解决方案领域的主导地位。值得注意的是，惠普、戴尔等品牌虽寻求市场份额，但其服务器生产仍然依赖于富士康、英业达和伟创等ODM厂商，这预示着富士康等大型ODM厂商的市场份额有望进一步扩大。
Q：在GB200时代，富士康、广达、英业达和微影等ODM厂商的市场份额将如何变化？哪些因素将推动市场格局的演变？
A：在GB200时代，富士康的市场份额有望提升至25%到30%左右，这得益于其与英伟达的紧密合作关系以及对新客户群体的吸引力。广达的市场份额预计维持在15%左右，英业达也将在15%到20%之间波动，而微影则保持在5%到10%的份额。市场格局的演变将受到客户多样化需求、技术进步和供应链效率提升的共同驱动，尤其是渠道部分的增长将尤为显著。
Q：对于超威（SuperMicro）和广达的报价，您有何看法？超威的报价为380万美元，而广达的报价最低可达320万美元。这些价格水平是否合理？
A：超威的出厂价格普遍高于ODM厂商，以HGXH100为例，英伟达的出厂价格约为23万美元，而超威则高达28万美元。这部分反映了超威通过渠道销售获取更高利润的商业模式。考虑到超威的生产基地大多位于发达国家，生产成本较高，其高价定位在一定程度上是合理的。然而，对于像特斯拉这样的客户而言，380万美元的报价显得过高，与直接从台湾ODM厂商购买相比，每台设备的成本将高出数十万美元。因此，380万美元的报价可能难以被所有客户接受，存在一定的议价空间。
Q:如何看待超威（SuperMicro）对GB200服务器的初步报价为380万美元，以及实际成交价可能低于该报价的现象？
A：超威的初步报价380万美元往往是在竞争初期的试探性报价，随着招投标过程的推进和客户间的比价，实际成交价通常会有所下调。以GB200服务器为例，虽然报价可能高达380万美元，但在竞争压力下，最终成交价可能会降至360万美元左右，反映出市场供需关系和竞争态势的影响。
Q:GB200服务器的直接物料成本大约是多少？以360万美元的成交价，供应商的利润空间有多大？
A：GB200服务器的直接物料成本大约在315万美元左右。以360万美元的成交价计算，供应商可以获得约45万美元的毛利润空间。考虑到成本控制和市场竞争，供应商的净利润率大约为8%，即从45万美元的毛利润中，供应商可以提取约3.6万美元的净利润，折合人民币约为几十万元。
Q:广达预估GB200服务器在充分竞争市场下的毛利约为多少？这一预估是否合理？
A：广达估计GB200服务器在充分竞争市场下的毛利约为11万美元，这一预估在行业内被认为是合理的。以72版GB200服务器为例，物料成本约为315万美元，广达的售价可能在325万美元左右，反映其在竞争激烈的市场中对成本控制和利润预期的谨慎态度。
Q:是否有必要在GB200服务器中预留超过20万美元的毛利？长期来看，是否存在价格战导致单台利润降至五六万美元的可能性？
A：预留超过20万美元的毛利在行业内被认为过高，且不易被客户接受。长期来看，随着GB200服务器的量产和市场竞争加剧，价格战的可能性确实存在，届时单台服务器的利润可能降至五六万美元，反映出行业竞争激烈和成本控制的重要性。
Q:面对潜在的价格战，供应商有哪些策略可以降低成本，以维持竞争力？
A：供应商可以通过多种策略来降低成本，以应对价格战：
·供应商竞争：引入多家供应商，通过竞争降低物料成本。
·批量采购：加大采购量，利用规模经济效应获得更优惠的采购价格。
·内部生产优化：大型ODM厂商可以优化生产流程，将小部件的生产委托给成本更低的供应商，以降低整体成本。
·与客户绑定：通过长期合作协议锁定客户，提高采购量，从而降低单位成本。
Q:对于GB200服务器的网络配置，供应商是如何考虑的？客户在部署GB200服务器时，网络部分的预期配置如何？
A：供应商在交付GB200服务器时，通常会以L12级别进行集成和测试，这意味着服务器在出厂前已在供应商的工厂内完成了组装、调试和初步网络连接测试。供应商通常将服务器与必要的交换机打包成一个“Dock”单元出售，即四台服务器与一至两个交换机组合，形成一个可立即投入使用的网络节点，简化了客户的部署流程，提高了效率。