今后人工智能的投资机会

发布于: 修改于: 雪球转发:2回复:24喜欢:38

今天“信息平权”更新的文章《为什么说“互联”会是未来科技投资重要命题》,蕴含了不少今后人工智能的投资机会。

我们来拆解一下。

背景是,今日凌晨,消息称微软和OpenAI投资1000亿美元建造AI超级计算机

这个计划要用到几百万,甚至上千万张卡。首先能想到,最直接是利好算力的,算力还看不到天花板。

接着看下去,还有什么投资机会。

思考一下,这么多卡怎么连接在一起呢?

现在数据中心里面,若干AI服务器放在一个机柜里,再若干机柜组成一栋数据中心,然后几栋数据中心挨着建在一起,构成一个千卡万卡集群,基本上是这种模式。

阿里云南通数据中心

而要完成微软和OpenAI投资这个计划远远不够,需要几十个地区的数据中心,跨地区连接起来,进行分布式训练,所谓分布式训练是说将训练任务分解成多个子任务,并在多个计算节点并行执行。

核心是互联。

下面对上图解释下。

1、HBM的interposer互联,跨越了光刻reticle光罩限制?

HBM,即High Bandwidth Memory高带宽内存,用在AI芯片上,比如NV最新的GB200用的就是海力士的HBM3e。interposer意思是中介层。HBM正是通过中介层实现互联的。

如下图,这个中介层是黄色那块,这是示意图哈,实际上是非常薄的一层。HBM的DRAM芯片,以及GPU都连接在上面。你可以想象成用乐高积木搭建房子时,下面那层地基。

光刻reticle(掩模),掩模就是数下来第二层,上面刻着电路图。光刻过程是用光源去照掩模,再通过缩图透镜(作用是把电路图缩小),把电路刻在晶圆上。

这里说的光罩限制,是指掩模尺寸有限,那硅片上能够制造的电路图案大小也受到限制。

但是通过interposer互联,可以将多个硅片连接到一个interposer上,实现更大范围的互联和更复杂的电路设计。

2、NVlink

NVlink,英伟达的GPU芯片互联技术,看家本领。

最简单的一个NVlink,我们看一台DGX A100 服务器,内部是8卡互联(华为昇腾只能做到4卡)。

3、IB和以太?

IB,即 InfiniBand,直译为“无限带宽”技术,是一个用于高性能计算的网络通信标准,用于计算机与计算机之间的数据互连,具有极高吞吐量和极低延迟。

接着前面DGX A100 服务器,再加上英伟达的交接机(NV InfiniBand,中间那一层)去连接,就可以连接两台GDX服务器。

然后,堆叠更多NV InfiniBand,可以连接多个机柜,做成一个万卡集群。

以太网,Ethernet,一种计算机局域网技术,也是互联用的。

PS:为什么叫以太(Ether)呢?Ether是古希腊哲学中的一种假设物质,被认为填充了整个宇宙。据说当时工程师在纸巾上画出了以太网的结构,讨论中提到了这个名字就用他命名了。

重要的是,我们看下IB和以太的区别。这里借用知乎用户(@一路)的说法。

最后,该作者的结论是:

在并行计算的场景,有很高性能要求的时候,IB网络仍然是首选。当前主流数据中心网络都是要解决多个异构系统的互联问题,即使是单一的大规模应用场景,包括云计算、大数据等,主流也都是以高吞吐量场景,也就是多个节点做多个事情,对节点之间的通信延迟没有很高的要求,更看重的是灵活的接入与扩容,所以这些场景用以太网就非常合适。

这样看来,微软和OpenAI准备建造的AI超级计算机,确实以太网优于IB。简单说,IB更适合数据中心内部,跨区域分布式训练还是得上以太。

回顾来看,是不是互联是AI最重要的命题?包括CPO(光电共封装)也是解决互联的问题。

写这么多,是为了把问题说清楚。

总结下,跨区域分布式训练还是得上以太,利好IDC概念,比哪润泽这种(不是推票,只是举例);以及做以太芯片、以太交换机的,也是利好。

最后,该文章末尾还提到一些今天我们要关注的技术,包括EDA(3DIC)……模型架构和计算架构等。

换句话说,AI后面会有很方细分方向可以炒,而不是仅仅只有AI服务器和光模块。

反正,我今年以来跟踪AI,最大的感受是,AI发展真是日新月异,每天都在推陈出新,都有要学的东西,比如说周末,海力士、三星在MEMCON 2024上已经在推HBM下一代技术CXL了。

所以,来星球学习起来吧,这里主要关注人工智能投资,包括国内外重要AI资讯、AI巨头跟踪、付费研报分享、AI板块和重要个股逻辑预判等等。可以先进来看看,72小时内可申请退款。

精彩讨论

全部讨论

以太芯片、以太交换机有标的吗?

03-31 10:45

周末别吹票。。。。

03-31 08:51

图片评论

03-30 23:20

这个利好cpo吗?

不知道人工智能接下来,还在不在上升趋势中,我515070的仓位也够了,先不动了。$人工智能AIETF(SH515070)$

老师,是不是也利好数据港嘛

03-31 07:11

的确,未来数据中心的网络协议选择将取决于特定应用的需求和成本效益分析。对于需要极低延迟和高可靠性的应用,如AI和HPC,InfiniBand可能会继续保持其领先地位。然而,随着Ethernet技术的进步和云计算的普及,Ethernet可能会在更广泛的数据中心环境中获得更大的市场份额。
OpenAI倾向于使用开放Ethernet协议替换英伟达InfiniBand,这可能需要对网络基础设施进行大量投资。$裕太微-U(SH688515)$

加哪个星球啊不在哥

03-31 12:24

不觉得国内企业有这资金去搞,服务器这种大件都是进固定资产的,看看那几家二三季度报表,固定资产增加了多少。

学习学习