英伟达多GPU卡间互联:高速连接器、安费诺

发布于: 修改于: 雪球转发:0回复:2喜欢:21

英伟达Grace-Blackwell系统(两个Blackwell GPU、四个die与一个GraceCpu连接在一起)。GB200将两个B200Blackwell GPU与一个基于Arm的Grace CPU进行配对。新芯片拥有2080亿个晶体管,所有这些晶体管几乎同时访问与芯片连接的内存。为了处理大规模数据中心的GPU交互问题,也需要更强的连接(NVlink)能力

GPU卡间互联→PCIe/NVlink

1、数据互联的要求:随着模型复杂程度增加,单张GPU无法完成训练任务,需要联合多张GPU,乃至多台服务器搭建集群协同工作,并需要GPU之间以及服务器之间进行数据传输交互。由于大模型数据量极大,在机器学习训练过程中,数据传输速度成为制约训练速度提升的瓶颈。在传统的方案中,GPU互联通常采用PCIe,服务器之间互联采用以太网Ethernet。
2、英伟达的技术:为了实现极限的超高计算密度,英伟达推出NVLink技术代替传统的PCIe技术,可提供能够实现出色深度学习所需的通信性能。相较采用PCIe,NVLink技术带宽增加5倍。除能够实现GPU间高速内部通信的NVLink技术外,还可以用InfiniBand代替Ethernet,为系统和系统间通信提供更大带宽,减少数据传输延迟造成的瓶颈。

NVLINK 和 NVSwitch 都是 NVIDIA 推出的高速互连技术,用于连接多个 GPU,以实现更高的带宽、更低的延迟和更好的可扩展性。它们的区别和联系如下:

NVLINK 是一种点对点的高速互连技术,可以将多个 GPU 直接连接起来,形成一个高性能计算集群或深度学习系统。NVLINK 技术采用了 PCIe Gen4 的高速互连方式,可以提供高达 300 GB/s 的带宽和 1.5 微秒的延迟。

NVSwitch 是一种高速交换机技术,可以将多个 GPU 和 CPU 直接连接起来,形成一个高性能计算系统。NVSwitch 技术采用了基于 PCIe Gen4 的高速互连方式,支持多达 16 个 GPU 或 CPU 的连接,可以实现大规模的并行计算和深度学习训练。

个股推荐:[002886 沃特股份]

300991创益通301517陕西华达301123奕东电子301328维峰电子688629华丰科技301285鸿日达300843胜蓝股份603633徕木股份688800瑞可达300252金信诺002055得润电子300351永贵电器002897意华股份605005合兴股份601137博威合金300679电连技术300136信维通信600143金发科技002025航天电器002179中航光电002475立讯精密300913兆龙互连300563神宇股份605277新亚电子002130沃尔核材002886沃特股份688668鼎通科技$新亚电子(SH605277)$ $得润电子(SZ002055)$ $兆龙互连(SZ300913)$ #英伟达# #连接器#

全部讨论

03-19 18:21

终于刷到一个解释清楚沃特异动的博主了,博主牛逼