■■ 近日，浪潮信息前瞻性布局的PCIe光互连技术方案顺利通过原型样机验证。该方案实现了混合速率线性光传输，解决了PCIe协议与光传输技术之间的兼容性问题。测试结果显示，该方案有效地将PCIe Gen5信号传输距离拓展至30米，相比传统铜互连传输距离提升了20倍，同时避免了高速电信号长距离传输中的信号衰减问题，实现了更高性能、更低延迟、更稳定的数据传输，可满足大规模数据中心，机柜内和机柜间长距离高速总线信号互连的需求。
大模型时代对PCIe技术进步的需求
PCIe总线协议（Peripheral Component Interconnect Express）作为计算机和服务器中使用最广泛的高速数据传输技术，其传输性能的提升对于满足这些需求至关重要。传统连接方案主要依赖于铜缆进行电信号传输，用于单机内部计算芯片和设备之间互连。众所周知，铜缆在信号完整性、延迟、传输距离和功耗等方面存在日益突出的局限，无法满足PCIe高性能互连系统的需求。
同时，随着AIGC的发展，千亿参数成为大模型智能涌现的临界点，参数规模越大，意味着计算复杂度越高，因此所需要的算力规模也变得越来越大，万卡成为算力系统设计的起点，单机内部的PCIe连接已经不能满足需求，机柜内互连和跨机柜的互连成为新的发展方向，以实现更高效的数据交换和资源共享。光互连技术在这里开始发挥作用，利用光纤来替代铜缆，进一步提升带宽和传输距离。为解决这些问题，包括PCI-SIG（PCI Special Interest Group）和浪潮信息等在内的众多组织或公司，正在积极研究和推进PCIe光互连技术，该技术将颠覆数据中心的互连方式，为Data Center as a Computer的实现奠定基础。
PCIe技术演进中的光互连挑战
经过20多年的发展，PCIe技术已经成为计算系统中数据通信的核心技术，自诞生以来，PCIe协议经历了从1.0到6.0版本的迭代，PCIe数据传输速率也从1.0的2.5GT/s，提升为6.0的64GT/s。这一进步的同时也带来了新的挑战。
PCIe技术快速发展与电互的连局限的矛盾日益突出。传统的PCIe电互连传输方式虽然成熟，但在面对日益增长的数据传输需求时，其传输带宽和传输距离方面的限制逐渐凸显，已无法满足高性能PCIe互连对应的业务场景。浪潮信息开始探索使用光互连技术替代传统的电互连方案，光互连技术可以实现更远的距离、更高的带宽和更低的延迟，这为PCIe架构带来了突破的可能，有望成为服务器系统未来高速数据传输的重要发展方向。
在研究过程中，浪潮信息的工程师们发现尽管光互连技术有明显的优势，但PCIe协议与光传输技术之间的兼容性问题却成为了新的挑战。PCIe协议制定之初并未考虑采用光互连来传输，导致现有光传输技术与PCIe协议之间存在许多不兼容的地方，如图2。
首先，PCIe链路的建立包括接收端检测、电气空闲状态和协商链路速率等过程，常规的光模块设计通常针对的是简单的光信号传输，不具备处理这些复杂的协议过程的能力。
其次，PCIe链路的稳定建立需要辅助信号的支持，如PERST#、PRSNT# 等，而光模块内部通常没有预留传输辅助信号的通道。这些不兼容的地方阻碍了PCIe协议与光传输的结合。
众所周知，随着PCIe速率的增加，传统铜缆在长距离传输面临着越来越大的挑战。例如，PCIe 1.0时，铜缆传输距离可达10米，而PCIe 4.0时，这一距离缩短至3、4米；当速率进一步提高到64 GT/s和128 GT/s，也即PCIe 6.0和未来的PCIe 7.0，铜缆传输距离将进一步缩短至几十厘米，无法满足数据中心的长距离传输需求，PCIe光互连变得不可或缺。
浪潮信息PCIe光互连方案：突破距离限制，实现高效能数据中心互连
浪潮信息针对PCIe电互连在传输带宽和距离上的局限性，创新研发了PCIe光互连方案，成功将PCIe信号从1.4米传输距离拓展至30米，满足数据中心对长距离高性能互连网络的需求。
针对光传输中与PCIe协议的不兼容问题，浪潮信息的工程师们深入研究了PCIe协议以及光电转换组件的工作原理，提出了混合速率线性光传输方案，如图3。
该方案包含三大关键技术特征：
■ 将辅助信号汇合并编译为600Mbps的低压差分信号，与宽速率范围的高速数据信号一起，通过光纤链路实现同步传输。
■ 利用线性直驱技术构建了高速信号的光传输链路，这不仅优化了光电转换过程，还扩大了光电器件的传输带宽，同时减少了光链路的能耗和传输延迟。
■ 通过硬件升级来扩展和升级链路，确保能够适应未来PCIe Gen6和Gen7设备的组网互连需求。
基于上述方案，浪潮信息的工程师们开发了PCIe光互连的原型，并进行了传输验证。测试结果显示，该原型不仅实现了30米光纤链路PCIe Gen5信号传输，还实现了PCIe辅助信号的光传输，图4为30米光互连链路眼图测试结果。作为对比，同样的系统架构，铜缆方案最远传输距离约1.4米，因此光互连方案成功实现将PCIe Gen5信号传输距离提升20倍。并且在性能测试环节，PCIe光互连链路通过2小时的NVMe-based FIO读写测试和24小时GPU带宽测试，远距离传输性能与NVMe盘和GPU直连CPU的测试数据基本一致，证明了该方案的有效性和可靠性。
而且在针对不同距离条件下信号传输质量的测试中，30米长度的光纤链路眼高和眼宽结果与1米长度的光纤链路基本一致，如图5的（1）和（2）。这表明信号的传输质量几乎不随光链路长度增加而衰减，这种优势是电互连传输技术所不具备的。
备注：眼高和眼宽是用于评估高速信号质量的两个重要参数，据此可直观地观察高速信号在传输过程中受到的噪声和抖动影响，从而评估信号的整体传输质量。
PCIe协议仍在不断迭代，数据传输速率和功能不断提升，在服务器系统高速互连中的作用愈发关键。光互连传输技术通过提供更远的传输距离、更低的延迟和更低的功耗，克服了传统电互连的局限性。展望未来，PCIe光互连技术将在智算中心、大规模数据中心等领域发挥更大作用，为现代计算和数据通信领域带来更多创新和突破。