PCIE协议-实战应用2(AER问题)

发布网友发布时间：2024-10-18 22:50

共1个回答

热心网友时间：2024-11-24 00:10

在一项涉及双路CPU服务器的项目中，服务器通过PCIe switch扩展出多个端口以支持NIC和GPU设备。然而，遇到一个关键问题——在开机或压力测试时，GPU设备偶尔会出现AER（Advanced Error Reporting）报错，如receiver error、Bad TLP和timeout。理解PCIe Tree以及BDF（Bus Number, Device Number, Function Number）对应关系是解决此问题的关键。

BDF类似于网络中的IP地址，由三个部分组成，用于唯一标识PCIe设备。在Linux系统中，通过命令lspci -t查看设备的BDF信息，特别是在有PCIe switch的情况下，理解设备链路结构显得尤为重要。通过ls pci -tv命令，可以列出PCIe树上所有设备的BDF，从root port开始分析，如图5所示，树中的每个节点代表不同的设备和端口。

定位AER问题时，首先要确定是switch还是设备端的问题。例如，如果GPU报RxErr和BadTLP，而switch下行端口无误，那么问题可能出在switch发送给GPU的信号上，经过retimer处理后出现错误。PCIe错误分为Uncorrectable（UE）和Correctable（CE）错误，其中CE可以通过硬件自动处理，需要关注的是RxErr等CE问题，因为它们可能导致数据丢失并对带宽和稳定性有影响。

针对GPU设备的RxErr问题，调试过程中要考虑的因素包括GPU接口非标导致的信号完整性测试困难、switch参数调节效果不明、供电噪声控制和时钟同步调整等。在实际调试中，不同retimer芯片的配置对问题解决效果有显著差异。此外，还介绍了PCIe均衡系数协商（EQ phase 2）的过程，这是链路训练期间的动态协商，以优化链路质量和数据传输。

总的来说，深入理解BDF和PCIe Tree结构，结合设备错误类型和调试步骤，有助于定位并解决AER问题，确保PCIe链路的稳定性和性能。