// 论文详情

GPU-Initiated Communication: Dissecting Down to the Bone

GPU 发起的通信允许 GPU 线程直接将 RDMA 操作发布到网卡。它是 NVSHMEM、NCCL GIN 和 DeepEP 的基础,这些技术支撑着混合专家(MoE)模型中细粒度、低延迟的关键通信需求,但其性能特征和优化方法至今鲜有深入研究。

GPU 发起的通信允许 GPU 线程直接将 RDMA 操作发布到网卡。它是 NVSHMEM、NCCL GIN 和 DeepEP 的基础,这些技术支撑着混合专家(MoE)模型中细粒度、低延迟的关键通信需求,但其性能特征和优化方法至今鲜有深入研究。

作者
机构