今天 DeepSeek 继续开源底层架构的创新，今天开源的项目是首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP。 在分布式系统中（如多 GPU 训练环境），所有处理单元之间需要高效地传递数据。在 MoE 中，这点尤为重要，因为不同「专家」需要频繁交换信息。并且 MoE ...

背景 在 MoE 模型的训练过程中，EP rank 之间的 A2A 通信在端到端时间中占据了相当大比重，对训练效率影响很大，特别是对于 Fine-grained MoE model，EP size 会比较大，跨机通信基本无法避免。那么要如何减少 EP ...

上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。 昨天，他们开源了第一个代码库 —— FlashMLA。这是一款用于 ...