近日，DeepSeek“開源周”活動如火如荼地進行到了第四天，一項旨在優化并行策略的新項目正式對外公布。該項目聚焦于提升模型訓練和推理過程中的計算與通信協同效率，力求為人工智能領域帶來更為出色的性能表現。
此次開源的核心內容涵蓋了三大亮點：
首先，DualPipe雙向管道并行算法脫穎而出。該算法專為V3/R1訓練設計，通過實現計算與通信階段的高效重疊，顯著減少了流水線中的空閑時間，即所謂的“流水線氣泡”。這一創新策略極大地提高了訓練資源的利用率，使得訓練過程更加高效。
其次，專家并行負載均衡器（EPLB）的推出，為專家并行架構中的負載均衡問題提供了有效解決方案。在專家并行架構中，不同的專家模塊被分配到不同的GPU上運行。然而，由于任務需求的變化，各專家模塊的工作負載也會相應調整。為了保持GPU間的負載均衡，EPLB采用了冗余專家策略，通過復制高負載的專家模塊，并利用啟發式方法將其合理分配到不同的GPU上。為了減少節點間的通信開銷，EPLB還嘗試將同一組的專家模塊盡可能部署在同一節點上。這一策略的具體實現細節已在`eplb.py`文件中開源，開發者可借此工具計算出平衡的專家復制與放置方案。盡管專家負載的預測方法未在此次開源范圍內，但開發者仍可采用移動平均法等常見手段進行估算。
最后，項目團隊還公開了V3/R1計算-通信重疊分析的相關數據。這些數據詳細展示了計算與通信重疊策略的實現細節及其優化效果，為研究社區提供了深入了解和改進相關技術的寶貴資料。
關于DualPipe算法，它首次亮相于深度搜索-V3技術報告中。該算法的核心思想在于，通過雙向流水線機制實現正向與反向計算階段的完全重疊，從而大幅提升整體效率。而專家并行負載均衡器（EPLB）則不僅解決了專家并行架構中的負載均衡難題，還通過優化專家模塊的部署策略，進一步降低了節點間的通信成本。
此次開源活動，項目團隊旨在向社區提供更多實用的技術參考，推動人工智能領域相關技術的進一步發展。這些開源內容和數據的發布，無疑將為研究者和開發者提供更為豐富的資源和靈感，助力他們在人工智能的道路上不斷前行。
