近日，科大訊飛研究院攜手華為昇騰團隊，在“飛星一號”平臺上取得了MoE模型集群推理性能優(yōu)化的重大突破。經過一系列創(chuàng)新技術的研發(fā)與實施，該團隊成功實現了大規(guī)模專家并行集群推理性能的顯著提升，性能翻倍的佳績令人矚目。
科大訊飛在國產算力集群領域一直處于領先地位，此次更是在MoE模型的大規(guī)模跨節(jié)點專家并行集群推理方面邁出了重要一步。此前，科大訊飛已經發(fā)布了基于國產算力的首個MoE模型訓練與推理解決方案，為業(yè)界樹立了標桿。在此基礎上，科大訊飛與華為昇騰的聯(lián)合團隊再次發(fā)力，對適配MoE模型的PD分離+大規(guī)模專家并行系統(tǒng)解決方案進行了全面升級。
此次升級的關鍵技術創(chuàng)新點之一，在于針對MoE模型的PD分離部署進行了定制化的集合通信協(xié)議設計。這一設計有效解決了集合通信流量沖突問題，消除了推理過程中Prefill階段和Decode階段的相互干擾，使得P實例和D實例均能發(fā)揮出最佳性能，整體性能因此提升了20%以上。
聯(lián)合團隊還在國產算力上成功實現了MTP多token預測技術，這一技術的引入大幅降低了MTP層的計算耗時，使得整體性能再次提升了30%以上。這一突破不僅展示了團隊在技術創(chuàng)新方面的實力，也為國產算力在大規(guī)模模型推理領域的應用開辟了更廣闊的空間。
在專家負載均衡算法方面，團隊也進行了深入優(yōu)化。通過采用多DP負載均衡技術，團隊成功將卡間負載均衡差異控制在8%以內，從而顯著提升了集群推理的吞吐性能，性能提升幅度超過30%。這一優(yōu)化措施有效解決了集群推理過程中可能出現的資源瓶頸問題，提升了系統(tǒng)的整體運行效率。
聯(lián)合團隊還創(chuàng)新性地引入了異步雙發(fā)射技術，這一技術的實施有效解決了高并發(fā)場景下的高CPU負載問題。通過實現CPU與NPU之間的高效協(xié)同，這一改進不僅降低了服務請求調度的耗時，還使得系統(tǒng)性能整體提升了10%。這一技術突破為大規(guī)模模型推理性能的提升提供了新的思路和解決方案。
經過上述一系列優(yōu)化與升級，聯(lián)合團隊在“飛星一號”平臺上對星火MoE模型、DeepSeekV3/R1等模型進行了實際測試。測試結果顯示，這些模型的推理性能相較于上一版本實現了翻倍提升，已經接近國產算力上MoE集群推理的性能上限。這一成果不僅標志著國產算力在大規(guī)模模型推理領域的技術水平邁上了新臺階，也為后續(xù)的技術研發(fā)和應用推廣奠定了堅實基礎。
