智快網 - 新科技與新能源行業網絡媒體

          摩爾線程全面擁抱DeepSeek開源周,加速AI模型訓練與推理

             發布時間:2025-03-02 09:52 作者:顧雨柔

          摩爾線程在DeepSeek開源周活動中大放異彩,宣布全面支持多項開源項目。這家智能科技公司昨日晚間宣布,他們已成功實現對DeepSeek各個開源項目的廣泛兼容,涵蓋了FlashMLA、DeepEP、DeepGEMM、DualPipe以及Fire-Flyer文件系統(3FS)等多個關鍵組件。

          據摩爾線程介紹,FlashMLA作為一款專為加速MLA(Multi-Head Latent Attention)機制計算而設計的開源推理內核,尤其適用于DeepSeek系列模型。摩爾線程依托其最新的MUSA Compute Capability 3.1計算架構,提供了原生FP8計算能力,并通過升級高性能線性代數模板庫MUTLASS,迅速推出了MT-FlashMLA開源倉庫,確保了對DeepSeek FlashMLA的快速兼容部署。

          DeepEP則是專為MoE(混合專家)模型訓練和推理打造的開源EP(expert parallelism,專家并行)通信庫,特別適用于大規模模型訓練。摩爾線程基于MUSA Compute Capability 3.1全功能GPU,第一時間適配了DeepEP,支持高效優化的All-to-All通信、MTLink + GPU節點內通信以及原生FP8數據分發等多項特性,顯著提升了訓練效率。

          DeepGEMM則是支持密集矩陣與MoE矩陣乘法的FP8 GEMM庫,為V3/R1的訓練與推理提供了強大支持。摩爾線程基于MUTLASS在全新GPU架構上進行了優化,實現了FP8矩陣乘法,成功支持了DeepGEMM的相應功能。

          DualPipe是DeepSeek-V3提出的雙向流水線并行算法,通過計算與通信的完全重疊,顯著減少了設備空閑等待時間,大幅提升了資源利用率與訓練效率。摩爾線程依托其深度學習框架Torch-MUSA和MUSA軟件棧的全方位兼容性,實現了對DualPipe算法的高效支持,并成功接入了摩爾線程的MT-Megatron框架和即將開源的MT-TransformerEngine框架。

          Fire-Flyer文件系統(3FS)作為一種并行文件系統,充分利用了現代SSD和RDMA網絡的帶寬,成為V3和R1訓練與推理過程中的關鍵支撐。摩爾線程在極短時間內完成了3FS的搭建,并開發了存儲插件,成功實現了與夸娥智算集群的無縫集成,為AI訓練、推理和科學計算等場景提供了全棧存儲加速方案。

           
           
          更多>同類內容
          全站最新
          熱門內容
          本欄最新
           
          智快科技微信賬號
          微信群

          微信掃一掃
          加微信拉群
          電動汽車群
          科技數碼群

          国产一精品一av一免费爽爽| jazzjazz国产精品| 无码精品A∨在线观看十八禁| 久久综合久久自在自线精品自| 中文字幕乱码中文乱码51精品| 国产精品xxxx国产喷水亚洲国产精品无码久久一区| 国产成人无码aa精品一区| 精品国产日韩亚洲一区91| 国产精品亚洲专区无码唯爱网| 国产精品天天看大片特色视频 | 精品伊人久久大线蕉色首页| 99热这里只有精品免费播放| 十八18禁国产精品www| 四虎国产精品永久在线观看| 熟女精品视频一区二区三区| 久久99热精品免费观看动漫| 香蕉国产精品频视| 日韩精品久久久久久久电影蜜臀| 老司机午夜精品视频资源| 久久久久亚洲精品无码蜜桃| 久久久精品人妻一区二区三区四| 久久99国产综合精品女同| 99久久久国产精品免费牛牛 | 亚洲日韩精品国产3区| 亚洲AV成人精品日韩一区| 视频二区国产精品职场同事| 一本久久伊人热热精品中文| 国产精品热久久无码av| 精品偷自拍另类在线观看丰满白嫩大屁股ass| 国产精品 码ls字幕影视| 久久精品三级视频| 亚洲精品狼友在线播放| 久久91精品国产一区二区| 99re热这里只有精品视频| 亚洲精品视频在线观看免费| 国产精品久久毛片完整版| 亚洲av无码成人精品国产| 精品综合久久久久久蜜月| 国产一精品一aⅴ一免费| 精品国产日韩亚洲一区91| 精品一区二区三区在线观看l |