近日，DeepSeek在開源周的活動中揭曉了其第三日的開源成果——DeepGEMM，這一項目引起了業界的廣泛關注。
DeepGEMM是一個專為密集型和混合專家（MoE）通用矩陣乘法（GEMM）運算設計的FP8通用矩陣乘法庫。它特別為V3/R1模型的訓練和推理任務提供了強大的支持。這一開源庫的出現，無疑為相關領域的研究者和開發者提供了一個高效且靈活的工具。
據DeepSeek介紹，DeepGEMM在英偉達Hopper系列GPU上的表現尤為出色，其FP8每秒萬億次浮點運算（TFLOPS）性能可高達1350以上。這一性能數據不僅展示了DeepGEMM的強大計算能力，也體現了其在處理大規模矩陣運算時的效率。
DeepGEMM的核心邏輯代碼相當精煉，僅約300行。然而，盡管代碼簡潔，但在大多數矩陣規模下，其性能卻超過了經過專家優化調整的內核。這一特點使得DeepGEMM在保持高效性的同時，也具備了良好的可讀性和可維護性。
DeepGEMM還支持密集型布局以及兩種混合專家（MoE）布局，這進一步拓展了其應用場景。無論是處理傳統的密集型矩陣運算，還是應對復雜的混合專家模型，DeepGEMM都能夠提供穩定且高效的計算支持。
DeepGEMM的即時編譯功能也是其一大亮點。這一功能使得開發者能夠在需要時快速編譯并運行代碼，從而大大提高了開發效率。同時，即時編譯也有助于確保代碼在不同硬件環境下的兼容性和穩定性。
