近日，DeepSeek在開源周的活動中揭曉了其第三日的開源成果——DeepGEMM，這一項目引起了業(yè)界的廣泛關(guān)注。
DeepGEMM是一個專為密集型和混合專家（MoE）通用矩陣乘法（GEMM）運算設(shè)計的FP8通用矩陣乘法庫。它特別為V3/R1模型的訓(xùn)練和推理任務(wù)提供了強大的支持。這一開源庫的出現(xiàn)，無疑為相關(guān)領(lǐng)域的研究者和開發(fā)者提供了一個高效且靈活的工具。
據(jù)DeepSeek介紹，DeepGEMM在英偉達(dá)Hopper系列GPU上的表現(xiàn)尤為出色，其FP8每秒萬億次浮點運算（TFLOPS）性能可高達(dá)1350以上。這一性能數(shù)據(jù)不僅展示了DeepGEMM的強大計算能力，也體現(xiàn)了其在處理大規(guī)模矩陣運算時的效率。
DeepGEMM的核心邏輯代碼相當(dāng)精煉，僅約300行。然而，盡管代碼簡潔，但在大多數(shù)矩陣規(guī)模下，其性能卻超過了經(jīng)過專家優(yōu)化調(diào)整的內(nèi)核。這一特點使得DeepGEMM在保持高效性的同時，也具備了良好的可讀性和可維護(hù)性。
DeepGEMM還支持密集型布局以及兩種混合專家（MoE）布局，這進(jìn)一步拓展了其應(yīng)用場景。無論是處理傳統(tǒng)的密集型矩陣運算，還是應(yīng)對復(fù)雜的混合專家模型，DeepGEMM都能夠提供穩(wěn)定且高效的計算支持。
DeepGEMM的即時編譯功能也是其一大亮點。這一功能使得開發(fā)者能夠在需要時快速編譯并運行代碼，從而大大提高了開發(fā)效率。同時，即時編譯也有助于確保代碼在不同硬件環(huán)境下的兼容性和穩(wěn)定性。
