華為在近期的一次重要宣布中，正式揭開了其在大模型技術(shù)領(lǐng)域的又一里程碑。此次，華為不僅推出了盤古70億參數(shù)的稠密模型，還帶來了盤古Pro MoE這一擁有720億參數(shù)的混合專家模型，并配套發(fā)布了基于昇騰的模型推理技術(shù)。
這一系列的開源舉措，被視為華為在推動(dòng)昇騰生態(tài)戰(zhàn)略實(shí)施過程中的又一重要步驟。通過這些努力，華為旨在加速大模型技術(shù)的創(chuàng)新與發(fā)展，進(jìn)一步拓寬人工智能技術(shù)在各行各業(yè)的應(yīng)用邊界，從而創(chuàng)造更大的價(jià)值。
目前，盤古Pro MoE 72B模型的權(quán)重和基礎(chǔ)推理代碼已經(jīng)成功上線至開源平臺(tái)，供全球開發(fā)者免費(fèi)下載和使用。與此同時(shí)，基于昇騰的超大規(guī)模MoE模型推理代碼也已同步上線，為開發(fā)者提供了強(qiáng)大的推理能力支持。
值得注意的是，盤古7B的相關(guān)模型權(quán)重與推理代碼也即將在近期上線開源平臺(tái)。這意味著，開發(fā)者將能夠擁有更多選擇，根據(jù)實(shí)際需求選用不同規(guī)模和性能的模型。
在華為此次推出的模型中，盤古Embedded 7B模型以其獨(dú)特的雙系統(tǒng)框架和元認(rèn)知能力脫穎而出。該模型能夠根據(jù)任務(wù)復(fù)雜度自動(dòng)切換推理模式，從而在保證推理速度的同時(shí)，兼顧推理深度。在多項(xiàng)復(fù)雜推理基準(zhǔn)測(cè)試中，盤古Embedded 7B模型的表現(xiàn)甚至超越了同量級(jí)的Qwen3-8B和GLM4-9B等模型。
而盤古Pro MoE 72B模型則采用了分組混合專家（MoGE）架構(gòu)，總參數(shù)量高達(dá)720億，但激活參數(shù)量?jī)H為160億。這一設(shè)計(jì)有效解決了專家負(fù)載不均的問題，提高了模型的部署效率。同時(shí)，針對(duì)昇騰硬件的深度優(yōu)化，使得該模型在推理速度上達(dá)到了新的高度，最高單卡可達(dá)1528 tokens/s。在多項(xiàng)公開基準(zhǔn)測(cè)試中，盤古Pro MoE 72B模型均表現(xiàn)出色，性能優(yōu)于同規(guī)模的稠密模型。
華為官方表示，他們誠(chéng)摯邀請(qǐng)全球的開發(fā)者、企業(yè)伙伴及研究人員下載并使用這些模型，同時(shí)期待收到大家的寶貴反饋，以便共同完善和提升這些技術(shù)。
