百度文心大模型4.5系列于近日正式向公眾開源，并在GitCode這一國內(nèi)頂尖的開源平臺上首發(fā)亮相。此次開源旨在為眾多企業(yè)和開發(fā)者提供一套實用性強、易于上手且能迅速落地的大模型解決方案。
現(xiàn)在，全球范圍內(nèi)的開發(fā)者、企業(yè)及研究機構(gòu)都能通過GitCode平臺，免費訪問并下載文心大模型4.5系列，以滿足不同場景下的部署、微調(diào)等需求。誠邀各界人士下載體驗，一同踏上文心大模型的探索之旅。
文心大模型4.5系列涵蓋了多款開源模型，其中包括混合專家（MoE）模型，其激活參數(shù)規(guī)模分別為47B和3B（最大模型總參數(shù)量高達424B），以及參數(shù)規(guī)模為0.3B的稠密參數(shù)模型，總計達10款。針對MoE架構(gòu)，百度提出了創(chuàng)新的多模態(tài)異構(gòu)模型結(jié)構(gòu)，通過跨模態(tài)參數(shù)共享機制，實現(xiàn)了模態(tài)間知識的有效融合，同時保留了各模態(tài)的專用參數(shù)空間。這一架構(gòu)非常適合從大語言模型向多模態(tài)模型的持續(xù)預訓練，能在保持或提升文本任務(wù)性能的同時，顯著提升多模態(tài)理解能力。
文心4.5系列模型依托飛槳深度學習框架，實現(xiàn)了高效的訓練、推理和部署。在預訓練中，模型的FLOPs利用率（MFU）達到了47%。實驗數(shù)據(jù)表明，該系列模型在多個文本和多模態(tài)基準測試中均達到了業(yè)界領(lǐng)先水平，特別是在指令遵循、世界知識記憶、視覺理解及多模態(tài)推理等任務(wù)上表現(xiàn)尤為突出。模型權(quán)重遵循Apache 2.0協(xié)議進行開源，支持學術(shù)研究和產(chǎn)業(yè)應用。借助飛槳提供的開源產(chǎn)業(yè)級開發(fā)套件，該系列模型廣泛兼容多種芯片，降低了后訓練和部署的難度。
自2023年9月22日上線以來，GitCode平臺迅速崛起，已擁有超過620萬的注冊用戶和120萬的月活用戶，成為了極具影響力的開源社區(qū)。這一龐大的用戶基礎(chǔ)和活躍的社區(qū)氛圍，為文心大模型的推廣和應用提供了堅實的基礎(chǔ)和廣闊的發(fā)展空間。
作為全球開源生態(tài)的關(guān)鍵一環(huán)，GitCode平臺憑借AI原生基因，不斷優(yōu)化開發(fā)者體驗。平臺集成了先進的代碼托管服務(wù)，支持全面的版本控制、分支管理和協(xié)作開發(fā)功能，使開發(fā)者能夠便捷地上傳、管理和分享代碼倉庫，享受流暢的協(xié)同開發(fā)過程。GitCode還提供了豐富的開源組件庫和多樣化的開發(fā)工具，無論是個人項目還是企業(yè)級應用，都能獲得安全、穩(wěn)定和高效的代碼托管解決方案，助力開發(fā)者實現(xiàn)卓越的代碼管理與協(xié)作。
百度文心大模型與GitCode平臺的深度融合，正引領(lǐng)一場技術(shù)層面的范式變革。這一融合不僅革新了傳統(tǒng)的AI開發(fā)模式，還推動了中國開源生態(tài)的繁榮發(fā)展，加速了AI產(chǎn)業(yè)生態(tài)的壯大和可持續(xù)發(fā)展。可以預見，未來基于文心大模型的創(chuàng)新應用將層出不窮，為各行各業(yè)帶來前所未有的變革與機遇。
