近期，螞蟻集團(tuán)在AI領(lǐng)域的最新進(jìn)展引起了廣泛關(guān)注。據(jù)新浪科技報(bào)道，螞蟻集團(tuán)針對(duì)市場(chǎng)關(guān)注的“百靈”大模型訓(xùn)練成本問題作出了正式回應(yīng)。螞蟻集團(tuán)表示，他們正致力于通過不斷優(yōu)化不同芯片的使用，來有效降低AI應(yīng)用的成本，并且已經(jīng)在這一領(lǐng)域取得了一些顯著的成果。未來，這些成果還將逐步通過開源的方式與業(yè)界分享。
事件的背景是這樣的：螞蟻集團(tuán)的Ling團(tuán)隊(duì)最近在預(yù)印版Arxiv平臺(tái)上發(fā)表了一篇技術(shù)論文，詳細(xì)闡述了他們的最新研究成果。論文中，他們推出了兩款基于混合專家（MoE）架構(gòu)的大語言模型——百靈輕量版（Ling-Lite）和百靈增強(qiáng)版（Ling-Plus）。這兩款模型不僅在規(guī)模上有所不同，更重要的是，它們采用了一系列創(chuàng)新方法，使得在低性能硬件上也能高效訓(xùn)練大模型，從而顯著降低了成本。
具體來說，百靈輕量版的參數(shù)規(guī)模達(dá)到了168億，其中激活參數(shù)為27.5億；而增強(qiáng)版的基座模型參數(shù)規(guī)模更是高達(dá)2900億，激活參數(shù)也有288億。這兩款模型的性能均達(dá)到了行業(yè)領(lǐng)先水平。實(shí)驗(yàn)數(shù)據(jù)顯示，他們的3000億參數(shù)MoE大模型在使用國產(chǎn)GPU的低性能設(shè)備上也能完成高效訓(xùn)練，其性能與完全使用英偉達(dá)芯片、同規(guī)模的稠密模型及MoE模型相當(dāng)。
這一成果的發(fā)布，無疑為AI領(lǐng)域帶來了新的突破。螞蟻集團(tuán)通過技術(shù)創(chuàng)新，不僅提高了大模型的訓(xùn)練效率，還降低了對(duì)高性能硬件的依賴，使得更多企業(yè)和研究機(jī)構(gòu)能夠在有限的資源條件下開展AI研究和應(yīng)用。
螞蟻集團(tuán)還表示，他們將繼續(xù)在AI領(lǐng)域進(jìn)行探索和創(chuàng)新，不斷推出更多具有實(shí)際應(yīng)用價(jià)值的技術(shù)成果。同時(shí)，他們也歡迎業(yè)界同行和研究者共同參與和分享這些成果，共同推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。
可以預(yù)見的是，隨著螞蟻集團(tuán)在AI領(lǐng)域的不斷探索和創(chuàng)新，未來將有更多具有顛覆性的技術(shù)成果涌現(xiàn)出來，為各行各業(yè)帶來更加智能化和高效化的解決方案。
