【智快網(wǎng)】3月18日消息，近日，科技界掀起了一股新的熱潮。馬斯克旗下的人工智能公司xAI在周日的官方聲明中，震撼宣布其大語言模型Grok-1正式開源。此舉意味著，公眾可以訪問github.com/xai-org/grok，按照指引獲取并使用該模型的權(quán)重和網(wǎng)絡(luò)架構(gòu)。
據(jù)悉，Grok-1是一款混合專家模型，擁有驚人的3140億參數(shù)，這一數(shù)字在目前所有已開源的大語言模型中獨(dú)占鰲頭。如此龐大的參數(shù)規(guī)模，無疑將為大語言模型領(lǐng)域帶來前所未有的變革與突破。
據(jù)智快網(wǎng)了解，Grok-1是xAI團(tuán)隊(duì)從頭開始訓(xùn)練的模型，其預(yù)訓(xùn)練階段已于去年10月圓滿完成。此次開源的是預(yù)訓(xùn)練結(jié)束時(shí)的原始基礎(chǔ)模型檢查點(diǎn)，尚未針對(duì)任何具體應(yīng)用進(jìn)行微調(diào)。這意味著，開發(fā)者們可以根據(jù)自身需求，對(duì)Grok-1進(jìn)行進(jìn)一步的定制和優(yōu)化。
xAI在官網(wǎng)上透露，Grok-1是在海量文本數(shù)據(jù)上訓(xùn)練的基礎(chǔ)模型，其訓(xùn)練過程采用了JAX和Rust編程語言，并借助了團(tuán)隊(duì)自定義的訓(xùn)練棧。如今，該模型的權(quán)重和架構(gòu)已按照Apache 2.0開源許可協(xié)議公開發(fā)布，為全球范圍內(nèi)的研究者和開發(fā)者提供了寶貴的資源。
盡管Grok-1的開源時(shí)間相較于馬斯克在社交媒體上公布的時(shí)間有所延遲，但這并未影響其在科技界的熱度。事實(shí)上，這一開源行動(dòng)標(biāo)志著人工智能領(lǐng)域的一大進(jìn)步，為整個(gè)行業(yè)注入了新的活力。
關(guān)于開源時(shí)間的定義，不同國(guó)家和地區(qū)可能存在差異。然而，按照國(guó)際標(biāo)準(zhǔn)化組織ISO 8601的規(guī)定，Grok-1的開源時(shí)間仍在馬斯克所提及的那一周范圍內(nèi)。這一細(xì)節(jié)雖然引發(fā)了部分討論，但并未影響Grok-1作為一款重要開源大語言模型的地位和影響力。
