智快網 - 新科技與新能源行業網絡媒體

          Meta發布Llama 4系列AI,混合專家架構能否助其效率飆升?

             發布時間:2025-04-06 06:00 作者:柳晴雪

          meta近期推出了其最新的Llama 4系列AI模型,這一系列包括了Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。據meta透露,這些模型均經過了龐大的未標注文本、圖像和視頻數據的訓練,旨在賦予它們廣泛的視覺理解能力。

          目前,meta已將Scout和Maverick兩款模型上架至Hugging Face平臺。而Behemoth模型仍在緊鑼密鼓的訓練中。Scout模型能夠在單個英偉達H100 GPU上運行,而Maverick則需要更高配置的英偉達H100 DGX AI平臺或性能相當的設備。

          值得注意的是,Llama 4系列是meta首次采用混合專家(MoE)架構的模型。這種架構通過將數據處理任務分解為多個子任務,再將這些子任務分配給更小的、專門化的“專家”模型,從而在訓練和回答用戶查詢時展現出更高的效率。例如,Maverick模型擁有4000億個參數,但在128個“專家”模型中,只有170億個參數處于活躍狀態。

          相比之下,Scout模型擁有170億個活躍參數,分布在16個“專家”模型中,總參數數為1090億個。盡管Llama 4系列模型在性能上有所提升,但它們并非像OpenAI的o1和o3-mini那樣的“推理模型”。推理模型會對答案進行事實核查,通常能更可靠地回答問題,但響應時間相對較長。

          meta內部測試顯示,Maverick模型在通用AI助手和聊天等應用場景中表現出色,尤其在創意寫作、代碼生成、翻譯、推理、長文本上下文總結和圖像基準測試等方面,其性能超過了OpenAI的GPT-4和谷歌的Gemini 2.0等模型。然而,與谷歌的Gemini 2.5 Pro、Anthropic的Claude 3.7 Sonnet和OpenAI的GPT-4.5等更強大的最新模型相比,Maverick仍有一定的提升空間。

          Scout模型則擅長總結文檔和基于大型代碼庫進行推理。該模型支持處理1000萬個詞元,這意味著它一次能夠處理數百萬字的文本。meta還預告了其Behemoth模型。據透露,Behemoth擁有2880億個活躍參數,分布在16個“專家”模型中,總參數數接近2萬億個。meta內部基準測試顯示,在一些衡量解決數學問題等科學、技術、工程和數學(STEM)技能的評估中,Behemoth的表現優于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但略遜于Gemini 2.5 Pro。

           
           
          更多>同類內容
          全站最新
          熱門內容
          本欄最新
           
          智快科技微信賬號
          微信群

          微信掃一掃
          加微信拉群
          電動汽車群
          科技數碼群

          国产精品国产三级国快看| 亚洲国产精品综合久久2007| 伊在人亚洲香蕉精品区麻豆| 国产精品第二页在线播放| 琪琪精品视频在线观看| 91精品国产免费| 久久国产精品电影| 国产在视频线精品视频二代| 久久精品国产第一区二区| 午夜亚洲av永久无码精品| 中文字幕日韩丝袜一区| 日韩久久久久中文字幕人妻| 老色鬼永久精品网站| 亚洲AV永久无码精品一福利| 国产精品视频一区二区三区| 真实国产乱子伦精品免费| 人人妻人人澡人人爽人人精品97 | 日韩精品中文字幕视频一区| 手机看片久久高清国产日韩| 国产真实乱子伦精品| 国产精品成人一区无码| 日韩AV无码精品一二三区| 精品欧洲男同同志videos| 97色精品视频在线观看| 亚洲国产精品无码久久98| 国内精品-bt天堂| 一本色道久久88亚洲精品综合| 国产成人精品久久一区二区三区| 亚洲mv国产精品mv日本mv| 亚洲国产精品午夜电影 | 精品无码av无码专区| 亚洲欧美中文日韩视频| 国产精品日韩一区二区三区| 在线视频日韩精品| 亚洲一区二区精品视频| 国产区精品高清在线观看| 久久久久久亚洲精品不卡| 国色精品va在线观看免费视频| 国产偷久久久精品专区| 国产在线精品一区二区不卡| 国产精品国产三级国产av品爱网|