研究機構(gòu) Epoch AI 近日發(fā)布了一款全新的 AI 模型數(shù)學基準測試集，名為 FrontierMath。該測試集旨在全面評估 AI 模型的數(shù)學推理能力，尤其是面對復雜數(shù)學問題時的表現(xiàn)。
與現(xiàn)有的數(shù)學測試題集如 GSM-8K 和 MATH 相比，F(xiàn)rontierMath 的特色在于其收錄的數(shù)學問題極為復雜，涵蓋了數(shù)論、代數(shù)和幾何等多個現(xiàn)代數(shù)學領域。這些問題的難度極高，甚至對于人類專家而言，解答也往往需要耗費數(shù)小時乃至數(shù)天的時間。
據(jù)悉，F(xiàn)rontierMath 的題目由資深的人工智能學專家精心設計。這些問題不僅要求 AI 具備對數(shù)學概念的深刻理解，更需要在復雜情境下進行高效推理。這樣的設計要求旨在防止 AI 模型通過比對過往學習過的相似題目來尋求答案。
研究機構(gòu)使用 FrontierMath 對當前市場上的主流 AI 模型進行了初步測試。結(jié)果顯示，這些模型在 FrontierMath 上的表現(xiàn)普遍不佳。即便是此前在 GSM-8K 和 MATH 測試中取得近乎滿分成績的 Claude 3.5 和 GPT-4 等先進模型，在 FrontierMath 中的解題成功率也低于 2%。
研究團隊進一步指出，AI 在解決高級數(shù)學問題時的主要挑戰(zhàn)在于它們往往過于依賴訓練數(shù)據(jù)中的相似題目來生成答案。這種方式忽略了對問題本身邏輯結(jié)構(gòu)的深入理解和推理。因此，當面對未曾學習過的新題目時，這些模型容易陷入困境。這一問題并非僅僅通過增加模型規(guī)模就能解決，而是需要從模型的推理架構(gòu)層面進行根本性的改進。
