近期，非營利組織“人工智能安全中心”（CAIS）攜手數(shù)據(jù)標注與AI開發(fā)服務(wù)商Scale AI，共同推出了一項名為“人類終極考試”的基準測試。該測試旨在全面評估前沿AI系統(tǒng)的綜合能力，其難度之高，引起了業(yè)界的廣泛關(guān)注。
這一基準測試的內(nèi)容豐富多樣，涵蓋了數(shù)學、人文學科、自然科學等多個領(lǐng)域的問題。為了確保測試的權(quán)威性和深度，問題由來自50個國家/地區(qū)的500多個機構(gòu)的近1000名學科專家撰稿人提出。這些專家包括教授、研究人員和研究生學位持有者，他們的專業(yè)知識為測試提供了堅實的基礎(chǔ)。
測試題目的設(shè)計也別具匠心，不僅包含了傳統(tǒng)的文字題目，還結(jié)合了圖表和圖像等復(fù)雜題型。這種多模態(tài)的信息呈現(xiàn)方式，旨在全面考察AI系統(tǒng)在跨學科知識和多模態(tài)信息處理方面的能力。這樣的測試設(shè)計，無疑對AI系統(tǒng)提出了更高的挑戰(zhàn)。
在初步的研究結(jié)果中，所有公開可用的旗艦AI系統(tǒng)在這一基準測試中的表現(xiàn)均不盡如人意。它們的回答準確率均未超過10%，這一結(jié)果揭示了當前AI技術(shù)在應(yīng)對復(fù)雜、綜合性問題時的明顯短板。盡管AI技術(shù)在特定領(lǐng)域已經(jīng)取得了顯著的進展，但在面對跨學科、多模態(tài)的綜合性問題時，仍然顯得力不從心。
除了揭示AI技術(shù)的短板外，“人類終極考試”還為研究人員提供了一個寶貴的平臺。CAIS和Scale AI計劃將這一基準測試向研究社區(qū)開放，以便研究人員能夠深入挖掘AI系統(tǒng)之間的差異，并評估新開發(fā)的AI模型。這將有助于推動AI技術(shù)的進一步發(fā)展，提高AI系統(tǒng)的綜合能力。
該基準測試還展示了跨學科合作的重要性。來自不同領(lǐng)域的專家共同參與了測試題目的設(shè)計和評估工作，他們的專業(yè)知識和經(jīng)驗為測試的準確性和深度提供了有力保障。這種跨學科的合作方式，不僅有助于推動AI技術(shù)的發(fā)展，還能促進不同學科之間的交流和融合。
