科技媒體The Decoder于昨日發(fā)布了一篇引人注目的報道，披露了OpenAI公司最新推出的MLE-bench基準(zhǔn)。這一基準(zhǔn)旨在評估AI智能體在開發(fā)機(jī)器學(xué)習(xí)解決方案方面的實(shí)力，覆蓋了75個Kaggle競賽，涵蓋了自然語言處理、計算機(jī)視覺和信號處理等多個領(lǐng)域。
MLE-bench專注于兩個核心領(lǐng)域：選擇具有挑戰(zhàn)性的任務(wù)，這些任務(wù)代表著當(dāng)前機(jī)器學(xué)習(xí)的發(fā)展前沿；比較AI與人類的表現(xiàn)，以此評估AI在特定任務(wù)中的能力。
OpenAI在MLE-bench上測試了多個AI模型和智能體框架，其中使用AIDE框架的o1-preview模型表現(xiàn)尤為出色，在16.9%的比賽中至少獲得了一枚銅牌，這一成績甚至超越了Anthropic的Claude 3.5 Sonnet。
值得注意的是，MLE-bench上的任務(wù)具有現(xiàn)實(shí)世界的應(yīng)用價值，如預(yù)測COVID-19 mRNA疫苗的降解或解碼古代卷軸等。而獲得5枚金牌即可評為“Grandmaster”特級大師，o1-preview模型在測試中更是獲得了7枚金牌。
然而，OpenAI也承認(rèn)MLE-bench存在局限性，它并未涵蓋AI研究與開發(fā)的所有方面，而是主要集中在那些具有明確問題和簡單評估指標(biāo)的任務(wù)上。
盡管如此，MLE-bench基準(zhǔn)的推出無疑為AI在機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展提供了新的推動力。該基準(zhǔn)現(xiàn)已在GitHub上發(fā)布，OpenAI希望通過這一工具，進(jìn)一步推動AI在機(jī)器學(xué)習(xí)領(lǐng)域的創(chuàng)新與應(yīng)用。
