近期，OpenAI的首席執(zhí)行官薩姆·奧爾特曼發(fā)表了一項(xiàng)大膽預(yù)測(cè)，他聲稱到今年年底，人工智能模型將超越“入門級(jí)”軟件工程師的能力。然而，OpenAI內(nèi)部研究人員的最新研究成果卻給出了不同的答案。
在這項(xiàng)研究中，研究人員揭示了一個(gè)令人意外的發(fā)現(xiàn)：即便是目前最前沿的人工智能模型，也無(wú)法與人類程序員相提并論。為了驗(yàn)證這一點(diǎn)，他們開(kāi)發(fā)了一個(gè)名為SWE-Lancer的新基準(zhǔn)測(cè)試工具，該工具基于自由職業(yè)者網(wǎng)站Upwork上的真實(shí)軟件工程任務(wù)。
研究人員選取了三款大型語(yǔ)言模型（LLMs）進(jìn)行測(cè)試，包括OpenAI自家的o1推理模型、旗艦產(chǎn)品GPT-4o，以及Anthropic公司的Claude 3.5 Sonnet。這些模型在測(cè)試中需要處理兩類任務(wù)：一類是個(gè)體任務(wù)，如修復(fù)漏洞；另一類是管理任務(wù)，需要做出更高層次的決策。
測(cè)試結(jié)果顯示，盡管這些模型在某些細(xì)節(jié)任務(wù)上能夠迅速給出答案，但它們?cè)谔幚泶笮晚?xiàng)目中的漏洞及其根源時(shí)卻顯得力不從心。這些“半成品”解決方案往往缺乏全面性和準(zhǔn)確性，與AI常見(jiàn)的“自信滿滿但漏洞百出”的信息輸出如出一轍。
值得注意的是，在測(cè)試過(guò)程中，這些模型被禁止訪問(wèn)互聯(lián)網(wǎng)，以確保它們無(wú)法抄襲網(wǎng)上已有的答案。即便如此，它們的表現(xiàn)仍然令人失望。盡管三款LLMs在完成任務(wù)的速度上遠(yuǎn)超人類，但它們?cè)诶斫饴┒吹膹V泛性和背景方面存在明顯不足，導(dǎo)致解決方案往往錯(cuò)誤或不夠全面。
其中，Claude 3.5 Sonnet的表現(xiàn)略勝一籌，甚至在測(cè)試中“賺取”的金額超過(guò)了o1和GPT-4o。然而，這并不意味著它的答案就是正確的。事實(shí)上，大多數(shù)答案仍然存在錯(cuò)誤。研究人員指出，要想將AI模型真正應(yīng)用于實(shí)際編程任務(wù)，還需要提高其可靠性。
這項(xiàng)研究似乎表明，盡管前沿的人工智能模型在處理一些細(xì)節(jié)任務(wù)時(shí)表現(xiàn)出色，但它們?cè)谲浖こ填I(lǐng)域的整體技能水平仍然遠(yuǎn)遠(yuǎn)不及人類工程師。這些模型在處理復(fù)雜任務(wù)時(shí)的局限性，再次凸顯了人類智慧在編程領(lǐng)域的不可替代性。
然而，令人擔(dān)憂的是，一些首席執(zhí)行官似乎并未受到這項(xiàng)研究的影響。他們?nèi)匀贿x擇解雇人類程序員，轉(zhuǎn)而使用這些尚未成熟的AI模型。這種做法不僅可能帶來(lái)潛在的風(fēng)險(xiǎn)和損失，也忽視了人類工程師在軟件開(kāi)發(fā)中的獨(dú)特價(jià)值。
