近日，關(guān)于人工智能巨頭OpenAI的下一代語言模型GPT-5的誕生歷程，外媒The Information披露了一系列鮮為人知的內(nèi)幕消息，引發(fā)了業(yè)界的廣泛關(guān)注。
據(jù)悉，GPT-5的誕生之路并非一帆風(fēng)順。在研發(fā)過程中，OpenAI遭遇了人才流失、內(nèi)部混亂以及技術(shù)瓶頸等多重挑戰(zhàn)。尤其是核心研究團(tuán)隊(duì)的部分成員被meta（臉書母公司）的高薪挖角，直接導(dǎo)致了OpenAI內(nèi)部組織架構(gòu)的動(dòng)蕩。這一變動(dòng)甚至引發(fā)了研究副總裁Jerry Tworek在Slack上的公開抱怨，表達(dá)了團(tuán)隊(duì)面臨的困境，這一消息被眾多同事所見。
然而，就在這些負(fù)面消息頻出的同時(shí)，OpenAI卻傳來了另一則好消息。公司成功籌集了83億美元的巨額融資，使其估值飆升至3000億美元。這筆資金是OpenAI今年400億美元融資計(jì)劃的一部分，由Dragoneer投資集團(tuán)領(lǐng)投，Blackstone、TPG、Fidelity、Founders Fund和紅杉資本等多家投資機(jī)構(gòu)跟投。盡管Dragoneer是本輪融資的最大出資方，但軟銀仍是整個(gè)融資計(jì)劃的牽頭者。
盡管融資成功為OpenAI注入了新的活力，但GPT-5的研發(fā)進(jìn)展卻并未如預(yù)期般順利。據(jù)外媒報(bào)道，GPT-5并未實(shí)現(xiàn)像GPT-3到GPT-4那樣的技術(shù)飛躍。實(shí)際上，原本被寄予厚望的Orion模型，在經(jīng)歷了一系列測(cè)試后，因其性能未能達(dá)到預(yù)期，最終被降級(jí)為GPT-4.5，并于今年2月低調(diào)發(fā)布。GPT-4.5的推出并未引起市場(chǎng)的廣泛關(guān)注，迅速淡出了公眾的視野。
Orion模型的失敗，暴露了OpenAI在預(yù)訓(xùn)練階段遇到的天花板問題。隨著高質(zhì)量網(wǎng)絡(luò)數(shù)據(jù)的日益枯竭，原本在小模型上有效的訓(xùn)練技巧，在大模型上卻失效了。這不僅導(dǎo)致了GPT-5的延期，也讓OpenAI團(tuán)隊(duì)內(nèi)部陷入了自我懷疑。
盡管如此，OpenAI并未放棄對(duì)GPT-5的研發(fā)。據(jù)報(bào)道，公司正在開發(fā)一種名為“通用驗(yàn)證器”的新技術(shù)，該技術(shù)可以自動(dòng)化地確保模型在強(qiáng)化學(xué)習(xí)（RL）過程中產(chǎn)生高質(zhì)量的答案。這一技術(shù)的核心是讓一個(gè)大型語言模型（LLM）承擔(dān)起檢查和評(píng)估另一個(gè)模型答案的任務(wù)，并利用各種信息源對(duì)答案進(jìn)行核實(shí)。這一創(chuàng)新有望為GPT-5的性能提升提供有力支持。
OpenAI在推理模型方面也取得了新的突破。基于一項(xiàng)名為Q*的技術(shù)突破，OpenAI開發(fā)了一系列推理模型，這些模型在獲得更多算力時(shí)表現(xiàn)出更佳的性能。盡管在將推理模型轉(zhuǎn)化為聊天版本時(shí)遇到了一些挑戰(zhàn)，但OpenAI仍在不斷探索和優(yōu)化這一技術(shù)路徑。
盡管GPT-5的發(fā)布日期尚未確定，但OpenAI的高管們對(duì)模型的未來充滿信心。他們相信，沿著目前的架構(gòu)路徑發(fā)展，模型有朝一日將達(dá)到GPT-8的水平。CEO山姆·奧特曼也表示，利用現(xiàn)有技術(shù)，OpenAI有望創(chuàng)造出通用人工智能（AGI）。這些樂觀的預(yù)期，無疑為OpenAI的未來增添了更多的想象空間。
