【智快網(wǎng)】12月19日消息，針對(duì)人工智能(AI)模型的安全性，OpenAI宣布成立了新的Preparedness團(tuán)隊(duì)，該團(tuán)隊(duì)旨在評(píng)估和減輕與人工智能相關(guān)的“災(zāi)難性風(fēng)險(xiǎn)”。
Preparedness團(tuán)隊(duì)由麻省理工學(xué)院可部署機(jī)器學(xué)習(xí)中心主任亞歷山大·馬德里(Aleksander Madry)領(lǐng)導(dǎo)，其任務(wù)是跟蹤、評(píng)估、預(yù)測(cè)和防范由人工智能模型引發(fā)的潛在災(zāi)難性風(fēng)險(xiǎn)。據(jù)悉，OpenAI在今年10月份首次宣布了Preparedness團(tuán)隊(duì)的組建計(jì)劃，而此舉是公司在應(yīng)對(duì)人工智能風(fēng)險(xiǎn)方面的又一重要舉措。
與此前有關(guān)人事的變動(dòng)不同，OpenAI在宣布新團(tuán)隊(duì)的同時(shí)表示，已經(jīng)放棄尋找信任和安全部門(mén)主管戴夫·威爾納(Dave Willner)的繼任者，而是決定拆分該部門(mén)，分別成立了三個(gè)獨(dú)立的團(tuán)隊(duì)來(lái)應(yīng)對(duì)人工智能風(fēng)險(xiǎn)。這三個(gè)團(tuán)隊(duì)分別是“安全系統(tǒng)”(Safety Systems)團(tuán)隊(duì)、“超級(jí)對(duì)齊”(Superalignment)團(tuán)隊(duì)以及Preparedness團(tuán)隊(duì)。
據(jù)智快網(wǎng)了解，這一組織架構(gòu)的調(diào)整旨在更全面地應(yīng)對(duì)人工智能的安全挑戰(zhàn)。其中，“安全系統(tǒng)”團(tuán)隊(duì)專(zhuān)注于高級(jí)人工智能模型和人工通用智能的安全部署，致力于減少對(duì)當(dāng)前模型和產(chǎn)品的濫用，比如ChatGPT。而“超級(jí)對(duì)齊”團(tuán)隊(duì)的任務(wù)是為公司未來(lái)?yè)碛械某?jí)智能模型奠定安全基礎(chǔ)。而Preparedness團(tuán)隊(duì)則負(fù)責(zé)繪制前沿模型的新風(fēng)險(xiǎn)，并對(duì)其進(jìn)行全面的安全評(píng)估。
OpenAI還計(jì)劃建立一個(gè)專(zhuān)門(mén)的團(tuán)隊(duì)，以監(jiān)督技術(shù)工作，并構(gòu)建一個(gè)安全決策的運(yùn)作結(jié)構(gòu)。Preparedness團(tuán)隊(duì)將推動(dòng)技術(shù)工作，檢查前沿模型能力的極限，進(jìn)行評(píng)估，并撰寫(xiě)相關(guān)報(bào)告。公司還將設(shè)立一個(gè)跨職能的安全咨詢(xún)小組，負(fù)責(zé)審查所有報(bào)告，并將其提交給公司領(lǐng)導(dǎo)層和董事會(huì)。在這一新機(jī)構(gòu)中，盡管領(lǐng)導(dǎo)層是決策者，但董事會(huì)有權(quán)推翻其決策。
OpenAI成立于2015年，由特斯拉CEO埃隆·馬斯克、Y Combinator總裁阿爾特曼、PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨共同創(chuàng)立，專(zhuān)注于人工智能技術(shù)應(yīng)用領(lǐng)域。公司的CEO薩姆·奧爾特曼是人工智能領(lǐng)域的知名預(yù)言家，經(jīng)常對(duì)人工智能的潛在風(fēng)險(xiǎn)表示擔(dān)憂(yōu)。今年5月，奧爾特曼和其他知名人工智能研究人員發(fā)表聲明，呼吁全球?qū)p輕人工智能帶來(lái)的滅絕性風(fēng)險(xiǎn)作為優(yōu)先事項(xiàng)。
今年9月，OpenAI推出了“紅隊(duì)網(wǎng)絡(luò)”(Red Teaming Network)，并邀請(qǐng)各領(lǐng)域?qū)＜壹尤胍蕴岣咂淙斯ぶ悄苣Ｐ偷陌踩?。簽約的專(zhuān)家將通過(guò)協(xié)助評(píng)估和減輕模型風(fēng)險(xiǎn)，為OpenAI人工智能系統(tǒng)的穩(wěn)健性提供關(guān)鍵支持。這一系列舉措表明OpenAI正積極應(yīng)對(duì)人工智能帶來(lái)的潛在挑戰(zhàn)，強(qiáng)調(diào)了公司對(duì)技術(shù)安全性的高度重視。
