阿里巴巴通義實驗室近期宣布了一項重大開源成果——音頻生成模型ThinkSound，這一創(chuàng)新之舉標志著AI在音頻創(chuàng)作領(lǐng)域邁出了重要一步。ThinkSound的獨特之處在于，它首次引入了CoT（思維鏈）技術(shù)，使AI能夠模擬專業(yè)音效師的思考過程，精準捕捉視覺細節(jié)，并生成與畫面完美同步的高保真音頻。
據(jù)悉，ThinkSound的代碼和模型已在Github、HuggingFace及魔搭社區(qū)等平臺全面開源，供開發(fā)者免費下載和體驗。這一開放舉措無疑將極大地推動音頻生成技術(shù)的發(fā)展，激發(fā)更多創(chuàng)新應(yīng)用。
在多媒體編輯和視頻內(nèi)容創(chuàng)作領(lǐng)域，視頻生成音頻（V2A）技術(shù)一直備受關(guān)注。然而，現(xiàn)有技術(shù)往往難以準確捕捉畫面中的動態(tài)細節(jié)和時序信息，導(dǎo)致生成的音頻與關(guān)鍵視覺事件錯位，無法滿足專業(yè)創(chuàng)意場景的高要求。針對這一難題，通義實驗室將思維鏈推理引入多模態(tài)大模型，實現(xiàn)了對視覺事件與聲音之間深度關(guān)聯(lián)的精準建模。
為了進一步提升模型的性能，通義團隊還構(gòu)建了首個帶思維鏈標注的音頻數(shù)據(jù)集AudioCoT。該數(shù)據(jù)集融合了超過2500小時的多源異構(gòu)數(shù)據(jù)，為模型在音頻生成與編輯任務(wù)中提供了豐富的訓(xùn)練素材。得益于此，ThinkSound在開源的VGGSound測試集上表現(xiàn)優(yōu)異，多項核心指標均超越了現(xiàn)有主流方法。
具體而言，在openl3空間中Fréchet 距離（FD）這一指標上，ThinkSound相比MMAudio降低了近9個點，接近真實音頻分布的相似度提高了20%以上。同時，在代表模型對聲音事件類別和特征判別精準度的KLPaSST 和 KLPaNNs兩項指標上，ThinkSound也取得了同類模型中的最佳成績。
在MovieGen Audio Bench測試集上，ThinkSound同樣展現(xiàn)出了強大的實力，大幅領(lǐng)先于meta推出的音頻生成模型Movie Gen Audio。這一表現(xiàn)不僅證明了ThinkSound在影視音效、音頻后期等領(lǐng)域的廣泛應(yīng)用潛力，也為其在游戲與虛擬現(xiàn)實音效生成等前沿領(lǐng)域的應(yīng)用奠定了堅實基礎(chǔ)。
通義實驗室在音頻生成領(lǐng)域的布局遠不止于此。此前，該實驗室已推出語音生成大模型Cosyvoice和端到端音頻多模態(tài)大模型MinMo等，全面覆蓋了語音合成、音頻生成、音頻理解等多個場景。此次ThinkSound的開源，無疑將進一步鞏固通義實驗室在音頻生成領(lǐng)域的領(lǐng)先地位。
