百川智能近日正式揭曉了其最新研發(fā)成果——Baichuan-Omni-1.5開源全模態(tài)模型，這一創(chuàng)新模型現(xiàn)已正式上線。Baichuan-Omni-1.5不僅精通文本、圖像、音頻和視頻的全模態(tài)理解，還獨具文本與音頻的雙模態(tài)生成能力，展現(xiàn)了強大的多模態(tài)處理能力。
據(jù)官方宣稱，Baichuan-Omni-1.5在視覺、語音及多模態(tài)流式處理等多個領(lǐng)域，其性能均超越了GPT-4o mini。特別是在多模態(tài)醫(yī)療應(yīng)用領(lǐng)域，該模型更是展現(xiàn)出顯著的領(lǐng)先優(yōu)勢，為醫(yī)療智能化發(fā)展開辟了新路徑。
該模型在交互操作上也實現(xiàn)了重大突破，支持輸入與輸出端的多樣化交互，同時擁有卓越的多模態(tài)推理能力和跨模態(tài)遷移能力。這一特性使得Baichuan-Omni-1.5能夠靈活應(yīng)對各種復(fù)雜場景，實現(xiàn)高效的信息處理與轉(zhuǎn)換。
在音頻技術(shù)領(lǐng)域，Baichuan-Omni-1.5采用了先進的端到端解決方案，支持多語言對話、端到端音頻合成，以及自動語音識別、文本轉(zhuǎn)語音等功能。該模型還支持音視頻實時交互，為用戶提供了更加流暢、自然的交互體驗。
在視頻理解能力方面，Baichuan-Omni-1.5通過對編碼器、訓(xùn)練數(shù)據(jù)和訓(xùn)練方法等多個關(guān)鍵環(huán)節(jié)的深度優(yōu)化，實現(xiàn)了整體性能的顯著提升，遠遠超越了GPT-4o mini。這一突破性的進展使得Baichuan-Omni-1.5在視頻處理領(lǐng)域具有更強的競爭力和應(yīng)用前景。
在模型結(jié)構(gòu)上，Baichuan-Omni-1.5的設(shè)計同樣獨具匠心。其輸入部分支持各種模態(tài)數(shù)據(jù)通過相應(yīng)的Encoder/Tokenizer輸入到大型語言模型中，實現(xiàn)了數(shù)據(jù)的多樣化處理。而在輸出部分，該模型則采用了文本-音頻交錯輸出的設(shè)計，通過Text Tokenizer和Audio Decoder同時生成文本和音頻，實現(xiàn)了信息的多維度輸出。
為了構(gòu)建這一強大的模型，百川智能投入了大量資源，構(gòu)建了一個包含3.4億條高質(zhì)量圖片/視頻-文本數(shù)據(jù)和近100萬小時音頻數(shù)據(jù)的龐大數(shù)據(jù)庫。在SFT階段，更是使用了1700萬條全模態(tài)數(shù)據(jù)進行訓(xùn)練，確保了模型的準確性和可靠性。
對于廣大開發(fā)者而言，Baichuan-Omni-1.5的開源無疑是一個重大利好。現(xiàn)在，開發(fā)者可以通過以下鏈接獲取模型權(quán)重和技術(shù)報告，深入了解并應(yīng)用這一創(chuàng)新模型：
GitHub鏈接：https://github.com/baichuan-inc/Baichuan-Omni-1.5
模型權(quán)重鏈接：
Baichuan-Omni-1.5：https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5 https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5
Baichuan-Omni-1.5-Base：https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-Base https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-Base
技術(shù)報告鏈接：https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdf
