近日，科技新聞傳出，meta AI推出了名為ReasonIR-8B的模型，這款模型專為解決推理密集型檢索問(wèn)題而設(shè)計(jì)，不僅在精度上實(shí)現(xiàn)了顯著提升，更以低成本和高效率成為實(shí)際應(yīng)用的優(yōu)選方案。
當(dāng)前，檢索增強(qiáng)生成（RAG）系統(tǒng)在處理復(fù)雜推理任務(wù)時(shí)，常因檢索器性能不足而受到限制。傳統(tǒng)檢索器大多針對(duì)簡(jiǎn)短事實(shí)性問(wèn)題進(jìn)行訓(xùn)練，擅長(zhǎng)文檔級(jí)別的詞語(yǔ)或語(yǔ)義匹配，然而，在面對(duì)長(zhǎng)篇或跨領(lǐng)域查詢時(shí)，它們難以整合分散的知識(shí)，這一缺陷可能導(dǎo)致錯(cuò)誤信息的傳遞，進(jìn)而影響后續(xù)的推理效果。
meta AI推出的ReasonIR-8B模型正是針對(duì)這一挑戰(zhàn)而生。該模型基于LLaMA3.1-8B進(jìn)行訓(xùn)練，并結(jié)合了創(chuàng)新的數(shù)據(jù)生成工具ReasonIR-SYNTHESIZER。通過(guò)構(gòu)建模擬真實(shí)推理挑戰(zhàn)的合成查詢和文檔對(duì)，ReasonIR-8B能夠更精準(zhǔn)地支持復(fù)雜任務(wù)。
ReasonIR-8B采用了雙編碼器（bi-encoder）架構(gòu)，將查詢和文檔分別獨(dú)立編碼為嵌入向量，并通過(guò)余弦相似度進(jìn)行評(píng)分。其訓(xùn)練數(shù)據(jù)涵蓋了多樣長(zhǎng)度的查詢，包括長(zhǎng)達(dá)2000個(gè)token的查詢（VL Queries）以及需要邏輯推理的困難查詢（HQ），這樣的設(shè)計(jì)有效提升了模型處理長(zhǎng)上下文和抽象問(wèn)題的能力。
在BRIGHT基準(zhǔn)測(cè)試中，ReasonIR-8B模型的原查詢得分達(dá)到了24.4 nDCG@10，當(dāng)結(jié)合Qwen2.5進(jìn)行重新排序后，得分更是提升至36.9，遠(yuǎn)超更大的Rank1-32B模型。ReasonIR-8B的計(jì)算成本僅為后者的1/200。在MMLU和GPQA等RAG任務(wù)中，ReasonIR-8B模型也分別帶來(lái)了6.4%和22.6%的顯著提升。
為了推動(dòng)研究社區(qū)的發(fā)展，meta AI已在Hugging Face平臺(tái)上開(kāi)源了ReasonIR-8B模型、訓(xùn)練代碼以及合成數(shù)據(jù)工具。此舉旨在鼓勵(lì)更多研究者探索多語(yǔ)言和多模態(tài)檢索器的開(kāi)發(fā)，進(jìn)一步推動(dòng)檢索技術(shù)的發(fā)展。
對(duì)于對(duì)ReasonIR-8B模型感興趣的讀者，可以通過(guò)相關(guān)鏈接獲取更多信息和資源。
