近期，加州大學伯克利分校 Sky Computing 實驗室的研究團隊 NovaSky 推出了一個名為 Sky-T1-32B-Preview 的推理模型，這一創新成果在AI界引起了廣泛關注。據悉，該模型在多項關鍵基準測試中的表現與 OpenAI 早期版本的 o1 模型不相上下，但其開源的特性使其更具吸引力。
引人注目的是，Sky-T1-32B-Preview 是首個真正意義上的開源推理模型，其訓練數據集和代碼均向公眾開放。這意味著，任何有興趣的用戶都可以從零開始復現這一模型，無需依賴特定的商業平臺或昂貴的硬件資源。這一舉措無疑為AI領域的研究和發展注入了新的活力。
NovaSky 團隊在官方博客中透露，Sky-T1-32B-Preview 的訓練成本僅為約450美元（當前約合3306元人民幣），遠低于同類模型的數百萬美元訓練成本。這一突破性的降低得益于合成訓練數據的廣泛應用。合成數據是由其他模型生成的數據，它不僅能夠顯著降低訓練成本，還能提高模型的訓練效率和性能。例如，AI 公司 Writer 最近發布的 Palmyra X 004 模型就幾乎完全依賴合成數據進行訓練，其開發成本僅為70萬美元。
與傳統的AI模型相比，推理模型具備自我事實核查能力，這一特性使其能夠更有效地避免一些常見的錯誤。雖然推理模型在解決問題時可能需要花費更多的時間，通常在幾秒到幾分鐘之間，但在物理、科學和數學等領域，其更高的可靠性使其更具應用價值。
據 NovaSky 團隊介紹，Sky-T1 的訓練數據由阿里巴巴的 QwQ-32B-Preview 推理模型生成，并經過了精心的篩選和重構。他們利用 OpenAI 的 GPT-4o-mini 對數據進行處理，使其更易于模型訓練。在僅使用8臺 Nvidia H100 GPU的情況下，訓練這款擁有320億參數的模型僅耗時約19小時。參數數量是衡量模型解決問題能力的一個重要指標，因此 Sky-T1 的高性能表現并不令人意外。
在性能方面，Sky-T1 在 MATH500（一組“競賽級”數學挑戰）上的表現優于 o1 的早期預覽版本，同時在 LiveCodeBench 的編程評估中也展現出了更佳的性能。然而，在 GPQA-Diamond 測試中（包含物理學、生物學和化學領域的研究生水平問題），Sky-T1 的表現略遜于 o1 預覽版。盡管如此，NovaSky 團隊表示，他們將繼續優化 Sky-T1 的性能，并計劃推出更多版本的開源推理模型。
