在AI界的一次意外曝光中，一篇看似不起眼的博客文章竟成為了打開OpenAI大門的鑰匙。近日，AI云服務商Hyperbolic的聯合技術官Yuchen Jin在社交媒體上透露，研究員Keller Jordan僅憑一篇關于新型神經網絡優化器Muon的博客，便成功加入了OpenAI，并疑似參與到了GPT-5的研發中。
Jin的這一爆料迅速引起了業界的廣泛關注。據悉，Keller Jordan的這篇博客發布于2024年12月，題為《Muon：神經網絡隱藏層的優化器》。文章詳細介紹了Muon的設計原理及其在實際應用中的表現，特別是在提高訓練速度方面的顯著成果。
Keller Jordan在博客中提到，Muon是一個專門針對神經網絡隱藏層二維參數的優化器。它通過結合SGD-momentum生成的更新，并應用牛頓-舒爾茨迭代法作為后處理步驟，來優化這些參數。這種方法使得更新矩陣近似正交化，從而提高了訓練效率。
實驗結果顯示，Muon在多個任務上都取得了顯著的速度提升。例如，在CIFAR-10數據集上，它將訓練速度記錄從3.3秒提高到了2.6秒，準確率保持在94%。在NanoGPT快速運行競賽任務FineWeb上，Muon也將訓練速度記錄提高了1.35倍。在擴展到更大規模參數時，Muon也繼續顯示出訓練速度的提升。
Keller Jordan在文章中還批判了當前神經網絡優化研究中的一些不良現象，特別是糟糕的基線和過度宣傳的新方法。他強調，許多聲稱能夠擊敗AdamW的優化器在實際應用中并未能達到預期效果，這主要是因為這些研究在比較時往往沒有充分調整AdamW基線。
Keller Jordan加入OpenAI的時間恰好是在他發布這篇博客之后。這一巧合不禁讓人猜測，Muon優化器很可能正是他加入OpenAI的敲門磚。而鑒于OpenAI在GPT-5研發上的投入和期望，Muon很有可能成為這一劃時代大模型中的重要技術之一。
然而，盡管Muon已經取得了顯著的成果，但仍有許多問題有待解決。例如，Muon是否可以擴展到更大規模的訓練？是否能在大型GPU集群中正確分布其使用的牛頓-舒爾茨迭代？以及Muon是否僅適用于預訓練，而不適用于微調或強化學習工作負載？這些問題或許在GPT-5的研究中已經得到了答案，但業界仍需持續關注Muon的發展和應用。
總的來說，Keller Jordan的這篇博客不僅為神經網絡優化研究帶來了新的思路和方法，也為他個人的職業生涯開啟了新的篇章。而Muon優化器作為這一研究的成果，無疑將在未來的AI發展中發揮重要作用。
