在探索具身智能領域的道路上，如何將視覺語言基礎模型（VLMs）應用于機器人以實現通用操作，一直是科研人員關注的焦點。這一目標的實現面臨兩大核心挑戰：VLMs缺乏精確的3D理解能力，以及難以輸出低層次的機器人動作。
傳統的VLMs主要通過對比學習范式訓練，以2D圖像和文本作為輸入，這限制了它們在3D空間中的理解和應用能力。同時，盡管將VLMs在機器人數據上進行微調以構建視覺-語言-動作（VLA）模型被視為一種有潛力的解決方案，但高昂的數據收集成本和模型的泛化能力限制，使得這一方案仍面臨諸多挑戰。
為了克服這些難題，北京大學與智元機器人團隊攜手提出了OmniManip架構。這一架構基于以對象為中心的3D交互基元，成功地將VLMs的高層次推理能力轉化為機器人的低層次高精度動作。OmniManip通過引入VLM規劃和機器人執行的雙閉環系統設計，有效解決了大模型幻覺問題和真實環境操作的不確定性，實現了操作性能的顯著提升。
OmniManip的關鍵設計包括基于VLMs的任務解析、以物體為中心的交互基元作為空間約束、閉環VLM規劃和閉環機器人執行。利用VLMs強大的常識推理能力，OmniManip能夠將任務分解為多個結構化階段，每個階段都明確指定了主動物體、被動物體和動作類型。通過3D基座模型生成任務相關物體的3D模型和規范化空間，OmniManip使得VLMs能夠直接在該空間中采樣3D交互基元，作為動作的空間約束，從而優化求解出主動物體在被動物體規范坐標系下的目標交互姿態。
在閉環VLM規劃階段，OmniManip將目標交互姿態下的主動/被動物體渲染成圖像，由VLMs進行評估與重采樣，實現VLMs對自身規劃結果的閉環調整。而在閉環機器人執行階段，通過物體6D姿態跟蹤器實時更新主動/被動物體的位姿，并將其轉換為機械臂末端執行器的操作軌跡，實現閉環執行。
OmniManip具備通用泛化能力，不受特定場景和物體的限制。這一特性使得OmniManip能夠被廣泛應用于數字資產自動標注/合成管道等領域，實現大規模的機器人軌跡自動采集。目前，研究團隊已經開源了泛化操作大規模數據集和對應的仿真評測基準，為相關領域的進一步研究提供了有力支持。
在智元機器人方面，其量產的第1000臺通用具身機器人已于本月正式下線。這批機器人中包括731臺雙足人形機器人（遠征A2/靈犀X1）和269臺輪式通用機器人（遠征A2-D/A2-W）。這一成果不僅展示了智元機器人在機器人量產方面的實力，也進一步驗證了OmniManip架構的有效性和實用性。
智元機器人的發展也備受關注。據悉，以“天才少年”身份加入華為的稚暉君已于2022年底宣布離職，并創業成立了智元機器人。2024年9月3日，智元機器人完成了A++++++輪融資，估值已超過70億元。這一輪融資得到了包括北汽、上汽、比亞迪在內的國內汽車巨頭的支持，為智元機器人的未來發展注入了強勁動力。
