微軟近日宣布了一項重大開源項目——OmniParser，這是一款專為解析和識別屏幕上可交互圖標設計的AI工具。傳統自動化方法受限于HTML或視圖層次結構，而現有的視覺語言模型在處理復雜GUI元素時又顯得力不從心。為此，微軟推出了這款純視覺基礎的工具，旨在解決當前屏幕解析技術的局限性。
OmniParser結合了可交互區域檢測模型、圖標描述模型和OCR模塊，無需依賴HTML標簽或視圖層次結構等顯式基礎數據。這一特性使得它能夠在桌面、移動設備和網頁等多種平臺上跨平臺工作，顯著提高了用戶界面的解析準確性。OmniParser還能將識別出的屏幕元素轉換成結構化的數據。
在實際測試中，OmniParser展現出了卓越的性能。在ScreenSpot數據集中，它的準確率提高了73%，遠超依賴HTML解析的模型。同時，當GPT-4V使用OmniParser的輸出后，圖標的正確標記率從70.5%提升至93.8%。這些改進充分證明了OmniParser在解決當前GUI交互模型根本缺陷方面的有效性。
微軟已在Hugging Face上發布了OmniParser，這一舉措將有助于普及這一前沿技術，進一步推動多模態AI的發展，特別是在無障礙、自動化和智能用戶輔助等領域。
