控制电脑手机的智能体人人都能造，微软开源OmniParser

近期，多家科技公司纷纷推出大型模型控制计算机的新技术。Anthropic 发布了新版 Claude 3.5 Sonnet，荣耀推出了 MagicOS 9.0 全局智能体，智谱发布了 AutoGLM，华为公布了 LiMAC。苹果也发布了基于 Gemma 2B 和 Llama 8B 的 Ferret-UI。微软则开源了 OmniParser，这是一种基于大模型的屏幕解析工具，能够将 UI 截图转换为结构化元素，显著提升 AI 操控计算机的能力。实验结果显示，OmniParser 在多个基准上表现出色，甚至超过了 GPT-4V。
来源：https://mp.weixin.qq.com/s/yEC32W-dobHF7pycDSHcPg