周大 发表于 2024-10-26 14:56:56

控制电脑手机的智能体人人都能造,微软开源OmniParser

近期,多家科技公司纷纷推出大型模型控制计算机的新技术。Anthropic 发布了新版 Claude 3.5 Sonnet,荣耀推出了 MagicOS 9.0 全局智能体,智谱发布了 AutoGLM,华为公布了 LiMAC。苹果也发布了基于 Gemma 2B 和 Llama 8B 的 Ferret-UI。微软则开源了 OmniParser,这是一种基于大模型的屏幕解析工具,能够将 UI 截图转换为结构化元素,显著提升 AI 操控计算机的能力。实验结果显示,OmniParser 在多个基准上表现出色,甚至超过了 GPT-4V。
来源:https://mp.weixin.qq.com/s/yEC32W-dobHF7pycDSHcPg
页: [1]
查看完整版本: 控制电脑手机的智能体人人都能造,微软开源OmniParser