解放双手！OSCAR让操作系统交互实现自然语言「自由」

加拿大蒙特利尔大学和Mila研究所推出开源智能体OSCAR，实现桌面任务UI自动化。OSCAR采用状态机架构、视觉和语义双重UI定位等创新设计，解决了动态自适应、统一控制接口等挑战，在多个操作系统环境中完成泛化与验证，并在GAIA、OSWorld、AndroidWorld等基准测评中取得优异成绩。该研究已被ICLR录用，OSCAR有望提升操作系统交互效率，助力通用人工智能发展。
来源：https://mp.weixin.qq.com/s/OvZ1MC8AEd4wQA85ULsNNQ