机器人「看片」自学新技能：NovaFlow从生成视频中提取动作流，实现零样本操控

布朗大学与机器人与人工智能研究所团队提出NovaFlow，一种无需示教数据的零样本机器人操作框架。该方法通过大型视频生成模型生成任务视频，并从中提取“可执行3D对象流”作为动作表征，在Franka机械臂和Spot机器人上实现了对刚性、铰接及可变形物体的操作。实验显示其成功率超越多种零样本及使用10–30个示教样本的模仿学习方法，验证了利用生成视频常识知识绕过机器人数据瓶颈的可行性，为通用机器人发展提供新路径。
来源：https://mp.weixin.qq.com/s/qolvGDUY22luJYzmq07tgw