异构预训练Transformer颠覆本体视觉学习范式，AI性能暴涨超20%

MIT与Meta FAIR团队提出HPT模型，通过预训练共享神经网络主干，解决了通用机器人模型面临的“异构性”难题。HPT将不同本体视觉输入对齐到统一的token序列，有效提升机器人在未见任务中的表现，尤其在模拟和真实环境中提升了20%的微调策略性能。这一成果已被NeurIPS 2024接收。
来源：https://mp.weixin.qq.com/s/TcikCgqg_QcFlchWSuzl6g