人大高瓴提出新型人类动作预测框架TTR

人大高瓴人工智能学院团队提出了Think-Then-React (TTR)框架，通过预训练大语言模型与运动编码器结合，实现先思考后反应的动作预测机制。该框架引入解耦空间 - 位姿编码，显著提升动作编码效率，并在多项指标中表现出色，如FID仅为1.942，远低于次优方法。消融实验表明思考阶段及预训练对性能至关重要，同时TTR具备实时推理能力，展现出强泛化能力。
来源：https://mp.weixin.qq.com/s/Qxg8pxcNhetuVsi2yv4zEA