综合RLHF、DPO、KTO优势，统一对齐框架UNA来了

Salesforce和厦门大学团队提出了一种名为UNA的新方法，该方法通过通用的隐式奖励函数统一了主流的大规模语言模型对齐技术（RLHF、DPO和KTO）。UNA不仅简化了训练流程，提高了模型对齐的性能、稳定性和效率，还能处理不同类型的反馈数据。实验结果显示，UNA在多个下游任务中表现出色，显著提升了训练速度和内存效率。
来源：https://mp.weixin.qq.com/s/8VzRYlHGS0kF1k7A9tJamA