SimPO：新RLHF优化技术挑战DPO，提升大模型性能

陈丹琦团队近日推出SimPO，一种简化版的强化学习奖励函数优化方法，它在多个测试中表现出优于斯坦福DPO的性能，同时降低了训练时间和GPU需求。SimPO通过长度归一化和奖励差异项增强优化，无需参考模型，减少了训练不一致的问题。在AlpacaEval 2基准测试中，SimPO调整的8B模型击败了Claude 3的Opus。尽管取得显著进步，SimPO还需关注安全性和特定任务的性能优化。
来源：https://mp.weixin.qq.com/s/ZmoDjUUoP4w7j57qpYlodg