DeRa在解码中重新对齐,让语言模型更少幻觉、更符合人类偏好

[复制链接]
周大 发表于 2024-7-1 16:04:32 | 显示全部楼层 |阅读模式
一项由多国研究团队和Google专家合作的论文在ICML-2024上获得了关注,他们提出了一种名为DeRa的新技术,旨在优化语言模型的对齐,使其在生成回答时更符合人类偏好。DeRa允许在不重新训练模型的情况下调整奖励和正则化的平衡,提高了研究效率并减少了计算成本。实验表明,DeRa在多项任务中表现出色,包括调整对齐程度、控制生成内容的长度和改善摘要质量,同时能有效减少大模型中的“幻觉”问题。
来源:https://mp.weixin.qq.com/s/-9MjgNOLRrUdaQUF5tVv9w

Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-6-8 15:22 , Processed in 0.288648 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表