AIR框架优化大模型偏好数据集设计

清华大学与哈尔滨工业大学联合研究团队提出AIR框架，系统分析偏好数据集的三大核心要素——标注、指令与回复对，并通过实验量化其对大语言模型对齐性能的影响。研究表明，采用极简标注策略、智能指令筛选及科学回复对构造可显著提升模型性能。该框架已在阿里安全御风大模型中应用，为构建高质量偏好数据集提供新思路。
来源：https://mp.weixin.qq.com/s/sIpYVxFlrW76D2151p5Nbg