0人工参与实现梯度更新!MIT新框架让AI自动生成微调数据,权重自主升级
MIT提出SEAL框架,首次实现大模型在权重层面的自我更新。该系统通过双循环机制,由模型自动生成微调指令并执行LoRA更新,结合ReSTEM强化学习方法优化策略。实验显示,在知识注入任务中准确率提升至47.0%(单段落)和58.2%(200段落),小样本学习成功率高达72.5%,显著优于基线方法,展现出强大的自主学习与任务适应能力。来源:https://mp.weixin.qq.com/s/zsBvpI0moslsRMDllHyZmA
页:
[1]