OpenAI没开源的gpt-oss基础模型,他去掉强化学习逆转出来了

[复制链接]
周大 发表于 2025-8-13 15:05:11 | 显示全部楼层 |阅读模式
Cornell Tech 博士生、Meta 研究员 Jack Morris 成功逆转 OpenAI 发布的 gpt-oss-20b 推理模型,发布了基础版本 gpt-oss-20b-base。该模型通过低秩适应(LoRA)技术微调,仅调整了原始模型 0.3% 的参数,即可恢复自由文本生成能力。尽管效果接近原始基础模型,但也失去了内容对齐机制,可能生成不当内容。测试显示其保留了如《哈利・波特》等书籍的记忆。Morris 使用 FineWeb 数据集中约 2 万份文档进行 1500 步训练,未来将扩展至 gpt-oss-120b 并进行更深入评估。
来源:https://mp.weixin.qq.com/s/m-mxv7gmiMV97R1hZBxo9w

搜索|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2025-8-22 06:39 , Processed in 0.308189 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表