OpenAI没开源的gpt-oss基础模型，他去掉强化学习逆转出来了
Cornell Tech 博士生、Meta 研究员 Jack Morris 成功逆转 OpenAI 发布的 gpt-oss-20b 推理模型，发布了基础版本 gpt-oss-20b-base。该模型通过低秩适应（LoRA）技术微调，仅调整了原始模型 0.3% 的参数，即可恢复自由文本生成能力。尽管效果接近原始基础模型，但也失去了内容对齐机制，可能生成不当内容。测试显示其保留了如《哈利・波特》等书籍的记忆。Morris 使用 FineWeb 数据集中约 2 万份文档进行 1500 步训练，未来将扩展至 gpt-oss-120b 并进行更深入评估。来源：https://mp.weixin.qq.com/s/m-mxv7gmiMV97R1hZBxo9w
页:
[1]