AI 扩展范式推动技术革新：从下一词预测到思维链强化学习

OpenAI 研究科学家 Jason Wei 在宾夕法尼亚大学的演讲中探讨了大型语言模型（LLM）的扩展范式。他指出，扩展是通过增加模型规模、数据量和计算资源来持续改进 AI 能力的关键引擎。扩展经历了从单一的下一词预测到基于思维链的强化学习的转变，前者让模型学会多种能力，后者则增强了复杂任务的推理能力。他还提到，AI 研究文化正从优化算法转向优化数据质量，并强调未来 AI 将在科学、医疗、多模态和工具使用方面有更大发展空间。Jason Wei 用“just keep scaling”表达了对扩展策略的信心。
来源：https://mp.weixin.qq.com/s/3d2eE_uAPWOY289MCLn09A