大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲

Google DeepMind 首席科学家 Denny Zhou 在斯坦福大学课程中系统讲解了大语言模型推理机制。他指出，LLM 推理是通过生成多个中间 token 实现的，这使模型无需扩大规模即可增强能力。尽管预训练模型具备推理潜力，但需通过思维链提示、监督微调或更优的强化学习微调来激发。生成多个响应并聚合的方法可显著提升推理准确性。他提出理论认为，恒定大小的 Transformer 可通过生成中间 token 解决复杂问题。检索与推理结合（如“后退一步”方法）也显著增强模型表现。Denny 强调，未来研究应更注重实际应用构建，而非仅追求学术基准测试突破。
来源：https://mp.weixin.qq.com/s/VkiQEz78zpx6pldPG6JrEw