自我纠错如何使OpenAI o1推理能力大大加强？北大、MIT团队给出理论解释

近期，自我纠错技术在大型语言模型（LLMs）中广泛应用，OpenAI o1和Reflection 70B模型均采用了这种方法。北大王奕森团队与MIT合作，从理论上分析了LLMs自我纠错能力的工作原理，发现自我纠错实际上是一种上下文对齐。上下文检查（Check as Context, CaC）策略在消除社会偏见和防御越狱攻击中表现出色，显著提升了模型的性能。
来源：https://mp.weixin.qq.com/s/W-YOehfVSRlYIBlg8itnBg