Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相
Thinking Machines Lab 在其首篇博客中指出，LLM 推理不确定性的根源在于缺乏“批次不变性”，而非传统认为的并发与浮点运算问题。团队提出通过固定归约策略和统一内存布局等方法实现确定性推理，并在 vLLM 上验证了其有效性。实验表明，启用该方法后，1000 次推理结果完全一致，性能损失可控，且有助于实现真正的在策略强化学习。来源：https://mp.weixin.qq.com/s/Xv32OYDaH0aN2_LWLP9A-Q
页:
[1]