睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升

Letta与UC伯克利提出「睡眠时计算」技术，让LLM在空闲时间提前推理上下文信息，预测用户问题并预计算答案，从而大幅提升推理效率。实验显示，该技术可将测试时计算量减少5倍，性能提升高达18%，尤其在多查询场景中，每个查询成本降低2.5倍。此外，睡眠时计算对可预测性高的查询效果更佳，并在数学推理和软件工程任务中展现出广泛应用前景。
来源：https://mp.weixin.qq.com/s/lLNo9ca7tjYGuwkslokxDg