AI也要007？Letta、伯克利提出「睡眠时间计算」，推理效率翻倍还不加钱

AI初创公司Letta与UC伯克利提出“睡眠时间计算”新方法，通过让AI在空闲时段进行推理，优化大型语言模型的推理效率并降低成本。实验表明，扩展睡眠时间计算可使性能提升高达18%，并在共享上下文的多查询场景中将成本降低2.5倍，尤其对可预测查询效果显著。
来源：https://mp.weixin.qq.com/s/iZe_NpvAM_-GtG_vacRm7Q