Droidspeak：AI智能体通信提速2.78倍

微软研究人员开发出Droidspeak，通过缓存复用技术，使智能体间的通信速度提高2.78倍，同时不损失精度。该技术通过复用前一个智能体的计算结果，减少预填充延迟，从而提升效率。实验结果显示，Droidspeak在多个模型上均表现出色，预填充延迟减少1.69到2.77倍，生成质量不受影响。
来源：https://mp.weixin.qq.com/s/suIXm71AoVXgLWtFX3wJwA