谷歌DeepMind优化AI模型新思路，计算效率与推理能力兼得

谷歌DeepMind推出“可微缓存增强”新方法，在不增加计算负担的情况下显著提升大语言模型（LLM）推理性能。该方法通过训练协处理器增强LLM的键值缓存，使模型生成更丰富的输出。测试显示，在Gemma-2 2B模型上，GSM8K数据集准确率提高10.05%，MMLU性能提升4.70%，同时降低困惑度，为处理复杂任务提供新的解决方案。
来源：https://tech.ifeng.com/c/8ffyqXcl37U