突破算力限制！Meta开源“记忆层”，重塑Transformer架构大模型

Meta推出Memory layers新技术，通过Product-Key Lookup算法和并行/共享记忆参数优化，大幅提升大模型查询效率。该技术可在不增加算力情况下显著增加模型参数，如在1.3亿参数模型中添加128亿额外参数，性能媲美Llama2-70但算力需求降低10倍。这为处理大规模数据集提供了新可能。
来源：https://www.chinaz.com/2025/0103/1662008.shtml