华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
华为诺亚方舟实验室提出新型高阶注意力机制Nexus，通过重构Transformer中Attention的生成方式，引入递归式“预推理”结构，在不增加参数量的前提下显著提升模型对多步逻辑和复杂关系的建模能力。实验显示，Nexus在Pythia系列模型上使SciQ任务准确率提升7个百分点；在Qwen2.5-7B上将AIME24数学推理准确率从45.2%提高到47.5%。其即插即用特性支持对已有大模型进行高效架构升级，为增强AI推理能力提供了新路径。来源：https://mp.weixin.qq.com/s/ibsLM5C80Qjt19fHg1Jvug
页:
[1]