「背叛」Scaling Law？两位Transformer作者撬动美国开源AI革命

由Transformer奠基人Ashish Vaswani与Niki Parmar推出的80亿参数开源模型Rnj-1，挑战“模型越大越好”的主流范式。该模型基于Gemma 3架构，在代码生成、数学推理与智能体任务中表现优异，SWE-bench上性能超同类近一个数量级，且支持消费级GPU运行。其采用全局自注意力与YaRN技术，量化至NVFP4仍保持质量稳定，并通过创新数据混合方法及Muon优化器提升训练效率。Essential AI强调强预训练可自发催生推理能力，主张开放、轻量化的AI发展路径，旨在打破巨头垄断，推动人人可用的AI生态建设。
来源：https://mp.weixin.qq.com/s/xGm1MbwrVQIwG3dhmx0zdw