OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI开源了仅有0.4B参数且99.9%权重为零的Circuit Sparsity模型，通过极致稀疏连接使AI决策过程如电路般可追溯。实验表明其任务专属电路规模比稠密模型小16倍，具备功能解耦优势，可能挑战MoE模型地位。但其训练和推理计算量高达传统模型的100–1000倍，短期内难替代高效的MoE架构。该研究为AI可解释性提供新路径，但仍处于早期阶段。来源：https://tech.ifeng.com/c/8p4pHK3iykC
页:
[1]