全流程国产GPU，上下文提速100倍！中科院发布“线性复杂度”类脑大模型
中国科学院自动化研究所李国齐、徐波团队发布国产类脑脉冲大模型SpikingBrain-1.0，采用线性/近线性复杂度架构，显著提升超长序列建模效率。在GPU端，1M长度TTFT提速26.5倍，4M长度提速超100倍；手机CPU端在64k-256k长度下解码速度提升4.04x至15.39x。该模型基于脉冲神经元和动态阈值机制，结合事件驱动计算和MoE架构，在实现高性能的同时降低能耗。SpikingBrain-7B与SpikingBrain-76B分别采用混合线性模型结构，支持多任务建模，并已在国产GPU平台实现全流程训练与推理。团队已开源SpikingBrain-7B模型，推动类脑AI生态建设。来源：https://tech.ifeng.com/c/8mTt0G5qThF
页:
[1]