小米新开源模型MiMo-V2-Flash，一招把计算量砍到底
小米开源的309B大模型MiMo-V2-Flash采用混合注意力机制，仅用128 token局部窗口与周期性全局层，即可处理256k token长文本，在RULER和InfBench测试中分别提升0.4%和3.2%。该设计将KV-cache内存消耗降至约1/6，实测推理速度达169 tokens/秒，兼顾高效性与性能，体现资源优化而非堆料的技术思路。来源：https://mp.weixin.qq.com/s/RMamUmngXZ6SsBeZvaVocg
页:
[1]