Kimi新论文再次“撞车”DeepSeek，都谈到了长文注意力机制
MoBA是Kimi平台推出的一种新型注意力机制，经验证处理1M长文本速度提升6.5倍，10M长文本提速16倍。它通过将上下文划分成块并用top-k门控机制挑选最相关的块，解决了传统注意力机制计算复杂度高及现有方法局限性的问题，且支持全注意力与稀疏注意力模式的切换，在多种长上下文基准测试中表现出色。值得注意的是，这项研究与DeepSeek的研究几乎同时发布，引发了网友的关注与讨论。来源：https://mp.weixin.qq.com/s/HUB8CAEcGve0cQdHu5YIkA
页:
[1]