长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力
滑铁卢大学陈文虎团队联合多家机构推出Vamba模型，一种高效的Mamba-Transformer混合架构。该模型通过交叉注意力机制和Mamba-2模块优化视频token处理，显著降低计算复杂度与显存占用，同时保持高准确率。实验显示，Vamba在长视频处理中较传统Transformer性能提升4倍，内存消耗减少50%，且在LVBench基准上实现4.3%的性能提升。模型现已开源，助力长视频理解研究。来源：https://mp.weixin.qq.com/s/eGBF_jJqmpwNT6D-t0BK5Q
页:
[1]