腾讯混元-TurboS：首个混合Transformer-Mamba MoE超大模型来了

腾讯混元团队发布Hunyuan-TurboS，首次将Mamba与Transformer架构结合，有效解决长文本处理难题。该模型在多个基准测试中超越或持平GPT-4o-0806等模型，推理成本降低7倍。通过后训练优化及奖励系统升级，进一步提升模型性能。Mamba由卡耐基梅隆大学和普林斯顿大学研究人员主导开发，其线性计算复杂度使长序列处理更高效。
来源：https://tech.ifeng.com/c/8hbYegR6fAG