周大 发表于 2025-11-7 15:53:04

微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变

腾讯微信AI与清华提出CALM模型，将语言生成从离散词元转向连续向量，通过K倍压缩减少生成步数。实验表明，其在性能相当下，训练FLOPs减少44%，推理减少34%，并引入BrierLM评估与能量分数训练等新技术，构建高效语言建模范式，引发业界关注。
来源：https://mp.weixin.qq.com/s/TbStNDWAsWF0UCD9tBu2nA
页: [1]
查看完整版本: 微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变