Tokenization，再见！Meta提出大概念模型LCM，1B模型干翻70B？
Meta AI推出大概念模型（LCM），摒弃传统的token建模方式，转而使用高级别的「概念」进行推理。该模型通过观察和互动理解世界，摆脱了语言和模态的限制，支持200种语言。LCM在抽象层面上进行推理，具备强大的零样本泛化能力，特别是在长文档处理和多语言摘要任务中表现出色。实验表明，LCM的计算资源需求远低于传统大语言模型（LLM），在处理长上下文时优势尤为明显。专家预测，LCM可能使小规模模型达到与大规模LLM相当的性能，如1B参数模型性能媲美70B的Llama 4。来源：https://tech.ifeng.com/c/8fwwQf6difB
页:
[1]