一个大脑搞定所有模态，百度ERNIE 5.0技术报告公布
百度发布ERNIE 5.0技术报告，披露其万亿参数Ultra-Sparse MoE架构——推理激活参数低于3%，系当前公开最大规模统一自回归多模态模型。该模型原生融合文本、图像、视频、语音四模态，依托模态无关路由与共享专家池实现“涌现式专业化”。通过弹性预训练范式，单次训练即可零样本导出多规格子模型；后训练采用UM-RL及U-RB、MISC等新技术提升稳定性与吞吐量。其在VBench（83.40）、AISHELL-1（0.31% CER）、MATH（73.89）等关键指标上均达领先水平。来源：https://mp.weixin.qq.com/s/Cqw_x9Tt4I5cp2srr67Cyg
页:
[1]