去中心化首次成功训练 10B 大模型 INTELLECT-1

Prime Intellect 通过去中心化方式成功训练并开源了一个 10B 大模型 INTELLECT-1，这是首个以去中心化形式训练的 10B 模型。相比此前研究，该模型实现了 10 倍的规模提升，证明大规模模型训练不再局限于大公司。尽管 AI 社区总体给予积极评价，但 INTELLECT-1 在汉语能力上表现不佳，存在幻觉现象。训练涉及 3 个大洲的 5 个国家，112 台 H100 GPU，总体计算利用率达到 83%。Prime Intellect 的下一步计划是将模型扩展到前沿规模，最终目标是实现开源 AGI。
来源：https://mp.weixin.qq.com/s/AwA6zQ8VEZZzEZryKZkJow