彩云科技发布DCFormer架构大模型“云锦天章”

彩云科技近日发布了基于DCFormer架构的通用大模型“云锦天章”，该模型具备问答、数学、编程等能力，特别擅长小说创作。彩云科技CEO袁行远和团队自2019年起研究Transformer架构，2024年受邀参加ICML会议并发表论文。DCFormer通过改进注意力机制，提升模型效率，彩云科技计划进一步训练14B参数的模型。公司旗下有三款产品：彩云天气、彩云小译和彩云小梦，后者已升级至V3.5版本，支持更长的文本创作。袁行远希望通过优化模型结构，降低大模型研发成本，打破国内外技术分层的现状。
来源：https://tech.ifeng.com/c/8eaJUi3ZE52