周大 发表于 2024-9-27 15:11:19

用大模型优化大模型预训练数据，节省20倍计算量，实现显著性能提升！

上海交通大学生成式人工智能实验室等机构联合提出ProX框架，通过小型语言模型自动生成优化程序，显著提升大规模预训练语料质量，大幅降低计算成本。ProX在多个数据集上超越传统方法，特别是在数学领域，大幅提高了模型性能，降低了开发成本。未来，ProX有望应用于更多领域，推动领域大模型发展。
来源：https://mp.weixin.qq.com/s/0LyboBLKXtNn4lOO6vnBVA
页: [1]
查看完整版本: 用大模型优化大模型预训练数据，节省20倍计算量，实现显著性能提升！