同济大学联合字节跳动推出Oasis：仅需一张图即可自动生成高质量多模态指令数据

同济大学、字节跳动与爱丁堡大学联合提出新型多模态指令数据合成方法 Oasis，仅需输入图像即可自动生成高质量“指令-回复”数据，无需人工提示词。该方法通过自回归采样、分类筛选与质量控制三步骤，解决了传统方法中多样性不足、质量不稳定和依赖人工的问题。研究团队发布 Oasis-500k 数据集，包含约 500,000 条数据，具有任务与语言多样性。实验表明，Oasis 显著提升 MLLM 在多个基准任务上的表现，平均提升 3% 以上，并具备良好可扩展性。研究还开源代码库 MM-INF，支持多模态数据合成流程构建。
来源：https://mp.weixin.qq.com/s/xO9EOOta653dahH5EqlfVg