ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据

随着大模型的发展，训练数据的消耗正以前所未有的速度增长，预计将在未来几年内耗尽现有公开的高质量文本数据。过度训练加剧了这一问题，如Meta的Llama3模型。为应对数据短缺，研究者提出合成数据、多模态学习、利用私有数据和实时交互学习等策略，但每种方法都有其挑战。数据已成为AI领域的关键资源，其管理和获取方式将直接影响模型性能和隐私安全。
来源：https://www.chinaz.com/2024/0619/1624350.shtml