ChatGPT到底学了多少「污言秽语」？清华团队首提大语言模型中文语料污染治理技术

来自清华大学、南洋理工大学和蚂蚁集团的研究团队发现，GPT-4系列模型的中文词表中高达46.6%存在污染，包含色情、赌博等不当词汇。这些污染词导致模型在相关任务中性能下降约50%。研究团队首次系统定义了中文污染词（PoC tokens），并开发了识别准确率达97.3%的检测模型。他们还提出通过词表反推训练数据污染程度的方法，为大规模语料治理提供轻量化方案。研究指出，GPT-4o的中文训练语料中“波*野结衣”相关内容占比达0.5%，是常用词“您好”的2.6倍。哈佛大学同期研究则表明，适量污染数据或有助于模型安全对齐，提示未来需在治理污染与利用其潜在价值之间寻求平衡。
来源：https://mp.weixin.qq.com/s/_8xVPYyzZhvPPTSiwLmQeg