ChatGPT标注在创建公平性基准存在缺陷

ChatGPT在文本标注效率和成本上的优势被最新研究挑战。尽管它在许多任务中超越人类，但ACL2024的研究指出，ChatGPT在创建公平性基准，特别是处理敏感的反犹太主义偏见数据时，存在质量问题，如信息不全和虚构内容。这表明在涉及复杂社会偏见的任务中，人类标注仍然是不可或缺的。
来源：https://mp.weixin.qq.com/s/a7ah1WyZw4PXh2X-iiMrmQ