LLM幻觉，竟因知识「以大欺小」！华人团队祭出对数线性定律与CoDA策略

来自UIUC等大学的华人团队深入研究了大语言模型（LLM）的幻觉问题，提出了知识遮蔽定律，发现幻觉率随着知识流行度、知识长度和模型规模的对数线性增长。团队还提出全新解码策略CoDA，有效减少幻觉现象，在多项测试中显著提升了模型的事实准确性。此研究不仅揭示了LLM幻觉背后的机制，还为开发更可预测和可控的语言模型提供了新方向。
来源：https://mp.weixin.qq.com/s/twUUI_esahGg6u3xGqMGIQ