AI时钟读取与日历推理能力缺陷

最新研究表明，尽管AI在复杂任务上表现出色，但在基础任务如读取时钟和日历推理方面存在显著缺陷。测试结果显示，多模态语言模型在ClockQA任务中的准确率为38.7%，而CalendarQA任务仅为26.3%。Gemini-2.0在时钟读取中表现最优（EM分数22.58%），GPT-o1则在日历推理中达到80%的准确率。研究强调，AI在面对空间推理和抽象问题时表现较差，需通过增加训练数据和改进推理机制来提升性能。
来源：https://mp.weixin.qq.com/s/YT5kQm8nrb3XiRGZ85LXUA