连Claude 3.5都败下阵来，大语言模型能否定位软件服务的故障根因？

香港中文大学（深圳）、微软DKI团队与清华大学共同推出首个公开评估LLM根因分析能力的基准OpenRCA。该基准包含335个根因定位问题及人工对齐的运维数据，为未来研究奠定基础。实验显示，主流LLM如Claude 3.5在解决OpenRCA任务时准确率仅达11.34%，研究者为此开发了RCA-agent以提升性能，但仍存在明显不足。OpenRCA已开源，旨在推动软件工程领域大模型研究发展。
来源：https://mp.weixin.qq.com/s/QO-RfxT9iGbxwCBLnzYjQw