多模态模型评测框架lmms-eval发布！全面覆盖，低成本，零污染

南洋理工大学的研究团队推出了LMMs-Eval，一个面向多模态大模型的评估框架，旨在解决多模态模型评估中的挑战。该框架自2024年3月发布以来，已积累了1.1K Stars，超过30位贡献者，整合了80多个数据集和10多个模型。LMMs-Eval不仅提供统一接口和一键式启动功能，还引入了LMMs-Eval-Lite和LiveBench，前者简化评估流程以降低时间和成本，后者实现了动态评估以确保数据的新鲜度和真实性。
来源：https://mp.weixin.qq.com/s/txIe45pI2_5IKj9L0GTqWw