多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案

上海人工智能实验室等机构联合提出SearchLVLMs框架，通过互联网检索增强大模型，使其在推理阶段无需微调即可处理实时信息。该框架包括查询生成、搜索引擎调用和分层过滤三个部分，显著提高了大模型对新信息的响应能力。实验结果显示，配备SearchLVLMs的模型在UDK-VQA数据集上的回答准确率比GPT-4o高出35%。
来源：https://mp.weixin.qq.com/s/Hmb-BDg1PvJAkXPkrpmr5w