小模型也能玩转RAG！性能仅降1%，存储省75%，边缘设备轻松跑

香港大学黄超教授团队提出MiniRAG系统，将RAG技术应用门槛降至1.5B参数规模。该系统采用小模型架构，在显著节省存储空间（仅需原来25%）的情况下，性能最优情况下下降不到1%，最差情况也仅降低21%左右。团队还设计了LiHua-World评测数据集，模拟个人通讯、信息检索等场景，为性能评估提供标准。MiniRAG通过异构图索引和轻量级知识检索两项创新，解决了端侧智能检索瓶颈，推动边缘设备RAG技术发展。
来源：https://mp.weixin.qq.com/s/FIe5R_ryfdkBJOG-yI9UYg