LLMxMapReduce突破大模型长文本处理瓶颈

清华大学和厦门大学等机构联合提出了LLMxMapReduce技术，通过分治策略处理长文本，实现上下文长度无限扩展。该技术采用结构化通信协议和上下文置信度校准机制，有效解决了跨片段信息处理问题。实验结果显示，结合LLMxMapReduce的Llama3-70B-Instruct x MapReduce模型在InfiniteBench评测中得分最高，展示了其在处理超长文本时的卓越性能。此外，该框架还表现出较强的通用性，适用于多种大模型。
来源：https://mp.weixin.qq.com/s/dL3bCNaOCv0F_tAzSpTHJA