真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究

一项最新研究收集并整理了8500多个大语言模型（LLM）在12个基准上的2亿条性能记录，揭示了路由LLM领域的关键现象——Model-level Scaling Up。研究表明，一个优秀的Router能够随着LLM数量增加显著提升性能，而弱LLM组合也能实现超越GPT4的效果。此外，研究团队开发了RouterEval评测工具，为低成本参与研究提供了可能。尽管当前Router仍有改进空间，但该研究为未来优化性能、降低计算成本指明了方向。
来源：https://mp.weixin.qq.com/s/OQFUcemTEmGC0eKUO_Fuiw