400万token新SOTA！英伟达UIUC联手：兼顾长短上下文顶尖性能

英伟达与UIUC团队提出高效训练方法，将大语言模型上下文长度扩展至400万token，创SOTA纪录。基于Llama3.1-Instruct的UltraLong-8B模型，通过持续预训练和指令微调两阶段优化，在长上下文任务（如RULER、LV-Eval）及标准任务中均表现出色，显著优于现有基线模型。该方法为实际应用场景中的长文档理解提供了新思路。
来源：https://mp.weixin.qq.com/s/h8R0JGbHKaxQJAMg8DjmZw