从少样本到千样本！MachineLearningLM给大模型上下文学习装上「机器学习引擎」

一项名为 MachineLearningLM 的研究提出了一种轻量级“继续预训练”框架，显著提升大型语言模型（LLM）在上下文学习（ICL）中的性能。该方法通过构建超过 300 万合成任务的训练语料库，并结合随机森林模型进行任务与样本筛选，使模型在金融、医疗等多个领域的分类任务中，准确率平均超越 GPT-5-mini 等基准模型 13–16 个百分点。同时，模型保留了 LLM 的通用能力，在 MMLU 测试中零样本准确率达 73.2%。研究还优化了上下文编码方式，提升推理效率与数据容纳能力。尽管在处理时间序列等任务上仍有限制，但其应用前景广泛，未来研究将聚焦多模态、不确定性预测与智能体融合等方向。
来源：https://mp.weixin.qq.com/s/ad4tvAD7pi-jJ91RiEP4Ng