NeurIPS热议预训练与推理计算新维度

在最近的NeurIPS会议上，关于预训练的讨论引发了广泛关注。OpenAI的Noam Brown提出了推理计算的新维度，指出大语言模型的发展不仅依赖于数据和算力的扩展，还需重视推理成本。过去的游戏模型通过增加推理时间显著提升了性能，未来的大模型也将朝这一方向发展。然而，部分从业者认为减少推理时间计算是行业趋势，Ilya则指出预训练时代可能终结，推理的不可预测性值得关注。现场讨论热烈，吸引了众多观众。
来源：https://mp.weixin.qq.com/s/N6lOqG93r5a3Cj4h7b3Hew