OpenAI 新功能让 ChatGPT 速度提升 5 倍

OpenAI 推出“预测输出”功能，使 GPT-4o 输出速度提升至最多 5 倍。该功能通过跳过已知内容，避免从头生成，特别适用于更新博客文章、迭代响应和重写代码等任务。实验数据显示，响应时间比之前快 2-4 倍，精度保持不变。编程任务的响应时间从 70 秒缩短到 20 秒。目前该功能仅支持 GPT-4o 和 GPT-4o mini 模型，并以 API 形式提供。部分 API 参数不受支持，且非最终完成部分的 tokens 按完成 tokens 费率收费。
来源：https://tech.ifeng.com/c/8eICxPwLhrB