周大 发表于 2025-3-10 15:49:02

草稿链代替思维链，推理token砍掉80%，显著降低算力成本和延迟

Zoom团队提出的“草稿链”技术可显著降低AI推理延迟和成本。该方法通过生成简洁token作为中间结果，使推理token减少80%-90%，实验显示其在算术、常识和符号推理任务中保持高准确率。不过，在零样本设置和小模型上存在局限性。该方案无需修改模型结构，仅需更新提示词即可实现。
来源：https://mp.weixin.qq.com/s/Jy6RSAyd_ioWiArkUJ-6kg
页: [1]
查看完整版本: 草稿链代替思维链，推理token砍掉80%，显著降低算力成本和延迟