周大 发表于 2024-7-2 15:45:07

Kimi开放平台推出上下文缓存，降低长文本模型成本

月之暗面的Kimi开放平台宣布启动上下文缓存功能公测，该技术旨在降低开发者使用长文本模型的成本，最高可节省90%，同时提高响应速度83%。此缓存技术适用于重复信息查询的场景，如问答机器人和文档检索工具。公测期间，此功能将率先对Tier5用户开放，提供创新的数据管理和优化成本的解决方案。
来源：https://tech.ifeng.com/c/8as27URA2fn
页: [1]
查看完整版本: Kimi开放平台推出上下文缓存，降低长文本模型成本