Kimi 开放平台上下文缓存功能公测:降低最高 90% 的使用成本 - 万象系统之家

万象系统之家 - 系统光盘下载网站!

当前位置:万象系统之家 > IT快讯 > 详细页面

Kimi 开放平台上下文缓存功能公测:降低最高 90% 的使用成本

编辑:alear 2024-07-02 09:29:26 来源于:IT之家

  万象系统之家 7 月 2 日消息,月之暗面 Kimi 开放平台上下文缓存(Context Caching)功能开启公测。上下文缓存适用于频繁请求,重复引用大量初始上下文场景,可降低长文本模型费用,提高效率。官方表示费用最高降低 90 %,首 Token 延迟降低 83%,提升模型响应速度。

Kimi 开放平台上下文缓存功能公测:降

  万象系统之家附 Kimi 开放平台上下文缓存功能公测详情如下:

      技术简介

  据介绍,上下文缓存是一种数据管理技术,允许系统预先存储会被频繁请求的大量数据或信息。当用户请求相同信息时,系统可以直接从缓存中提供,无需重新计算或从原始数据源中检索。

Kimi 开放平台上下文缓存功能公测:降

     适用场景

  适用业务场景如下:

  提供大量预设内容的 QA Bot,例如 Kimi API 小助手

  针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具

  对静态代码库或知识库的周期性分析,例如各类 Copilot Agent

  瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles

  交互规则复杂的 Agent 类应用等

Kimi 开放平台上下文缓存功能公测:降Kimi 开放平台上下文缓存功能公测:降

  计费说明

  上下文缓存收费模式主要分为以下三个部分:

  Cache 创建费用

  调用 Cache 创建接口,成功创建 Cache 后,按照 Cache 中 Tokens 按实际量计费。24 元 / M token

  Cache 存储费用

  Cache 存活时间内,按分钟收取 Cache 存储费用。10 元 / M token / 分钟

  Cache 调用费用

  Cache 调用增量 token 的收费:按模型原价收费

  Cache 调用次数收费:Cache 存活时间内,用户通过 chat 接口请求已创建成功的 Cache,若 chat message 内容与存活中的 Cache 匹配成功,将按调用次数收取 Cache 调用费用。0.02 元 / 次

Kimi 开放平台上下文缓存功能公测:降

     公测时间和资格说明

  公测时间:功能上线后,公测 3 个月,公测期价格可能随时调整。

  公测资格:公测期间 Context Caching 功能优先开放给 Tier5 等级用户,其他用户范围放开时间待定。

  以上是万象系统之家提供的最新资讯,感谢您的阅读,更多精彩内容请关注万象系统之家官网

标签 kimi

发表评论

0

没有更多评论了

评论就这些咯,让大家也知道你的独特见解

立即评论

以上留言仅代表用户个人观点,不代表万象系统之家立场

本站发布的系统仅为个人学习测试使用,请在下载后24小时内删除,不得用于任何商业用途,否则后果自负,请支持购买微软正版系统!

如侵犯到您的权益,请及时通知我们,我们会及时处理,对系统之家有任何投诉或建议,请与管理员联系. QQ:346231061

Copyright2024 万象系统之家(www.maxdo.tech) 版权所有 沪ICP备2021023961号-5