ITCOW牛新网 8月7日消息,国内人工智能企业月之暗面科技有限公司今日宣布对其Kimi开放平台的上下文缓存服务进行价格调整。此次调整将Cache存储费用直接腰斩,由原来的10元 / 1M tokens / min降低至 5元 / 1M tokens / min,这一降价举措自公告发布日起立即执行。
据了解,Kimi平台上下文缓存(Context Caching)功能自7月1日起对公众开放测试,公测期间,上下文缓存功能将优先对Kimi开放平台的Tier5等级用户开放,其他用户的开放时间将另行通知。
上下文缓存技术通过预存频繁访问的大量数据,显著降低了长文本模型的使用成本,同时极大提升了数据处理速度和模型响应效率。据月之暗面公司介绍,该技术能够在保持API价格稳定的基础上,为开发者节省最高达90%的成本,同时将首次Token的延迟降低83%。
上下文缓存功能特别适合处理那些需要频繁请求或重复使用初始上下文的场景。它可广泛应用于多种业务场景,例如提供预设内容的问答机器人、对固定文档集合的反复查询、对静态代码库或知识库的定期分析、应对瞬时流量高峰的AI应用,以及需要处理复杂交互规则的应用等。
月之暗面科技有限公司还为上下文缓存服务提供了详细的计费说明,包括创建Cache时的费用、存储费用以及调用费用。其中,创建费用按实际Tokens量计费,存储费用则按照Cache的存活时间以分钟计费,而调用费用则根据增量token和调用次数来决定。