谷歌在其Gemini API中推出的新功能正在科技圈引发热议。这项被称作“隐式缓存”的技术,官方宣称可为使用Gemini 2.5 Pro2.5 Flash模型的开发者节省75%费用,对于日益攀升的AI开发成本而言,这无疑是重大利好。

Cover Image

缓存技术作为AI行业的常规操作,主要通过复用高频数据来降低算力消耗。比如预先存储常见问题答案,避免模型重复生成响应。但谷歌此前推出的“显式提示缓存”需要手动配置高频提示词,操作流程繁琐,甚至引发部分开发者投诉账单异常激增。为此Gemini团队曾公开致歉,并加速开发替代方案。

新型隐式缓存的最大突破在于全自动化运行。当API请求出现重复上下文时,系统会自动返还节省成本,无需人工干预。根据技术博客说明,只要新请求与历史请求存在共同前缀,就能触发缓存机制。触发门槛设置得相当友好——2.5 Flash需1024个标记2.5 Pro需2048个标记(1000标记约合750单词)。

不过鉴于谷歌此前在缓存技术上的承诺曾引发争议,开发者仍需保持审慎。官方建议将重复内容置于请求开头以提升命中率,而可变内容则放在末尾。值得注意的是,目前尚未有第三方验证数据证实其自动节能效果,实际成效还需观察早期采用者的真实反馈。


文章标签: #谷歌AI #缓存技术 #成本优化 #Gemini #AI开发

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。