科技爱好者周刊（第 408 期）：你需要知道的 AI 缓存知识

这里记录每周值得分享的科技内容，周五发布。 本杂志 开源 ，欢迎 投稿 。另有 《谁在招人》 服务，发布程序员招聘信息。合作请 邮件联系 （ [email protected] ）。 封面图 浙江台州的椒江滨江公共空间生态绿廊，象征涟漪从水面蔓延，涌上岸边，堆积成丘。（ via ） 你需要知道的 AI 缓存知识 大模型的价格，主要是 Token 的输入价格和输出价格，这个很容易理解。 但是，还有一项"输入 Token 的缓存命中价格"，这是什么东西？ 上图是 DeepSeek V4 Flash 模型的 定价 ，可以看到缓存命中的输入价格只有2分钱，足足是未命中的输入价格的五十分之一！ 为什么相差这些大？我们能不能充分利用缓存，来降低费用呢？ 我对于这些问题，以前也不是很了解，最近看了 一篇文章 ，终于理清了思路，今天就来分享。 （1）模型输入的收费原因 大家知道，使用大模型的时候，需要先有提示词。 大模型会将提示词分解成 Token，再将 Token 转成向量值，然后计算所有 Token 之间的注意力关系。 这一步非常消耗算力，因此模型公司会对输入 Token 收费。 你的提示词越多，输入 Token 的费用就越高。 （2）输入缓存的作用 对于多轮对话和长程任务，每一轮都需要把以前步骤的输入输出结果，提交给模型。 我们可以想到，这些每一轮额外增加的提示词是不变的，以前都已经处理过了。模型完全不必要对这些"前缀"每次进行重复计算，只要把以前的计算结果缓存起来，下一次再取出来用就行了。 这就是为什么需要缓存，它可以大大节省不必要的算力消耗，加快模型处理。 这也是它便宜的原因，因为只要命中缓存，基本不消耗算力，收取的费用实际上是储存空间的费用。 （3）缓存的时间期限 缓存有时间期限，长期保存并无意义。如果一段时间没有用到这些缓存，服务器就会把缓存删除。 根据 前面引用文章 的测试，各家公司的缓存保存时间不一样。 Anthropic：5分钟 DeepSeek：10分钟 OpenAI：10分钟～30分钟逐步失效 Google：1小时内逐步失效 以 DeepSeek 为例，在10分钟以内，缓存就是有效的，命中缓存只收取2分钱。如果对话的间隔特别久，下一次输入跟上一次之间超过了10分钟，缓存就被删除了，模型收到上一轮的提示词，就不得不重新计算，收取的费用就变成了1元。 （4）保持缓存有效 由于缓存命中与未命中之间，有巨大的价差。用户的 AI Agent 工具往往会想办法，尽可能延长缓存的保存时间。 当用户长时间不操作、也不退出的时候，大多数 AI Agent 会每隔30秒，自动向服务器发送一个请求，让缓存保存激活状态。 有些模型有专门的缓存激活接口，还有一些没有。这时可以用笨办法，Agent 自动重复发送一次以前的提示词，确保缓存激活。 不过，激活请求也会产生费用。每隔30秒发送一次，如果10分钟没有输入，就会发送20个激活请求。时间一长，费用也不低。 前面说过了，现在各家模型的实际缓存期限，最短也有5分钟，因此30秒一次的激活请求，似乎频率太高了。所以，最新的建议是，可以改成每4分钟自动激活一次缓存。 科技动态 1、 带蓝牙识别的交通摄像头 一家美国创业公司推出一种交通摄像头，不仅能识别车牌号，还能识别蓝牙设备。 公路上的交通摄像头，一般来说只能拍到车牌，不能识别谁在开车。 这个新型摄像头就能解决这个问题。它还能捕捉蓝牙信号，从而将蓝牙设备的 MAC 地址跟车牌绑定，有助于推断谁在车上。 此外，除了蓝牙，它还能捕捉钥匙卡和宠物芯片中的 RFID 标签，以及车内 WIFI 的 SSID，从而进一步增加推断的可靠性。 2、 声波灭火 灭火除了用水，还可以用声波。 物理学已经证明，强烈的低频声波（30Hz～60Hz）可以用来灭火，原理是声波可以阻碍氧气流入，并加速热量散发。 一家美国创业公司，最近就制造了一个声波灭火装置，准备推广上市。他们成功演示了厨房灭火的场景。 只见喇叭对着灶头猛放低频声波，火就灭了。该公司希望该装置可以取代喷淋系统，以后着火时，头顶的喇叭放放声音就可以了。 但是，它有几个缺点，可能难以推广。首先，喇叭的体积较大，否则声波强度不够，另外它必须离火源较近，因为声波会迅速衰减。这也造成它只能用于零星的火势，无法用于连片的大火。 3、 没有舷窗的飞机 一家美国的飞机制造商，推出新型的私人飞机，最大特点是没有舷窗（下图）。 它的机舱内部是一体封闭的，没有窗户。 取而代之的是，连在一起的液晶显示屏，播放飞机外部的高分辨率摄像头拍到的景象。 该公司表示，取消窗户可以让飞机更轻，外表更光滑，从而减少空气阻力和燃油消耗。而且，乘客不必探头，就能在座位上环顾整个高空，拥有飞机驾驶员的视野，而不是原来窗口的狭小视野。 4、 最长的视线 科学家使用算法，确定了地球上最长的视线，即从一个地点可以看到另一个地点的最长距离。 那是从吉尔吉斯斯坦（靠近中国边境）的皮克丹科瓦峰向南眺望，可以清晰地看到中国昆仑山脉深处，距离长达530公里。 一般来说，海拔越高、空气越通透，看的距离就越远。 皮克丹科瓦峰海拔约6000米，向南正好是低洼的柴达木盆地沙漠，再远又是海拔6000米以上的昆仑山，因此，这两座相距几百公里的高山可以互相眺望。 文章 1、 常见的任务执行工具 （英文） 命令行执行任务，可以选择不同的执行方式，比如自己写 Bash 脚本，或者用 make、just、mise 等任务执行工具。 2、 如何用脚本将文件上传到 GitHub （英文） GitHub 允许用户上传文件到 issue 和 pull request，本文教你怎么在脚本里面上传。 3、 Canvas 而不是 HTML （英文） 很多复杂网页不使用 HTML，而使用 Canvas 呈现页面，用户看到的其实是一张图片。本文讨论 Canvas 页面的优缺点，以及何时适用。 4、 我的服务器是一部手机 （英文） 作者介绍怎么把自己的安卓手机作为 Linux 服务器（使用了 Termux）。 "（我的安卓手机有）八个 ARM 核心、8GB 内存、128GB 闪存、WiFi 6、5G 调制解调器，以及内置电池，所有这些都集成在一个我觉得性能过剩、闲置在抽屉里的 SoC 芯片上。而且我已经付过钱了。掸去灰尘，把玩了一会儿之后，我决定把这台手机改造成服务器。" 5、 电梯的算法 （英文） 本文介绍电梯的算法，写得比较简单，没有代码实例，但有动画，解释了这个问题的复杂性在哪里（如何缩短等待时间）。 工具 1、 Docker 沙箱 Docker 官方推出的沙箱工具，把 Docker 容器当作沙箱，让 AI Agent 在里面运行，跟底层系统隔离。 2、 CertMate 一个自搭建的 SSL 证书管理系统，可以自动申请证书，支持多家云服务商。 3、 crontab guru Dashboard 这个工具让你用图形界面，来管理 Cron 任务。 4、 trash-cli 一个 Linux 命令行程序，提供回收箱功能，保存已删除的文件，以备将来恢复，参考 介绍文章 。 5、 LeePanel 安装在本地计算机的远程服务器管理面板，所有操作都由 SSH 操作完成，不需要在