启动 HN：Screenpipe (YC S26) – 通过 24/7 屏幕录制为您的客服人员提供支持

嗨，黑客新闻，我是路易斯。我构建了 Screenpipe ( https://screenpipe.com )，这是一个可以在本地记录您的屏幕和音频（仅！）的应用程序，并为 AI 代理提供您所见、所说和所听内容的可搜索记忆。这使得您可以更轻松地自动执行重复性任务，将其转化为 SOP（标准操作程序）等。我在 https://www.tella.tv/video/build-your-ai-second-brain-with-s... 制作了一个 HN 风格的演示视频，并且在 https://www.youtube.com/watch?v=c1jV6E9pyug 上有一个营销视频。我对此着迷已有很长一段时间了。自 2020 年以来，我一直在维护“第二大脑”，其中我会存储日记、手写笔记、我听的音乐、我正在做的项目、我与人的对话、个人 CRM 等。我在早期使用 ParlAI、数百个微调的 GPT2 模型和 GPT3 尝试了很多 RAG（ https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-y...）。后来我构建了 Ava，第一个 Obsidian AI 插件，很快就拥有了数千名用户。后来它变成了 Embedbase，这是一个 API，可以更轻松地构建由 RAG 提供支持的 AI 应用程序。我从这一切中学到的是，对于模型来说，了解你在计算机上所做的事情是多么重要，以便让它们做你想做的事情。早期有微调，但太痛苦了，然后出现了工具调用，以便人工智能可以访问你使用的软件，但仍然不够自治。需要微观管理。然后 MCP 出现了，但感觉太静态了，非技术用户很难构建和使用 MCP。然后我们就有了技能。最近，我们看到了 Karpethy 的 LLM 维护的 wiki、Garry 的 GBrain 等，其中代理增量地维护 Markdown 页面的持久集合。新来源更新实体页面，加强或反驳现有主张，并改进随着时间的推移而复合的综合。我喜欢这种模式，但它仍然从选择和导入源开始。人工智能仍然无法知道你和你的公司每天在应用程序中做什么，而不仅仅是应用程序内部。当然，并不是每个人都希望这样。但我愿意！我希望人工智能知道我在做什么，并且永远不会再失去记忆，我希望它使用与人类相同的软件，而不需要痛苦的上下文切换。我在 2024 年开始为自己构建 Screenpipe——一个用于记录屏幕并将此上下文插入 AI 的 CLI。一位 HN 用户于 2024 年发布了该文章 (https://news.ycombinator.com/item?id=41695840)，该讨论影响了该产品。最有用的批评涉及记录同意、本地安全、CPU 使用率、信噪比以及代理是否可以根据数据采取行动。简单的实现是从连续录制视频并在每一帧上运行 OCR 开始的。但这会创建重复的数据，消耗大量资源（它基本上将您的计算机变成了空间加热器！），并丢弃了操作系统已经知道的结构。 Screenpipe 现在改为侦听应用程序切换、单击、打字暂停、滚动和空闲回退等事件。当发生有意义的变化时，它会将屏幕截图与同一时间戳的操作系统的可访问性树配对。当结构化可访问性数据不可用时，使用 OCR。我们还连续捕获音频、识别说话者并通过 Parakeet/Whisper 或使用云模型进行本地转录。所有内容都在本地 SQLite 数据库、mp4 文件，有时还有 md 文件中建立索引。端口 3030 上的 AI 友好 API 向代理开放，具有身份验证、MCP 和技能。一旦 Screenpipe 启动并运行一段时间，您就可以通过我们的内置聊天、Claude、ChatGPT、Hermes、Openclaw 或任何代理来使用它，执行以下操作： - 向当前聊天添加上下文，例如“收集有关任务 X 的所有上下文”，然后需要更少的提示来实现您的目标 - 检索信息，例如“检索我从早上 8 点到下午 4 点正在处理的任务，列出已完成的内容和剩余的内容” - 为您的代理创建和维护个人 wiki/第二大脑：“每 1 小时将我在黑曜石保险库中的项目、人员、任务、会议中所做的一切整理为 Markdown 文件和文件夹” - 创建自动化：每当我在 linkedin 上访问某人的个人资料时，更新我的客户关系管理 - 寻找自动化机会：查看我的团队本周所做的所有事情，并将其变成一个自动化机会列表 Screenpipe 数据存储在本地，但我们还提供企业计划来发现自动化机会，并由公司决定数据所在的位置。我们构建了自己的 AI PII 模型来编辑敏感信息，它在 Apple MLX 或 Windows DirectML 上本地运行，我们还支持低端设备的云机密推理，尽管我们的本地模型旨在使用 <1% CPU 和 <400 mb RAM。除了浏览器隐身模式之外，用户还可以设置要过滤的应用程序、窗口和 URL。我们还支持录制时间表和其他隐私功能。我们的大部分代码库都是用 Rust、MLX、On 编写的