启动 HN：Laminar (YC S24) – 我们训练了一个模型来捕获静默代理故障

你好，HN，我们是来自 Laminar (https://laminar.sh) 的 Robert 和 Din。自 2024 年以来，我们一直在为 AI 代理构建开源可观测性。最近，我们发布了 flow-1，这是一个经过 RL 训练的模型，用于发现代理跟踪中的错误。在我们的基准测试 (https://laminar.sh/blog/flow-1) 上，它的检测质量与 GPT-6-sol 相当，同时价格便宜 23 倍。这使得分析每个生产代理痕迹变得经济实惠，无需采样。这是一个一分钟的演练：https://youtu.be/KJa3h6ZJNLQ 我们还整理了一篇文章，其中包含来自 flow-1 和其他模型的示例跟踪和分析：https://laminar.sh/blog/flow-1-in-action 代理可观察性很拥挤，因此我们将解释如何从第一原理解决代理可观察性，而不是列出 Laminar 与 X 的不同之处。代理现在运行许多步骤并隐式失败。每次通话成功完成时，客服人员都可能点击错误的按钮或引用错误的文档。这些错误是最需要捕捉和理解的错误。要找到它们，您需要了解代理试图执行的操作并检查其 LLM 调用和工具结果。仅仅查看最终的代理输出是不够的。仅收集痕迹并不能解决这个问题。许多代理可观测性平台的核心仍然是数据收集器。您最终可能会付费存储没人有时间读取或提取价值的痕迹。使用另一个法学硕士来检查痕迹是解决方案，但有能力的模型在规模上是昂贵的，而更便宜的模型经常会错过错误或标记不相关的东西。所以我们建立了我们的模型来解决这个问题。我们对一个小型 OSS 模型进行了微调，然后使用 RL 对软件、法律、客户支持等方面的真实代理工作流程进行了数千次综合调查，对其进行了后期训练。我们得到了一个既擅长代理跟踪分析又运行成本非常低廉的模型。 flow-1 在我们称为信号的线束内运行。它充当编码代理，将代理跟踪视为存储库，将每个跨度（LLM 调用、工具调用等）视为一个文件。它从完整代理跟踪和用户提示的压缩字符串表示开始，然后跨跨度进行 grep 并完整读取相关跨度。 Signals 的美妙之处在于它可以响应一般提示。您可以要求它识别用户的挫败感，检查您的浏览器代理是否完成结账，等等。它不仅限于原始错误检测。它以用户可以自由定义的模式以 JSON 形式返回结果。我们称这些为信号事件。一旦您分析了每条踪迹，您还有太多的单独事件需要读取。这就是为什么我们自动将相似的信号事件分组为集群。您可以看到重复出现的问题以及它们发生的频率，然后深入了解单个事件及其背后的痕迹。您可以使用集群中的跟踪来构建该类型故障的评估数据集。然后，您可以使用您最喜欢的编码代理对这些评估进行爬山，并在将其发送到产品之前检查修复是否适用于这些情况。追踪→分析→捕获错误并形成集群→修复→发布。让这个循环变得简单是我们构建 Laminar 的原因。我们在 Laminar 的其余部分也融入了同样的想法。我们的博客 (https://laminar.sh/blog) 解释了如何通过仔细观察代理的实际工作方式来构建 20 倍跟踪压缩、自定义 SQL 查询引擎和自动任务提取。 Laminar 是 Apache 2.0 且可自托管 ( https://github.com/lmnr-ai/lmnr )。我们从托管云中赚钱。我们很想听听您今天如何跟踪代理的表现。与您自己的监控相比，您从用户反馈中学到了多少？当您修复某些问题时，如何检查它是否没有引入其他故障？评论网址：https://news.ycombinator.com/item?id=50154029 积分：6 # 评论：0