首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

Bug0 发布QA Agent,利用服务器的Playwright回放实现回归测试自动化

摘要

Linearbytes " 发布了 Bug0 QA Agent ",这是一个用于代理式浏览器回归测试的开源 Playwright 库。该 AI 代理能够将以自然语言表达的测试指令与用户界面操作关联起来,在适当情况下缓存这些操作以加快持续集成(CI)的重放速度,并在用户界面发生变化时将其重新映射到测试规范。验证过程基于最多三个大语言模型(LLM)达成的共识以及视觉模型的评估结果。 一方面,虽然传统的...

description Playwright Bug0 LLM Web data cart Agent test page
2026-11-19 1 阅读 约7分钟阅读 Bruno Couriol
分享:
字号:
Linearbytes " 发布了 Bug0 QA Agent ",这是一个用于代理式浏览器回归测试的开源 Playwright 库。该 AI 代理能够将以自然语言表达的测试指令与用户界面操作关联起来,在适当情况下缓存这些操作以加快持续集成(CI)的重放速度,并在用户界面发生变化时将其重新映射到测试规范。验证过程基于最多三个大语言模型(LLM)达成的共识以及视觉模型的评估结果。 一方面,虽然传统的 Web 应用程序测试方法在很大程度上实现了自动化,但并未将人工智能作为提高生产力的关键因素。而另一方面,创新团队则采用完全基于代理的自动化测试方法,其中代理处于核心地位,动态地处理每一次浏览器交互。 传统方法往往难以摆脱 已知的痛点 "。测试套件通常依赖于实现细节(CSS 类、属性、data-testid),即使规范保持不变,这些细节也可能发生变化,从而导致不必要的测试重写和重构。测试不稳定的根源在于支撑 Web 应用的底层系统具有 内在的不可预测性 "——它们往往是复杂的异步分布式系统,容易引发竞态条件、延迟波动以及请求丢失等问题。 另一方面,AI 优先的测试方法则存在延迟过高的问题,这使得它们不适用于大型回归测试套件。通常,大语言模型(LLM)会在每个步骤中增加几秒钟的延迟,这会推高 API token 成本,而且,由于所执行操作的非确定性,还会引入其特有的不稳定性。不过,从积极的一面来看,测试生成对实现变更的适应性比较强;图像和视频模型 也许能在一定程度上实现视觉验证 "。 Bug0 提出了一种混合方法,其中,自主代理将初始视觉探索与常规回归执行解耦。开发人员可以在标准的 Playwright 规范文件中,使用纯英文编写声明式测试步骤。 test("Shopping cart tests", async ({ page }) => { await runSteps({ page, test, expect, userFlow: "Add product to cart", steps: [ { description: "Navigate to https://demo.vercel.store" }, { description: "Click Acme Circles T-Shirt" }, { description: "Select color", data: { value: "White" } }, { description: "Select size", data: { value: "M" } }, { description: "Add to cart", waitUntil: "My Cart is visible" }, ], assertions: [{ assertion: "Cart shows the Acme Circles T-Shirt" }], }); }); 在首次执行时,代理会检查可访问性树和屏幕截图,以理解用户界面并执行请求的操作。一旦单操作步骤执行成功,框架就会将该交互编译为具体的浏览器操作,并将其缓存到内存中的 Redis 存储中。在后续运行时,测试套件会直接通过 Playwright 重放缓存的操作,从而避免了进行新的 LLM 推理所带来的延迟开销。 当用户界面的实现细节发生变化(例如按钮坐标更新、表单层次结构修改)时,重放的 Playwright 操作可能会因此失败。但 Bug0 QA Agent 不会让整个测试运行失败,而是会检测中断,清空操作缓存,并重新调用多模态代理循环。需要注意的是:缓存仅适用于单操作步骤;复杂的多操作指令在每次运行时都会通过代理重新执行。 与操作步骤不同,断言验证不会被缓存。每次迭代时,断言都会通过视觉模型执行。Claude 和 Gemini 会独立评估每个断言,如果结果不一致,则由第三个模型进行裁决。视频模型能够捕获瞬时 UI 缺陷(例如自动消失的提示弹窗、一闪而过的横幅报错)。 该框架通过 mailsink " 以及 Mailinator 等社区开发的适配器,集成了一次性邮箱测试功能,允许测试通过自然语言提示(如 {{email.otp:Extract the 6-digit code}})提取一次性密码(OTP)和魔法链接。 Chevrot 等人(自主 Web 代理是优秀的测试人员吗?) "指出,他们表现最好的自主测试架构(ATA)在测试运行中与人类专业测试人员的一致率仅为约 60%,并且指出,断言可验证性与锚定能力(即识别目标应用程序中与测试操作相关的元素)是推动自主测试代理大规模应用的关键因素。该论文发表于 2025 年 4 月,研究中使用了 GPT-4o、Sonnet 和 Gemini。随着语言模型和测试框架的持续改进,利用人工智能提升测试各环节(生成、自愈、执行、分类、分析)生产力的工作也在不断 推进 "。 Bug0 QA Agent 遵循 Functional Source License 1.1 版本 Av2 未来许可 "。该许可协议是一种源码可用的许可协议(不属于开源许可), 在使用的前两年内会施加竞业禁止限制 "。据其首位倡导者 Sentry 所述,创建该许可协议的目的是“在赋予使用自由的同时,杜绝有害的搭便车行为”。 声明:本文为InfoQ翻译,未经许可禁止转载。 原文链接: https://www.infoq.com/news/2026/10/bug0-agent-testing-cached-replay/ "
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱