Syll：具有跨表面执行功能的开源个人自动化

arXiv:2606.07594v1 公告类型：新 摘要：个人人工智能代理必须越来越多地跨 API、shell、Web 界面和桌面 GUI 进行操作，但许多系统仍然调整为单一界面，并对用户教学和可审核性提供有限的支持。我们推出了 Syll，一种开源、自托管的多模式代理工具，它将 MCP/API 工具、CLI 执行和可视化 GUI 控制统一在模块化运行时中，使代理能够跨异构接口协调计算机使用，同时简化用户和代理交换信息的方式。 Syll的核心是双向用户代理交互层：用户通过直接演示来教授程序，Syll将其编译为可重用的技能；代理执行被转换回多模式证据（日志、关键帧和批准检查点）以进行检查和控制。 Syll 进一步将内存、技能、例程和治理具体化为可编辑的本地工件，支持直接检查、扩展和下游开发。我们的实施已在生产桌面应用程序上得到验证，包括 Adob​​e Photoshop、Adobe Audition、Stardew Valley、macOS Finder 等。我们报告了面向机制的研究，这些研究验证了多模式路由、可教学的 GUI 重放和持久的本地工件。我们希望 Syll 能够成为个人自动化的实用开源基础，用户可以教授、检查和不断扩展。