推出 HN：Hebbian Robotics (YC S26) – 构建可扩展的机器人数据管道

你好，HN，我们是 Hebbian Robotics 的创始人 Brandon 和 Kingston。我们构建了 HFlow (https://github.com/Hebbian-Robotics/hflow)，这是一个 SDK，可将机器人和人类操作员的多模式记录转换为标准化、经过质量检查的片段和可查询的数据集清单。记录可以包含同步视频、联合状态、动作、时间戳和元数据，并且 HFlow 一起处理这些流。以下是 HFlow 的演示：https://www.youtube.com/watch?v=xni0GwV-xAw 机器人数据管道通常以脚本开始：一个对视频进行转码，另一个检查时间戳，另一个添加标签，另一个将选定的录音复制到训练集中。这将一直有效，直到语料库增长为止。然后就很难知道运行了哪些代码、为什么排除某个片段或者是否可以重现数据集。第一个痛苦通常是质量控制，因为冻结的摄像机、丢失的主题、时间戳漂移和重复的录音都可以悄悄地输入训练数据。布兰登在训练两臂工业清洁机器人的具体人工智能模型时首次遇到了这种情况。金士顿在简街建设高吞吐量基础设施时遇到了相关问题。后来，在与机器人数据提供商交谈时，我们不断看到团队重建类似的处理和质量控制基础设施。我们了解到，处理机器人数据本身就是改进机器人模型的瓶颈之一。 HFlow 管道由转换、检查、标签和丰富组成。 SDK 将它们公开为简单的 Python 函数，用于接收剧集并返回测量结果、工件或转换后的数据。在开发过程中，函数可以在进程中运行。对于预定的语料库处理，HFlow 封装了与 Airflow 3 DAG 相同的注册步骤，团队可以在其中检查任务状态、日志、重试和重新运行。 HFlow 目前每集接受一个 MCAP 文件。 MCAP ( https://mcap.dev/ ) 是 Foxglove 的一种开放容器格式，用于带时间戳的多模式记录，其用途类似于 ROS bag。它让视频、机器人状态、动作和其他传感器流在一个文件中保持同步。我们使用它是因为 HFlow 需要一起处理这些流，并且生成的录音与 Foxglove 和 Rerun 保持兼容。 HFlow 使用带内 H.264 视频、分组摄像机和状态块以及描述输出生成方式的出处编写了规范的 MCAP。每个步骤都有一个明确的行为版本，并且目录记录将其测量和工件连接到源情节和管道运行。质量检查存储可重复使用的证据，而不是对良好数据强加一种通用定义。一些故障，包括黑帧、视频冻结、主题缺失、时间戳漂移和不可能的关节运动，可以在不训练模型的情况下进行确定性测量。其他人可能会使用 VLM 和 MediaPipe Hands 等其他模型进行检测。但它们的含义取决于任务。平滑的轨迹可能表明在一种环境中演示成功，而在另一种环境中则表明机器人停滞不前。 HFlow 将测量、元数据、版本标记和工件位置写入仅附加的 Parquet 目录。团队使用 DuckDB SQL 对其进行查询并生成版本固定的清单，而无需再次打开记录。关键检查可以隔离事件，但 HFlow 不会删除数据。这将证据与用于组装特定数据集的策略分开。我们不想更换机器人团队已经使用的工具。 HFlow 连接 MCAP 进行同步记录，连接 Airflow 进行计划执行，连接 Parquet 进行目录数据，连接 DuckDB 进行管理。与一般的工作流程编排器相比，它添加了机器人事件、处理来源、质量证据、隔离和数据集清单的合同。与训练数据集格式相比，它运行更早，并停止在策划的剧集和清单上。以下是使用 HFlow 的团队的三个示例： 1. 收集以自我为中心的记录的数据供应商或市场。他们可以在提供数据之前使用 HFlow 来检测黑色或冻结的视频、重复录音、手部物体交互和其他质量指标，同时保留每集运行的检查的证据。 2. 一个机器人团队正在为其自己的模型收集遥控演示。他们可以使用 HFlow 来标准化录音、添加标签和丰富内容，并生成可重复的培训清单。 3. 现场操作机器人的团队。它可以处理传入日志，隔离不完整或损坏的事件，并查询目录以了解特定的机器人版本、环境或故障情况。该项目是 v1 之前的项目，但核心生命周期是端到端的。您可以在没有帐户、Docker 或机器人硬件的情况下通过克隆存储库并按照快速入门进行尝试。 HFlow 在 Apache-2.0 许可证下是免费的。开源部署目前是单租户工作区，我们尚未构建托管的多租户控制平面。我们正在考虑通过托管工作区和为不想自己操作运行时的团队提供企业支持来赚钱。由于该处理层是软件和数据，因此人们无需拥有机器人即可做出贡献。我们特别希望获得为机器人、视频或其他传感器密集型系统构建管道的人们的反馈。我们很好奇我们的数据模型哪里错了，缺少哪些集成，以及您的工作负载上什么会首先失败。评论网址：https://news.ycombinator.com/item?id=49510632 积分：6 # 评论：0