Safeworld 能否让人们相信 GenAI 机器人不会伤害他们？

机器人的大趋势是将密钥交给生成式人工智能模型，但这带来了一个问题：该架构无法像传统算法那样可预测。您如何确定您的全新人形机器人是安全的？卡内基梅隆大学安全人工智能实验室主任赵丁博士几乎整个职业生涯都在研究这个问题。现在，他与经验丰富的初创公司高管 Kyle Wong 和机器学习工程师 Simo Rachidi 一起创立了一家名为 Safeworld 的公司，旨在解决这个问题。 “我们谈论的安全挑战是真正先进的生成式人工智能概率评估的组合——如何承担概率系统的风险？”赵说。 “第二个真正困难的部分是信任部分，你需要两者来部署机器人。” Safeworld 今天从隐秘状态中脱颖而出，获得了超过 1200 万美元的种子轮融资，由 Shine Capital 和 a16z Speedrun 领投，Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors 和 SV Angel 也追加投资。 a16z Speedrun 合伙人 Jonathan Lai 告诉 TechCurnch：“现在是在设计和部署机器人的同时制定行业安全标准的时候了。” “等到家庭中的机器人与孩子发生碰撞并造成安全事故时，就已经太晚了。” Safeworld 的专长是在填充有真实人体模型的模拟中评估机器人控制系统。这类似于特斯拉或 Wayve 等公司面临的挑战，它们必须确保他们的车辆能够对路上可能遇到的各种意外事件做出适当的反应。但赵认为，这对机器人来说会更加困难，因为它们在非结构化环境中工作，而且它们所在的每个设施都有不同的安全标准。 “最常见的问题之一是这家工厂是否存在盲角，”黄说。 “要确保该机器人不会与特定的人相撞，需要的速度是多少或停车距离是多少？例如，如果一个人正在搬运箱子，机器人会检测到该人吗？”为了回答这个问题，Safeworld 将在 Genesis 或 MuJoCo 等模型中构建该角落的数字版本，插入由其真实软件驱动的正在评估的机器人的模拟，然后运行人类模型遇到机器人的数千个场景。赵表示，这比看起来更难，因为人们是不可预测的。 “绊倒和跌倒也是我们通过模拟进行大量测试的一个很好的例子，”黄说。 “否则，你就得被机器人绊倒、摔倒，这一直是一件很难的事情。” Safeworld 正在构建的平台与机器人制造商内部使用的工具之间存在明显的相似之处。然而，创始人认为，除了他们的特定专业知识之外，机器人制造商还希望第三方来验证他们的工作，即使只是为了在竞争对手之间分享有关安全案例的信息。 “很多人都低估了解决这些边缘案例的难度，”赵说。 “我们担心的不是演示中真空中的机器人。而是大规模部署的机器人，人们以前可能从未操作过机器人。” Gritt Robotics 的首席技术官 Vishal Dugar 正在为机器人开发人工智能大脑，目前这些机器人正在帮助工人在工业规模的太阳能发电场安装光伏板，并渴望承担更复杂的施工任务。他的公司正在与 Safeworld 合作开发安全模拟。 “我们大多数系统的困难在于，很难通过做一些数学运算、编写一些方程式来正式证明它，然后说是的，该系统已被验证是安全的，”杜加尔说。 “这必须根据经验来完成。”他的机器人与人类工人一起工作，确保机械臂不会撞到它们显然是首要任务。要在实践中验证这一点，需要考虑各种潜在场景。 “人类有很多种外表，”杜加尔指出。 “他们的身体可以有不同的配置。他们可以跪着，站着。他们可能会被绊倒和跌倒。他们可以蹲着。他们可以跑步。你必须对人类可能在这些网站上表现出的所有这些行为做出反应，以及人类外表的各种变化，你知道，衣服，尺寸，形状，高度，肤色，其他一切。”对于 Safeworld 和机器人领域的生成式人工智能来说，现在还处于早期阶段，该公司仍在为其产品寻找最佳模式——面向外部用户的平台，还是基于服务的方法？ ——但团队相信他们正在解决正确的问题。 “我们可能会成为该领域第一家盈利的公司，”扎霍说。 “因为如果有人想要部署，他们需要付钱给我们来处理这种情况。”