Circuit Breaker Labs 希望让人工智能对您的孩子（和您）来说更安全

当人们谈论人工智能有一天可能会杀死我们所有人时，人们很容易忘记人工智能已经对某些人造成了生命威胁，不是通过生物武器，而是通过心理手段。例如，Character.AI 今年早些时候解决了几起非正常死亡诉讼，这些诉讼是由未成年用户的家人在与其机器人互动后自杀身亡的家庭提起的。多个家庭还因 ChatGPT 涉嫌在亲人自杀和妄想中扮演的角色而起诉 OpenAI。让 AI 跨语言和跨文化变得更安全是 Circuit Breaker Labs 的使命，该实验室是 TechCrunch 2026 年 Startup Battlefield 200 决赛入围者之一。 （Circuit Breaker 将在今年 10 月 13 日至 15 日在旧金山 Moscone West 举行的 TechCrunch Disrupt 上进行宣传。）创始人 Shirali 和 Arul Nigam 是兄妹，他们受到 14 岁的 Sewell Setzer 的激励，Sewell Setzer 对一个 Character.AI 聊天机器人产生了情感依恋，并承认在自杀之前曾想过伤害自己。父母在 2024 年的诉讼中称，聊天机器人鼓励了他。 Circuit Breaker Labs 的首席技术官阿鲁尔表示，机器人可能不明白“我想和你在一起”之类的词语的真正含义。 “很多人，尤其是年轻人，向这些系统寻求支持，但通常他们实际上并没有得到所需的帮助。但在许多情况下，他们正在受到伤害，不幸的是，人们已经结束了自己的生命，”阿鲁尔说。 “这类安全漏洞，人们不一定会积极尝试破坏系统——他们以一种自然的方式参与——而系统存在环境污染或者不理解细微差别，然后采取非常危险的行动，我们正在努力防止这种情况发生。” Circuit Breaker Labs 创建了人工智能代理，将其比作一群碰撞测试假人。这些代理模仿不同年龄、背景、语言和文化的人，并用于测试模型检测危险的、对心理有害的互动的能力。 Circuit Breaker Labs 首席执行官 Shirali 表示：“就像 6 岁女孩与 45 岁男性的比较，或者以英语为第一语言的人与第二语言的人之间的比较，或者……玩家俚语与使用不同类型俚语的其他人之间的比较，所有这些都可能使模型出错。” “模型确实擅长处理标准语音模式，但实际上没有人会那样说话，因此如果模型误解了细微差别或俚语，情况可能会非常糟糕。”该初创公司与人类领域专家合作构建超现实的用户模拟，以便针对模型运行“红队”测试，这些测试是旨在发现弱点的对抗性测试。这些测试旨在反映真实的人类语音模式、俚语、编码语言和拼写错误。然后，Circuit Breaker Labs 每天运行数万到数十万次模拟交互。这个想法是为了确保模型能够适当地响应随着时间的推移和多次对话中可能出现的危险交互。然后，Circuit Breaker Labs 使用专有的评分方法来创建可审核、可解释的分数。 Circuit Breaker Labs 目前正在作为人工智能安全测试实验室，针对高风险人工智能应用程序（例如人工智能辅导、日记或其他心理健康支持应用程序）进行运营，但 Arul 拒绝透露其主要客户的名称。尽管这家初创公司已经有了一个可行的产品，但它还处于非常早期的阶段，只有五名员工，其中包括 Nigam 兄弟姐妹。不过，最终，该测试平台可以应用于任何可能让人陷入“人工智能精神病”困境的应用程序，即人类面临与聊天机器人建立准社会关系的风险。例子包括人工智能“同事”代理，它们的反应可能因一次交互而异。阿鲁尔说：“人们对人工智能越来越持怀疑态度，或者更抵制全面采用人工智能。”他补充说，虽然怀疑情绪是健康的，但出于安全考虑而禁止一种具有潜在价值的工具将是“倒退”。 Circuit Breakers Labs 相信，这些担忧的答案是让人工智能变得更安全。 “我们希望帮助人们建立这种信任。”欢迎参加 10 月 13 日至 15 日在旧金山市中心举行的创业战场竞赛，详细了解 Circuit Breaker Labs 和许多其他经过 TechCrunch 审查的创新创业公司。