首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

独立建制、招10名顶尖安全人才:字节Seed对AGI的目标可能被低估了

摘要

机器之心发布 前沿实验室既在争取下一次模型能力的突破,也在准备应对下一场安全危机。 10 月 9 日,Axios 报道,OpenAI 和 Anthropic 的高管,已经在推演重大 AI 事故发生之后的情景,为应对风险提前做准备。 他们推演的一个场景是:AI 发起大规模网络攻击,导致金融服务或互联网连接中断,还会波及供水、供电的基础设施。 这些顾虑有现实事件的支撑。7 月,OpenAI 的模型在内...

Seed Alignment Preparedness Responsible OpenAI Anthropic Hugging Face Agent 安全与对齐
2026-10-15 1 阅读 约10分钟阅读 机器之心
分享:
字号:
机器之心发布 前沿实验室既在争取下一次模型能力的突破,也在准备应对下一场安全危机。 10 月 9 日,Axios 报道,OpenAI 和 Anthropic 的高管,已经在推演重大 AI 事故发生之后的情景,为应对风险提前做准备。 他们推演的一个场景是:AI 发起大规模网络攻击,导致金融服务或互联网连接中断,还会波及供水、供电的基础设施。 这些顾虑有现实事件的支撑。7 月,OpenAI 的模型在内部网络安全评估中绕过互联网隔离措施,侵入 Hugging Face 系统。随后,Anthropic 也披露了网络安全评估中的意外事件。 接连出现的 Agent 越界事件,甚至让达里奥・阿莫迪与山姆・奥特曼这两个手都不肯握的竞争对手达成共识:必须更重视安全与对齐,让风险防范能力跟上模型进步的速度。 相比之下,长期处于追赶状态的国内团队多奉行 “先发展、再治理”,相关工作往往与日常的内容治理、产品风控和合规任务混在一起。 字节跳动大模型团队 Seed 率 先打 破了惯例。 近期, Seed 成立新部门 Alignment & Preparedness ,原 Responsible AI 团队及部分 Chat 团队成员将转入新部门,由严林负责,向 Seed 负责人吴永辉汇报。 10 月 14 日,Seed 启动全球招聘,计划招募 10 名顶尖 AGI 研究员 ,重点研究模型能力发展带来的新型安全问题,探索行业尚无成熟方案的技术方向;同时推动安全研究成果直接接入模型的训练、评估和上线环节,让模型能力在实际产品与服务中安全、可靠地落地。 Seed 同时强调,将在这一方向 “坚决、长期地投入下去”,并为安全与对齐团队提供与前沿模型研究同等规格的资源与支持。毕竟,安全与对齐研究同样高度消耗算力,研究者需要反复测试模型、分析异常行为,并通过大规模训练来验证改进方案。 安全与对齐,模 型规模化应 用的核心能力 Seed 新成立的 Alignment & Preparedness 部门,从名字上就明确了两个核心任务: 对齐(Alig n ment) ,是让模型行为与人类意图及安全约束保持一致,重点提升 Agent Model(智能体模型)自主行动时的安全能力; 风险准备(Preparedness) ,则是关注极限场景,提前防范 CBRN(化学、生物、放射与核)等前沿能力可能带来的严重风险。 随着模型能力提升,这些方向投入不足会有什么样的风险,已经有了 Hugging Face 等事件可以参考。 对 Seed 来说,这些风险也在变得更加实际。据多家媒体报道,他们正计划训练超过 5 万亿参数的大模型,继续探索模型能力上限。Seed 内部的判断是,随着模型能力增强、应用场景变得复杂,安全与对齐,已经成为决定模型能否规模化应用的核心能力。 其实 Seed 模型当下支持的业务规模,已经让安全与对齐工作变得紧迫。截至 2026 年 6 月,豆包大模型日均 Token 使用量突破 180 万亿,豆包工作与飞书的融合也在推动模型进入更多企业流程;面向个人用户的豆包 App,每个月有 3.82 亿人使用。 模型覆盖的用户规模达到这个体量,即便某种风险发生的概率很低,也可能会影响到庞大的人群。 早在 2021 年,字节就组建了 Responsible AI 团队。2023 年 10 月,他们发布《大语言模型遗忘》(Large Language Model Unlearning)论文,探索在不从头训练的情况下减少模型的有害输出,同时尽量保留正常能力。这项研究入选《ML Safety Newsletter》当年重要安全论文专题,并被 NeurIPS 2024 接收。 此后,Seed 持续与外部研究者合作推进相关研究。比如,被 ICLR 2026 接收的任意深度对齐(Any-Depth Alignment,ADA)研究,在生成途中加入特定助手标记,让被诱导续写有害内容的模型重新识别风险,不用修改模型参数就能改善防护效果。 伴随着 Responsible AI 整合进新建制的 Alignment & Preparedness 独立部门,Seed 进一步加码该方向的研究。 前沿研究不仅需要顶尖人才,也需要耐心和资源 按照已披露的规划, Seed 新部门将围绕模型规范、安全评估、对齐训练、防护系统和风险监控持续投入 ,并加强与外部研究机构、第三方评测机构的公开合作。这意味着,团队需要从训练到应用阶段,持续跟进模型的变化,发现新的问题,再验证解决方法。 一些安全问题可以通过改进训练或防护措施较快解决。但还有一些问题,很难确定完成时间和消耗的资源。 比如一种对齐方法在现有模型上有效,到了能力更强的下一代模型上是否仍然可靠?一次评估没有发现风险,是模型足够安全,还是测试方法没有触及它的薄弱点? 回答这些问题,需要顶级的研究员持续试错。只有最懂模型底层技术的研究员,才可能预判并控制模型的失控风险。 在 OpenAI,历任安全与对齐团队负责人都是顶尖研究者,比如早期的达里奥・阿莫迪、伊利亚・苏茨克维,现在的研究副总裁米娅・格莱斯,也曾主导了 o1 系列模型采用的 “审议对齐” 技术。 Anthropic 成立的原因就是多名 OpenAI 的顶尖研究者认为公司不够重视安全与对齐。当前,其对齐团队由大模型核心对齐技术 RLHF(人类反馈强化学习)的共同发明人简・莱克负责。 安全与对齐的研究,也需要团队和管理者接受不确定性。在多数商业公司高管眼中,侧重防御的基础研究,既无法直接兑现为用户增长,又要在反复试错中吞噬宝贵的算力。这也是很多商业公司没那么在意安全与对齐研究的原因之一。 而 Seed 过去的一系列动作,证明了字节对这类 “长周期、高不确定性” 研究方向的包容。 2025 年 1 月,Seed 推出 Seed Edge 研究计划,瞄准比日常预训练和模型版本迭代更长期、更不确定的 AGI 前沿课题(如推理能力上限、下一代软硬件协同等),为研究员采用更长的评价周期并配置了专属独立算力池。 到现在,这项计划已经孵化出多项有影响力的成果。2025 年 10 月,Seed Edge 研究员发布、开源预训练模型 Ouro,探索 Loop Transformer 架构:让模型重复使用同一组网络层,通过增加计算深度提升能力。近一年后,GPT-6 Astra 使用这一架构的报道出现,这条技术路线才受到更多关注。 超长程评测集 EdgeBench 则是他们在 Agent 方向的探索成果。研究团队通过 134 个任务、约 3.8 万小时的交互记录,在测试范围内发现了任务表现随交互时间变化的规律,确立了一种全新的环境学习 Scaling Law,帮助研究者量化投入更多交互时间能够带来多少能力提升。据了解,OpenAI 等团队也接入了该评测集。 前不久,Edge 团队推出 Seed STEM 科学家计划,面向数学、物理、化学、生物、材料等领域,邀请 100 位优秀学者围绕真实科研难题开展合作,并提供算力、专业 AI 研究团队支持和有竞争力的薪酬。 在这个项目的支持下,近期,南开大学讲席教授郭少明带领团队,与 Seed 完成三维粘性挂谷猜想的形式化验证,将已有证明转化为计算机可核验的
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱