虚拟座谈会：机器时代的安全——专家解读 AI 威胁的演变

引言 威胁行为者正在利用人工智能（AI）发起新一代的复杂攻击。我们观察到，某些对抗性机器学习技术正在改变模型的行为方式。此外，还有由生成式 AI 驱动的高度个性化的社会工程学攻击活动。最后，还存在能够实时演变的自适应威胁。与传统防御系统相比，AI 驱动的攻击方法速度更快、规模更大。这种日益加剧的威胁，正对我们关于如何检测和防范威胁的基本理念构成挑战。 这些发展迫使我们从根本性上重新思考网络安全战略。传统的事件响应手册在应对 AI 系统时往往力不从心。这些系统可能表现得难以预测，并展现出新的、意想不到的行为。如今，各组织必须制定新的取证方法、专门的监控工具和灵活的响应策略。这些方法对于应对 AI 驱动的不断变化的安全事件至关重要。 随着组织迅速采用 AI 系统，安全工程师必须转变角色。这种转变需要新的技能、方法和战略思维。本次虚拟座谈会汇聚了业界顶尖的实践者，共同探讨了 AI 威胁的演变趋势。他们还审视了传统安全方法的局限性，以及抵御未来攻击所需的关键技能。 虚拟座谈会成员： Elham Arshad：网络安全专家 | Trentino Digitale 公司 AI 驱动安全解决方案专家Sabri Allani：博士 | Expleo 集团 AI 与网络安全顾问Vijay Dilwale：UltraViolet Cyber 公司首席安全顾问Igor Maljkovic：意大利热那亚大学 AI 安全博士后研究员 InfoQ：在 AI 时代，要成为一名安全工程师需要掌握哪些技能？ Elham Arshad：安全说到底就是保护我们的数据和系统免受攻击者的侵害，这始终是一场试图入侵者与试图阻止入侵者之间的拉锯战。有句谚语说：“要战胜狮子，你必须成为狮子。”同样的道理也适用于这里：保护现代系统需要具备与针对它们的威胁同样先进的工具和专业知识。在 AI 领域，这种日益增长的防御需求表现得尤为明显。AI 系统建立在数据的基础上，而传统的安全则围绕 CIA 三要素（保密性、完整性和可用性）来保护数据。但一旦 AI 介入，安全格局便变得更加复杂。模型可能会受到影响、被欺骗或被滥用，其影响范围远远超出传统软件漏洞的范畴。正因如此，在 AI 时代，要成为一名安全工程师，仅具备网络安全的基础知识已经远远不够。你还需要切实了解机器学习的运作原理、模型的训练方式、大型语言模型（LLM）的行为模式、提示词调优或微调如何影响输出结果，以及数据管道如何影响模型性能。编程技能、机器学习算法以及数据科学的概念正在变得至关重要。除此之外，现代 AI 安全专家还需要了解以下内容：- 模型行为和故障模式，例如 AI 系统如何发生漂移、产生幻觉或被误导。- 数据治理，确保训练数据安全、干净且未受恶意篡改。- 针对 AI 的特定威胁，例如模型提取、数据中毒和提示词操纵。Sabri Allani：安全工程师需要将工作范围从“代码和基础设施安全”扩展到“数据、模型和代理安全”。最重要的技能包括：- AI 威胁建模（模型、数据、提示词/代理攻击面、供应链及运行时行为）。- 数据安全与完整性（数据溯源、抗毒能力、安全标注管道、访问控制、可审计性）。- 大型语言模型（LLM）/智能体攻击素养（提示词注入、工具滥用、通过文档进行的间接注入、模型提取风险、越狱模式）。- 针对 RAG/代理的“安全设计”（工具的最小权限原则、检索范围控制、策略执行、安全的工具执行模式）。- 针对 AI 系统量身定制的评估与红队测试（安全/保障测试套件、对抗性测试、行为回归测试）。- AI 服务的可观测性与取证分析（提示词/响应的遥测数据、工具调用日志、检索轨迹、漂移检测）。- 治理与风险管理（基于 NIST AI RMF / ISO/IEC 42001 的理念、可量化的控制措施、问责机制）。Vijay Dilwale：最大的转变在于，从保障确定性软件的安全转向保障概率性系统的安全。你不必是机器学习（ML）专家，但你确实需要了解 AI 系统在实际应用中会因提示注入、间接提示注入、数据中毒、模型漂移、检索增强生成（RAG）滥用以及不安全的工具或代理访问等问题而发生故障。这种理解并非停留在理论层面。这需要有意识地破坏系统，尝试不同的提示词，向检索源中植入恶意内容，并观察当上下文或权限发生变化时，系统行为会如何改变。例如，对于基于 RAG 的系统，仅仅询问“模型是否安全？”是不够的，还必须探究当攻击者控制或影响被检索的文档时会发生什么，以及模型是否会将该内容视为指令或事实。在大多数实际部署中，模型本身并不是问题。真正的风险在于模型如何与数据、身份识别和自动化系统相连接，以及这些连接随着时间的推移有多容易被滥用。最重要的技能并非掌握某个新框架，而是学会以对抗性思维来审视那些会随着时间推移而学习和变化的系统，而不仅仅是执行固定逻辑的应用程序。这种思维方式的转变正是 AI 安全的基础。Igor Maljkovic：首先，基本原则依然至关重要。AI 安全工程师必须培养扎实的网络安全思维。其核心逻辑始终如一：攻击者会寻找系统中的漏洞以绕过防护措施并达成目的，而防御者则必须采取主动且以攻击者的视角来思考，预判滥用行为，并随着技术的发展不断调整策略。从这个意义上说， AI 安全在很大程度上继承了传统安全领域中的“蓝队”与“红队”思维。与此同时，AI 系统也带来了新的故障模式。故障模式的增加使得对系统的端到端理解变得至关重要。不仅要理解模型本身，还要了解数据的采集方式、模型的训练方式、部署方式、系统的监控方式，以及人类随着时间的推移如何与系统交互。AI 安全问题往往源于这些环节之间的连接方式，而非孤立的单一组件。因此，大多数 AI 安全故障都发生在组件之间的边界上，而这些边界往往是信任与责任假设最容易崩溃的地方。例如，提示注入并非模型本身的缺陷，而是发生在不可信用户输入与系统级指令边界上的故障。当用户的自然语言输入被视为可信上下文时，攻击者便能构造输入来覆盖预期行为、操纵推理过程，或将模型引导至非预期的行动。同样，数据中毒通常发生在模型之外，即外部数据源与训练管道的接口处。在那里，经过篡改的数据在未经充分验证的情况下就被纳入了系统。工程技能同样至关重要。一名 AI 安全工程师必须能够将抽象的风险转化为具体的解决方案，从问题定义到实施落地。这种对多重技能的需求包括扎实的编码能力、熟悉生产环境，以及在现实约束条件下设计、构建、部署和维护安全机制的能力。另一项关键技能是阅读、解读并分析前沿科学文献的能力。AI 安全领域发展迅速，工程师必须能够从关于新型攻击、防御和评估方法的研究中提炼出实用的见解，并评估哪些技术已经足够成熟，可以在实际场景中使用。软技能至关重要。对于阐释复杂风险、理解系统和业务需求、与机器学习工程师及产品团队协作，以及向决策者明确说明安全方面的权衡取舍而言，清晰的沟通和积极倾听至关重要。最后，对 AI 及其底层数学基础的深刻理解必不可少。安全工程师若不理解 AI 系统，就无法有效地保障其安全。例如，如果不了解 Transformer 架构、注意力机制或训练动态，就很难对大型语言模型进行防护，也难以分析诸如“幻觉”、提示词敏感性或信息泄露等故障模式。虽然通常来说，这些知识被归类为“理