亚马逊云科技推出规范驱动组合：数据工作流不再靠复制代码

亚马逊云科技介绍了一种用于构建灵活数据转换工作流的 规范驱动组合模式 "。该模式将工作流意图与处理逻辑分离，以减少重复的流水线代码，并简化验证和治理。该方法使用结构化规范动态组合可复用的处理能力，其无服务器实现基于 AWS Lambda、AWS Step Functions、Amazon S3 和 Amazon OpenSearch Service。 该模式面向随着组织不断增加数据集和工作流变体而变得难以维护的数据流水线。亚马逊云科技指出，基于脚本的实现通常会将编排、转换和验证逻辑结合在一起，导致引入新数据集时必须修改代码并重新部署。由此产生的重复也会增加工作流行为的追踪难度，在受监管环境中尤其如此。 规范驱动组合将工作流分成三层：包含规范的意图层、负责验证规范并组装流水线的组合层，以及执行转换步骤的处理层。 三层规范驱动组合架构（来源： 亚马逊云科技博客文章 "） Rajat Shrivastav " 在 LinkedIn " 上评论亚马逊云科技对该模式的介绍时写道： 通过将意图编码为声明式规范，你可以确保可追溯性不再是事后补充；它本身就是流水线的核心。 规范通常以 JSON 或 YAML 表示，用于描述源数据集和目标数据集、字段映射及转换，而不定义这些转换的具体实现方式。组合器会验证规范、检查被引用的能力，并生成可运行的工作流。能力注册表保存可复用转换函数的元数据，包括标识符、输入和输出格式、调用信息、权限及版本。 在亚马逊云科技的示例中，工作流规范存储在 Amazon S3 中。S3 事件会调用一个基于 Lambda 的组合器，由它验证规范，并在 Amazon OpenSearch Service 中查询能力元数据。随后，组合器创建并启动一个 AWS Step Functions " 状态机，由该状态机调用各个基于 Lambda 的能力处理器。处理器则将追踪信息发送到 Amazon CloudWatch Logs。 亚马逊云科技对规范驱动组合的实现（来源： 亚马逊云科技博客文章 "） 该注册表还支持使用描述、模式和标签等元数据发现能力。规范可以根据意图引用可复用转换，而不要求规范编写者了解确切的实现标识符。亚马逊云科技还介绍了带版本的能力引用，以支持可复现的工作流执行，并对新能力进行独立验证和审批。 该模式可以将数据分类纳入规范。敏感字段可以添加标签，而各项能力则声明其会如何影响敏感性。组合器可以利用这些定义验证最终的数据分类，并为下游使用者生成脱敏产物。 亚马逊云科技将该模式定位于受监管的报告、多数据源集成和 可复用 ETL 工作流 "等场景，在这些场景中，可追溯性和执行前验证非常重要。该公司也指出，对于简单转换或仅包含少量工作流的环境，规范驱动组合可能会引入不必要的复杂性。因此，随着工作流变体和治理要求增加，这种方法才会更具适用性。 原文链接： https://www.infoq.com/news/2026/08/aws-spec-driven-data-workflow/ "