开发者生态
morning
从自动扩缩容到跨池调度:作业帮如何让 Flink 计算资源节省 30%?
2026-11-16
1 阅读
约10分钟阅读
作业帮大数据团队
字号:
实时作业的负载很少一成不变。并行度按高峰配置,低峰时会有较多资源闲置;按日常负载配置,突发流量又可能很快推高积压和延迟;瓶颈也不总在同一个计算环节,有时出现在 Source,有时在中间算子,也可能在 Sink。流量和瓶颈都在变化,作业的并行度却停留在提交时的固定值。 我们最先想到的,是让作业根据负载自动调整并行度。但算出目标并行度,只是扩缩的起点。对有状态作业来说,调整并行度还涉及任务重新部署和状态恢复;并行度降下来以后,相应的计算资源也未必能同步释放。怎样让作业在新的并行度下恢复运行,并把多余的资源回收,成为自动扩缩落地时需要继续解决的问题。 以上调整主要发生在作业内部。我们的实时任务主要运行在 K8s 集群中,日常负载主要由常驻节点承载。多个作业共享这些节点时,写入量和数据分布的差异,会使各个 Pod 承担的处理量不同。即使 Pod 数量分布均匀,部分节点仍可能出现热点。热点节点上的资源竞争又会拖慢任务处理,单纯增加并行度,未必能缓解任务延迟。 当高峰负载超出常驻资源的承载能力时,可以借助公有云 Serverless 节点补充容量。实时与离线 K8s 集群错峰,晚高峰也可以利用离线 K8s 集群的空闲资源。高峰过后,Flink 常驻资源逐渐空闲,之前迁出的作业和残留在 Serverless 上的 Pod,也需要逐步回迁,归还高峰时借用的资源。 因此,除了让作业随负载自动扩缩,还需要通过重调度调整集群负载。作业内,需要解决目标并行度怎样计算、调整后怎样恢复状态,以及多余资源怎样释放;集群中,则需要考虑怎样疏解节点热点、分担高峰负载,并在低峰时完成回迁。下图展示了这些问题对应的处理环节,以及各组件之间的配合关系。 一、固定并行度为什么越来越难配 我们最初根据历史峰值配置并行度,并预留一定余量。当数据进入速率高于 Source 的消费速率时,差额就会形成积压(lag);超出的幅度和持续时间,共同决定积压规模。即使流量随后回落,作业仍要利用剩余处理能力消化这部分存量。因此,评估所需处理能力时,不能只看当前输入,还要考虑已有积压和期望的追平时间。 面对积压,增加 TaskManager Pod 可以补充计算资源,但各个计算环节的并发能力,还取决于对应 JobVertex 的并行度。并行度不变,新增 Slot 可能闲置;统一调高所有 JobVertex,又可能让并非瓶颈的环节一同扩容。因此,我们需要根据每个 JobVertex 的实际负载分别判断目标并行度,再提供相应的计算资源。 二、Autoscaler 怎样计算目标并行度 K8s HPA 可以调整 Pod 副本数量,但不会直接改变作业内各个 JobVertex 的并行度。负载判断也不能只看 CPU:下游反压可能让上游 CPU 使用率下降,Source lag 却仍在增长。因此,我们选择 Flink Kubernetes Operator 内置的 Autoscaler,根据 JobGraph 和 Flink 运行指标计算目标并行度。 这里的 JobVertex 以实际生成的 JobGraph 为准。启用 Operator Chaining 后,多个逻辑算子可能合并为同一个 JobVertex。Autoscaler 从 Source 端估算处理需求,将其沿拓扑传播,再结合各顶点的处理能力确定并行度。 从持续输入和积压估算处理需求 Source 的消费速率既受持续输入影响,也可能包含正在消化的历史积压。在 Source 提供有效消费计数和 lag 指标的前提下,Autoscaler 结合指标窗口内的消费记录数与 lag 变化,分别估算持续输入与积压追赶所需的速率: Source 目标数据速率 = max(0, 窗口平均消费速率 + 窗口 lag 变化速率) Source 积压追赶速率 = 当前 lag / 期望追平时间(启用积压追赶时) 例如,Source 平均每秒消费 80 条数据,lag 每秒增加 20 条,说明上游每秒实际写入约 100 条。已经形成的积压则需要额外的处理能力,由积压追赶速率体现。 两类速率分别沿 JobGraph 传播。每条边的 output ratio 根据观测指标估算,表示上游每接收一条记录,大约有多少条进入对应的下游。传播时分别乘以这个比例,多输入时再将同类速率分别相加,过滤、聚合、分流等操作对数据量的影响也就进入了后续计算。 根据处理能力换算并行度 知道各个 JobVertex 的处理需求后,Autoscaler 还要估算它们在当前并行度下的满负载处理速率,即 TRUE_PROCESSING_RATE: JobVertex 满负载处理速率 ≈ 窗口平均总输入速率 / 窗口平均 busy time 比例 busy time 默认在每次采集时取各 Subtask 的最大值,再在窗口内求平均,使数据倾斜造成的局部繁忙进入容量判断。Source 在满足条件时,还可结合消费速率和反压时间,用观测值修正这一估算。 随后,持续输入、已有积压以及扩缩恢复期间新增数据的处理需求,共同构成目标处理容量: 目标处理容量≈ 目标数据速率 / 目标利用率 + 积压追赶速率 + 重启追赶速率 目标利用率用于给持续输入保留余量;重启追赶速率则根据目标数据速率、估计恢复时长和期望追平时间,估算恢复后所需的额外处理能力。期望追平时间设为 0 时,两类追赶项均取 0。 将目标处理容量除以满负载处理速率,就得到所需的缩放比例。Autoscaler 先限制单次扩缩幅度,再乘以当前并行度并向上取整,随后结合配置边界和 Max Parallelism 调整结果。 计算出不同的目标值,也不意味着立即执行扩缩。如果所有候选顶点的处理能力仍处在目标利用率对应的允许范围内,本轮就保持当前并行度;需要调整时,还要通过扩缩开关和保护条件的检查。 这些计算最终给出一组 JobVertex 到目标并行度的映射。要让它真正生效,还需要把 Autoscaler 接入作业生命周期,并处理并行度改变后的任务重部署与状态恢复。 三、目标并行度怎样在作业中生效 让 Autoscaler 进入作业生命周期 并非所有 JobVertex 都适合自动调整并行度。对于需要保持固定并行度的算子,平台通过名称规则标识,Autoscaler 的排除配置接收的则是 Vertex ID。由于 Operator Chaining 可能改变逻辑算子与运行时顶点的对应关系,平台需要结合实际 JobGraph 确定排除范围。 为此,我们将接入分为提交期和运行期。提交时,平台写入 job.autoscaler.enabled=true 及静态参数,启用指标采集和计算;实际扩缩由 job.autoscaler.scaling.enabled 单独控制,在我们的 Operator 部署默认配置中先保持关闭。 作业进入 Running 后,平台根据名称规则匹配实际 JobGraph 中的 Vertex ID,在同一次配置更新中写入匹配到的 job.autoscaler.vertex.exclude.ids,并开启 job.autoscaler.scaling.enabled。没有匹配到排除项时,则只更新启用开关。若更新失
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱