推理工程开放领域指南

推理工程开放领域指南 本页 本页 注意 编号、价格和工具版本截至 2026 年 10 月。本指南适用于刚接触推理的平台工程师。如果您需要了解模型和 GPU 如何协同工作以及如何在生产中运行推理，本指南将会有所帮助。您还将了解要使用的工具以及如何成长为推理工程角色。本指南以推理社区中其他人的工作为基础。如果您对推理工程感兴趣，请继续学习以下内容： 1. 为什么是现在？在人工智能前瞻的组织中，平台团队成为推理团队。编码助理无法将源代码发送给第三方，前沿模型的费用逐月增加。支持工具还需要托管模型无法访问的内部数据。组织希望自己运行这些模型，而开放模型现在使这一点变得可行。 Hugging Face 拥有超过 200 万个开放模型，其中最好的模型与封闭模型竞争。 DeepSeek 于 2025 年 1 月发布了 R1，在 o1 发布大约一个月后，它在数学和编码基准上与 OpenAI 的 o1 相匹配。当您运行自己的模型时，您可以控制延迟、正常运行时间以及数据的去向。在大批量生产时，您还可以降低约 80% 的成本。这项工作适合平台工程师。固定水平的 AI 功能的价格每年大约下降 10 倍，其中大部分来自模型的服务方式，而不是来自更好的 GPU。 Crossplane 和 Modelplane 背后的公司 Upbound 亲眼目睹了这一点。在其 Project Champagne 博客系列中，该团队在 Modelplane 上运行了自己的模型，发现 vLLM 和调度有效。时间花在了 TLS、身份、超时、存储、IAM 和可观察性上。延续的技能 推理工程师选择一个模型，将其放到正确的 GPU 上，保持其服务，​​使其更快、更便宜，并在模型出现故障时进行寻呼。这是针对新工作负载的 SRE，您的大部分技能都可以继承： 您已经知道的内容 推理中的内容 调度和节点池 使用设备选择器、污点和独占设备进行 GPU 布局 容量规划 GPU 内存数学：权重、KV 缓存和运行时开销，在运行时检查 负载平衡 缓存感知路由和长寿命流连接 CPU 上的自动扩展 队列深度和 KV 缓存使用的扩展，冷启动以分钟为单位进行测量 推出 独占 GPU 的推出，以及模型、硬件和引擎构建 SLO 和延迟百分位数的版本矩阵 首次令牌的时间、每个输出令牌的时间和良好输出 可观测性引擎指标、真实 GPU 活动和推测性解码接受程度 FinOps 每百万令牌的成本和每个用户会话的成本 身份和访问凭证的有效期与代理会话一样长 托管 API 仍然是产品生命早期的正确调用。当 API 支出成为真正的项目时、当延迟或可靠性需要供应商无法满足时、或者当数据无法离开您的网络时，自托管会带来回报。 2026 年 8 月，Chris Zeoli 统计公共职业委员会上约有 58 个开放推理职位，但没有固定的职位名称。 2. 推论 101 本节大致按照您遇到的顺序介绍这些概念。大多数是关于引擎在 GPU 内存中保存的内容或限制其速度的内容。 Viktor Farcic 建议询问每个概念何时开始变得重要。有些在部署后就很重要，有些则只有在许多人使用该模型后才重要，而有些则可能永远不需要。本节末尾附近的表格给出了每个信号的信号。什么是推理引擎 推理引擎（例如 vLLM 或 SGLang ）是将模型权重转换为 API 的服务器。对于平台工程师来说，最接近的心智模型是带有 GPU 的有状态数据库服务器。它在启动时将大型数据集加载到内存中并保留每个会话的状态。它还在内部安排工作并通过 HTTP 进行应答。笔记本电脑上的 Ollama 在小规模上也是同样的想法，每个托管模型 API 都在幕后运行。您可以从数据库和服务中了解到这一点 引擎的对应部分 在启动时将数据集加载到缓冲池中 将模型权重加载到 GPU 内存中，这可能需要几分钟的时间 会话存储中的每个会话状态 KV 缓存，针对运行中的每个对话 查询规划器和连接池 调度程序，将请求批量发送到每个 GPU 通道 有线协议客户端已经讲话 与 OpenAI 或 Anthropic 兼容的 HTTP API 重新启动后预热缓存 冷启动：拉取大图像并重新加载权重 与数据库，引擎将其工作集保存在 GPU 内存中，而不是 RAM 中。 GPU 内存小且昂贵，因此大多数调整都是为了决定每个请求获得多少内存。推理堆栈引擎是一层四层。在底部，内核进行算术运算。你很少直接选择它们。发动机位于它们上方。除此之外，控制平面部署和管理引擎，因为迟早您会运行多个引擎。在顶部，网关在模型和副本之间路由流量