开发者生态
morning
Google Cloud API Gateway 推出面向实时 AI 应用的流式处理
2026-11-17
1 阅读
约4分钟阅读
Sergio De Simone
字号:
谷歌宣布公开预览 API Gateway 流式处理功能 ",将传统的请求-响应模型扩展至需要实时通信的应用程序。据谷歌称,这对于提供流式模型响应、多步骤代理工作流和交互式会话的 AI 应用尤为重要。 这项新功能使流式端点能够在 API Gateway 背后运行,同时保留了现有的网关策略和安全控制措施,从而解决了之前存在的一项限制: 迄今为止,在 API Gateway 中构建这类体验的开发人员都不得不做出一个两难的选择:要么将 API Gateway 部署在 API 前端并放弃流式传输,要么让流式传输端点绕过网关,从而放弃身份验证、API 密钥强制执行以及可观测性——而正是这些特性,才使得网关从一开始就变得不可或缺。 API Gateway 支持多种流式传输模式,包括服务器发送事件(SSE)、分块传输编码和 HTTP 响应流式传输、WebSockets 以及 gRPC。流式连接最多可以保持打开状态一小时,此后如果需要继续通信,客户端就必须建立新的连接。 新版本引入了流式传输支持,而且无需更改现有的 API 规范,也无需使用特定的 API、扩展或注解。谷歌强调,所有现有的 API 配置和功能都将照常运行,包括 API 密钥强制执行、JWT 验证、后端服务账户身份验证、Cloud Logging 和 Cloud Monitoring 集成,以及路径模板和请求路由。 这个新版本的另外一项优势是引入了可预测的网关主机名。此前,网关主机名包含一个生成的哈希值,而且只能在网关创建之后才能确定。现在,它们遵循一种确定性的格式:GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev,这使得开发人员能够在创建资源之前就对其进行引用和配置。 谷歌强调了流式传输对 AI 应用的重要性。在这些应用中,模型响应是逐步生成的,而非以单个完整的响应返回。借助这一新功能,开发者将能够实时地流式传输模型响应,在多步骤任务中更新代理进度,支持工具调用协议和与远程 MCP 服务器的连接,并处理交互式 AI 应用。 API Gateway 还支持 模型路由功能 ",提供一个兼容 OpenAI 的单一端点,可以根据请求负载中的模型字段,将请求路由至 Gemini、Claude 或 OpenAI gpt-oss 模型。 模型路由与流式传输相结合,意味着客户端可以获得一个熟悉的、基于标准的流式传输接口,同时你仍然可以集中控制哪些模型可供访问、由谁访问以及遵循何种策略。 针对谷歌的这份公告, X 平台用户 emildrops 指出了两个重要的局限性 "。首先,“现有网关无法就地切换”;其次,“延迟衡量的是整个数据流,而非首字节到达时间……因此,延迟图表可能会因非故障原因而显得异常”。同样, LinkedIn 用户 Ehsan Elahi Zaheer 也指出 ": 监控也需要谨慎:网关请求延迟指标衡量的是数据流持续时间,而非“首字节到达时间”。一张延迟图表可能掩盖了截然不同的用户体验。 在预览期间,开发者必须在创建网关时通过指定 --enable-streaming 命令行标志显式地启用这项新功能。 声明:本文为InfoQ翻译,未经许可禁止转载。 原文链接: https://www.infoq.com/news/2026/11/gcp-api-gateway-streaming/ "
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱