LLMCap – 当您达到美元上限时硬停止 LLM API 调用的代理

5 个提供商 · <35 毫秒的延迟增加 · 严格执行 每个 LLM 调用的硬性美元上限。当你达到 50 美元时，它就会停止。不是警报——它停止了。一行代码改变。没有意外的账单。曾经。开始 3 天试用 — $0 查看如何运作 your_app.py # 之前 client = Anthropic ( api_key = "sk-ant-..." ) # 之后 — 一行更改 client = Anthropic ( api_key = "sk-ant-..." , base_url = "https://proxy.llmcap.io/anthropic" ) # 当您达到 $50 → 429 美元时。令牌从未消耗。与每个主要提供商合作 Anthropic OpenAI Google Gemini Mistral Cohere 在 5 分钟内设置 LLMCap 如何工作 01 ⚡ 更改 base_url 将您的 API 客户端指向 proxy.llmcap.io。适用于每个 SDK。除了这一行之外，没有代码发生变化。 02 $ 设置上限 在仪表板中定义每日、每月或每个密钥的美元限额。支持每个模型的粒度。 03 ? 安静地睡觉 当达到上限时，LLMCap 在代币被消耗之前返回 429。不收费。没有意外的账单。 0 个受支持的提供商 0 毫秒平均增加延迟 18,742 个请求今天被阻止 0 .9% 正常运行时间 在您编码的任何地方可用 在您的工作流程中工作 ⬛ 市场 VS 代码扩展 状态栏中的实时支出。单击即可查看今天的使用情况、燃烧率和阻止计数 - 无需离开编辑器。安装扩展 >_ PyPI 终端 CLI 从命令行检查支出、浏览日志和管理密钥。适用于 macOS、Linux 和 Windows。 pip install llmcap 在 PyPI 上查看 ? 桌面 Windows 托盘应用程序 系统托盘图标显示实时支出。右键单击可查看统计数据和快速操作。始终可见，从不打扰。 pip install "llmcap[tray]" 获取托盘应用程序 LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · LLMCap · 硬上限 · 无意外账单 · <35 毫秒延迟 · 5 个提供商 · 3 天试用 · 定价简单 选择您的计划 3 天试用，结束前不收费 · 随时取消 初学者 3 天试用后 19 美元/月 ✓ 2 个 API 密钥 ✓ 所有 5 个提供商 ✓ 每日和每月上限 ✓ 30 天审核日志 ✓ 1 个用户 ✓ 电子邮件支持 开始 3 天试用 最受欢迎的专业版 3 天试用后 49 美元/月 ✓ 无限 API 密钥✓ 所有 5 个提供商 ✓ 每个密钥和每个型号的上限 ✓ 90 天审核日志 ✓ 最多 5 个用户 ✓ 优先支持 开始 3 天试用 试用需要信用卡。在第 3 天之前取消，我们不会向您收取费用。问题 LLMCap 是否会看到或存储我的 API 密钥？ + 否。您的提供商 API 密钥（例如 sk-ant-...）在每个请求上通过代理标头传递并立即丢弃。 LLMCap 仅存储您的 LLMCap 代理密钥，并使用 bcrypt 进行哈希处理。我们从不记录您的提供商密钥。它适用于流式响应吗？ + 是的——从第一天起就支持流媒体。 LLMCap 实时传递 SSE 块。如果中途超出预算，则连接将关闭并发送最终的 429 事件。触发上限的代币不会被收取费用。当盖子被击中时到底会发生什么？ + 下一个传入请求在到达提供商之前会被拒绝并显示 HTTP 429。该令牌永远不会被消耗，因此您永远不会为此付费。您的应用程序收到的 429 响应结构提供程序用于速率限制，因此现有的错误处理按原样工作。我可以自行托管 LLMCap 吗？ + 自托管已列入路线图。该代理是开源的（FastAPI + Redis）。目前，proxy.llmcap.io 上的托管服务是推荐路径 - 它已在全球部署，延迟时间小于 35 毫秒。