GitHub 项目:tensorzero
仓库地址:https://github.com/tensorzero/tensorzero
星级:11724 | 作者:张量零
项目描述:TensorZero 是一个开源 LLMOps 平台,它统一了 LLM 网关、可观测性、评估、优化和实验。
===================================================
自述文件内容:
<图片>
图片>
# 张量零
<图片>
图片>
**TensorZero 是一个开源 LLMOps 平台,它统一了:**
- **网关:**通过统一的 API 访问每个 LLM 提供商,专为提高性能而构建(<1ms p99 延迟)
- **可观察性:** 将推论和反馈存储在数据库中,可以通过编程方式或在 UI 中使用
- **评估:**使用启发法、LLM法官等对个人推论或端到端工作流程进行基准测试。
- **优化:**收集指标和人工反馈以优化提示、模型和推理策略
- **实验:**通过内置 A/B 测试、路由、回退、重试等充满信心地交付。
您可以根据需要,逐步采用,并与其他工具进行补充。
它与 **OpenAI SDK**、**OpenTelemetry** 和**每个主要的 LLM 提供商**配合得很好。
TensorZero 被从前沿人工智能初创公司到财富 10 强的公司所使用,并为当今全球 LLM API 支出提供了约 1% 的资金。
网站
·
文档
·
推特
·
Slack
·
不和谐
快速入门(5 分钟)
·
部署指南
·
API 参考
·
配置参考
## 演示
## 特点
> [!注意]
>
> ### 🆕 TensorZero 自动驾驶仪
>
> TensorZero Autopilot 是由 TensorZero 提供支持的**自动化 AI 工程师**,可分析 LLM 可观测性数据、设置评估、优化提示和模型以及运行 A/B 测试。
>
> 它**显着提高了 LLM 代理在不同任务中的性能**:
>
>

>
>
> **[了解更多 →](https://www.tensorzero.com/blog/automated-ai-engineer/)**
### 🌐 LLM 网关
> **与 TensorZero 集成一次并访问每个主要的 LLM 提供商。**
- [x] **[致电任何法学硕士](https://www.tensorzero.com/docs