如果您不运行自己的 LLM 代理，您怎么知道发生了什么？

我认为标题充分体现了这个想法，但我会深入研究它，因为这不是 Twitter。您正在研究一个想法、一段代码或一个每年价值数十亿美元的 SaaS 应用程序，这可能会拯救世界。也许您正在自动执行克隆过程，获取新的 Labubu 发布图像并获取 2D 图像，然后使用 ComfyUI 将其转换为 3D CAD，以便更快地开始复制品生产，因为农历新年即将到来，全球制造在那时暂停。也许您喜欢使用您的代币来搜索有史以来最强大的计算机软件，以获取大排骨或其他东西的常量营养素信息。您很可能正在与某种类型的前端聊天，该前端与您选择的提供商的付费订阅相关联。 TUI、GUI、语音通话等等。您的数据输入，他们的数据为您返回。这就是他们卖的东西，我很高兴现在就买。他们会向您展示类似这样的内容，作为工作发生的证据：哎呀，这真是一种干扰。这不是为工程师准备的具有时间序列数据的代币使用统计数据。我无法用这些废话做出决定。当然，大型实验室将有宝贵的见解与深入研究分析面板的好奇用户分享。我无法用这些废话做出决定。我已经听到您说“有 OTel 导出选项！！1！”。很酷，我想。这是一个原因，我现在想到的还有另外 5 个原因：多提供商，多模型，在单个端点上，您可以控制哪个密钥的日志，该密钥称为什么模型，什么客户端，什么时间及其状态，使用虚拟 api 密钥来停止在您的工作、代理和利用其基础设施上乱扔单个主密钥，您可以控制您可以极快地旋转模型和提供商，而无需重置所有内容（可能是第三次）我不会为您推荐代理提供商使用，只是您自己在您控制的地方运行它。当您选择其中之一时，请不要忘记您可以根据自己的实际需要对其进行修改。我对我的进行了修改，以获得更好的洞察力、自定义 MCP 服务器端点和附加功能。无论您选择什么，您都应该获得类似的数据。当我在编码会话期间发现缓存未命中时，我可以在 20 秒内手动查明发生这种情况的原因。我还没有自动化它，但我使用的代理有一个 API，所以可以自动化。拥有您的基础设施、应用程序可见性、数据路径和存储。我在家里这样做是因为这很有趣，也是我喜欢的学习方式。我在工作中这样做是因为如果我不这样做，我的工作就没有做好。我可能永远无法完全理解大型语言模型是如何运作得足够好，以至于可以在面试中将其白板化。但我可以将其解决，并确保在提供推理服务时对其进行检测。