显示 HN：Echo – 使用开放权重模型以 1/3 成本获得寓言级结果

我一直在构建 Echo (https://echo.tracerml.ai/)，这是一项利用开放权重模型池构建一个人工智能系统的实验，而不是选择单个模型并将其用于每项任务。它从一个简单的实验开始。我选取了一组模型，包括 GLM-5.2、Kimi K2.7 等，并对它们进行相同的评估。然后我测量了如果对于每个问题，你事先知道哪些模型有用以及它们的输出应该如何组合，会发生什么。该假设系统的表现比池中任何单个模型都要好得多。当然，这不是您可以实际部署的东西，因为它依赖于在看到结果后知道哪些决策是好的。 Echo 是我在没有事先掌握这些信息的情况下恢复部分优势的尝试。对于每个请求，Echo 决定分配多少计算量、哪些模型应该参与以及如何组合它们的工作。有些提示可能只需要相对少量的推理，而其他提示则受益于解决问题不同部分的多个模型。在构建它时令我惊讶的一件事是模型的互补性。整体上明显较弱的模型对于特定问题或作为组合的一部分仍然非常有用。在我的第一次评估组合中，Echo 的表现始终优于其池中最好的单个模型。它也达到了与 Fable 大致相同的总体结果，我将 Fable 用作更强的比较系统之一，推理成本约为 Fable 的三分之一。在某些情况下，Echo 仍然会做出错误的分配或组合决策。我目前花费了大量时间来理解这些失败，并测试相同的方法是否适用于编码和代理任务，在这些任务中衡量每个决策的质量变得更加困难。我构建了一个聊天界面 (echo.tracerml.ai) 和一个与 OpenAI 兼容的 API (https://echo.tracerml.ai/docs/api)，以便可以在评估设置之外对系统进行测试。以下是有关其工作原理的简短/高级视频：https://www.youtube.com/watch?v=lJFJSvOdXhg 我在这里写了评估方法、单个模型结果、成本和当前限制：https://echo.tracerml.ai/eval 我很乐意让您尝试一下！特别是当您遇到任何奇怪的失败案例或分配看起来不直观的地方时。评论网址：https://news.ycombinator.com/item?id=49026810 积分：343 # 评论：164