Clef：开源决策模型和新的 RL 微调平台

在过去的几周里，围绕 Typesafe AI 的 Jev System One 模型等决策模型引起了很多讨论。虽然分类器模型已经存在了一段时间，但 Jev 在人工智能领域引入了一种新的决策模型概念，该模型可以廉价、快速且一致地生成有界结构化输出，并且可以在需要决策时将其添加到工作流程中。这些模型足以处理任何输入集，而无需不断重新训练模型以纳入新的分类类别。这与大型语言模型 (LLM) 的世界形成鲜明对比，大型语言模型在很大程度上是不确定性的，但具有足够的开放性，可以推理并生成代理工作负载的文本和工具调用。今天，我们发布了两个经过 Cloudflare 训练的决策模型：Clef 和 Clef-flash，托管在 Workers AI 上。根据 Jev 决策指数进行评估时，Clef 目前处于领先地位，您可以在实时基准演示网站上查看完整结果。这些模型更智能、更快速且完全兼容 Jev-API，因此您可以轻松地试验这些托管模型。我们在 Apache 2.0 许可证下在 Hugging Face 上完全开源这些模型，供您在本地运行并自行实验。最后，我们很高兴推出新的强化学习 (RL) 产品，该产品允许客户微调 Clef 以适应他们的用例。什么是决策模型？决策模型进行分类，以帮助代理根据某些概率决定如何采取行动。例如，您可以传入客户支持消息（输入）并询问是否紧急以及应由哪个团队处理。决策模型将返回带有概率（输出）的键入答案，您的代码可以使用它来路由故障单、触发升级或遵从人工。这意味着人类不一定需要再参与代理决策的循环——代理可以以编程方式收集上下文、做出决策并对任务采取行动，或者在需要时听从人类的意见。具体来说，在 Cloudflare，我们一直在威胁情报团队中测试新的 Clef 模型，以帮助我们对网站域进行分类。通过向 Clef 提供域名（使用 Browser Run），它可以快速识别该域名所属的类别 - 例如，它可能对一个域名进行分类，其中有 95% 的可能性是时尚网站、85% 的电子商务、<1% 的网络钓鱼等。此分类使用我们的 Clef 模型 2.2 来获取、渲染和分类网站。相比之下，我们最快的通用 LLM gpt-oss-120b 在相同的工作流程中花费了 4.7 秒，并且只返回了两个分类。作为用户，您可以想象 2 倍的延迟和结果节省如何帮助我们改进威胁情报工作流程并更快地识别恶意或合法域。将其推广到您需要做出快速编程决策的任何用例，并且您可以解锁能够自主决策、推理和执行的强大代理工作流程。在音乐理论中，谱号是放置在五线谱开头的符号，它为线条和空间指定特定的音高名称。决策模型类似于音乐谱号，因为它有助于定义上下文的域及其后面的后续音符（动作）。我们选择 Clef 作为我们决策模型系列的名称，因为它具有类似的用途，并且 CF 与 Cloudflare 相似。 Clef 与其他决策模型有何不同？尽管市场上的决策模型越来越饱和，但 Clef 具有一些独特的属性，这让我们很高兴向公众发布它。首先，它有一个视觉编码器，因此能够接收图像并对视觉内容进行分类。这与 Jev 不同，Jev 目前只进行文本分类。其次，我们的模型有一个 64k 的上下文窗口（Jev 的上下文窗口为 32k），这允许用户压缩更多的输入状态供模型进行分类。第三，我们的模型准确而强大，在各种质量基准上与市场上的其他决策模型相比，得分具有竞争力。我们在下面列出了一些对 Jev 决策指数定义的决策很重要的评估，并为其对市场上一些更流行的模型进行了评分。请查看下表了解基准，或在我们的实时决策指数演示网站上查看分数： Benchmark Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya BFCL · case strict 98.47 98.76 95.75 96.52 94.51 38.13 ToolRet · nDCG@10 69.19 66.43 65.28 61.21 64.26 12.69 API-Bank · 准确度 91.93 93.11 88.19 83.66 56.30 11.41 家电 · 案例准确 82.95 97.73 52.27 42.05 25.00 0.00 When2Call · 准确度 72.37 65.58 80.97 75.44 49.62 11.94 银行77·宏-F1 94.20 90.93 79.74 74.28 84.83 14.29 CLINC150+OOS·宏-F1 97.43 66.77 89.27 83.49 79.03 3.19 BRIGHT · nDCG@10 45.91 39.26 47.52 42.94 38.53 19.90 Amazon ESCI · 宏 F1 57.48 57.39 55.21 53.37 49.22 24.40 PhishNChips · 准确度 79.60 75.05 62.55 85.35 50.75 50.15 我们还在 Typesafe 自己的 eval sui 上运行了基准测试