Jeff – Jev 兼容的 0.8B 决策模型，在家训练，约 30 毫秒

Jeff 对 Qwen3.5 和 Gemma 4 进行了微调，以实现零样本分类：您可以将小型、快速的决策模型放入代码中，并具有与 Jev 相同的请求格式。您描述一种情况并用简单的语言列出选项； Jeff 通过一次前向传递返回每个选项的校准概率。没有生成文本，没有解析：RTX PRO 6000 上每个决策大约需要 22 毫秒，Apple M4 Max (MLX) 上大约需要 28 毫秒。零样本意味着选项可以是任何内容：支持队列、用户意图、审核标签、语音命令、游戏动作。您的类别不需要出现在训练数据中；你描述它们，杰夫选择。它是什么，它不是什么。这些都是非常小的模型。它们在选项之间做出极其快速、经过良好校准的判断调用，并且可以轻松地插入您的本地代码。在基准测试中，他们接近甚至有时超过了 Jev；但在这个尺寸下，他们的推理与 Jev 的推理不符，后者运行在更大的模型上。如果零样本精度不足以满足您的目的，那么对您自己的示例进行简短的微调可以让您走得更远：我们的语音导航微调在一个 GPU 上的不到半小时内将保留精度从 31.7% 提高到 95.8%。完全基于本地硬件构建。在一个 RTX PRO 6000 工作站 GPU 上进行训练（0.8B 训练大约需要 2 小时，2B 大约需要 3.5 小时），所有合成训练数据均由开放模型 (Qwen3.8-Flash-Next) 在两个 DGX Spark 上编写，在 MacBook 上进行测试。没有云GPU，训练数据中没有封闭模型输出；封闭模型仅用于抽查合成数据样本的质量。独立项目。 Jeff 使用与 Jev 相同的请求格式，但它不隶属于 Jev 的制造商 TypeSafe，也不受其认可。我们的训练代码从开源 AutoJev 配方开始。 Hugging Face 上的模型： Jeff-Qwen3.5-0.8B · Jeff-Qwen3.5-2B · Jeff-Gemma4-E2B 快速启动 uvsync uv run hf download mstrasser/Jeff-Qwen3.5-0.8B --local-dir checkpoints/jeff-0.8b # NVIDIA GPU 或 CPU (PyTorch) JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 uv run jeff-serve # 苹果芯片（MLX，在 Mac 上更快；仅限 Qwen 型号） uvsync --extra mac JEFF_BACKEND=mlx JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 uv run jeff-serve curl -s localhost:8765/v1/systemone -H ' content-type: application/json ' -d ' { "model": "jeff-latest", "state": "退款请求：客户说包裹到达时被压碎并希望退款。", "questions": { "route": {"type": "choice", "instructions": "哪个团队应该处理这个问题？", "criteria": {"1": "退款和付款", "2": "包裹损坏或丢失", "3": "帐户和登录问题"}}, "angry": {"type": "noul", "instructions": "顾客生气了吗？"} } } ' 每个答案都有每个选项的概率、所选选项和置信度。三种问题类型：选择（从已发布模型的最多 26 个选项中选择一个；请参阅注意事项）、noul（是/否，以概率形式返回）和评分（您描述的量表上的一个点）。一项请求中的多个独立问题会一起得到回答。对来自五个公共基准的 4,599 个问题进行基准测试，加上 JevBench 的公共硬层（105 个项目，单独评分）： Benchmark Qwen3.5-0.8B 未经训练的 Jeff-Qwen3.5-0.8B Qwen3.5-2B 未经训练的 Jeff-Qwen3.5-2B Gemma 4 E2B 未经训练的 Jeff-Gemma4-E2B Jev（已发布） AutoJev-27B（已发布） 总体（5 个基准） 45.3 79.1 46.5 83.1 62.5 81.6 83.0 84.9 BBH 39.5 64.0 46.0 68.0 51.3 66.4 94.3 82.8 Financial PhraseBank 36.0 96.4 53.4 96.3 86.0 96.1 77.0 84.2 JudgeBench 56.6 62.6 57.4 64.6 46.9 60.6 78.6 78.9 RAGtruth 49.1 86.1 35.9 88.9 63.8 87.4 77.3 88.9 WinoGrande 49.2 68.6 52.2 79.0 51.0 77.4 90.7 83.3 JevBench Hard（单独） 36.2 47.6 45.7 53.3 41.0 48.6 73.3 70.3 Bold：每行中 Jeff 对阵 Jev 的获胜者。粗体斜体：AutoJev-27B，它是所有模型中最好的（在 RAGTruth 上，与 Jeff-Qwen3.5-2B 并列）；由于是与 Jev 进行头对头比较，因此仅供参考。已发布的 Jev 和 AutoJev 数据是根据相同基准的不同样本进行测量的。 Jeff 的总体得分来自分类和基础，它匹配或击败大型模型；在推理密集型基准测试（BBH、JudgeBench、JevBench）上，它远远低于它们，正如您在这种规模下所期望的那样。游戏：零样本测试 为了测试与基准测试中任何内容不同的任务的零样本性能，我们让 Jeff 玩了三款游戏。游戏不是理想的零样本测试，因为游戏的状态不是典型的非结构化数据；但它们是测试 System 1 模型的一种常见且有趣的方法。每一轮，代码都会用文字描述情况和合法动作，然后模型选择一个。选项说明了每个动作会导致什么（青蛙：“你会被车撞并失去生命”；末日：“最近的怪物在你左边一点”），但从来没有哪个动作是正确的。每集20集，种子1234； ▶ 打开跑步第一集的视频。 Jeff-Qwen3.5-0.8B 演奏，零次（下表中的粗体行；单击