首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

并非所有事情都需要法学硕士

2026-11-18 1 阅读 约5分钟阅读 speckx
分享:
字号:
LLM 喜欢大喊大叫。问一个简单的问题,你就会得到几百个字的“视情况而定”。真烦人。这就是为什么我们喜欢 Jev 这样的决策模型来完成更简单的任务。你问一个结构化的问题,并得到一个有概率的打字答案,看起来像这样:Noul。刺猬是哺乳动物吗→ 是的,0.99 选择。刺猬属于哪个动物科? → 哺乳动物,0.99 分。目前刺猬的保护状况如何? → 最不关心,0.77 法学硕士返回自由形式且过于自信的散文,而决策模型使模型不确定性变得明确。在校准模型中,得分为 0.8 的答案在大约 80% 的情况下是正确的。这意味着 0.5 分就像抛硬币一样。我们一直在 PostHog 进行试验,并且几个用例已经投入生产。这是迄今为止我们所学到的有关使用决策模型的所有内容:何时使用它们、如何使用它们以及要避免的错误。决策模型比前沿模型便宜 444.6 倍,速度快 193.6 倍,因此您可以使用它们来检查是否需要进行昂贵的 LLM 调用。我们在 Replay Vision 中清理个人信息的管道中执行此操作,我们的产品可以为您监视和总结用户会话记录。它的工作原理如下:每个会议摘要都会通过决策模型提出 2 个是/否问题。使用像这样的狭义问题可以将错误标记减少到单个问题产生的错误标记的十分之一左右。如果得分为 0.4 或以上,Gemini 会重写摘要而不包含个人信息,并再次检查。不然就干净了,就过门了。在生产中,98.7% 的人完全跳过 LLM 调用。如果没有决策模型,我们就必须继续忙于忽略某些事情的提示和正则表达式,或者将每个摘要发送给 Gemini 以捕获需要它的 1%。概率得分为 0.85 仍然意味着每 1,000 次检查中有约 150 个错误答案,因此请提前计划以防误报和漏报。在 PII 示例中,误报只会花费我们额外的 LLM 调用,而误报则将个人数据存储为干净的。这就是我们将阈值设置为 0.4 的原因。当误报是代价更高的错误时,请使用更高的阈值。例如,我们最近更新了 Slack 机器人中的 PostHog,因此它可以在不被标记的情况下回答问题。为了避免烦人,它会检查频道中的每条消息,以查看 (1) 是否在询问信息,以及 (2) PostHog 是否可以答复。只有同时通过 0.85+ 的消息才会通过。要点:使用决策模型在遇到昂贵的 LLM 呼叫之前过滤工作,并根据哪个错误让您付出更多代价来设置阈值。我们在 Slack 机器人中的 PostHog 也使用决策模型作为模型路由器。当机器人被标记时,它首先检查消息是否要求特定模型。如果没有,则从列表中选择一个选择问题:“选择最有可能在第一次尝试时正确完成任务的最便宜的选项。失败的运行比更聪明的选项花费更多。”列表中的每个选项都带有简短说明,说明该模型的用途。 GPT Luna 被描述为“一种轻便且非常便宜的模型。适合简短的答案、查找、摘要和非常小的编辑。”然后,决策模型根据每个选项的文本对请求进行评分。不同的任务、模型和提供者都有不同的阈值。我们正在尝试使用它们在错误跟踪中自动合并相似的日志,发现同一模型的 v1 和 v2 之间的阈值发生了变化。我们必须根据 PostHog 项目配置其阈值,并使判断保持在影子模式,同时根据手工标记的数据重新校准。这就是我们增长团队中的 Fernando 尽早推动模型无关界面的原因之一。我们现在有一个内部人工智能网关,用于交换和测试模型,包括自托管模型。要点:使用选择问题将自由形式的 LLM 请求路由到可以处理它的最便宜的模型。请记住,阈值不会延续,因此请根据任务和模型设置阈值。如果一个问题需要更多的背景或推理链,最好使用法学硕士。但是,如果您有办法展平或预处理输入,那么您仍然可以使用决策模型,因此可以按面值进行检查。在 Replay Vision 中,当用户搜索“入门摩擦”等主题时,由于嵌入距离的工作方式,查询有可能返回一些意外结果。决策模型无法“对包含与用户搜索查询匹配的摘要的前 10 个会话进行排名”。太复杂了。相反,我们首先使用嵌入来导出会话记录的初始列表,以传递给决策模型。然后,决策模型剩下的唯一任务是查看列表中的每个结果与用户的原始搜索词的匹配程度:“此摘要是否描述了与搜索内容匹配的会话?”然后根据该概率对结果重新排序。在 20 个测试查询中,排名质量提高了约
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱