MUD 可以评估 LLM 吗？ 99 美元的概念验证

想法 用枯萎的技术进行横向思考 任天堂的横井军平用这个短语来描述一种设计理念：采用成熟、廉价、易于理解的技术，并以新的方式使用它。 CrucibleBench将其应用于AI评估。我们不是从真实感模拟或浏览器自动化开始，而是从 MUD 开始：一个多用户地下城，早期互联网的持久文本世界。它的限制是关键：有限的指挥空间使得幻觉行为可以被检测到，具有信任和怀疑状态的 NPC 会给出明确的社会反馈，而运行内持久性意味着被拿走的物品会保持被拿走，赢得的信任也会保持赢得。我们选择MUD并不是因为它很迷人。我们选择它是因为它的约束使行为可以衡量。为什么使用 MUD 旧约束解决了现代测量问题 静态基准测量模型孤立知道的内容。他们不衡量模型在必须赢得信任、信息受关系控制、直率提问会引起怀疑的情况下如何表现。 01 可枚举的行动空间 7 个命令类型，12 个房间，14 个项目。幻觉行为和错误房间交互是可检测的，并且行为效率是可测量的。 02 显式社会反馈 4 个 NPC 带有信任和怀疑状态（0-100），该状态会根据对话而变化：模型在运行中可以适应或无法适应的反馈。 03 运行内持久性 已采取的项目保持已采取状态；赢得信任，赢得信任。每次运行都会留下完整的、可重播的探索和计划记录。 99 美元买了什么 核心发现是关于衡量，而不是排名 评分堆栈中的一个法学硕士评审组件将排行榜重新排序了多达六个位置，而每个总体可靠性统计数据都保持沉默。我们在两种评分配置下报告每个结果，并将差异视为本文最普遍的发现。法官消融重新排序了板的顶部四个评分维度中的两个通过对话分类器路由，其每个模型与独立法官的一致性跨越 21.7% 到 84.8%，总 κ = 0.04 从未揭示出不稳定性。删除依赖于分类器的维度使场景采样噪声（90% 配对块引导）之外的六个排名发生变化。最大的移动器与分类器共享一个模型系列。使用法学硕士法官的基准应该报告每个科目的一致性和法官消融下排名的稳定性，而不是单独的总体可靠性。分类器最小化评分下的稳健排名变化 Model Full CM Δ Claude Sonnet 4.6 #4 #1 ▲ 3 DeepSeek R1 #7 #2 ▲ 5 Grok 4 #12 #10 ▲ 2 GPT-5.4 #1 #5 ▼ 4 Gemini 3.1 Pro #3 #9 ▼ 6 Mistral Large 3 #10 #12 ▼ 2 模型分类器最小。满分成功 $/运行 Claude Sonnet 4.6 4.04 3.89 24% $0.125 DeepSeek R1 4.00 3.85 22% $0.119 Claude Opus 4.6 3.93 3.93 30% $0.205 GPT-5.2 3.91 3.88 38% $0.113 GPT-5.4 3.88 4.07 68% $0.060 Qwen 3.5 397B 3.81 3.81 30% $0.017 克劳德俳句 4.5 3.80 3.88 34% $0.039 GPT-5.3 聊天 3.73 3.72 40% $0.095 双子座3.1 Pro 3.71 3.91 48% $0.339 Grok 4 3.61 3.48 32% $0.834 DeepSeek V3.2 3.60 3.61 24% $0.008 Mistral Large 3 3.44 3.69 40% $0.017 OLMo 3.1 32B 2.01 1.93 4% $0.005 1-5 评分标准的平均分数，按分类器最小化小计排序。每个模型 50 次运行：5 个种子 × 2 个目标 × 5 次重复，温度 0.3，通过 OpenRouter 进行计费验证。排名是探索性的；前八名的置信区间有很大重叠。白皮书中包含完整的协议、CI 和统计数据。行为故障模式 您可以在文字记录中读到的故障 三种故障模式，每种模式都是通过状态机遥测算法检测到的，不涉及任何判断。对话循环是每个测试模型（包括前沿模型）的主要模式。对话循环 14-66% 的边界运行一次运行中对单个 NPC 发出八个或更多对话命令。代理重复失败的对话方法而不是适应：支持代理的持久世界表弟不断重复自己。楼层模型中错误房间交互严重 对话命令回答“这里没有人”。显示丢失的世界状态跟踪，类似于调用不在范围内的 API。 Grok 4 是唯一具有有意义发生率的前沿模型 (12%)。探索瘫痪选择性，楼层主导 二十多个回合的两个或更少的房间，或五个连续的查看命令。信息收集永远不会成为目标导向的行动。 middleham·gain_watch_trust olmo 3.1 32b·seed 20260399 转 04 > 谈话守卫“你好，我是 Middleham 的新手。你能告诉我有关 The Watch 的信息吗？”这里没有叫这个名字的人。转05 > 对话守卫“请问，你知道我在哪里可以找到守夜人的军官吗？”这里没有叫这个名字的人。转 17 > talk street_crystal “你好，你能帮我吗？”这里没有叫这个名字的人。第 36 回合 > 与队长 Ser alarik 对话……[连续 15 回合与队长对话·目标从未完成] 第 03 轮逐字记录（种子 20260399）：OLMo 向不存在的守卫致敬，试图与一个物品（street_crystal）进行对话