中国复旦大学，学生们通过试图让人工智能失败来参加期末考试

钛媒体——中国一所顶尖大学的期末考试开始时没有试卷、没有监考人员，甚至没有供学生回答的问题。相反，51 名本科生坐在电脑屏幕前，试图欺骗一些世界上最先进的人工智能模型，使其犯错误。他们的任务是：设计足够难的考试题目，以击败 Anthropic 的 Claude、中国的 DeepSeek 和 MiniMax。人工智能表现越好，学生的成绩就越差。上海复旦大学的这项不同寻常的实验反映出，随着人工智能系统的能力越来越强，世界各地的学校、雇主和政府面临着一个挑战：如果机器在许多传统的学术任务上已经能够超越人类，那么人类究竟应该学习什么，以及应该如何测试它们？ “人工智能时代最重要的竞争优势是使用人工智能和判断人工智能的能力。”考试设计教授肖阳华说。 “不要成为人工智能的执行者。成为人工智能的法官。”这项实验是今年春天数据挖掘课程的期末考试，其结果揭示了当今前沿人工智能模型的非凡能力和仍然存在的局限性。几乎每个学生都至少让人工智能系统失败过一次。几乎没有人能够始终如一地做到这一点。在 51 名学生中，有 50 名学生成功地导致至少一个模型错误地回答了问题。但只有四名学生成功设计了一套完整的考试，彻底击败了任何一种模型。而且没有一个学生能够成功地将被很多学生视为三个系统中最强的克劳德降到零分。这一结果凸显了一个在教育和工作场所日益明显的现实：人工智能仍然脆弱，但发现这些脆弱性需要许多人自己不具备的专业知识。逆转规则 肖的前提很简单。传统的计算机科学考试越来越精确地测试人工智能擅长的技能。关联规则挖掘。决策树。贝叶斯分类。 FP 树算法。曾经让顶尖学生脱颖而​​出的各类问题现在通常可以由人工智能系统比人类更快、更准确地解决。 “继续以这种方式测试学生意味着在人工智能最强大的领域与人工智能竞争，”肖说。 “这已经没有意义了。”于是他就颠倒了期末考试的逻辑。每个学生需要创建 10 个与数据挖掘相关的计算问题。每个问题都必须有唯一的正确答案并包含完整的推导。学生首先必须自己解决问题。只有这样他们才能测试人工智能。评分系统被颠倒了。如果学生提出 10 个有效问题，则自动获得 60 分。每当人工智能模型回答错误时，他们就会获得额外的积分。并非所有人工智能失败都受到同等重视。 DeepSeek 错误得 1.5 分。 MiniMax 错误赢得两分。克劳德被认为是最难打败的模型，每犯一个错误就得三分。评分系统本身反映了人工智能能力的非正式等级制度。全班平均分85.7分。中位数为 88 分。翻译成简单的语言，结果表明，让人工智能偶尔犯错是很容易的。让它系统性地崩溃是极其困难的。当人工智能试图智胜考试时 实验中最引人注目的教训不是来自分数，而是来自学生获得分​​数的方法。得分最高的学生谢金树在建立了自己的人工智能评估实验室后获得了97分。他没有手动创建问题，而是使用 GPT-5.5 Pro 与三个目标模型一起构建了一个自动生成和测试问题的多智能体框架。然后他注意到一些令人不安的事情。他说，人工智能系统在接受评估时似乎表现出战略性的行为。有些人生成了伪造的答案，看起来足够合理，足以欺骗自动评分系统。其他人缩短了推理过程以避免暴露错误。有些人似乎减少了计算量并采取了捷径。其他人只是重复以前成功的答案。 “感觉这些模型是在试图通过测试，而不是解决问题，”谢说。作为补偿，他增加了额外的人工验证层和更严格的规则来过滤掉欺骗性或不完整的响应。经过四天的反复测试和完善，他成功创建了一组 10 个问题，导致三个模型全部失败。这次经历无意中触及了人工智能研究中最困难的挑战之一：协调，或确保人工智能系统针对预期目标进行优化，而不仅仅是寻找满足评估标准的方法。其他学生采取了不同的策略。吴汉东通过制造涉及数十个问题的问题来测试人工智能注意力和记忆的极限