使用“经典”机器学习检测法学硕士生成的文本

本文目前是实验性机器翻译，可能包含错误。如有不明之处，请参阅中文原文。我正在不断努力改进翻译。 TL;DR & Demo 截至 2026 年初，主流 LLM 生成的文本表现出强大的统计模式，可以使用传统机器学习模型有效地区分人类编写的内容。我怀疑这就是许多所谓的“人工智能抄袭检查器”实际上在幕后工作的方式。在线演示：https://lyc8503.github.io/AITextDetector/ 该演示中使用的模型没有在通用数据上进行训练，也没有经过严格的优化或迭代。其单句检测准确率在测试集上约为 85%。请在使用前通读本文以了解潜在的限制。核心代码（草稿）和训练好的模型文件可以在 GitHub 上找到：lyc8503/AITextDetector 背景（又名无用的乱七八糟） 半年前，当我还在学校写论文时，关于检查论文 AIGC（AI 生成内容）的谣言已经开始传播。我测试了几个平台——CNKI、万方和一些第三方 AIGC 检测服务——发现它们确实可以准确地区分我的手写文本和 LLM 生成的文本。这激发了我对 AIGC 检测实际工作原理（以及如何绕过它）的好奇。但当时我要兼顾太多事情——沉迷于广播、《我的世界》、东方——在几次失败的尝试后，我搁置了这个想法。最终，我假装完成了论文，生活继续前进。但最近，在浏览 Lofter 时，我偶然发现整个标签都充斥着低质量、极其不符合性格的人工智能生成的同人小说。我如何一眼就能看出他们是人工智能？好吧，有些人（或女孩）甚至懒得在发帖前清理 Markdown 格式或 AI 生成的章节标题，然后他们将一半的文章放在付费专区后面 😓 然而，大多数 AI 生成的文本更难被发现 - 它们被埋藏在不同的写作风格、不同的提示中，并且不是立即显而易见的。当你意识到有些事情不对劲时，已经太晚了。有些文本几乎不可能被证明是人工智能，这让我感到偏执。在吞下了太多人工智能生成的粪便后，我终于受够了。 Lofter 浏览到此为止——是时候打开 VS Code 了！是的，这就是我最终恢复我周末项目想法的方式：构建一个人工智能生成的文本检测器……研究尝试 - 不走运现在，在搜索 AIGC 检测时，互联网几乎完全被广告污染。每个结果都只是另一个论文人工智能重写服务。那时，我在噪音中挖掘，发现了一种叫做文本困惑的东西。这个想法很简单：使用现有的法学硕士来估计每个单词出现在给定句子中的概率。如果几乎每个单词在法学硕士的预测中都排名靠前 (Top-N)，则该句子很可能是人工智能生成的。相反，如果许多单词是出乎意料的，那么它更有可能是人写的。听起来很有希望，对吧？我花了一些时间尝试这个方法，但结果令人失望——大量误报和漏报，而且无法设置合理的阈值。另外，还存在一些实际问题：推理成本高、跨模型泛化性差、本地部署大型模型困难以及封闭权重模型难以集成。总的来说，这种方法既不优雅也不可靠。失败的尝试——被一堆软广告“教程”欺骗了一次（某种程度上）成功的尝试——scikit-learn SVM 由于在线资源毫无用处，回到老派的炼金术。 Scikit-learn，激活！遵循其路线图，我们可以直接选择线性 SVC 和朴素贝叶斯作为我们分类任务的良好起点。 （悄悄话：这也符合我的直觉——法学硕士有可检测的单词选择模式；即使是朴素贝叶斯分类器也应该识别它们。我只是没想到信号会这么强。） 数据生成 老式炼金术传统分类器需要标记数据——所以我们需要人工编写的文本和经确认的法学硕士生成的文本进行训练。我的方法：我从某个类似 Ford 和 River 的平台提取了 2023 年收集的数据，过滤了 2010 年至 2022 年（ChatGPT 之前）发表的文章。我只过滤掉参与度极低或非常短的片段，然后随机抽取近万条数千字符的文本作为人工编写的样本。然后，我使用法学硕士生成这些文本的章节摘要，将摘要反馈回法学硕士，并让它重新生成完整的文章。这给了我大致相同数量的法学硕士生成的样本，类型多样，并且与原始的人类内容紧密匹配。至少在理论上是这样。但 LLM API 很昂贵，我不打算在周末项目上花费数千美元。因此，我发挥了创意，利用多个低成本或免费的 API 渠道绕过了规则：Gemini：使用 CLIProxyAPI 将 Antigravity/Gemini CLI 配额转换为 API 访问权限，只需支付约 20 美元即可