Pangram 已成为人工智能检测的黄金标准。你应该相信它吗？

随着我们采访的进行，斯佩罗的反应似乎很粘滞，时断时续，不仅仅是因为他在吃东西。我询问他的招聘精神。斯佩罗低声“嗯”了一声，然后转身走开，没有道歉，用微波炉加热食物。十五秒漫长的沉默过去了。他终于再次面对我说：“普通人来 Pangram 是因为他们关心这个使命。”为了检测人工智能，Pangram 使用了一种称为“合成镜像”的方法，该方法采用人类书写并让法学硕士生成接近的匹配。这教会了它的模型人工智能如何写作。 Pangram 还使用“硬负挖掘”，在数据集中搜索误报，它可以综合反映并使用这些误报来增强其训练集——利用错误来重新训练机器。 Spero 表示：“我们所有的数据集都获得了适当的许可，我认为这在当今的人工智能世界中很少见。”尽管这在一定程度上是因为 Pangram 的产品对数据的需求远远低于 ChatGPT 或 Claude。 “我不想完全抛弃人工智能公司，”他补充道，“但我认为他们已经失去了很多信任，尤其是在创意领域。”如今，Pangram 服务于多个行业，包括教育、法律领域和招聘，但创意写作构成了培训文本的最大部分。 《害羞女孩》的故事让 Pangram 名声大噪。斯佩罗已经在他的社交账户上指出了可疑的人工智能写作，所以当一月份他在 Reddit 帖子中被标记并随后发送了巴拉德手稿的 PDF 时，这并不奇怪。 “我把它放在 [Pangram] 中，我发布了它，后来《纽约时报》请我发表评论，”他说。 “我认为人们夸大了 Pangram 在害羞女孩故事中的重要性。”但事实并非如此。就像一场人工智能丑闻电话游戏一样，Pangram 的客户主管与出版业分析师讨论了这个故事，后者又将其提交给了《纽约时报》。另一个转折：Pangram 的批评者，包括调查项目《德雷档案》，指出斯佩罗的手稿副本来自盗版网站。当我向 Spero 询问此事时，他说：“是的。而且，就像，是的……就是这样。我没有仔细看。我没有去阅读整个 PDF。我只是将其直接放入 Pangram 中。”从那时起，Pangram 并没有完全回避争议。在英联邦短篇小说奖获得者返回高 Pangram 分数后，该公司分析了自 2012 年以来的每位获奖者，指出了另外三种潜在的人工智能用途。尽管如此，斯佩罗还是淡化了 Pangram 的影响，尤其是对被砍掉的图书交易的影响。 “基本上，据我所知，每笔图书交易都与 Pangram 配乐无关，”他说。 “这只是其中的一部分，但如果你与相关人员交谈，你会发现这只是大局中很小很小的一部分。”我们继续进行 Pangram 的 Substack 集成。 “人们不应该害怕披露这一点，因为你的作品应该具有自己的质量，并且是人们想要阅读的东西，无论……”斯佩罗的声音逐渐减弱。 “那么，我该怎么说呢？”他停了下来。 “我想我……哦，我知道我那天说了什么。”他获得了信心，声音也加快了。 “如果你的作品的价值取决于欺骗最终用户，让他们认为它不是由人工智能编写的，那么”——他再次犹豫了——“这将是一个问题。” （后来，我意识到他的语气改变了，因为他引用了他自己在 X 上的帖子。）