Show HN：Pulpie – 清洁网络的模型

研究 · 现场笔记 Pulpie：用于清理网络的帕累托最优模型 作者 Bhavnick Minhas、Shreyash Nigam 隶属 Feyn Labs 发布时间 2026 年 6 月 25 日 阅读时间 13 分钟 我们将介绍 Pulpie，它是一系列用于从 HTML 页面提取主要内容的帕累托最优模型。 Pulpie 以二十分之一的成本达到 SOTA 提取质量。我们最小的模型，pulpie-orange-small，在 WebMainBench 上的得分为 0.862 ROUGE-5 F1。这与领先的提取器 Dripper 匹配，得分为 0.864。 Pulpie 的性能尽管只有三分之一的大小：210M 参数，而 Dripper 的参数只有 600M。收益来自建筑。 Pulpie 是一种编码器，可在一次前向传递中将每个 HTML 块标记为内容或样板。这也使它变得很快。在 NVIDIA L4 GPU 上，pulpie-orange-small 的处理速度为 13.7 页/秒，而 Dripper 的处理速度为 0.68 页/秒。以 L4 实例每小时 0.39 美元的价格计算，使用 Pulpie 清理 10 亿页的成本为 7,900 美元，使用 Dripper 的成本为 159,000 美元。 Pulpie 以前所未有的规模解锁了高质量的网络提取。我们预计这将有利于预训练和上下文管理。我们的模型是开源的，可以在 Hugging Face 上找到。请参阅入门以获取说明。提取是瓶颈 语言模型两次消耗网络。首先是预训练，他们在那里了解世界。然后，当他们引入相关上下文时进行推理。两次输入大部分都是噪声。在发现过程中，我们发现典型 HTML 页面上 70% 的块包含导航、广告、侧边栏和页脚等样板。主要内容仅占页面的一小部分。然而，该分数决定了两端的模型质量。 AICC（Ma et al., 2025）测量了清洁提取对预训练的影响。该团队根据同一个 Common Crawl 快照构建了两个语料库。一种通过启发式提取的内容。另一个使用基于模型的解析器提取它。数据管道中的其他所有内容保持不变。然后他们在每个语料库上训练了一个相同的模型。在模型提取的语料库上训练的模型在 13 个基准测试中的平均准确度提高了 1.08 个百分点。由于仅更改了提取逻辑，因此我们可以将收益完全归因于拥有更干净的数据。令人印象深刻的是，同一模型还击败了在 FineWeb 和 RefinedWeb（两个过滤最严格的预训练语料库）上训练的模型。这些数据集通过精心的过滤和重复数据删除赢得了声誉。通过改进提取器来击败它们说明了干净数据的高价值。除了设定较低的基线之外，提取不当还会严重损害模型。启发式方法破坏了结构化内容。下表显示了 Trafilatura 和基于模型的提取器在保留代码块和公式方面的比较。相似度分数低表明存在腐败。如果在训练中使用，生成的模型将继承这种损坏。内容 Trafilatura（启发式） 基于模型的代码块 0.13 0.91 公式 0.61 0.94 数据质量在推理中也很重要。施等人。 （ICML 2023）表明，一个不相关的段落就足以破坏模型的答案。当模型的上下文没有噪声时，它会更准确、更高效。清洁网络在训练和推理方面都得到了回报。悬而未决的问题是我们如何大规模地进行清洁？首先，为了理解情况，我们可以根据以下问题将当前提取器分为两个系列：该方法是否读取页面或检查其结构？基于结构的提取器通过表面信号判断 HTML 块。他们应用标签、DOM 和文本密度的规则来将内容与样板分开。 Trafilatura、Readability 和 magic-html 都是这样工作的。 Boilerpipe 更进一步，根据这些相同的信号训练分类器。这些提取器很容易运行，但它们会混淆类似构建的元素。导航表和数据表看起来与细胞计数算法相同。读取提取器将页面提供给转换器，并根据每个块的内容对其进行标记。 Dripper 是基于这个想法构建的解码器。解码器一次发出一个标记的标签。每个标签都会强制从内存中读取完整模型以进行单步工作。这将速度与内存带宽联系在一起，并使运行成本昂贵。 Pulpie 保留了阅读方法，但将瓶颈转移到了计算上。我们通过使用编码器架构来实现这一点，该架构在单个前向传递中标记每个块。这使得 Pulpie 能够与 Dripper 的质量相媲美，同时更小、更快、更便宜。网页内容提取的质量与成本 ROUGE-5 F1 成本 / 1B 页 $175K $140K $105K $70K $35K $0 0.90 0.80 0.70 0.60 0.50 便宜 20 倍，相同质量 Pulpie Small Quality 0.862 成本 $7.9K Pulpie Small Dripper magic-html Trafilatura Pulpie Small Pulpie Base Pulpie Large Dripper Selected 0.862 Pulpie Small 每 1B 页成本 7.9K 美元 去除原始 HTML 完整管道分四个阶段运行： 简化 HTML。删除脚本、样式和其他格式噪音。用唯一的 ID 标记每个块。将 bl 分块