Show HN：FeyNoBg – 自动背景去除模型和训练库

研究 · 现场笔记 FeyNoBg：用于背景去除的 SOTA 模型 作者 Hafedh Hichri、Shreyash Nigam 所属机构 Feyn Labs 发布于 2026 年 7 月 21 日 阅读时间 8 分钟 原始背景去除 ↔ 原始背景去除 ↔ 原始背景去除 ↔ ← 自行车 风吹头发 任意球 → 我们介绍 FeyNoBg，一种最先进的自动背景去除模型。在八项基准测试中，它在四项基准测试中发布了最佳的 S 衡量标准，与其他基准测试中的领先者的差距在 2% 以内。其他更好 FeyNoBg 更好 UHRSD-TE +2.5% HRSOD-TE +2.3% DIS5K +1.1% DAVIS-S +0.2% DUTS-TE -0.8% COD10K-TE -1.2% DUT-OMRON -1.7% CAMO-TE -1.9% -2% 0% +2.5% 基准 UHRSD-TE FeyNoBg 0.981 BiRefNet 0.957 描述 测试超高分辨率图像（包括 4K 和 8K 场景）中的显着对象掩模。我们还发布了 NoBg，这是我们用来训练模型的库。使用 NoBg 运行 FeyNoBg 或训练您自己的背景去除模型。两者都是开源的。在 Hugging Face 上下载 FeyNoBg，或在 GitHub 上使用 NoBg 进行构建。删除需要组合 在计算机中，图像存储为像素网格。背景去除算法的目标是预测每个像素的不透明度值，使得背景像素变得透明，前景像素保持不透明，而边界像素变得半透明。制作这个不透明贴图需要两项技能。首先，模型必须将前景与背景分开。当拍摄对象站在纯色背景下时，可以通过比较颜色轻松完成这一点。然而，在低对比度、拥挤或伪装的图像中，模型必须使用形状、纹理和上下文来识别哪些像素构成主题。其次，模型必须追踪前景的边界。在简单图像中，颜色或纹理的急剧变化提供了强烈的边缘信号。但真正的界限更加困难。头发、毛皮、细线和运动模糊可以将前景和背景元素混合在一起。该模型必须测量边缘像素有多少属于主体，并相应地设置其不透明度。这称为图像抠图。一般来说，这些技能是通过不同类型的重点数据来教授的。这会产生一个故障点。糟糕的训练组合可能会产生不平衡的模型，其中一种技能的改进是以牺牲另一种技能为代价的。输出要么遗漏了主题的某些部分，要么缺乏清晰的边缘。真实图像很复杂，需要灵活的前景识别和边界精度。这是我们训练 FeyNoBg 时的关键见解。创建学习空间 我们选择 BiRefNet 作为 FeyNoBg 的基础，因为它的架构已经符合我们的目标。 BiRefNet 赋予模型的两个部分互补的职责。它的定位模块找到前景，而它的重建模块则追踪主体的边界。该模型首先将输入图像传递给分四个阶段运行的特征提取器。早期阶段捕捉局部细节。后期阶段将收集到的细节组合成更广泛的图像表示，称为特征图。定位模块使用这些地图来寻找主题，而重建模块则使用它们来恢复其边界。特征提取器的第三阶段是最困难的工作。它看到足够的图像来推理整个主题，同时保留表示其形状所需的空间细节。定位和边界重建都很大程度上依赖于此处生成的特征图。鉴于此阶段拥有丰富的图像表示，我们预计在此添加更多深度将有助于模型更好地保留信息，从而提高性能。因此，我们将第三阶段从 18 个区块扩大到 24 个区块。这将模型的参数从 222M 适度增加到 263M。原始 BiRefNet 222M 参数 2 2 18 2 深度=[2, 2, 18, 2] 注入权重 → 6 个新块 成长模型 FeyNoBg 263M 参数 2 2 24 2 深度=[2, 2, 24, 2] 我们在扩展过程中保留了每个兼容的预训练权重。只有六个新区块未经训练就开始了。这为 FeyNoBg 提供了额外的能力来学习新技能，而不会忘记基本模型已经知道的内容。由于有学习更多内容的空间，是时候教旧模型一些新技巧了。多样化数据的优势 我们的第一次训练是使用 MaskFactory，它是为精确前景分割而创建的合成图像和掩模对的集合。这是用于运行的唯一数据集。如果我们的直觉是正确的，得到的模型将在某些基准上有所改进，而在其他基准上则会出现退化。这就是我们的受控评估中发生的情况，模型在 CAMO 基准上有所改进，但在 DIS5K 上却出现了退化。接下来，我们专注于构建更加多样化的数据集。我们从 10 个数据集收集了 26.1K 幅图像，涵盖拥挤场景、伪装、高分辨率主题、肖像和动漫，然后进行 7,000 个步骤的训练。我们的目标是在训练过程中让模型接触尽可能多的场景。训练组合 10 个 Sour 中的 26.1K 个示例