YOLOE（我们的）和YOLO-Worldv2在开放文本提示方面的性能、训练成本和推理效率的比较。 **YOLOE(ye)** 是一种高效**、**统一**和**开放**的对象检测和分割模型，可以在不同的提示机制（如*文本*、*视觉输入*和*无提示范式*）下实时看到任何东西，就像人眼一样，与闭集YOLO相比，具有**零推理和传输开销**。
<详情> <摘要> 摘要 目标检测和分割广泛应用于计算机视觉应用中，然而像YOLO系列这样的传统模型虽然高效且准确，但受到预定义类别的限制，阻碍了在开放场景中的适应性。最近的开放集方法利用文本提示、视觉提示或无提示范例来克服这个问题，但由于高计算需求或部署复杂性，通常会在性能和效率之间做出妥协。在这项工作中，我们引入了YOLOE，它将跨多种开放提示机制的检测和分割集成在一个高效的模型中，实现实时看到任何东西。对于文本提示，我们提出了可重新参数化的区域文本对齐（RepRTA）策略。它通过可重新参数化的轻量级辅助网络完善预训练的文本嵌入，并以零推理和传输开销增强视觉文本对齐。对于视觉提示，我们提出了语义激活视觉提示编码器（SAVPE）。它采用解耦的语义和激活分支，以最小的复杂性带来改进的视觉嵌入和准确性。对于无提示场景，我们引入了惰性区域提示对比度（LRPC）策略。它利用内置的大词汇量和专门的嵌入来识别所有对象，避免昂贵的语言模型依赖性。大量实验表明YOLOE具有出色的零样本性能和可迁移性，推理效率高，训练成本低。值得注意的是，在 LVIS 上，YOLOE-v8-S 的训练成本降低了 3 美元，推理速度提高了 1.4 美元，比 YOLO-Worldv2-S 提高了 3.5 个 AP。当转移到 COCO 时，YOLOE-v8-L 比封闭集 YOLOv8-L 实现了 0.6 $AP^b$ 和 0.4 $AP^m$ 增益，训练时间减少了近 $4\times$。
# [YOLOv10：实时端到端对象