智能AI
morning
PRISM:通过结构化多模态数据合成进行优先级感知的Rubric内化
2026-08-07
1 阅读
约1分钟阅读
Xiaomin He, Dongling Xiao, Jiahao Xie, Ruiqi Lu, Qianle Wang, Zhongbin Guo, Wanxuan Sun
字号:
arXiv:2608.05249v1 公告类型:新 摘要:现实世界的多模态指令通常捆绑多个重要性不等的要求,但大多数多模态训练数据仍然减少指令遵循以回答一个独立的问题。我们通过 \textbf{rubric 理解} 研究这一差距,它将模型不是作为针对评分标准进行测量的生成器,而是作为跟随它们的 \textbf{executor}:给定图像和类型化、优先化的评分标准,模型必须在生成总体判断之前验证每个规则。为了支持这种设置,我们提出了 \textbf{PRISM},这是一个四阶段数据合成框架,可生成角色 - 任务对、前缀引导的规则集、质量过滤的规则和结构化验证跟踪。我们进一步引入 \textbf{PRISM-Eval},其松散和严格度量使用针对固定标签的确定性匹配,因此不需要推理时间判断模型。仅用 10K 合成样本,PRISM 将 Qwen3-VL-4B 在 PRISM-Eval 上的严格准确度从 9.5\% 提升到 30.1\%,同时保持一般基准的平均性能,并且收益转移到跨密集和 MoE 架构的四个额外开源 MLLM,这表明结构化标题监督是通向多规则、优先级感知多模式指令跟踪的可扩展路径。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱