RLPE：教授法学硕士如何通过强化学习进行提示

arXiv:2610.19062v1 公告类型：新 摘要：提示是一种广泛使用的方法，用于使通用 LLM 适应特定领域的任务。手动创建有效的提示可能很乏味，因此提示写作越来越多地交给法学硕士，最近的工作培训法学硕士为其他模型编写提示。这些技术要么在不观察任务模型行为方式的情况下编写提示，对提示应解决的故障模式视而不见，要么必须在推理时与任务 LLM 一起运行，从而增加每个查询的开销。两者都反映了工程的快速实施程度。为了弥补这一差距，我们引入了强化学习提示工程（RLPE），它训练一个模型来分析单独任务模型的痕迹，并针对它观察到的故障编写提示。 RLPE 严格根据提示表现来奖励经过训练的模型，因此它会学习改进任务模型的提示策略。提示生成一次并在整个任务中重复使用，因此推理不需要经过训练的模型。由于 RLPE 仅需要对其提示的模型进行查询访问，因此它也与闭源模型兼容。我们将 RLPE 应用于 Enigmata、BIG-Bench Extra Hard 和 PlanBench。我们训练了一个 9B 参数模型，该模型在 2/3 基准上编写比最先进的前沿模型（gpt-5.6-sol 和 claude-opus-5）和提示优化器（GEPA 和 TextGrad）更好的提示。尽管该模型从未经过明确的训练来迭代提示，但这种功能的出现水平可以匹配或击败前沿模型。学习到的提示能力也具有泛化性，训练后的模型改进的任务模型比训练的模型大 6 倍，其中包括来自完全不同模型系列的模型，并且在训练中的第四个基准上匹配 claude-opus-5。