Vibe Patenting：评估专业专利起草代理人的法学硕士法官

摘要

arXiv:2609.13422v1 Announce Type: new Abstract: LLM judges are increasingly used to evaluate and improve AI-generated outputs, yet their reliability for complex professional work remains unclear. We s...

and judge for agent LLM professional patent drafting revision reasoning

2026-09-15 1 阅读约1分钟阅读 Toshiaki Koike-Akino, Vlad Blaykhman, Ye Wang, Jing Liu, Gene V. Vinokur

arXiv:2609.13422v1 公告类型：新摘要：法学硕士法官越来越多地用于评估和改进人工智能生成的输出，但他们对复杂专业工作的可靠性仍不清楚。我们通过 Vibe Patenting 研究这个问题，这是一个用于人工智能代理评估的端到端专利起草测试平台。单独调用的法学硕士法官评估生成的专利草案，并为迭代修订提供结构化反馈。在多项发明和起草代理人配置中，法官指导的修订持续提高了法官评估的质量，而无指导的修订往往会饱和。值得注意的是，迭代判断反馈使低推理智能体能够接近昂贵得多的高推理智能体的性能。更强大的模型和增强的推理通常可以提高法官评估的起草质量，而特定领域的代理工作流程则可以提供进一步的收益。我们根据专业专利律师的独立评估来验证判断，并发现有意义但强烈依赖于度量的一致性和系统校准差异。这些结果凸显了法学硕士法官作为复杂专业工作流程的评估者和优化信号的效用和局限性。

订阅66必读