首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

基于先前标记预测的 LLM 反演,用于快速重建

摘要

[Submitted on 31 Jul 2026] Title: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction Authors: Pirzada Suhail , Nagasai Saketh Naidu , Atanu R Sinha , Amit Sethi Vi...

the LLM prompts and token from prompt responses model approach
2026-11-19 1 阅读 约1分钟阅读 dalmo3
分享:
字号:
[提交于 2026 年 7 月 31 日] 标题:PTP:基于先前标记预测的 LLM 反演,实现近乎精确的提示重建 作者:Pirzada Suhail、Nagasai Saketh Naidu、Atanu R Sinha、Amit Sethi 查看 PDF HTML(实验) 摘要:大型语言模型 (LLM) 通过自动回归采样下一个标记来生成文本。这本质上会导致提示和响应之间的多对多映射,从而使从观察到的输出推断提示的任务变得复杂。先前关于 LLM 反演框架的工作提示将恢复作为语义重建任务。它们依靠在大型外部数据集上微调预训练的序列到序列模型(并需要访问模型权重或逻辑)来生成语义上合理的提示。相比之下,我们提出了一种在黑盒设置中反转给定法学硕士的功能方法,无需辅助工具。我们完全从头开始使用目标法学硕士本身综合生成的数据训练显式逆向语言模型。与前向下一个令牌预测类似,我们的逆模型是使用前一个令牌预测进行训练的,在前向和逆向过程之间建立生成链接,从而实现忠实的快速重建。此外,它自然支持通过采样进行不同的提示重建,所有这些提示都会在前向目标法学硕士下引起类似的反应。我们的方法跨数据集进行概括,并在根据不同法学硕士生成的响应重建提示时表现出可转移性。此外,在用于提示和响应重建的一组基于令牌的评估指标中,我们的方法优于之前的工作。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱