隐藏状态隐私中间是空的

arXiv:2605.24042v1 公告类型：新 摘要：我们测试单层隐藏状态隐私的 $1{,}536$ 高斯释放协方差中，零实现了针对自适应检索攻击者的中等效用和中等隐私。我们证明了一个互补的 Fisher-ball 下界：$O(1)$ 费舍尔效用的每个满秩高斯发布都承认一个方向，其马哈拉诺比斯信号在隐藏宽度中线性增长，排除了类中的均匀高斯安全性并匹配经验空中间。对角逆费舍尔版本 $\Sigma^\star_{\mathrm{diag}}(\mathcal{K}) = (2\mathcal{K}/d)\,\mathrm{diag}(1/F_{ii})$ 是一阶 KL 预算 $\mathcal{K}$ 下唯一的极小极大最优对角机制，也是唯一具有最差攻击者 top-1 $\le 0.001$ 的版本在 32 个模型层网格的每个点上，但它位于隐私/实用边缘，而不是填充中间。在欧几里得检索下达到 $13\times$ Pareto 约简的广义特征机制在自适应 Mahalanobis 攻击下崩溃到 $100\%$ top-1，全轨迹序列逆变器恢复 $94\%$ 的干净 GPT-2 前缀，但在 $\Sigma_{\mathrm{diag}}$ 下恢复 $0\%$。从头开始训练的分割内存变压器在 90M 时达到 $G_{\mathrm{Mah}} \in [20, 33]$ ，并且在固定令牌语言建模损失惩罚下，相对于相同预算的 GPT 基线从 30M 到 1B 保持 $6$--$24\times$ 优势；预训练模型的最高得分为 9.3。这些结果将隐藏状态发布从高斯类内的机制设计重新构建为架构或发布协同设计。