首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

校准保持修剪:压缩作为可靠性契约

摘要

arXiv:2608.23744v1 Announce Type: new Abstract: Split conformal prediction, not the pruning rule, supplies finite-sample marginal coverage once a pruned model is fixed independently of the conformal c...

CPP the and conformal pruning from accuracy not score set
2026-08-26 1 阅读 约2分钟阅读 Ibne Farabi Shihab, Adria Binte Habib, Anuj Sharma
分享:
字号:
arXiv:2608.23744v1 公告类型:新摘要:一旦修剪模型独立于保形校准分割而固定,分割保形预测(而不是修剪规则)将提供有限样本边缘覆盖。我们研究单独的效率问题:剪枝能否很好地保留得分几何形状以获得更小的有效预测集?保留校准剪枝 (CPP) 通过不合格梯度显着性增强基本剪枝分数,并使用不相交剪枝、验证选择、保形校准和测试分割。有界得分扰动意味着有界共形分位数移位和受控集合膨胀,但并不使通用覆盖定理特定于 CPP。最终五种子 Qwen2.5-1.5B 在 50% 稀疏度下的结果显示了大标签任务的最大收益。在 DBpedia-14 上,CPP-SparseGPT 将平均集大小从 \(10.1\) 减小到 \(8.6\),同时将精度从 \(0.347\) 更改为 \(0.366\); CPP-Wanda 将 \(11.2\) 减少到 \(9.0\),精度从 \(0.310\) 到 \(0.295\)。在 15 个数据集稀疏单元中,CPP-SparseGPT 在 13 个数据集中产生较小的集合,在 11 个数据集中产生更高的精度。匹配的控制表明,通用监督梯度解释了大部分增益:真实标签 CPP 没有从匹配的 Wanda+SNIP 中统计解析,而阈值感知候选标签 CPP 在显式精度和离线计算成本下达到 \(7.8\) 平均集大小。 RoBERTa-base 和 Llama-3-8B 诊断支持转移,但我们的主张仍然仅限于可靠性敏感的分类。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱