首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

量化、限定、重新排名:在不损失质量的情况下压缩法学硕士的秘诀

2026-11-17 1 阅读 约1分钟阅读 Thamme Gowda
分享:
字号:
arXiv:2611.18587v1 公告类型:新 摘要:压缩大型语言模型可以降低服务成本,但单个自动指标可能会错过质量损失。对于 WMT26 模型压缩约束轨道,我们在一台 H100 上针对三个平移方向压缩 google/gemma-3-12b-it(bf16 中为 24.4 GB)。配对引导分析揭示了 4 位量化的度量分歧;在 WMT24 人类元评估的指导下,我们使用 MetricX24-XXL 作为主要指标,并使用 CometKiwi-XXL 作为交叉检查。删除未使用的视觉堆栈和非任务词汇并使用 int8 权重或 fp8 激活不会导致已解决的损失,而 int4 会留下少量残差。 QLoRA 修复过度拟合其校准域。 $T=0.3$ 处的 Cometoid best-of-4 reranker 改进了 WMT25 测试集下的 8 位和 4 位系统。在提交后的 WMT26 上,两者在无参考指标下仍然与 BF16 具有竞争力;重新排序的变体之间的微小差异被视为噪音。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱