大型音频语言模型中语音问答的机器取消学习

摘要

arXiv:2609.13195v1 Announce Type: new Abstract: Large Audio-Language Models (LALMs) have recently shown strong capabilities in speech understanding and question answering (QA), but they also inherit p...

speech and the unlearning that Large Language Models LALMs capabilities

2026-09-15 1 阅读约1分钟阅读 Zhe Liu

arXiv:2609.13195v1 公告类型：新摘要：大型音频语言模型（LALM）最近在语音理解和问答（QA）方面表现出了强大的能力，但它们也继承了大规模训练数据带来的隐私风险，包括无意记忆敏感信息。在这项工作中，我们研究了 LALM 中语音 QA 的机器取消学习，由于声学感知和事实知识之间的紧密耦合，这种设置比之前基于文本的大型语言模型 (LLM) 或自动语音识别 (ASR) 的工作更具挑战性。我们提出并评估了多种忘却策略，包括梯度上升、任务算术和基于对齐的微调方法，这些方法强制执行安全的拒绝响应，以消除私有知识，同时仍然保持核心能力的性能。通过对语音 QA 数据集的大量实验，我们表明这些去学习方法可以将隐私泄露率降低高达 80%，同时在非隐私语音 QA 和通用语音理解基准上保持近中性的性能。

订阅66必读