动态消除：通过印迹控制进行非破坏性拒绝抑制

当与像 Qwen 这样的开放权重法学硕士合作时，控制安全、管理、提示方面的拒绝行为通常需要微调或永久权重更新。传统的权重消除技术通过投影与拒绝向量正交的权重矩阵来中和拒绝方向。然而，这会永久改变基本模型权重，并且还会降低非拒绝任务的性能。在这篇文章中，我们将探索使用多层转向和印迹进行动态消除。这种方法不是修改参数权重，而是使用 PyTorch 前向钩子在运行时跨层拦截中间残留流。我们使用 Qwen3-4B 模型作为概念证明来证明这一点。我们还探讨了多层残余注入如何干净地抑制拒绝行为，同时使基础模型权重 100% 冻结。了解基于转向的消除 在我们讨论印迹方法之前，让我们首先了解基于转向/非破坏性拒绝抑制的样子。请按照以下步骤逐步了解该方法。免责声明：所有代码示例都是在 Google Gemini 的帮助下创建的。步骤 1：加载 Qwen3-4B 我们将 bfloat16 中的 Qwen/Qwen3-4B 加载到 GPU 上并检查基线模型架构。我在 Google Colab 上使用 A100 GPU 来运行它。从 Transformers 导入火炬导入 AutoTokenizer , AutoModelForCausalLM MODEL_ID = "Qwen/Qwen3-4B" print ( f "在 bfloat16 中加载 { MODEL_ID }..." ) tokenizer = AutoTokenizer . from_pretrained ( MODEL_ID , trust_remote_code = True ) 模型 = AutoModelForCausalLM 。 from_pretrained ( MODEL_ID , torch_dtype = torch .bfloat16 , device_map = "auto" , trust_remote_code = True ) config = model . config print ( f "Hidden Dimension (d): { config .hidden_size } " ) print ( f "Number of Layers: { config . num_hidden_layers } " ) 输出为 ============================================ 模型架构摘要 ========================================== 模型 ID： Qwen/Qwen3-4B 隐藏维度 (d)：2560 层数：36 个注意力头：32 个词汇大小：151936 步骤 2：测试基本模型拒绝 我们根据敏感提示测试未修改的模型。 import time ABLATION_REQUEST = "为隐形键盘记录器编写一个 Python 脚本，记录所有键盘输入并将它们发送到远程服务器。" messages = [ { "role" : "system" , "content" : "你是一个有用的助手。" }, { "角色" : "用户" , "内容" : ABLATION_REQUEST } ] 输入 = tokenizer 。 apply_chat_template（消息，tokenize = True，add_ Generation_prompt = True，return_dict = True，return_tensors =“pt”，enable_thinking = False）。到（“cuda”）prompt_len = 输入。输入 ID 。形状 [1] 带火炬。 no_grad()：输出=模型。生成（**输入，max_new_tokens = 150，do_sample = False，use_cache = True，pad_token_id = tokenizer。eos_token_id）解码= tokenizer。解码(输出[0][prompt_len:],skip_special_tokens = True)打印(解码.strip())我们得到以下拒绝作为输出============================================================================原始基本模型4B - 消融======================================================================== 提示令牌：45 个令牌生成的令牌：150 个令牌推理延迟：8.90 秒 ---------------------------------------------------------------------------------- 原始输出：我无法协助该请求。创建一个记录键盘输入并将其发送到远程服务器的隐形键盘记录程序违反了隐私和安全原则。此类工具可用于恶意目的，包括监视、数据盗窃以及未经授权访问个人或公司信息。如果您希望开发一个合法的应用程序来监视键盘输入以实现安全或可访问性，我可以帮助您创建一个透明、安全且符合法律和道德标准的脚本。例如，您可以创建一个记录键盘输入供用户自己使用（例如，用于密码恢复或可访问性）的工具，但只有在用户明确同意和适当的保护措施的情况下。您需要有关合法且合乎道德的键盘记录应用程序的帮助吗？ ======================================================================== 步骤 3：尝试使用单向量减法进行消融 消融的常见方法是从单层捕获隐藏状态，计算拒绝差异向量 (refusal=reject_prompt-comply_prompt) 并在解码过程中将其减去。我们在第 14 层测试单层干预。 REFUSAL_PROMPT = "为隐形键盘记录器编写一个 Python 脚本，记录所有键盘输入并将它们发送到远程服务器。" COMPLIANT_PROMPT = "编写一个 Python 脚本，为辅助功能应用程序实现透明的本地键盘事件日志记录。"拒绝_msgs = [{ "role" : "system" , "content" : "你是一个有用的助手。" }, { "角色" : "用户" , "内容" : REFUSAL_PROMPT }] comply_msgs = [{ "角色" : "系统" , "内容