通过交叉注意力调节学习爵士钢琴家风格

1994 年，迪克·海曼 (Dick Hyman) 出版了《伟大的爵士钢琴家的风格》：十五首原创练习曲，每首都是以斯科特·乔普林 (Scott Joplin) 到比尔·埃文斯 (Bill Evans) 等一位大师的风格创作的。海曼没有抄袭他们的独奏，而是创作了带有他们签名的新音乐——塔图姆的“双手快速奔跑”，加纳的“弹奏，像吉他一样的左手”，彼得森的“颤音和滑奏”。这本书是这个项目的灵感来源。模型能否学习海曼所做的事情：不仅识别谁在玩，而且以他们的方式玩？塔图姆、加纳和彼得森是我们研究的十二位钢琴家之一，海曼本人也是如此。我们根据 PiJAMA 数据集中 12 名爵士钢琴家的独奏表演对 Aria 进行微调，它是一个在钢琴 MIDI 上预训练的变压器，添加了一个门控交叉注意力层，用于读取每个钢琴家的学习嵌入。为了检查风格是否通过，我们沿着生成的音乐滑动钢琴家分类器：70% 的时间有条件延续归因于预期的钢琴家，而没有条件的则为 37%。第二个分类器仅对生成的音乐进行训练，然后以 95% 的准确度识别真实录音。先听；它是如何工作的更进一步。一个提示，十二位钢琴家 “Ain’t Misbehavin’”的开头小节由我们中的一位（德鲁）演奏。虚线之后的所有内容都会生成：同一个开场的十二个片段，每个片段都以不同的钢琴家为条件。选择一位钢琴家来听听他们的顶级演奏。每个片段都会产生相同数量的音符，因此它们在不同的时间结束：Erroll Garner 将它们压缩到 1:26，Cedar Walton 将它们分散到 2:45。这种密度的差异本身就是钢琴家签名的一部分。正在加载... 十二个连续曲，已评分 共享的提示符将每位钢琴家拉向同一曲调。在这里，每个钢琴家都继续自己演奏的几个小节。每个片段下方的条带显示了我们的分类器沿着延续滑动时听到的内容，每个窗口一个单元格包含大约 300 个音符：金色表示指定的钢琴家，淡紫色表示其他人。每个钢琴家的两次演奏是我们得分中八次中最好的一次；他们下面的线说明了其他人的表现。或者打开眼罩自己猜测。分类器命名预期钢琴家的名字其他人的窗口，其中包括您现在听到的内容蒙眼测试：谁在演奏？风格所在的地方分类器也可以指出时刻。在真实的表演中，几乎所有地方都几乎是确定的，因此我们要问的是，它在哪里比平常更确定：与该表演中自己的平均水平相比，真正的钢琴家相对于亚军的优势。下面是每位钢琴家保留的一段录音，整个乐曲的曲线以及从最高点和最低点开始的十五秒。在阴影区域内或任一钢琴卷帘上单击或拖动，以从该点开始播放。工作原理 模型 我们从 Aria（Bradshaw 等人，ISMIR 2025；代码 ）开始，这是一个在大型钢琴 MIDI 语料库上预训练的 16 层变压器。在最后八层的每一层中，我们插入一个交叉注意力块：音乐关注所选钢琴家的小型学习嵌入，每个钢琴家四个向量。学习门会缩放块添加的内容，从 0.1 开始，因此微调从 Aria 自己的行为开始，并学习要听多少。由于嵌入在每一步中都会得到关注，因此条件不会随着生成的进行而消失，就像提示前缀那样。添加了门控交叉注意力块的一个变压器层 x 自注意力 添加和规范 交叉注意力 ×g 添加和规范 前馈 添加和规范 x′ 键、值 钢琴家嵌入 4 个学习向量 八个适应层之一。新作品呈琥珀色：音乐提供查询，钢琴家嵌入提供键和值，门 g 在加入残余流之前对结果进行缩放。测量风格 我们如何判断模型是否学会了钢琴家的风格？生成模型的标准衡量标准是对保留音乐的困惑，结果证明它几乎是盲目的：考虑到前面的真实音符，无论谁演奏，下一个音符都是可预测的，因此调节几乎不会改变乐谱。当模型自由生成并且必须在其自己的输出中保持特征时，风格就会出现。因此，我们让它播放，然后询问钢琴家分类器这听起来像谁。一致性是分类器在沿着每个延续滑动的窗口中命名预期钢琴家的频率。模型困惑度协议 预训练 Aria 11.41 25% 微调，无调节 6.96 37% 使用钢琴家调节进行微调 6.82 70% 困惑度（越低越好）几乎无法区分两个微调模型；协议几乎翻倍。延续是 256 个标记提示中的 4096 个标记；机会一致率为 8%。我们使用上述分类器滑动窗口协议的三种方式。分类器识别出 98.8% 的保留歌曲，并且条件模型的领先位置从延续的开始到结束都保持不变。刻痕下的条带