智能AI
morning
混合专家路由器是否能从集成中受益?
2026-11-16
1 阅读
约1分钟阅读
Viktor Vesel\'y, Sebastian Jitaru
字号:
arXiv:2611.17472v1 公告类型:新 摘要:神经网络集成已多次被证明优于单个网络。集成理论将这种增益归因于个体成员的准确性及其之间的多样性。专家混合模型已经结合了许多专家,但单个路由器决定如何对每个输入对专家进行加权。受集成理论的启发,我们将集成应用于路由步骤:与专家联合训练的路由器集成提出专家权重。我们使用参数不足的网络在两个图像分类和两个表格回归任务上系统地评估这种方法。我们通过路由器整体的性能多样性分解来分析每个实验,据我们所知,以前还没有为路由器开发过这种分解。我们报告了四项发现。首先,更多的路由器会降低验证损失。其次,训练路由器以明确最大化专家多样性,提高了四项任务中三项的平均性能。第三,明确最大化路由器多样性对性能没有影响。第四,将路由器权重与算术平均值相结合比将它们与几何平均值相结合效果更好。路由从集成中受益匪浅,但这种好处被训练额外路由器的计算成本所抵消。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱