智能AI
morning
尖峰神经网络的仿生尖峰编码和优化
摘要
arXiv:2611.23242v1 Announce Type: new Abstract: Spiking Neural Networks (SNNs) offer theoretical energy-efficiency advantages over conventional deep networks, but realizing these advantages on vision ...
and
spike
rate
coding
accuracy
MNIST
SNNs
efficiency
advantages
over
2026-11-19
1 阅读
约1分钟阅读
Ayaan Qayyum, Bruce Yi Bu, Zicong Li, Jingfeng Zhou
字号:
arXiv:2611.23242v1 公告类型:新 摘要:尖峰神经网络(SNN)比传统深度网络具有理论上的能效优势,但在视觉任务上实现这些优势需要稀疏尖峰表示,而朴素的速率编码方法无法提供。我们将生物驱动的尖峰编码方案与两项训练改进相结合:Rouser 自适应阈值代理梯度和克罗内克因子近似曲率 (K-FAC) 二阶优化。试验的尖峰编码方案包括速率编码、延迟编码、DVS 式增量调制和高斯差分 (DoG) 滤波。 MNIST 和 Fashion-MNIST 上的实验表明,受生物学启发的编码器在容量受限的情况下可产生最大的准确度增益,并可作为有效的参数效率杠杆。 DoG 和增量调制编码器产生的尖峰序列比速率编码要稀疏得多。与 Adam 训练的基线相比,K-FAC 产生了适度但一致的准确性改进,而 Rouser 的可学习每个神经元阈值通过实现稳态放电率调节,将 Fashion-MNIST 准确性从 87.37% 提高到 88.13%。基于生物学的预处理方法可以帮助缩小 SNN 和非尖峰基线之间的准确性差距,而无需增加模型大小。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱