智能AI
morning
FusionSense：用于运行时自适应多模态边缘智能的三级近传感器学习
2026-05-25
1 阅读
Sanggeon Yun, Ryozo Masukawa, Minhyoung Na, Hyunwoo Oh, Yoshiki Yamaguchi, Wenjun Huang, SungHeon Jeong, Mohsen Imani
arXiv:2605.22868v1 公告类型：新 摘要：自主系统和智能工业部署越来越多地将计算分散到近传感器、边缘和云资源中，其中紧张的能源、延迟和可靠性预算需要运行时自适应性。在实践中，决定在每个点计算和传输什么是关键；然而，随着多模态传感器套件（摄像头、激光雷达/深度等）在边缘激增，大多数先前的方法要么（i）在强大的服务器上融合模态，要么（ii）应用忽略跨模态依赖性的单模态近传感器滤波器，从而导致冗余传输或丢失事件。我们推出 FusionSense，这是一种用于能量受限自主边缘系统的融合感知智能传感框架。轻量级近传感器分类器通过三步程序进行训练：（i）服务器端融合模型学习下游任务，（ii）滤出安全（FoS）标签量化每种模态相对于融合决策的必要性，以及（iii）通过注入近传感器预测作为辅助信号来压缩边缘侧融合模型。结果是运行时决策层共同减少了计算和通信，同时随传感器数量线性扩展。在采用 SynDrone 的双模态（RGB+深度/LiDAR）设置上，FusionSense 能够以比单模态滤波器高得多的数据缩减率维持任务质量，并提供巨大的端到端增益：在 FoI 普及率为 1% 时，能耗降低高达 33 倍；在 10% 时，能耗降低 11 倍；在数据缩减固定为 30% 的情况下，质量损失降低 92.3%；与先前最佳滤波相比，节能大约提高 1.5 倍基线。