用于设备上机器学习的全传感智能眼镜平台

arXiv:2607.16222v1 发布类型：新 摘要：本文介绍了 ARGO，这是一个智能眼镜平台，旨在连接人体工程学舒适度、高计算吞吐量和能源效率。与依赖于云的解决方案不同，ARGO 利用 STM32N6 微控制器及其集成神经处理单元 (NPU) 来实现设备上机器学习，通过本地数据处理最大限度地减少延迟并保护用户隐私。主要贡献在于硬件、固件和人工智能的整体协同设计，重点是部署优化的 YOLOv11 模型以进行实时城市障碍物识别。为了确保与目标 NPU 的兼容性，我们引入了 Head-wise Parallel Attention (HPA)，这是一种架构改进，可以在保留原始计算逻辑的同时实现高效的加速器执行。该模型在 Walking On The Road (WOTR) 数据集上进行训练，最终部署的配置在严格的内存限制下实现了 24 的 mAP50-95，内存占用仅为 2.483 MB。该平台集成了多模态传感器套件、RGB 摄像头、飞行时间传感器、麦克风和环境传感器，并使用 200 mAh 电池以约 113 分钟的连续自主时间提供 10 FPS。这些结果证明了高性能、隐私保护和社会可接受的辅助设备的可行性，并强调了具有竞争力的人工智能解决方案如何日益需要紧密集成的多学科协同设计方法。