数码硬件
morning
App+1|NodLink:AirPods变鼠标,动动大脑即可操作电脑
2026-11-18
1 阅读
约10分钟阅读
Uinui
字号:
Matrix 首页推荐 Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章,展示来自用户的最真实的体验和观点。 文章代表作者个人观点,少数派仅对标题和排版略作修改。 你的 AirPods,其实一直知道你的头朝哪 空间音频这个功能,用 AirPods 的朋友应该都试过:转头的时候,声音还停在原来的方向,就像音箱摆在你面前一样。 能做到这一点,是因为 AirPods 里装着陀螺仪和加速度计,一直在读你头部的朝向。这些数据本来只给空间音频用,但从 macOS 14 开始,苹果开放了一个叫 CMHeadphoneMotionManager 的接口,第三方 App 也能读到。 我做的 NodLink 则很简单:既然耳机知道你的头朝哪,那就让光标也跟着走。 AirPods 里的姿态传感器,每秒读取 50 次头部朝向 我希望它能帮到手不方便的朋友,例如有肢体障碍、或者长期卧床的人,用电脑这件事对大多数人来说太自然了,但对他们来说,挪一下鼠标、点一下按钮可能都很难。 为什么不用摄像头 其实苹果系统里自带了「头部追踪」辅助功能,靠前置摄像头看你的脸。但摄像头方案有几个绕不开的问题:要有光、要正对屏幕、脸还得在画面里。专门的头控鼠标价格往往要上千美元,还得额外戴个反光贴片或者传感器。 NodLink 只读 AirPods 里的传感器,全程不开摄像头。所以理论上,躺着、侧着、关了灯都不影响。对卧床的人来说,这一点我感觉挺关键的。 躺着、侧着、关了灯,都行 它能做什么 左右转头,光标左右移动;抬头低头,光标上下移动。校准之后,头部角度会直接换算成屏幕上的位置,你看向哪,光标就在哪。 转头即指向:头部朝向的延长线落在哪,光标就在哪 看东西的时候,人很少会歪头,所以歪头特别适合拿来当「按键」,和移动光标不冲突: 向左歪头再回正:单击 向右歪头再回正:右键 向左歪头不回正:按住,可以拖拽,回正就松开 同时这些都能自己改。例如把左歪头改成「按住 Fn 语音输入」,就能直接说话打字;刷视频的时候,左歪头又可以是「下一条」。 一个动作,多种映射 如果你觉得歪头不方便,也可以直接说:「点击」「双击」「右键」「上滑」「下滑」「复制」「粘贴」「撤销」「关闭窗口」……中文英文都行,「click」「command tab」这种也认。语音识别用的是系统自带的本地识别。 这里还有个小细节:你一开口,光标就会冻住,等识别完再在冻住的位置执行。不然识别那零点几秒里,头稍微一动,光标就会跑偏。按钮太小、头不好对准的时候,还可以说「标号」:头指的地方附近,能点的按钮会标上 1-9 数字,说个对应的数字就能点中;执行点击的时候,光标也会自动吸到附近能点的按钮上,并画一圈框告诉你选中的是哪个。 对想转头看别处又不想光标乱跑的情况,说一声「暂停」,再说一声「继续」就能再接着用。慢慢地歪头、或者边转头边歪头都不会被当成点击。按一下 Esc,或者碰一下真鼠标、键盘,控制权又会马上回到你手上。 实际用起来是什么样 下面的图都截自我的演示视频,戴着真的 AirPods、手不碰键鼠录的。右下角的小窗是我本人的动作。 控制台左边是歪头的角度,底下是左右转头,右边是上下点头。实际戴上之后你会发现苹果这颗传感器真的很灵敏,数值也很稳,整个头控系统就是基于它的数据来的。 实拍:控制台实时显示三个方向的头部角度 下面这是我自己画的小角色,奶蛙自己不会动,它的每个动作都来自你的头:你点头它就笑,点得越快笑得越快;你一停,它也停;转头的时候,它还会出招。 附身奶蛙:你点头,它就笑 我也在控制台里做了四个练习场景,都是平时用电脑最常做的事,可以先在这里熟悉操作。 关弹窗 。头指到按钮上,说「点击」。开口那一刻光标先停住,识别完就在停住的地方点下去。 关弹窗:头指到按钮,说「点击」 刷短视频 。左歪头下一条,说「双击」点赞,右歪头打开评论区。 实拍:刷短视频 回消息 。左歪头不回正,等于按住 Fn,用输入法说话;回正就松开,字就上屏了。最后说一声「点击」发出去。 回消息:歪头按住说话,回正上屏 点外卖 。把前面几种办法串起来:语音点选菜品、选送达时间,歪头说备注,最后下单。 实拍:点外卖,备注写「放门口」 说实话语音偶尔也会听错,录视频的时候它就把我说的「点击」听成过「天气」,这种时候什么都不会发生,再说一遍就好。 练习场景之外,我也在真实的抖音网页版上试了试:左歪头换下一条,全程不用手。(图里别人的视频已经模糊处理。) 真实抖音网页版:歪头换下一条 为了调试方便,也为了好看,我给控制台做了一个 3D 场景。第三人称视角下,能看到一个小人戴着耳机,头朝向的延长线落在哪块屏幕上;切到第一人称,就是你自己的桌面视角。 第三人称:看清头指向哪里 第一人称:你的书桌,你的光标 背后的一点原理 如果你对实现感兴趣,这里简单说几个我觉得比较有意思的地方。 校准用的是鼻尖,不是眼睛 。戴上耳机后,先用鼻尖对准屏幕正中的点,保持 2 秒,定下「正前方」。想更准,可以再做一次 30 秒左右的路径校准:先看中心和四个角,再用鼻尖跟着光标沿四边走两圈。这里一定要用鼻尖,因为 AirPods 测的是头的朝向,不是视线,只转眼珠是没用的。 防抖 。人的头不可能完全不动,光标直接跟着走会一直抖。NodLink 用了一种叫 One Euro 的滤波:头不动的时候使劲压住抖动,快速转头的时候又尽量不拖慢。 漂移校正 。AirPods 里没有指南针,左右方向只能靠陀螺仪一点点累加,用久了会慢慢偏,最后可能得把头扭向一边才能看到屏幕中间。好在用电脑的时候,人总体上是正对屏幕的,所以 NodLink 会在后台悄悄地、慢慢地往回拉。真偏多了,说一声「回中」或者按 C 就好。 技术上,Mac 端是一个用 Swift 写的小程序(我叫它「耳机桥」),负责读耳机数据、听语音指令、控制系统鼠标;校准、滤波、手势识别和 3D 场景都在一个网页控制台里,用 Node.js 和 three.js 写成。 怎么装 你需要一台 macOS 14 以上的 Mac,和一副支持头部追踪的 AirPods(第 3 代及以后、Pro、Max)。具体的安装步骤都写在 GitHub 的 README 里,跟着走就行。 装好之后按页面顶部的引导走:连接耳机 → 定正前方 → 开始头控。用到的权限和数据都只在本机处理。没有 AirPods 的话,可以直接打开 在线版 用鼠标模拟头部,先感受一下。 NodLink 目前只支持 Mac,安装也有点门槛,要开终端、装 Node.js,对不熟悉电脑的朋友不太友好,之后我也想做成双击就能装的 App。另外就是语音偶尔会听错,上面也说了,听错了再说一遍就好。 其实我最想做的是手机。手机屏幕小、按钮密,又是很多人躺着时用得最多的设备。但 iOS 不允许一个 App 去控制别的 App,纯软件做不到。所以我打算加一块很便宜的 ESP32 小板子:iPhone 上的 App 读 AirPods 的头部数据,发给 ESP32,ESP32 再以蓝牙鼠标的身份连回同一部 iPhone,借系统的辅助触控来移动光标、点击。但这都是后话了。 NodLin
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱