EchoMotion:普通智能手表用超声波和AI实现全身动作追踪

康奈尔大学的研究人员推出了 EchoMotion 系统,可将普通智能手表变为全身动作追踪器。该技术仅使用手表内置的扬声器和麦克风,结合轻量人工智能模型,无需摄像头、额外传感器或定制硬件。

其原理类似声呐:扬声器发出人耳听不到的超声波,在人体周围形成一个声波气泡,麦克风捕捉手臂、腿部和躯干反射回来的回声。深度学习模型将这些回声模式转化为从头部到脚踝共12个关节的位置。

测试结果

在首轮测试中,10名志愿者佩戴原型设备完成了18种动作。随后,研究团队将系统安装在未经改装的三星Galaxy Watch 6上,并用15名新志愿者进行测试:未经校准时,每个关节的平均误差不到10厘米;一次12分钟的校准可将误差降至约6.1厘米。

同一模型无需重新训练,也能在Galaxy Watch 7和谷歌Pixel Watch 3上运行,精度仅略有下降。一项健身演示识别了深蹲、卧推等20种健身动作,准确率达95.4%,即使在音乐声约76分贝的真实健身房中也能正常工作。

能效与隐私

该系统非常轻量:完整软件包不到30MB,超声波感应的功耗约为12毫瓦,约为可穿戴摄像头系统的四十分之一。在Galaxy Watch 6上进行30分钟追踪仅消耗5%至6%的电量。

由于不使用摄像头,EchoMotion还能保护佩戴者及周围人的隐私,并减少需要处理的数据量。观察到的主要局限是在拥挤的走廊中,附近行人的回声会降低精度。

下一步

目前,EchoMotion仍是一个研究项目,并非在售手表上的功能。团队正在研究其在健身追踪(计数、纠正姿势)和居家康复训练中的应用。研究人员还在探索将其与智能眼镜的第一人称视觉相结合,用于追踪用户手持的物体。

该论文于10月13日在上海举行的UbiComp/IWSC会议上发表,并刊登于《ACM交互、移动、可穿戴与普适技术汇刊》(Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies)。这项工作来自康奈尔大学SciFi实验室,由程章(Cheng Zhang)教授领导,第一作者为博士生赛义夫·马哈茂德(Saif Mahmud),研究获得美国国家科学基金会资助。

图片来源:三星(官方图片)——Galaxy Watch 6,即EchoMotion测试中使用的手表。

来源:Cornell Chronicle;Digital Trends;Nanowerk。

透明声明:本文在人工智能的辅助下完成,并交叉核对了X上的公开帖文与互联网来源。请查阅原始来源以确认细节。

Muse