模块化软穿戴手套用于实时手势识别和动态三维形状重建-计算机科学-人机交互-动态重建.pdfVIP

模块化软穿戴手套用于实时手势识别和

动态三维形状重建

11221

HuazhiDong,ChunpengWang,MingyuanJiang,FrancescoGiorgio-Serchi,andYunjieYang

Abstract—随着人机交互（HCI）需求的增加，柔性可穿戴法并能达到高精度，但其有效性受到环境因素和遮挡

手套在虚拟现实、医疗康复和工业自动化等领域中成为了一种[5],[6]的限制。另一种策略利用人体双手固有的特性，

有前景的解决方案。然而，当前的技术仍存在灵敏度不足和耐

如表面肌电图（sEMG）[7],[8]和褶皱放大[9]来推断

用性有限等问题，阻碍了其广泛应用。本文提出了一种基于线

状电极和液态金属（EGaIn）的高度敏感、模块化且柔性的电容手势。这些方法通过利用生理信号提供强大的传感能

传感器，并将其整合到一个根据人手解剖结构定制的传感模块力，但通常需要紧密的皮肤接触，并且模型需要逐个

中。该系统能够独立捕捉每个手指关节的弯曲信息，而相邻手患者训练。因此，用户佩戴手套的方式的变化会显著

本指之间的额外测量则使得记录细微的手指间距变化成为可能。

影响传感器的性能和有效性。更直接的方法采用应变

译这种设计使使用点云进行复杂运动的准确手势识别和动态手部传感器，将机械变形转换为电信号。这些传感器能够

形态重建得以实现。实验结果表明，基于卷积神经网络（CNN）

中和多层感知器（MLP）的分类器在30种手势中实现了99.15%在不依赖相机辅助或完美贴合手部的情况下捕捉手势

2的准确率。同时，基于变压器的深度神经网络（DNN）能够以运动。此类应变传感器根据传感原理进一步分类，包

v2.0763.231毫米的平均距离（AD）精确重建动态手形，个体

3关键点的重建精度超过了SOTA基准9.7%到64.9%。所提出的括电阻式[10]–[18]、电容式[19]–[24]、光学[25],[26]

8

9手套在手势识别和手部重建中表现出卓越的准确性、鲁棒性和和摩擦电[27],[28]传感器。

5可扩展性，使其成为下一代人机交互系统的有前景解决方案。尽管应变传感器在其他传感技术中具有优势，但

0

4.在重建完整手部运动方面仍存在重大挑战。电阻式传

I.介绍

0感器易于集成和校准，但它们本质上灵敏度较低。基

5

2人类的手在日常任务和专业操作中扮演着关键角于摩擦电的传感器可以实现自供电传感，但由于长期

:

v色，因为它们具有高度的自由度（DOFs），这使得手具使用过程中持续摩擦导致材料磨损，这会降低性能和

i

x备了卓越的灵活性和精确控制能力[1],[2]。然而，传寿命[27]。相比之下，由于电容式传感器能够检测细

r

a统的刚体传感技术在适应性和响应性方面存在固有限微结构变化（如电极间距或重叠面积的变化）从而改

制[3]，难以捕捉到手部配置的全部范围。嵌有软传感变电容[19],[29]，通常提供高灵敏度、快速响应和良

器的可穿戴手套作为测量手和手指物理变形和运动的好的重复性。因此，由于这些优点，电容式传感器已

有效解决方案应运而生[4]。成为可穿戴传感的潜在候选者。然而，电容式传感器

最近，几种策略被引入以增强软手套的传感能力。组件材料的选择——包括介质层、电极和封装——对

一种方法利用基于视觉的系统，使用相机和标记来捕性能和耐用性有重大影响。先前的研究探讨了柔性电