智能手套让手“说话”

         世界总人口中，大约有15%的残障人士，其中2%至4%的人面临严重的功能性障碍。如何用科技改善他们的生活是热门的科研攻关议题。 近日，美国加州大学洛杉矶分校（UCLA）研发出一款手语识别手套。用户戴上手套后，可通过手机App将手语即时转化成语音，借此可与不懂手语的人进行沟通。该手套识别准确率达98.63%，比其他手势识别手套更舒适、体积更小、成本更低。除了进行手语交流，该手套还可作为输入装置用于医疗、虚拟现实（VR）等领域。相关研究结果已发表于《自然—电子学》。 设备研发难 当前，手语识别技术主要有两大类，一类是基于可穿戴设备的手势识别技术，包括数据手套、智能手环等；另一类是基于计算机视觉算法的手势识别技术。 这两类技术都不够完美。北京联合大学特殊教育学院讲师关忠介绍，第一类技术识别率较高，但需要额外的设备，成本高且较难普及。第二类技术不需要额外的设备或设备成本较低，但基于现有视觉算法，导致识别准确率较低，还需要进一步研发。 手语识别手套能够感知手部动作的关键在于传感器。关忠长期从事手语识别研究，据他介绍，手语识别手套一般内置弯曲压力传感器、表面肌电传感器、陀螺仪和加速器等传感器设备。 具体来说，弯曲压力传感器由柔性电路板、力敏元件、弹性封装材料等组成，主要感知手指和手掌的弯曲程度；表面肌电传感器附着在手部肌肉表面，通过电极引导获取手部神经肌肉系统活动时的生物电信号；陀螺仪用于感知手语手势的方向和角度；加速器用于感知连续手语动作时的快慢程度。 除此之外，手语识别手套一般还配有无线传输设备，如蓝牙，用于把获取的数据快速传递给数据处理芯片。 看似简单的过程却因为手部丰富多样的动作困难重重。“手语识别手套的技术难点主要是，如何通过内置设备获取手指和手掌的弯曲度、位置、手势速度、手势方向等数据，并通过何种算法识别出手势所表示的含义。”关忠告诉《中国科学报》。 用户体验差也是阻碍手语识别手套发展的原因之一。“一些使用者认为戴着手套打手语并不方便，尤其是可能会影响做出个别手语手势。此外，携带不方便、手套尺寸与人手不适配等也是研究人员必须面对的问题。”关忠说。 除用户体验，成本也是压在手套上的“大山”。清华大学计算机科学与技术系教授孙富春介绍，传感器的大量应用提高了识别精度的同时，也增加了成本。“我们研发的相似类型产品的成本达到数万元，阻碍了其大规模应用。提高精度、降低成本、小型化仍是研发的主要目标。”孙富春说。 在论文中，UCLA助理教授Jun Chen说，该原型手套比其他设计更舒适、更小巧，并且这些零件的成本仅为50美元左右，在大规模生产时成本有望更低。 精度提升难 事实上，提高识别准确率并不容易。中国科学院重庆绿色智能技术研究院工程师彭敏表示，准确捕捉手势动作意味着排除噪声的干扰，如出汗情况下能否准确采集、能否排除无意图的肢体动作等。“表达者的手势动作也可能并没有那么规范、标准，如何准确进行理解也是手语识别手套研发的难点之一。”彭敏说。 由于生活习惯、民族文化等差异，不同人使用相同手势的意图也不尽相同，“甚至表达的是完全相反的意思。” 孙富春说，“如何将同一意图的手势翻译成不同语种也是研究难题。” 同济大学电子与信息工程学院副教授王睿进一步表示，如何将复杂、连续的手语翻译成长句子一直是技术难点。中国的手语大约有5000多个词汇，如果用连续手语表达复杂句子，涉及到语义理解，会相对较为困难。 Jun Chen等研究人员借助一层薄而且可延伸的传感器，增加面部信息感知，使手势识别手套能够以每秒一个字的速度，实现660种手语的翻译，精度高达98.63％。 彭敏认为，增加面部信息感知对把握手势的情感倾向有较大帮助，但局限性也比较明显。“情感表达是一个复杂的过程，人的语言、情感并不一定都通过面部表情表达，某些时候面部表情可能失效。”彭敏说。 关忠也表示，增加面部信息感知功能，在一定程度上可以提高手语识别手套的准确率。但由于面部表情的复杂性和获取技术的局限性，如果面部信息获取不完整或错误，反而会大大降低识别率。 应用需跨越逻辑障碍 20世纪八九十年代，手语识别手套就已经形成雏形。经过近40年的发展，其识别的准确率逐渐提高。但与预期不同，手语识别手套并未让“手语—口语”交流成为常态。 有观点认为，手语识别手套面临严重的逻辑问题，其只解决了单向问题，即聋哑人的语言输出，还无法将语音翻译成手语，不能形成一个完整的交流闭环。 关忠表示，手语翻译为文字或语音，与文字、语音翻译成手语，是两种完全不同的技术路线。一般手语翻译手套只能将手势翻译成语音、文本等。与之相对，语音翻译为手语的实现方式主要有两个，一是使用仿生学的机器人，设计非常复杂、成本高；二是使用计算机的虚拟人技术，目前以虚拟手语主播的应用最为广泛。 这是否意味着手语识别手套的应用存在逻辑障碍呢？UCLA的研究人员指出，该手套也可以作为一种教育工具，帮助更多人学习手语。 “手语的手势种类非常多，如果手套能够较好地识别出手语手势，那么其在其他领域，比如医疗、VR等，也有非常好的应用前景。”关忠说。 王睿也认为，手势识别手套的应用领域较多。不过，在医疗中大规模应用的前提是，保证绝对的可靠性和较高准确率；在VR应用中，则可用于VR教学，使教师能够通过手势调整所展示的作品的角度等，提升教学效果。 相关论文信息：https://doi.org/10.1038/s41928-020-0428-6

本文由： 科学技术创新杂志社编辑部整理发布，如需转载，请注明来源。

科学技术创新杂志社

2020/07/24