电子皮肤作为人机交互界面的机器人VR,真实再现触觉感知,助力元宇宙现实落地

人机界面(Human-Machine Interfaces,HMIs)是用户和机器及机器人之间互动的媒介。

远程操作机器的 HMIs 在医疗健康(非接触性生物样本收集或护理传染病患者)、沉浸式游戏或社交、教育培训、假肢或外骨骼控制和极端环境操作等众多领域都有着巨大应用价值。

图 | 机器人 VR(来源:Science Advances
然而,传统的 HMIs 在可穿戴性、舒适性和功能方面有较多限制,其使用的机器笨重且昂贵,同时还缺乏足够的反馈。因此,开发具有精确传感和反馈功能的闭环(Closed-Loop,CL)HMIs 变得十分重要。
近日,香港城市大学团队提出了一种基于皮肤集成电子设备的 CL- HMIs 系统。该电子设备与人的全身兼容,可通过近场通信(NFC)、蓝牙、Wi-Fi 乃至全球范围内互联网进行无线运动捕捉和触觉反馈。通过皮肤集成的电子设备将视觉和触觉感知集成到机器人 VR 的 CL-HMIs 中。
相关论文以《电子皮肤作为机器人 VR 的无线人机界面》(Electronic Skin As Wireless Human-Machine Interfaces For Robotic VR)为题发表在 Science Advances 上[1]。香港城市大学生物医学工程系博士生刘一明为该论文第一作者,香港城市大学软生物电子学实验室(Lab of Soft Bio-electtonics)负责人于欣格为通讯作者。
据了解,香港城市大学软生物电子学实验室致力于开发柔性触觉反馈界面、可穿戴电子和生物电子器件,例如可以真实再现触觉感知的皮肤 VR、具有兼容物理和化学特性的生物医学电子设备,以及实时健康监测产品。同时,该实验室还进行多学科研究,以应对实际应用中的挑战。
为了打造新型生物集成电子器件,该实验室专注于开发和工程化功能材料、设计和制作用于传感、控制和驱动的不同尺度传感器件、集成和优化系统级电子设备。
该论文中介绍了一个皮肤集成电子系统,其可作为一个带有类皮肤传感器和小型化软驱动器的无线控制 HMIs。同时,研究团队对它的材料选择、设备设计、集成策略和系统布局也做了完整说明。
近年来,柔性电子设备得到快速发展。目前,各种柔性传感器被用来检测电生理信号,如脑电图、眼电图和肌电图或捕获人体运动,这些信息同时被转换为机器人控制指令。

(来源:香港城市大学软生物电子学实验室)柔性传感器可以直接安装在身体的不同关节,并能够准确捕捉身体不同程度的弯曲变化。此外,相同的传感器还可作为机器人上的压力传感器,用于检测机器人的活动。
然而,目前的柔性/可穿戴式 HMIs 只能从身体的局部(例如手或手臂)获取信息,而且,由于缺乏必要的自我调节行为反馈系统,其很难在动态环境中执行复杂任务。
因此,为了进一步提升先进机器人的控制,闭环可穿戴系统的 HMIs 的发展极其关键。
作为下一代 HMIs,CL- HMIs 能够灵活地与皮肤集成,准确捕获广泛的身体运动信息;且具有远程无线传输功能,在联网情况下,用户在世界任何角落都能发布指令来操作目标设备。
同时,其还拥有良好的反馈系统,用户可从机器人那里同步接收信息,以及时进行指令调整。
CL-HMIs 系统通过视觉、听觉和触觉 VR 结合的方式与机器人进行交互,实现了机器人 VR 的广泛应用。

图 | 皮肤集成的 CL-HMIs 的原理图(来源:Science Advances
从上图可看到,护士戴上 CL-HMIs,便能通过远程操作机器人来虚拟读取温度计示数。
而当 CL-HMIs 用在假肢或外骨骼上时,用户可以根据触觉反馈的强度,精确地控制假肢的弯曲角度和力量。这弥补了传统技术中反馈不足的问题,可以更为精细地对机器人进行控制与感知。
另外,研究测试结果还显示,柔性传感设备能够长时间稳定运行,不会轻易从皮肤脱落。

图 | CL-HMIs 在远程操作机器人中的控制和反馈功能的演示(来源:Science Advances
然后,当人们身穿 CL-HMIs 系统的电子皮肤,可通过 VR 与机器人进行实时交互,完成各种复杂的任务,包括蹲伏、房间清洁和病人护理等。

图 | CL-HMIs 在机器人 VR 应用中的演示(来源:Science Advances
值得一提的是,如今,新冠疫情仍在全球蔓延。为了排查病毒感染者,人们通常都需要做核酸检测。而利用机器人 VR 技术,医务人员可在实时视觉信息和触觉反馈的帮助下,通过远程操作机械手来进行鼻咽拭子的样本采集。这既能减轻有限的医疗资源及人力压力,又可减少医务人员暴露于传染性环境的风险。
除此之外,近来,元宇宙(Metaverse)概念大热,虽然其目前还没有一个统一的定义,未来发展也有待商榷,但 VR 普遍被认为是其一个入口,不少科技公司都在此有着巨大投入。而触觉反馈技术在一定程度上决定了元宇宙概念的高度。比如,声称为了全力发展元宇宙而改名为 Meta 的 Facebook,近期也展示了一款触觉手套,可让佩戴者在 VR 中体验现实中的一系列真实感觉。
最后,总的来说,该论文中介绍的皮肤集成 CL-HMIs,在形式和功能上与以前的可穿戴式 HMIs 都有着明显区别。其对人机交互系统中材料、设备和集成方案的广泛实验和理论研究,为机器人 VR 的开发奠定了坚实的基础。

-End-

参考:
1、Liu, Y., Yiu, C., Song, Z., Huang, Y., Yao, K., Wong, T., Zhou, J., Zhao, L., Huang, X., Nejad, SK., Wu, M., Li, D., He, J., Guo, X., Yu, J., Feng, X., Xie, Z., Yu, X., Electronic Skin as Wireless Human Machine Interfaces for Robotic VR, Science Advances, 2022(8).
DOI:10.1126/sciadv.abl6700

雪球转发:3回复:0喜欢:2