文章推荐 | 一种基于ViT的可穿戴柔性外骨骼的地形识别系统

时间:2023-05-09点击:

视频赏析

内容摘要

复杂环境下外骨骼的地形识别和辅助助力策略是当前的研究热点。对于可穿戴的柔性外骨骼而言,不精确的地形识别结果容易导致不合适的辅助助力,使得佩戴者受伤。为解决此问题,本研究在外骨骼系统中配置深度摄像机,首次将视觉自注意力(Vision Transformer,ViT)算法引入到外骨骼的环境感知中识别地形,并结合识别结果优化外骨骼控制策略。通过对7名(6名男性和1名女性)身体健康的受试者的跟踪实验,建立了 TRS-EXO-Net 数据集。在6种不同地形环境下,本文所提方法的分类准确率可达99.2%,控制器可以在不同的地形下平滑地切换辅助助力策略,从而能够更好地适应复杂地形,提高行走效果。

图文导读

(一)复杂地形下外骨骼机器人的人机交互机制研究包括外骨骼本体设计、传感采集与数据预处理、地形环境识别、步态相位估计以及控制策略助力优化(图1)。

图1 基于多模融合的柔性助力外骨骼机器人复杂地形下人机交互机制

(二)地形识别系统如图2所示。文章首次采用 ViT 模型(图3)识别地形环境,模型输入为深度相机实时获取的外骨骼周边环境信息,输出为地形环境识别结果。

图2 基于 ViT 的地形识别系统

图3 Transformer 内部详细模型构造

(三)轻质柔性外骨骼控制系统包括导纳控制器、位置控制器、致动器、穿戴者、外骨骼服、深度摄像机、IMU、步态识别和力发生器,如图6所示。通过深度摄像机获取穿戴者周围的环境信息,以图片形式发送到树莓派中,并基于 ViT 模型识别地形环境,利用IMU获得人体关节的角度和角速度信息,分析人体的步态周期。结合周围环境预测步态周期,生成辅助力Fdes的执行时间。最后,通过导纳控制器调整系统误差,使电机输出精确的力并作用于身体,并通过力反馈Pt和电机位置反馈PM来降低误差ep

图6 轻质柔性外骨骼控制系统

(四)本文构建的数据集总共包含31399张图片,其中下坡(DR)5329张,下楼梯(DS)5079张,水平地面(LG)5389张,上坡(UR)5308张,上楼梯(US)5330张,其他图像(OTS)4964张。

(五)通过一名健康男性受试者(受试者0)验证了本文提出的地形识别系统的精度,其穿戴外骨骼的效果如图7所示。

图7 穿戴外骨骼的受试者0

在DR、DS、LG、OTS、UR和US 6种地形环境下,ViT模型的平均分类准确率分别为99.29%±0.71%、99.19%±0.79%、99.53%±0.57%、99.05%±0.9%、99.30%±0.95%和99.29%±0.71%,如图9所示。

图9 不同地形环境下ViT模型识别的精度

从地形类型数量、实验人员数量、分类精度和数据集的大小等方面对比分析了SVM、CNN、贝叶斯神经网络、无监督学习和本文所提算法的识别性能,如表1所示,本文提出的 ViT 识别模型的精度明显高于其他算法。

表1 不同识别算法的性能分析

(六)控制策略助力实验验证外骨骼的作用是在行走过程中为佩戴者提供实时和适当的帮助,因此本研究主要关注控制器的响应时间和稳定性,对跟踪精度的要求相对较低。在不同地形上对受试者0的跟踪实验结果如图10所示,其中LG−0为期望的功率辅助曲线,LG−1为检测到的实际功率辅助曲线。虽然柔性外骨骼的磨损位置不均匀,但无论磨损位置如何,跟踪结果都与所需的辅助力相似。

(a) 平地助力

(b) 上坡助力

(c) 下坡助力

(d) 助力效果对比

图10 不同地形下的助力曲线生成

本文提出了基于 ViT 模型的地形环境识别算法,并将识别结果作为外骨骼控制策略的先验知识,优化不同地形下的助力策略,使得外骨骼能适应更加复杂多变的环境。上述地形识别算法和辅助助力策略将推动柔性外骨骼、动力假肢和矫形器等相关研究的发展。

【作者信息】

Fangliang Yang1,2,3, Chunjie Chen1,3,4,*,Zhuo Wang1,2,3,Hui Chen1,2,3,Yao Liu1,3, Gang Li 5,Xinyu Wu1,3,4

1 Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, Shenzhen 518055, China2 Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences, Shenzhen 518055, China3 Guangdong Provincial Key Lab of Robotics and Intelligent System, Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences,Shenzhen 518055, China4 Guangdong-Hong Kong-Macao Joint Laboratory of Human–Machine Intelligence-Synergy Systems, Shenzhen 518055, China5 SIASUN Robot and Automation CO., Ltd, Shenyang 110169, China* Author to whom correspondence should be addressed: cj.chen@siat.ac.cn

【DOI】

https://doi.org/10.1016/j.birob.2023.100087

【全文链接】

期刊信息

Biomimetic Intelligence and Robotics (BIRob, e-ISSN 2667-3797, p-ISSN 2097-0242, CN 37-1527/TP)聚焦仿生智能与机器人领域,主要发表高质量原创理论和应用研究成果,入选2019年“中国科技期刊卓越行动计划”高起点新刊类项目(第一批),期刊已被DOAJ和Scopus数据库收录。

涉及领域包括但不限于:仿生设计、仿生材料、仿生驱动与感知、工业机器人、服务机器人、特种机器人、医疗机器人、微型和纳米机器人、软体机器人、外骨骼系统、机器学习、人机交互、运动学和动力学、运动规划与控制、自主系统、多机器人系统等。期刊接收包括原创研究论文、综述、短篇通讯等多种类型的文章,目前对作者和读者均免费,平均审稿周期30天,诚邀广大学者将高质量的创新成果投稿至本刊。期刊将为仿生智能和机器人领域最具创新性的新发现和最具影响力的应用提供国际交流平台,以促进机器人学、仿生学和人工智能领域的进步和原创性贡献。

期刊官网:

https://www.sciencedirect.com/journal/biomimetic-intelligence-and-robotics

期刊联系方式:

bir@sdu.edu.cn

投稿网址:

https://www.editorialmanager.com/birob/default1.aspx