视频赏析
内容摘要
本文提出了一种基于单目视觉的人员跟随方法，可使四足机器人能够在室内和室外不同光照条件下跟踪目标人员。系统由人员检测器、卡尔曼滤波 (KF) 跟踪器和重识别模块组成。具体来说，人员检测器使用人体姿态估计方法来检测行人；KF跟踪器预测目标人员的位置，并利用检测结果更新目标人物的状态；此外，基于处理干扰的重识别模块利用卷积通道特征 (CCF) 来提取所有人员的外观特征，并使用 Online Boosting 增强算法将目标人和其他人区分开来。本文设计了一种基于递归神经网络 (RNN) 的目标再捕获机制，将目标人员的运动信息与外观特征相结合，能够提高识别目标人员的准确度。实验结果表明，本文所提出的方法无需额外定制标记，仅使用单目相机就能实时稳定地跟踪目标人员，实验验证了该方法的鲁棒性和有效性。
图文导读
(一) 目标人员的检测。采用基于人体姿态算法的人员检测 OpenPose 实时提取每一帧中的相关区域 (ROI)，如图3所示。OpenPose 可实时检测每一帧图像中行人的二维姿态，并提供18个人体关节点的位置信息。利用颈部关节点和脚踝关节点作为 ROI 区域的关键点，计算得到边界框 (Bounding Box) 的中心点。基于颈部关节点、脚踝关节点以及中心点，得到每个行人的边界框，该边界框将作为后续提取特征的 ROI 区域。
图3 人员检测器检测结果
(二) 人员分类。分类模块由一个基于 CCF 的特征提取器和一个 Online Boosting 在线增强分类器组成，如图4所示。CCF 由几个卷积层组成，这些卷积层取自经过训练的 CNN 网络。在训练 CNN 阶段，两个输入图像分别提取特征，CNN 网络输出判断输入图像是否为同一个人，训练结束后，取前两个卷积层作为 CCF 特征提取器；在人员分类阶段，Online Boosting 算法利用 CCF 的输出将人分类为目标或非目标，并将几个弱分类器组装成一个强分类器，每个弱分类器调整自身参数以适应输入。
图4 分类模块组成
(三) 目标丢失后的重识别。采用 RNN 网络将目标人员的外观特征和运动信息相结合。如图6所示，ID1 代表目标人员，ID2、ID3 和 ID4 分别代表其他行人；实线框代表实际的检测边界框，虚线框代表 RNN 预测的边界框；曲线代表每个行人的轨迹。当目标人员被标记为 ID2 的行人遮挡时，机器人丢失目标。通过目标重捕获机制，机器人可以重新识别目标人，而不会将其他行人误识别为目标。
图6 重识别过程
为了评估目标重新识别的有效性和鲁棒性，本文使用收集的数据流测试了使用（w/）RNN 和不使用（w/o）RNN 的目标重新识别模块的性能，采用的性能指标是跟踪精度和 ID 切换次数，实验结果如表1所示。通过实验证明了使用RNN 模块的人员跟踪方法性能更优良，跟踪精度更高，ID切换时间更短，尤其是在光照条件较差或目标外观特征与其他相似的情况下，而未使用 RNN 模块的机器人的 ID 切换次数和重新识别错误次数更多。
为了展示所提出方法的优势，将本方法与 KCF、TLD、DSST 和 CNN进行对比。在用于比较实验的数据流每一帧中手动标记领航员的边界框，并作为基准。评估指标包括精度和成功率，实验结果如图10所示。与其他几种方法相比，本文提出的人员跟随方法具有更高的精度和成功率。
图10 与其他方法的对比结果
最后，为了在真实环境中评估本方法的性能，本文采用四足机器人平台在室外环境进行了长期实验。在整个过程中，TX2 开发板负责接收和处理摄像头数据，并向机器人发送控制命令。机器人能够实时检测目标人员，并进行稳定跟随，如图1所示。在长期跟踪过程中，机器人始终可以稳定地跟随目标，由此表明本文提出的方法可以实现四足机器人实时稳定的人员跟随。
图1 真实实验
【作者信息】
Jinhao Liu1，Xiangyu Chen1，Chaoqun Wang1，Guoteng Zhang1，Rui Song1,2
1 School of Control Science and Engineering, Shandong University, Jinan 250002, China
2 Shandong Research Institute of Industrial Technology, Jinan 250061, China) Author to whom correspondence should be addressed: chaoqunwang@sdu.edu.cn，rsong@sdu.edu.cn
【DOI】
https://doi.org/10.1016/j.birob.2022.100058
【全文链接】
期刊信息
Biomimetic Intelligence and Robotics (BIROB, ISSN 2667-3797, CN 37-1527/TP)聚焦仿生智能与机器人领域，主要发表高质量原创理论和应用研究成果，涉及领域包括但不限于：仿生设计、仿生材料、仿生驱动与感知、工业机器人、服务机器人、特种机器人、医疗机器人、微型和纳米机器人、软体机器人、外骨骼系统、机器学习、人机交互、运动学和动力学、运动规划与控制、自主系统、多机器人系统等。期刊接收包括原创研究论文、综述、短篇通讯等多种类型的文章，目前对作者和读者均免费，平均审稿周期30天，诚邀广大学者将高质量的创新成果投稿至本刊。期刊将为仿生智能和机器人领域最具创新性的新发现和最具影响力的应用提供国际交流平台，以促进机器人学、仿生学和人工智能领域的进步和原创贡献。
期刊官网：
https://www.journals.elsevier.com/biomimetic-intelligence-and-robotics
投稿网址：
https://www.editorialmanager.com/birob/default1.aspx
