仿人机器人的视觉跟踪交互设计

1、基于视觉的人机交互技术是机器人应用领域的一个研究热点。近年来基于视觉的交互技术发展迅速，与其他交互方式相比，基于视觉的交互弹性较大，既可用于较大范围的交互也可用于较小范围的交互；使用方便，不需要高昂的设备，只需一些普通的摄像设备即可，对交互的语言，形态等限制也相对较少。视觉是机器人系统的一个关键技术，它赋予机器人一种高级感知功能，为机器人系统提供目标物体的实时图像信息和空间位姿信息，使得机器人系统能以智能和灵活的方式对其周围环境做出反应，提升机器人系统操作的可靠性和安全性。当人借助视觉交互工具主动参与和控制机器人行为时，机器人系统比无人时运行更为有效，具有更强的容错性。视觉系统可将机器人所处的

2、状态、环境以及工作阶段直观地反馈给操作员，以便操作员在动态任务下进行更好的控制，完成动态任务。对于机器人视觉交互的研究而言，早期的研究主要集中在利用鼠标进行界面的交互、虚拟交互上14，而对基于信息的视觉跟踪交互研究目前尚处于起步阶段。虽然前人已进行了很多机器人视觉交互的研究，但因为环境复杂、任务动态、信息量大等问题也给机器人视觉交互的研究提出了新的要求与挑战。因此，研究实时、可靠、精确的机器人视觉交互选择是非常必要的。TLD算法是Dr.ZdenekKalal5_8在2007年到2010年间提出来并持续完善的，其将跟踪、学习和检测融合在一起，相互作用。在跟踪目标的同时，学习目标的特征，并通过检测

3、器实时检验特征的准确性，进行反馈验证'减小误差。本算法适合长时间跟踪，可以克服目标遮挡和丢失的问题，具有实时性和精确性。近年来受到了很多学者的广泛关注，并在持续地研究改进。根据TLD算法的特性，本文采用此方法对目标进行跟踪，根据跟踪结果定义控制语义，实现基于视觉跟踪的机器人交互。1 仿人机器人NAO平台简介NA0是由AldebaranRobotics公司开发设计的仿人机器人。结合前沿技术以及专为NA0开发的编程环境，使用者可以根据自己的设计对NA0进行编程，赋予它听、说、看、感知等能力，实现机器人与人、机器人与机器人之间的交流。NA0能力出众、动作流畅、是仿人机器人中的佼佼者。NA0机

4、器人身高58cm，重4.8kg;有25个自由度，配有惯性导航仪和闭环控制系统，具有撅握能力的双手；配有多种传感器，包括超声波传感器等；CMOS摄像头，同步动态随机存取存储器；CRJ为AMDGeode86500MHZ;无线网际网络和以太网端口，灵活的操作系统选择，可以在Linux、Windows等操作系统下编辑；可以进行声音合成、语音识别、视觉识别和探测障碍物等；开放式编程框架，用户可以根据自身专业水平选择适合自己的高级编程语言，如C+,MATLAB等。NAO有广泛的应用，可将其应用于多领域的研究平台、技术教育平台、科技竞赛平台、家庭服务、展览展示等。本文主要在展览展示背景下，以NAO为应用平台

5、，使用NAO的摄像机，进行复杂背景下视频的实时采集,将视觉跟踪技术应用于NAO机器人，以自然的方式完成人机交互展示。2 基于目标跟踪的交互信息识别方法为建立完整的复杂背景下的机器人交互平台，在视觉跟踪算法的基础上，本文提出了一种控制NAO运动的跟踪理解算法，这种算法简单而高效地将跟踪算法获得的对象运动轨迹匹配为不同的语义，采用两种交互形式，一种是自动检测视频中的运动物体进行跟踪，另一种是手动选择感兴趣的物体进行跟踪。这样做既丰富了交互形式，也使得NAO面向具体动态交互任务具有较好的处理能力。在具体的实现中，当确定跟踪目标之后，该算法首先确定目标往哪个方向走，因为跟踪目标过程中采用最小矩形的形式

6、，所以先获得最小矩形的中心作为目标移动的中心点，根据中心点的坐标，确定目标移动的方向。设移动前中心点的坐标为（心九），移动后目标中心点的坐标为（4,凡），根据坐标关系，当目标上下运动时，横坐标的变化是0,当目标左右运动时纵坐标的变化为0,但是因为目标在移动过程中，不一定严格按照直线运动，会存有一定的误差，所以根据多次实验结果。但是这样定义也存有问题，因为不一定按照直线运动，除了横纵坐标分别变化以外，还可能出现横纵坐标同时变化的情况，目标是沿着倾斜的方向运动的，那么这样定义就无法对目标的运动进行准确的理解，所以还要调整理解算法，使其更加精确。在上面讨论的基础上，本文引人文献9中的目标矢量。首先将

7、整个摄像画面分为9个区域，如图1所示。其中5区域作为目标中心点区域，其余的分别代表不同的运动方向。当跟踪的目标从5区域转移到其他对应的区域时，则表示相对应的动作，因为区域的范围较大，所以可以有效防止相机或目标抖动引起错误的理解。NA0机器人完成一个动作需要特定的时间，所以当其接到向某一方向的运动命令之后，完成每个动作都应留有充足的时间。在做动作期间，目标的运动是不起作用的，当前运动结束后，才会继续检测运动目标的中心，这样做不会出现混乱的情况。使用这种机制，利用目标的跟踪就可以发出动作控制的命令。具体的人机交互系统的控制语义定义如图2所示。仿人机器人NAO有很多动作，控制也较为灵活，本文仅仅进行

8、了简单的实验，用于验证基于跟踪交互的准确性和实时性，实现自然的人机交互，实际应用过程中可以根据实际的需要更改NAO的动作，实现动态任务完成交互。3 系统设计与实现本系统以仿人机器人NAO为实验平台，实验计算机为Ahref="mailto：CPUE55002.80GHz">CPUE55002.80GHz</A>，2GB内存将C+、OpenCV和Matlab程序在MatlabR2009a环境下运行，进行交叉编译完成程序运行。使用仿人机器人NAOv4.0版本的摄像头获取视频图像，作为实验资源，摄像头的型号为MT9M114,本文中使用的图像是RGB格式，分辨率为3

9、20x240,帧率为30帧/s。控制对象为仿人机器人NA0,无线网络实现NA0机器人与PC机相连，通过PC机发出相关指令，实现对NAO机器人的动作控制。人机交互系统的硬件设备框图如图3所示。交互者根据任务，选择交互方式，如果是自然交互，那么背景中只有一个运动目标，系统自动跟踪进行交互；如果手动选择感兴趣目标，就在PC机界面上选择自己感兴趣的目标，后续的跟踪和动作控制可以由系统自动实现。因此，根据目标运动轨迹的不同，通过跟踪理解算法，转化为不同的控制命令，通过无线网络传输到NAO机器人中，实现了复杂背景下的视觉跟踪交互。系统的软件实现框图如图4所示。4 实果与分析为了验证本文机器人交互系统的有效性，本节对该系统进行了一系列的实验，实验结果如图5所示。从图5、图6中可以看出，该交互系统可以对于目标的上下左右运动、目标窗口尺寸大小变化的情况实现较好的跟踪，没有时间延迟，跟踪