human computer人机交互.docx

题目：基于人机交互的视线跟踪系统指导教师：喻德旷一、 实验目的1、巩固和加深对信号与系统、数字信号处理、图像处理等相关课程的基本概念的理解； 2、了解和熟悉人机接口和视线跟踪技术，提高知识拓展能力； 3、通过视线跟踪应用系统的设计、实现、调试与测试过程，提高知识综合运用能力，锻炼实践动手能力；4、通过自主设计实验，培养提出问题、分析问题和解决问题及创新能力。二、 基本要求（需要的基本知识、最大选题人数、需要的完成时间等等）1、 具有扎实的课程基础：信号与系统、数字信号处理、数字图像处理、计算机接口技术等。2、 具有良好的程序设计基础，能熟练使用Matlab、C+、VB、C#中的一种编程语言。3、 实验以小组形式实施，每组3-4人。三、 实验内容（实验原理、实验步骤、选题范围、时间安排等等）1、 实验原理此综合实验主要是利用图像处理技术进行视线跟踪，并在此基础上完成一个简单的人机交互系统。视线跟踪技术作为研究和利用眼睛动作的一种重要手段，其应用非常广泛。像在军事领域中进行人的因素研究；在阅读中进行有关视觉加工的研究；在生物工程中进行有关帮助残疾人通讯的研究。其他应用像注意力分析、虚拟现实、人机交互等等。本实验的核心是视线跟踪，视线追踪的基本工作原理是利用图象处理技术，通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化，从而达到记录分析视线追踪过程的目的。总体框图如下：头部图像采集系统图像滤波预处理光斑、瞳孔识别视线、视点位置计算参数校验、参数确定人机交互界面获取图像基于图像分析的视线跟踪基本原理屏幕系统采用角膜反射原理。近红外光源发出的光在用户眼睛角膜上形成高亮度反射点，眼球是近似球体，在头部位置固定的情况下，高亮度反射点不受眼球转动的影响，其图像位置是不变。眼球转动时瞳孔位置发生改变，利用瞳孔中心和光斑的相对位置关系就可以确定视线方向。我们以3个LED与摄像机组成的眼部图像采集为例说明基于图像分析的视线跟踪的实现原理。OP照相机注视点LED1LED2LED3瞳孔中心光斑1曲率中心光斑3光斑2上图为视线跟踪示意图，屏幕上放置3个近红外LED和1个摄像头，其中1个LED和摄像头放置在一起。3个LED在图像上形成3个光斑，通过这3点可以找到曲率中心O。P瞳孔G3G2G1 上图左侧是瞳孔与光斑的成像示意图，右侧是实际成像图。3个光斑在图像上形成3个亮点（G1、G2、G3），其中点G1到点G3的长度与瞳孔到屏幕之间的距离对应关系，通过点G1到点G3的长度可以确定瞳孔到屏幕之间的距离。如上图，黑色为实际屏幕，位于xoy平面上，蓝色方框是图像平面所对应的实际平面。当我们知道两平面之间的距离后，图像坐标中的点G1、G2、G3和P就可以由二维坐标变成了三维坐标。这样，视线跟踪简要过程如下：l 光斑点的检测检测出G1、G2、G3点之后，由G1G3确定观察者与屏幕之间的距离。根据G1、G2、G3的坐标及观察者与屏幕之间的距离计算出曲率中心O的坐标值。l 瞳孔边界点提取和瞳孔中心确定瞳孔经光学系统在CCD成像为平面椭圆，所以对提取的边缘点进行椭圆最小二乘拟合链接成边界，即可确定瞳孔中心位置。椭圆方程取为：椭圆拟合可求得椭圆方程的5个参数A、B、C、D 和 E，椭圆中心计算公式如下： l 视线方向、视点计算瞳孔中心坐标及曲率中心坐标确定后，可以通过计算或通过建立映射得到注视点的位置。映射关系的建立（参考）：瞳孔中心与曲率中心的位移，注视点的坐标为，其中为0。通过校验建立两者之间的对应关系2、 实验步骤（1） 文献阅读和开题报告小组所有成员查阅视线跟踪和人机接口相关的文献和资料，每人撰写开题报告，讨论后形成统一的开题报告。（2） 系统设计按分工合作的形式，以小组形式提交一份详细的实验设计书，包括。系统设计书中l 系统的总体设计和功能模块框图；l 头部图像采集模块、视线跟踪模块和人机交互系统模块的详细设计、算法流程图等；l 模块和系统的调试和测试方案；l 实验所需设备和器件清单、实验预算；l 明确小组成员分工和任务。（3） 系统模块功能实现分工实现如下功能：l 建立头部图像采集系统，包括硬件和软件；l 视线跟踪功能的实现；l 人机交互系统的实现。（4） 模块调试与系统测试l 调试和测试方案l 调试和测试过程记录。3、 选题范围（1） 基于视线跟踪的信息输入（2） 基于视线跟踪的