基于眨眼检测的人机交互

1、董馨齐 邢怡阳,眨眼检测 eye tracking,功能,能够为有运动障碍的人们提供一种与电脑交流的方式 实现一个基于日常生活中实现长期记录的可穿戴的眼动眼镜EOG。,其他应用,识别拍照系统； 疲劳监控； 测谎。,Andreas Bulling Daniel Roggen Gerhard Troster,一切在你眼中根据语境意识和移动HCI应用穿戴式EGO眼镜,原理,设计和系统架构 硬件：由两部分组成护目镜和口袋,原理,护目镜：包含干EOG电极和一个小的模拟放大电路板连接到大小为42x15mm的眼镜框。 口袋：是系统的核心信号处理单元。它是一个基 于dsPIC微控制器和含有两个24位模拟数字转

2、换器（ADC），蓝牙和MMC模块、 EEPROM。,原理,软件：是在口袋里的dsPIC运行的 FreeRTOS，为嵌入式系统设计的一个开源实时操作系统。 三层软件架构的眼跟踪器用于操作系统的硬件抽象层和任务管理，访问外部组件和核心功能。,原理,EOG信号处理： 眨眼检测 扫视检测 闪烁去除 眼睛的运动识别 假象的修正,原理,眨眼检测 是用与模板匹配的方法进行。首先使用手动切开闪烁原信号段，用平均在每个采样点的所有段的计算来创建模板。然后检测眼睛在垂直EOG的信号分量。如果距离低于规定的阈值，即模板和当前的段之间的相似性是高的，一个闪烁的事件就会被记录。 扫视检测 开发了所谓的连续小波变换的扫视

3、检测（cwt-sd）算法：该算法首先计算连续的一维小波系数在尺度20使用Haar小波的信号。检测到了所有样品的系数矢量的绝对值超过阈值的扫视事件。扫视方向和大小通过扫视的方位和振幅被给出。,原理,闪烁去除 眨眼的去除，扫视和闪烁的事件流并行分析。不同的是扫视眨眼都是直接从信号中除去。 眼睛的运动识别 我们的算法以扫视事件流的水平和垂直分量的输入信号。它区别于基本的眼球运动之间，对角和中间方向（见图，右上角）：基本方向是左，右，上下（L，R，U，D）。对角线和中间的眼球运动的特点是同时扫视信号成分但不同的角度（如I，9，J）。,原理,假象的修正 EOG信号文物会周期性地根据步进频率。中值滤波与固

4、定的窗口大小无法消除这些文物对不同的人和步行速度。在利用多学科的记录数据的窗口大小参数扫描显示最佳的时间步长的大小是密切相关的。因此，我们使用一个自适应滤波器的算法实现。可以利用行走的重复特性和适应的中值滤波窗口大小的步长只要步行活动检测。,实验结果,在实验中，对于完成实验的受试者，平均时间为7分钟。最高的结果是95%（受试者3），最坏的结果是受试者8，有86%的精度。 在所有科目的平均性能在表所示的时间TT和TS，时间比TS / TT和准确性ACC执行八个手势。TT表示总时间内尝试完成每个科目的手势但是只有成功的时间，TS表示只测量花在所有成功的尝试的时间。,评价,优点： 可用于可穿戴式和独

5、立的用途 可以在本地存储数据的长期记录或通过蓝牙处理 缺点： 装置需要佩戴并且依赖于眼电图 需要大量时间消除干扰数据,应用于人机交互的眨眼检测系统,Eye-blink detection system for human-computer interaction. Aleksandra Krolak Pawe Strumio 著,原理,四个主要步骤： 人脸检测； 眼睛区域提取； 眨眼检测； 眨眼分类。,步骤一：人脸检测,方法： 基于模型方法，算法是利用神经网络训练模型 Haar特性： Haar特征是Adaboost算法中规定的标准矩形特征的一种，通过对简单的矩形特征及其扩展特征的计算，能够快速

6、、准确地找到所需要的图像，如眼、眉、鼻、嘴的位置以及轮廓线或关键点,步骤一：人脸检测,矩形特征：,步骤一：人脸检测,不是所有的计算功能对于正确的检测出图像中的面孔都是必要的。一种有效的分类器可以只使用一部分的特征值而达到最小错误率。为了找到这些特点，采用Boosting算法。通过重复几次构建级联分类器。阶段性的复杂性随着阶段数而增加。,利用Haar特性掩模和提高树分类器的结果,步骤二：眼睛区域提取,面部图像中的眼睛的位置是在一定的已知的人脸几何关系基础上建立的。 传统规则的比例显示人脸被分成六个相等的正方形，2乘3,眼睛是位于从头顶到眼睛 之间约0.4的地方,步骤三：眨眼检测,方法：归一化互相

7、关方法 其中R是相关系数，T是模板图像，I是原来的图像，X，Y是坐标。相关系数用来衡量当前的眼睛图像与保存的睁开的眼睛模板的相似之处。 因此，它可以被看作是检验眼睛是否睁开的措施。,步骤三：眨眼检测,作为模板的案例眼睛图像,在一次眨眼中相关系数值的变化。,步骤四：眨眼分类,分类： 短时间眨眼（小于200毫秒） 习惯性不自主眨眼不应被系统检测到 长时间眨眼（超过200毫秒） 自愿眨眼应被检测到 分类方法： 对相关系数的及时变化进行分析,大于250 ms的即为习惯性不自主眨眼,评价,眨眼检测测试指标：,良好光照条件下眨眼检测有效性指标,在不良光照条件下的眨眼检测有效性指标,精密度： 准确性：,对于眨眼检测技术的评价,优点： 简便