基于多光源红外传感技术的手势识别系统.pdf

昼应用技术 基于多光源红外传感技术的手势识别系统水 鲁姗丹 l 周松斌 李昌 1 广东省 自动化研究所 广东省现代控制与光机 电技术公共实验室 广东省现代控制技术重点实验室 2 广东工业大学 自动化学院 摘要 手势识别是一种有效的人机交互手段 针对识别算法复杂或适用范围窄等问题 设计一种基于多光 源红外传感技术的手势识别系统 首先获取手势动作数据 然后结合不同手势的运动特征 采用区间概率算法识 别手势类型 最终完成动作指令输出 通过实验对常见 6种手势进行识别 平均识别率达 9 3 6 7 该系统操作 简单 成本低 可用于多种 智能交互场合 关键词 红外传感 手势识别 人机交互 O 引言 随着计算机技术的发展 人机交互技术越来越成 熟 人们希望能够 以更自然的方式与计算机交流 其 中肢体形态语言 如手势 体势和表情等是人们常用 的交流方式 而手势在人机交互中具有生动 形象和 直观等特点 1 成为人机交互的重要交流手段 传统的手势识别主要有基于可穿戴传感器的接 触式和基于计算机视觉的非接触式两类 2 4 o 基于可穿 戴传感器的识别方式需要用户佩戴专业设备 适用范 围窄 应用性差 基于计算机视觉的识别方法虽然解 决了适用范围问题 但对设备 环境要求较严 且算 法较复杂 实时l 生 较差 目前 非接触式的红外传感 技术因其具有很高的敏感度和受环境光干扰小等特 点 正逐渐成为新一代手势识别的研究热点 红外传感技术发展到现在 已有多种应用 5 J 除文 献 5 中提到的应用外 还可完成一些特殊的人机交互 任务 如手势识别 本文设计了一种基于多光源红外 传感技术的手势识别系统 可识别多种手势 操作简 单安全 成本低 可应用于家庭娱乐设备控制或平板 电脑屏幕操作等方面 1 多光源红外传感手势识别原理 红外光是一种不可见光 波长在 7 5 0 l1 m 1 1T I 1T I 之间 与可见光一样具有反射 折射 吸收等性质 红外传感器是利用红外光的物理性质进行测量的一 种传感器 基于红外传感的手势识别原理如图 l a 所示 红 外传感器与红外L E D同方向放置 当手挡在红外L E D 的前面时 红外传感器会检测到反射过来的红外光 检测到的红外光强与手到红外传感器的距离成反 比 关系 检测距离和范围与红外 L E D 的选择有很大关 系 如图 1 C o 所示 从 L E D 射出的红外光是一圆锥 状 圆锥顶角称作 L E D视角 大多数L E D能量从这 里输出 视角越小表示能量越集中 检测范围越远 a 红外 传感 原理 b 不 同红 外视 角检 测范 围对 比 图 1 红外传 感原理 本文设计的基于多光源红外传感的手势识别原 理如图2 a 1 所示 光源分布不完全共线 以 L E D1 单 光源传感为例 可检测有无手势出现 检测波形如图 2 b 1 所示 没有探测到手时 输出信号基本成一条直 线 探测到手时 信号输出明显增大 以 L E D1和 L E D2双光源传感为例 可检测来回的 2种手势 若 检测波形如图2 c 所示 根据不同红外光源反射信号 2 2 基金项 目 广东省科 技计 划资助项 目 2 0 1 2 B 0 1 0 1 0 0 0 5 9 2 0 1 3 B 0 6 0 1 0 0 0 1 3 2 0 1 3 B 0 9 1 1 0 0 0 1 3 广州市科技计划项 目 2 0 1 3 J 2 2 0 0 0 6 2 佛山市科技计划项 目 2 0 1 4 H K1 0 0 2 6 5 上升的时序与手遮挡红外光源的顺序一致原理 判断 此手势的移动方向是从 L E D1到 L E D2 以 L E D1 L E D2和 L E D3三光源传感为例 可检测 3 种以上手 势 若检测波形如图2 d 所示 L E D1 和 L E D 2的信 号几乎同时上升 然后再到 L E D3 可判断手势的移 动方向与图 2 c 检测的方向正好相交 由上可知 若 要实现多种手势 红外光源应不少于 3 个 图2 a 多光源红外传感原理 图2 0 0 单光源红外检测波形 图 2 c 双光源红外检测波形 d 三光源红外检测波形 图 2 红外传感 示意图及 不同光源检测波形 2 手势识别系统组成 基于多光源红外传感技术 的手势识别系统结构 如图3所示 主要 由红外传感模块 信号调理与采集 模块和信号处理模块 3部分组成 可实现多种 目标手 势的识别输出 红 外 L E D 阵 列I 卜 1 驱 动 电 路 r 控制 处理 输 红 外 传 感 器 I 单 元 出 l 信 显 号 D 存储 不 温 度 传 感 器I 调 采 单 元 理 集 信号调理 与 信号处 红外传感模块 采集模块 理模 块 电源 图 3 基于多光源红外传感技术的手势识别系统结构图 3 硬件设计 3 1 红外传感模块 本系统红外传感模块 由8个红外 L E D 满足红外 光源不少于 3个的要求 1 个红外传感器和 1 个温 度传感器组成 其中红外传感光源分布阵列如图 4所 示 红外传感器位于第 2行第 2列 行列间距相等 保证了平面每 9 0 方向有相同的红外辐射量 可更有 效地对手的运动方向进行区分 其中红外 L E D 选用 红外 波 长是 8 7 5 a m 发 射 半角 等 于士 5 d e g 的 2 o 1 5 年 第3 6 卷 第2 期 自动化与信息工程 2 3 T S T A 7 1 0 0 其方向性强 适用于短距离 红外接收 器选用接收波长在 8 7 0 n ln 1 0 5 0 n i n 接收半角等于 t 6 0 d e g的B P V 2 3 F 可有效接收 L E D红外光 图4 红外传感光源分布图 为排除非 目标物体的误动作 采用温度传感器测 量 目标物体与周围环境的温度 计算温差 温度传感 器 选 用 高 精 度 非 接触 式 的红 外 温 度传 感 器 ML X9 0 6 1 4 有效检测 2 0 l2 0 的温度变化 视角 范围约 1 0 0 可检测视角范围内所有物体的温度值 3 2 信号调理与采集模块 信号调理与采集模块主要包括红外发射 电路 和红外接收电路 部分电路如图 5所示 由于红外 传感在有 目标 出现 时会得到一个非常微 弱的光信 号 且信号容易淹没在背景噪声中 因此需要在红 外接收电路中 设计具有去噪滤波和 电压放大功能 的信号调理电路 通过一个反向偏置的光电二极管 MC P 6 0 2 2将光信号转换为 电压信号 再经低通滤波 器 电压放大器输 出 红外传感信号经信号调理后 口垂 卜 S C 8 0 5 0 通过 MC U 内部集成的 1 2位 AD C模块采集相 应电压信号 循环驱动 8个红外发射 电路 采集相应红外 L E D 电压信号 采用这种方式不仅可区分采集信号 且各路的采集不会发生干扰 每循环一个周期即采 样一次 可得到 8个红外 L E D 反射光强 电压信号 和 1 个温度检测信号 采样 次 便获得 N 9维 参数矩阵 3 3 信号处理模块 本系统采用基于C o r t e x M3内核的S T M3 2 1 0 3 R C 作为控制核心 MC U 采用哈佛处理器结构 取值同 时可进行读取 存储数据 该 MC U 主频速度高达 7 2 k I n z 内置高速存储器 高达 1 2 8 k字节的闪存和 2 0 k字节的 S R AM 还包含 2个 1 2位的 A DC 3个 通用 1 6位定时器 1个 P WM 定时器 2个 I 2 C 2 个 S P I 3个 US A RT 1 个 US B和 1 个 C A N等 6 J S T M3 2 1 0 3 R C 主要运行内部手势识别算法软件 程序 对手势动作检测 存储 识别并将识别结果实 时发送给外源设备 实现对外源设备的控制 4 软件设计 系统的软件设计在 K e il u Vis o n 4软件平台进行 采用 C语言开发 手势识别流程图如图6所示 首先 系统初始化后开始采集红外信号和温度信号 动作 自 检 并自动存入寄存器中 直到手势完成 然后 MC U 读取寄存器中数据 为排除非目标物体的误动作 温 图 5 红 外收发部分 电路 图 度变化需大于 T T 0 5 o C 对数 据进行预处理 包括归整和滤波 接着 根据不同手势的运动特征采用区问概率 算法识别手势类型 提取不同手势同一 运动区间的红外信号与所有区间红外信 号的比值 即区间概率 解算完整动作 的区间概率矩阵 再根据提取的区间概 率矩阵获取每次采样概率最大时刻对应 的运动区间序列 从而判断手势运动路 径 即手势类型 最后输出显示 鲁姗丹 周松斌 李 昌 基于 多光源红外传感 技术 的手势识 别系统 图 6 手势识别流程 图 其中手势识别过程采用区间概率算法 该算法简 单 无监督学习过程 存储空间小 适用实时的在线 识别 区间概率矩阵模型如表 1 所示 表 1 区间概率矩阵 P 模型 手 势 区间 1 2 M 1 P 1 1 1 2 P 1 朋 2 P I E 1 P 2 2 P 2 朋 p s 1 P s 2 P 其中 P S M X s 表示手势 在区间S 的 概率 表示区间 接收的红外 信号强度 表 示所有区间红外信号强度和 5 实验结果 为验证本文设计的基于多光源红外传感技术手 势识别系统的有效性 针对 6种常见手势从左到右 从右到左 从前到后 从后到前 从上到下和从下到 上进行识别 实验中对每类手势重复识别 5 0次 共 3 0 0个手势样本 识别结果如表 2所示 平均识别率 为 9 3 6 7 从以上识别过程看 多光源红外传感手 势识别方法简洁 快速 可提高常见手势在线识别的 实时性 实验中一些误识别的手势可能受手臂或周围 物体的影响 下一步应考虑识别优化的问题 表 2 6种手势动作的识别结果和识别精度表 手势 测试个数 识别个数 识别精度 从左到右 5 0 4 8 9 6 从右到左 5 0 4 9 9 8 从前到后 5 0 5 0 1 O O 从后到前 5 0 4 9 9 8 从上到下 5 0 4 4 8 8 从下到上 5 0 4 1 8 2 6 结论 针对传统手势识别存在识别过程复杂 适用范 围受限等缺点 本文设计基于多光源红外传感技术 的手势识别系统 简化 了识别过程 识别成本低 实验结果表 明 该系统对识别 3种及 3种 以上 的常 见手势准确率高 抗干扰能力强 兼容性好且具有 操作简单安全等优点 适用于现有智慧家庭人机交 互界面 实现对 电视 照明 风扇和空调等设备的 舒适 方便控制 具有广泛的应用前景 参考文献 1 张毅 刘钰然 罗元 基于视觉的手势识别方法及其在数字信 号处理器上的实现 J 计算机应用 2 0 1 4 3 8 3 3 8 3 6 8 5 6 2 顾伟宏闽昆龙 张晓娜 新型数据手套及其手势识别研究 J 自动化仪表 2 0 1 1 3 2 2 5 6 5 8 6 2 3 王万良 杨经纬 蒋一波 基于运动传感器的手势识别 J 传感 技术学报 2 0 1 1 2 4 1 2 1 7 2 3 1 7 2 7 4 邓瑞 周玲玲 应忍冬 基于 Ki n e ct 深度信息的手势提取与识 别研究 J 计算机应用研究 2 0 1 3 4 1 2 6 3 1 2 6 5 1 2 7 4 5 杜永苹 浅谈红外线传感器 的应用 J 中国科技信息 2 0 1 3 1 8 1 3 1 6 S T M3 2 F 1 0 x x x R e f e r e n ce Ma n u a 1 p d i I Z h t t p ww w s t co m 2 0 1 5 年 第3 6 卷 第2 期 自动化与信息工程 2 5 Ge s t u r e Re co g n it io n S y s t e m Ba s e d o n M u lt i S o u r ce o f I n f r a r e d Se ns ing Te ch no lo g y Lu S h a nd a n 2 Zh o u S o n g bin Li Ch a ng 1 Gu a n g d o n g I n s t it u t e o f Au t o ma t io n Gu a n g d o n g P r o v in cia l Ke y L a b o r a t o r y o f M o d e m Co n t r o l T e ch n o lo g y M o d e m Co n tro l a n d L ig h t M e ch a n ica l a n d Ele ct r ica l Te chn o lo gy P u b lic La b o r a t o r y o f Gu a n g d o n g P r o v in ce 2 A u t o ma t io n C o lle g e G u ang d o n g Un iv e r s it y o f T e chno l o g y Abs t r a ct Ge s t u r e r e co g n i t i o n is a l l e ff e ct i v e me a n s o f h u ma n co mp u t e r in t e r a ct io n Aimin g a t t h e p r o b l e ms o f co mp l e x o f r e co g n it io n a l g o ri t h m o r n a i T o w a p p li ca b l e s co p e t h i s p a p e r d e s i g n s a g e s t u r e r e co gn it io n s y s t e m b a s e d o n mu lt i s o u r ce o f in fra r e d s e n s in g t e ch n o lo g y Fi r s t l y b y a cq u i ri n g t h e g e s t u r e s d a t a the a l g o ri t h m o f i n t e r v a l p r o b a b i li t y r e co g n i z e s g e s tur e s t y p e a cco r d in g t o t h e mo t io n ch ara ct e ri s t i cs o f t h e d iff e r e n t g e s tur e s F i n a l ly t h e mo v e me n t co mman d o u t p u t i s co mp l e t e d Th e e x p e ri me n t s id e n t if y s ix k in d s o f co mmo n g e s tur e the a v e r a g e r e co gn it io n r a t e is u p t o 9 3 6 7 Th e s y s t e m h a s t h e a d v a n t a g e s o f s i mp le o p e r a t io n a n d lo w co s t I t ca n b e u s e d f o r a v a r ie ty o f i n t e ll ig e n t i n t e r a ct io n a p p li ca t io n s Ke y W o r ds I n fra r e d Mu l t i S e n s o r Ge s tur e Re co g n i t i o n Hu man Co mp u t e r I n t e r a ct i o n 作者简介 鲁姗丹 女 1 9 9 1年生 硕 士研究生 研究方 向 模式识别 E ma i l 1 5 6 2 2 1 0 8 3 8 4 1 6 3 co m 周松斌 男 1 9 7 8年生 博士 研究员 研究方 向 智能传感 网络 化测控 仪器仪表 李昌 男 1 9 8 5年生 硕士 助理研究员 研究方向 控制理论与控制工程研究 q 靠 矗略 晶 矗 晶 晶 婚 矗 曲 6 q 靠 6 q 晶 靠 婚 靠 晶 喃 啼 舒 靠 晶 上接第 1 6页 Ge s t u r e Re co g n it io n S ys t e m Ba s e d o n W e a r a ble Acce le r o me t e r Ch e n Yan g Hua n g Ha ip e n g Xu W a ng r 1 Gu a n g d o n g S cie n ce T e ch n o lo g y I n f r a s t r u ct u r e Ce n t e r 2 S ch o o l o f E le ctr o n ic a n d I n f o r mm io n E n g in e e r in g S o u t h C h i n a Un iv e r s ity o f T e chno lo g y 皤 6 Abs t r a ct Th e e z 4 3 0 ch r o n o s o f Te x a s I n s t r u me n t i S u s e d f o r t h e e z 4 3 0 一 ch r o n o s h a s a cce l e r a t io n s e n s o r a n d RF a cce s s p o i n t i t s e l f T h e d a t a o f g e s tur e ca n b e s i mpl y r e a d and s e n d t o the co mp u t e r A n u mb e r o f d a t a ma d e fr o m b o th t h e g e