基于DSP的手势识别电视遥控器设计毕业论文.pdf

第 14 卷第 6 期2014 年 2 月 16711815( 2014) 06-0184-06 科学技术与工程 science technology and engineering vol. 14no. 6feb 2014 2014sci. tech. engrg. 基于 dsp 的手势识别电视遥控器设计 高同辉1， 2吴延昌2 ( 太原理工大学 信息工程学院1， 太原 030024; 平顶山工业职业技术学院2， 平顶山 467001) 摘要由于传统电视机遥控器的按键操作比较机械且缺乏娱乐性， 设计了一种以 dsp2812 为核心的手势识别算法。通过 将用户手势运动的信息转换成相应的红外信号， 从而实现手势遥控电视机更换频道和调节音量的目的。该系统主要由双端 口 am 通信的双 dsp 并行处理器、 cmos 数字摄像头、 红外遥控模块、 上位机调试软件和以太网通信模块组成。实验测试表 明， 该系统能够实现用户手势图像的采集、 手势动作的识别、 红外遥控及以太网通信功能。 关键词手势识别tms320f2812红外遥控图像处理udp 协议 中图法分类号tn948. 5;文献标志码a 2013 年 7 月 29 日收到， 10 月 21 日修改 第一作者简介: 高同辉( 1975) ， 男， 硕士、 讲师， 研究方向: 嵌入式 技术。e- mail: gaothaaa163 com。 传统电视机遥控器是一种按键操控方式， 其操 作比较机械且缺乏娱乐性。本文提出一种采用直接 判断使用者手部动作的方法遥控电视机， 使用者在 摄像头拍摄范围内按照规定的摆放方式移动手部， 就能够遥控电视机进行音量增减或频道变换等操 作。设计使人们对电视机的遥控操作更加便捷、 人 性化， 丰富大众的日常生活。 1系统设计方案 手势识别电视机遥控器是集合图像采集、 手势 识别和红外遥控三大主要功能的控制装置。依据要 实现的采集图像能力和 dsp 处理视频流能力的功 能要求， 确定系统结构如图 1 所示。 图 1手势识别电视遥控器系统结构 本系统采用了双 dsp 共同工作的方式， 主要由 六个模块组成 1 。 1) 摄像头模块: 由摄像头 ov7620 及驱动电路 组成， 负责手势图像采集。 2) dsp1: 核心是 tms320f2812， 负责对图像采 集及预处理， 与上位机网络通信和用户按键信息的 输入。 3) 上位机: 显示实时采集的图像， 图像处理结 果和调试参数等。 4) 双端口 am 模块: 实现两个 dsp 之间的高 效数据通信。 5) dsp2: 负责提取手势图像特征和向红外遥控 模块发送指令。它从双端口 am 获取图像数据， 从图像中提取有用的特征， 并将判断结果转换成相 应的遥控指令。 6) 红外遥控模块: 负责学习电视机配套遥控器 的红外遥控指令， 将其放入指定的存储空间中。在 dsp2 给出发射指令时， 查询存储空间， 获取对应的 红外指令并发射。 2系统硬件设计 2. 1双 dsp 处理器及内存空间设计 本设计使用双 tms320f2812 的 dsp 进行图像 采集、 图像处理并且实现红外遥控和网络通信等功 能。这样可以满足并行图像处理能力和快速响应的 速度要求， 同时两个 dsp 扩展了 512 k 16 位的 am 空间， 以满足图像处理的空间要求。 为了实现双 dsp 之间的通信， 系统采用 cypress 公司的一款 64 k 16 位的双端口 am 芯片 cy7c028 搭建一个数据通道。dsp1 把采集到的图 像通过时间控制有规律写入数据通道中， dsp2 从数 据通道中提取图像数据存放到自己的 am 中， 然 后进行相关的图像处理。在设计工作状态时， 使用 双端口中断判优方式， 数据传递采用握手的通信模 式。当 dsp1 向双端口 am 中写完数据之后， 通过 中断握手的方式， 通知 dsp2 读取数据。dsp2 要求 数据时， 也会以同样的方式通知 dsp1， 从而实现双 dsp 高速有规律地数据传递。双端口 am 与两个 dsp 之间的硬件连接 2 如图 2 所示。 图 2双端口 am 与双 dsp 的硬件连接图 2. 2图像采集电路设计 本系统直接使用 dsp1 通过外部中断 nmi 和 int2， 分别同步摄像头 ov7620 的 vsn 和 hef 信 号， 同时通过绑定 dsp 的 8 根 i/o 线同步读取图像 到 dsp 内存中， 从而实现了系统的图像采集工作。 为了让 dsp 的时钟频率与 ov7620 的时钟频率匹配， 必须要降低摄像头的输出时钟频率。对摄像头 ov7620 内部的寄存器进行设置， 达到减慢数据传输 速度的目的。ov7620 模块与 dsp1 的硬件连接和 ov7620 的同步读取时序分别如图3 和图4 所示。 图 3蓝牙发送模块接口电路 图 4 ov7620 同步读取时序图 通过时序图可知， dsp 先捕获摄像头的场中断 信号， 准备好存储一帧图像的数组。然后， dsp 等待 hef 行中断信号。最后， 在行中断中判断 pclk 信号， 当 pclk 处于高电平时， dsp 读取该像素值。 为了在不丢失手势特征信息的前提下采集尽量小的 图像， dsp 采集视野中间隔行的 100 100 大小的图 像， 存放在 100 100 的数组中。通过修改读取程序 可以改变采集图像的大小。 2. 3内存及 dsp 网络通信设计 本系统采用 tl8019as 与 dsp1 通过连接对应的 地址数据总线， 设置片选信号， 实现 dsp 的以太网通 信。tl8019as 与 dsp1 的硬件连接 3 如图5 所示。 tl8019as 内部有两块 am 区， 一块 16 k 字 节， 地址为 0 4000 0 7fff; 一块 32 个字节， 地 址为 0 0000 0 001f。am 按每 256 字节为一 页存储。一般将 am 前 12 页( 即 0 4000 0 4bff) 存储区作为发送缓冲区; 后 52 页( 即 0 4c00 0 7fff) 存储区作为接收缓冲区。第 0 页 只有 32 字节( 地址为 0 0000 0 001f) ， 用于存 储以太网物理地址。要接收和发送数据包就必须通 过 dma 读写 tl8019as 内部的 16kb am。 图 5 tl8019as 与 dsp1 硬件连接图 2. 4红外遥控模块电路设计 红外遥控模块包括三个部分: 接收部分、 发送部 分和数据处理部分。接收部分包括光电转换、 解调、 高速采样以及数据分析等模块， 发送部分包括遥控 发送和电光转换模块， 数据处理部分包括中央处理 以及存储模块。 3系统软件设计 3. 1手势图像预处理算法 手势图像提取算法选择帧间差分的方法实现手 部图像分割 4 。利用间隔短暂时间的两帧图像比 较， 获取两张图像运动方向的手部围成的一小段白 色区域， 然后采用阈值分割的方法对获取的图像二 值化， 消除噪声， 最后根据此图像序列含有的白色像 素点的多少来确定图像序列中有无物体存在。对手 势图像预处理的算法描述如下: 1) 从视频图像序列中选取相邻 n 帧的两帧图 像， 其中前一帧图像为 pk1( x， y) ，如图 6( a) 所示， 后一帧图像为 pk( x， y) ， 如图 6( b) 所示; ( a) 前一帧图像 pk 1( x， y)( b) 后一帧图像 pk( x， y) 图 6从视频图像序列中选取的图像 5816 期高同辉， 等: 基于 dsp 的手势识别电视遥控器设计 2) 为了减少计算量， 将 480 640 的图像隔 4 行 6 列提取像素点， 左右各忽略 20 列， 上下各忽略 40 行， 获得两帧 100 100 的图像 p k1( x， y)和 p k( x， y) ， 如图 7( a) 和 7( b) 所示; ( a) 缩小后p k 1( x， y) ( b) 缩小后p k( x， y) 图 7缩小后的图像 3) 计算后一帧与前一帧的差为 gk( x， y) ， 得到 目标的变化量， 如图 8 所示; 目标变化量 gk( x， y) 二值化后的图像 fk( x， y) 图 8两幅图像的目标变化量 4) 对帧间差分法得到的图像按选定的阈值进 行二值化 5 ， 得到目标图像序列的二值化图像序列 fk( x， y) ， 如图 9 所示。其中， fk( x， y)= 255，p k( x， y) p k1( x， y) t 0， p k( x， y) p k1( x， y) t ( 1) 式( 1) 中， t 为阈值。对于给定视频序列的图像， 假 设像素点 k 处没有运动， 其帧差 dk服从均值为 0， 方 差为 2的 gauss 分布 n( 0， 2) : p( dk| h0)= 1 2 槡 2exp d2 k 2 ()2 ( 2) 式( 2) 中， h0表示无运动假设， 2是帧差的统计方 差， 通常认为它等于摄像头噪声方差的两倍。根据 概率统计假设检验 “ 3” 法则和 “正确的阈值 t 应该 能消除大部分噪声” 的原则。经试验测试得阈值 t 选择在 35 45 之间比较合适。二值化后的图像如 图 9 所示。观察 fk( x， y)的图像序列， 可以看到图 像中的噪声很少， 这是因为帧间差分法达到了加 大目标信息的权重， 同时抑制了静态背景的效果; 摄像头采集范围背景比较单一， 光线均匀。 fk( x， y)中主要存在两大类的噪声6 。一种是 由于光线变化产生的噪声， 这种噪声往往以孤立的 黑色像素点的形式出现。第二种噪声是一些面积较 小的背景块。为了尽可能消除这两种噪声， 可以求 每个 n m 小块的灰度平均值， 根据灰度平均值可 估计出白色区域的大小。当灰度平均值小于某一阈 值时， 可以认为是噪声， 把对应的 n m 个点赋值为 0。算法实现如下: ( 1) 建立一个大小是 fk( x， y)的 1/25 倍的矩 阵来存 20 20 个 5 5 像素块的平均灰度值 fk( x， y) 。 ( 2)fk( x， y)和 hk( x， y)满足如下关系: hk( x， y)= fk( x， y) ， f( x， y) 200 0，f( x， y) 200 ( 3) ( a) 噪声消除后的 hk( x， y)( b) 噪声消除后的 hk +1( x， y) 图 10噪声消除后的图像 通过这种处理方法， 原图像中的小块噪声和椒 盐噪声基本被消除， 手部图像边缘的某些像素点也 会被当作噪声消除， 但是不影响后续处理。经过噪 声消除后的图像如图 10( a) 所示。使用同样的处理 算法， 可以得到后一帧的图像处理结果如图 10( b) 所示。 3. 2特征提取及动作识别 获取只含手部运动区域的图像 hk( x， y)和 hk+1( x， y)后， 扫描出手部图像边界， 通过比较与计 算判断手摆放位置和区域中心位置7 pk( xk， yk)和 pk+1( xk+1， yk+1) 。 手部摆放位置可以判断手的上下 或是左右运动。图像处理和特征提取流程图如图 11 所示。 ( 1)hk+1( x， y)和 hk( x， y)是相同的纵向摆放 位置， 手部在左右运动。 ( 2) 根据列坐标的大小来判断手左右方向的移 动如下: yk+1 yk 0， 人手向左运动 yk+1 yk 0， 人手向右运动 yk+1 yk= 0， 无法判断方向 ( 4) 判断上下运动的算法与判断左右类似。若出现 无法判断的情况， 则重新采集图像， 进行处理和判 断， 直到能够判断方向为止。 3. 3红外遥控算法原理 本系统选择最常用的一种编码方式 upd6121 进行学习、 解码和发射。红外遥控器的红外信号一 般都是通过38 40khz的载波调制而成。 先对接 681科学技术与工程14 卷 图 11图像处理算法流程图 收到的红外信号进行解调， 再记录遥控编码信号的 脉冲宽度。学习子程序的流程图 8 如图 12 所示。 采用计数器对信号高低电平计数的方法采集数据并 保存。 发射模块根据 dsp2 发送的指令找到对应的编 码信号在外扩 am 的位置， 将编码调入内存， 然后 通过编码发送子程序， 将编码调制在 38 khz 载波上 发送出去。用定时中断 0 产生 38 khz 的载波信号， 7816 期高同辉， 等: 基于 dsp 的手势识别电视遥控器设计 用学习到的遥控编码信号的低电平去控制载波输 出， 此时定时器 0 定时长度由相应的遥控信号低电 平宽度计数值确定。如果需发射的遥控信号为高电 平， 关定时中断 0; 如果为低电平， 则开定时中断 0， 从而实现遥控信号的脉宽调制发射。发射子程序流 程如图 13 所示。 图 12学习子程序流程图 图 13发射子程序流程图 3. 4网卡驱动程序及上位机软件设计 3. 4. 1网卡驱动程序及 udp 协议实现 tl8019as 已经实现以太网通信物理层功能， 只需初始化芯片相应的寄存器， 编写 dsp 下驱动， 便可启动 tl8019as。本系统采用 tcp/ip 协议族 中的 udp 协议( user datagram protocol) 进行通信， 实 现通过网络把 dsp 采集到的图像信息发送到上 位机。 3. 4. 2上位机软件编写 上位机软件采用 c#语言编写， 实现 udp 通信 协议。上位机软件实现接收下位机的数据， 还原图 像数据并显示等功能。同时， 上位机还可以向下位 机发送命令， 方便系统调试。 3. 4. 3图像数据发送及还原 下位机采用 udp 发送数据， 把数据的每一行作 为一个 udp 数据包， 一幅图像分成 100 个数据包进 行发送。为了让上位机完整接收一幅图像， 在每幅 图像开始发送之前， 先发送一个规定的帧开头数据 包， 在每一幅图像发送完毕之后， 也发送一个规定帧 结尾数据包。上位机根据这些标定将 100 个数据包 利用 c#语言的相关函数， 转换一定的图片格式， 在 上位机进行显示。 4系统测试 4. 1测试流程 创建手势样本库、 手势图像预处理、 特征提取、 实时手势图像与库模型预测、 识别结果、 执行操 作等。 4. 2测试结果 本设计自定义手势及编号如图 14 所示， 其中手 势 1 表示开机， 手势 2 表示关机、 手势 3 表示换台的 递增， 手势 4 表示换台的递减， 手势 5 表示音量增 加， 手势 6 表示音量减小等功能。 对组装好硬件电路系统进行整体测试。测试者 在摄像头的拍摄范围内进行上述 6 种手势各从左向 右、 从右向左、 从上向下和从下向上 10 次缓慢运动， 在每种手势 40 次的识别中识别率如表 1 所示。 表 1识别率 手势编号123456 识别率/%94. 397. 5 97. 29795. 796. 4 测试结果表明， 本算法识别手势的准确率在 96%左右， 遥控的有效范围在 4 m 左右， 能够实现电 视机的频道更换和音量调节功能。 5总结 本文设计的手势识别电视遥控器系统， 利用摄 881科学技术与工程14 卷 图 14自定义手势及编号 像头使手势动作与电视机进行交互， 采用红外信号 遥控电视机， 在红外传输有效距离内， 可以根据个人 喜好， 任意改变手势识别样本库系统， 使得电视遥控 更加人性化， 并为实现家庭数字设备操控一体化提 供可能。 参考文献 1王从政， 陈香， 董中飞， 等 一种基于 dsp 的实时手势交互系 统 传感技术学报， 2011; 24( 5) : 689693 2刘晓宁， 程晓冬， 郁道银 基于 dsp 的运动目标识别与跟踪系统 的设计 电视技术， 2010; 34( 11) : 107110 3韩旭， 于小亿 基于 psoc 的红外线测控通信系统 微型机与应 用， 2012; 31( 6) : 5760 4韩旭 基于手势识别的嵌入式体感遥控器设计 兰州: 兰州大 学， 2012 5梁华为 直接从双峰直方图确定二值化阈值 模式识别与人工智 能， 2002; 15( 2) : 253255 6邬大鹏 基于视觉的手势识别及人机交互研究 南京: 南京航空 航天大学， 2010 7吴静 面向电视功能遥控的视觉手势识别算法 西安: 西北大 学， 2011 8薛冬营， 杨云， 张大元 一种新型交互电视遥控器软硬件设计 研究 电视技术， 2011; 35( 14) : 3234 design of gesture ecognition tv emote control based on dsp gao tong- hui1， 2， wu yan- chang2 ( college of information engineering， taiyuan university of technology1，taiyuan 030024， p china; pingdingshan industrial college of technology，pingdingshan 467001， p china) abstract as traditional tv remote control button