基于改进Canny算子和神经网络的人体行为识别模型

Computer Engineering and Applications计算机工程与应用2013， 49 （8） 1引言 人体行为识别作为人体运动分析的高级阶段， 在人机 交互、 安全监控和医疗诊断等领域具有广泛的应用前景， 然而人体行为复杂且多样， 因此如何准确识别人体行为成 为计算机视觉研究中的热点问题1。 人体行为识别实质是一种模式分类问题， 其包括两个 主要过程： 行为特征提取和分类器建立2。特征提取是指 从图像序列中提取出能够合理描述人体运动的特征， 特征 优劣对后续的人体行为识别结果具有重要影响。人体特 征包括人体侧影和轮廓两种特征， 人体侧影计算复杂度较 高， 影响人体行为识别的实时性， 因此当前主要采用轮廓 特征3-4。人体的边缘检测是轮廓特征提取第一步， 也是最 重要一步， 其中 Canny算法具有信噪比大和检测精度高的 优点， 成为当前主要的边缘检测算法之一5-6。然而 Canny 算子采用高斯滤波和双阈值方法难以在抑制噪声的同时 保护低强度边缘， 对人体边缘检测产生不利影响， 影响人 体轮廓特征提取7。人体行为识别的分类器主要基于神经 网络、 支持向量机等机器学算法进行构建， 尤其是 RBF神 经网络具有自组织、 自学习能力， 具有较好的泛化能力， 因 此本选择RBF神经网络建立人体行为识别的分类器8。 为了提高人体行为识别的准确率， 提出一种改进Canny 算子 （Improved Canny， ICanny） 和RBF神经网络相结合的 人体行为识别模型 （ICanny-RBF） 。首先采用形态学滤波 代替 Canny 算子的高斯滤波， 并采用矩量保持法求 canny 算子的阈值对进行人体图像边缘检测， 然后提取人体图像 的7个不变矩特征， 最后采用RBF神经网络根据不变矩特 基于改进Canny算子和神经网络的人体行为识别模型 洪运国 HONG Yunguo 大连职业技术学院， 辽宁 大连 116035 Dalian Vocational neural network; Canny operator algorithm; moment invariant feature 摘要： 为了提高了人体行为识别的正确率， 提出了一种基于改进Canny算子和神经网络的人体行为识别模型 （ICanny-RBF） 。 采用改进Canny算子对人体行为图像进行预处理， 提取人体行为轮廓， 提取7个不变矩特征作为RBF神经网络的输入向 量， 训练出能够识别人体行为的RBF神经网络模型， 并采用取k-means算法确定RBF神经网络聚类中心， 采用Weizmann数 据集进行仿真实验。仿真结果表明， 与传统方法相比， 提出的ICanny-RBF模型提高了人体行为的识别正确率。 关键词： 人体行为识别； 神经网络； Canny算子； 不变矩特征 文献标志码： A中图分类号： TP391doi： 10.3778/j.issn.1002-8331.1211-0280 图形图像处理 基金项目： 教育部高等学校高职高专计算机类专业教学指导委员会研究项目 （No.Jzw59010808） ； 辽宁省社会科学规划基金办公室项目 （No.L07DJY070） 。 作者简介： 洪运国 （1970） ， 男， 副教授， 研究方向为算法设计。 收稿日期： 2012-11-23修回日期： 2013-01-05文章编号： 1002-8331 （2013） 08-0156-04 156 2013， 49 （8） 征对人体行为进行识别。仿真结果表明， ICanny-RBF提高 了人体行为识别正确率， 获得了较好的人体行为识别效果。 2改进的Canny算子 2.1对传统Canny算子的高斯滤波改进 传统的 Canny算子利用二维高斯函数进行滤波， 滤波 函数和图像卷积分别为： G(xy)= 1 22 exp(- x2+ y2 22 )（1） IG(xy)= G(xy) I(xy)（2） 式中，为平滑参数，I(xy)为原始图像，IG(xy)为滤波 平滑后图像。 高斯滤波的去除噪声主要由值来决定，越小， 则 函数越 “集中” ， 使去噪能力变弱，越大， 容易丢失边缘细 节， 使滤波效果受到限制， 得不到理想结果9。 考虑到高斯滤波不够理想， 而形态学滤波器可借助于 先验的几何特征信息， 在有效滤除噪声的同时， 可以保留 图像中的原有信息， 因此本研究采用形态学滤波代替高斯 滤波。形态学图像处理主要有腐蚀， 膨胀， 开运算， 闭运算 等， 开操作和闭操作不受原点是否在结构元素之中的影响， 当与Canny算子综合运用后， 去噪能力， 边缘细化能力更为 突出10。设F(xy)为灰度图像，B(mn)为结构元素， 用 B(mn)对F(xy)进行顺序开闭运算， 平滑图像， 去除噪声， 来改善滤波效果， 具体如下： F B =(F B)B（3） FB =(FB) B（4） 2.2对传统Canny算子双阈值法的改进 传统Canny算子采用双阈值算法得到边缘图像，T1和 T2分别代表高阈值和低阈值， 双阈值比单阈值更加灵活， 但存在一些不足： 如果T2越大， 则可去除假边缘， 但导致误 去除越多的边缘目标信息； 如果T1越小， 连接边缘轮廓就 越多， 但导致大量虚假边缘产生， 当T1增大时， 阈值图像中 的边缘轮廓可能会缩减， 最终出现间断的轮廓边缘11。 为了提取图像的边缘， 必须设定合适的阈值， 针对双阈 值法不足， 本研究采用矩量保持法求 Canny算法的最适合 阈值。矩是随机变量的一种数学特征， 具有高效率的正态 检验性， 矩法是用样本矩函数的估计作为相应的总体矩函 数的估计量， 图像也可看作是二维随机量的一个样本。阈 值分割是对整体的矩函数的一种描述和估计， 它可以利用 样本来估计总体的特征， 并且可以利用样本的分布来估计总 体的分布， 因此可以利用参数估计的方法来对目标图像进行 分割12。矩量保持法的核心思想是求得一个最优的阈值， 使 分割前后图像的矩量保持不变， 二维图像的k阶矩定义为： mk= 1 NM i N j M f k(xy) （5） 式中， M， N是f (xy)为灰度图像水平和垂直方向上的像素 个数，m0= 1。 对图像进行分割后二值图像的前三阶矩计算公式为： mk= i= 0 1 pi(hi)k（6） 要取得最优阈值， 图像进行分割前后的前三阶矩应该 相等， 即 mk= mk（7） 即可得： p0h0 0+ p1h 0 1= m0 p0h1 0+ p1h 1 1= m1 p0h2 0+ p1h 2 1= m2 p0h3 0+ p1h 3 1= m3 （8） 式中，h0和h1分别代表图像中灰度值0值和非0值。 假设图像区域中低于和高于指定阈值像素占整个图像 像素的比例分别为p0和p1， 那么根据式 （6） 可以解得： p0= A - m1 (r2 1 - 4r0)0.5 （9） 其中： r0= m1m2- m2 2 m2- m2 1 r1= m1m2- m3 m2- m2 1 A = 1 2 (r 2 1 - 4r0)0.5- r1 （10） 求得p0后， 阈值t应该满足： p0= i t pi（11） 把矩量保持法加入到Canny算子中来代替双峰阈值检 测， 可以克服双峰阈值法的不足， 同时可以根据图像自身 的特点来选取最合适的阈值， 同时也无需迭代或搜索， 运 算速度快， 分割效果好。 3提取人体图像的Hu不变矩特征 Hu不变矩可以提取图像放置、 大小等特征， 具有识别 率稳定， 缩放、 旋转和平移不变等优点13， 因此本研究采用 其作为人体行为特征， 输入到 BP神经网络进行学习。设 图像点的(xy)的灰度值为f (xy)， 那么整幅图像的(p+ q) 阶矩为： mpq= - - x p y q f()xy dxdy（12） 式中，pq= 01。 为了保证图像对缩放、 旋转和平移不变性， 求得(p+ q) 阶中心矩为： pq= - - (x- x0) p(y- y 0) q f (xy)dxdy（13） 式中，(x0y0)表示图像的灰度质心， 且有： x0= m10 m00 y0= m01 m00 （14） 令pq= Mpq 00 1 +(p + q)/2 ， 经过一系列的代数转换， 得到人体行为 洪运国： 基于改进Canny算子和神经网络的人体行为识别模型157 Computer Engineering and Applications计算机工程与应用2013， 49 （8） 图像的7个不变矩：M1M7。 M1= 20+ 02（15） M2=(20- 02)+42 11 （16） M3=(30- 312)2+(321- 03)2（17） M4=(30+ 12)2+(21- 03)2（18） M5=(30- 312)(30+ 12)(30+ 12)2- 3(21+ 03)2+ 3(21- 03)(21+ 03) 3(30+ 12)2-(21+ 03)2（19） M6=(20- 02)(30+ 12)2-(21+ 03)2+ 411(30+ 12)2(21+ 03)（20） M7=(312- 03)(30+ 12)(30+ 12)2- 3(21+ 03)2+ (30- 312)(21+ 03)3(30+ 12)2-(21+ 03)2（21） 4RBF神经网络的人体行为识别 相对于BP神经网络， RBF神经网络具有学习速度快、 并行高速处理等优点， 其性能要优于BP神经网络， 因此本 研究采用RBF神经网络用于人体行为识别。 4.1RBF神经网络 径向基 （RBF） 神经网络是一种具有单隐含层的三层前 馈神经网络， 第一层为输入层， 其节点数与输入向量的分 量数量相对应； 第二层是隐含层， p个隐含节点； 第三层是 输出层， 其与输出向量的分量相对应。RBF神经网络的拓 扑结构如图1所示14。 RBF神经网络的映射关系包括两部分： 输入层与隐层 间的非线性映射、 隐含层与输出层间的线性变化。具体 如下： （1） 从输入空间到隐含层空间的非线性变换。假设RBF 网络的输入为X =X1lX2lXnl T（l=1， 2， ， N） 时， 则第 i个隐单元输出为： hli= (|Xl- ci|)（22） 式中，( )为隐单元的变换函数；Xl为n维输入向量； 表示欧氏距离；ci为第i个隐含层神经元的数据中心。 采用 Gauss函数作为神经网络隐含层的激活函数， 那 么隐含层输出为： hli= exp -(|Xl- ci|) 2 2 i ,1 i p（23） 式中，i为聚类宽度。 （2） 从隐含层空间到输出层空间的线性组合， 第k个节 点的输出为： yk= i= 1 p wikexp -(|Xl- ci|) 2 2 i 1 k m（24） 式中， 第i个隐单元与第k个输出之间的联接权， p为隐单元 数， m是输出维数。 4.2RBF神经网络人体行为识别步骤 采用RBF神经网络对人体行为识别， 实际就是将人体 行为图像的7个Hu不变矩作为RBF神经网络的输入向量， 通过RBF神经网络进行学习和分类， 得到各种类型的人体 行为， 同时为了改进RBF神经网络的性能， 采用取k-means 算法隐含层基函数的聚类中心。人体行为具体步骤如下： （1）将提取的人体轮廓特征组成特征矩阵X =X1 X2XN， 作为RBF神经网络的输入向量， 对应的目标输 出矩阵为O =O1O2ON， 作为每个样本对应输出。 （2） 假设隐含层的节点数为p0， 采用的 k 均值聚类 （k-means） 算法聚类， 计算聚类中心ci， 以及扩展常数i。 （3） 根据式 （25） 计算聚类目标函数S， 若S （为判 断聚类结束的目标值， 取 = 0.7） ， 则表示聚类结束， 否则 继续更新隐含层节点数 P值， 返回步骤 （2） ， 直到达到， 此时可以p、 聚类中心ci， 扩展常数i。 S= 1 N i= 1 N bi- ai max()bi- ai （25） 式中， N为输入层样本数目(1 i N)，ai代表样本i与同类 样本的平均距离，bi表示样本 i与其他类别最近一个聚类 样本的平均距离。 （4） 根据公式 （23） ， 计算隐含层单元的输出。 （5） 设wik为隐含层第i个节点与输出层第 k个节点间 的权值， 初始化权值wik， 计算隐含层到输出层的实际输 出， 第k个输出为： yk= i= 1 p wikhli（26） 式中，i= 12p;k= 12m。 （6） 根据式 （27） 计算网络输出均方根误差RMSE的值， 若RMSE小于设定的目标误差 （） ， 则训练结束， 否则修正 权值继续迭代。 RMSE = l= 1 N k= 1 p (Olk- Ylk) pN （27） 式中，Olk为RBF神经网络输出值，Ylk为实际值。 （7） 测试样本输入到所建立的RBF神经网络模型中进 行测试。 5仿真实验 5.1数据集和对比模型 为了验证本研究提出的人体行为识别模型的有效性， 在Matlab 2007环境下， 采用公开Weizmann数据集进行仿 真实验， 该数据集共包括10种动作， 每个动作分别由9个人 完成， 视频背景和视角均不变， 每帧图像的分辨率为 144 180， 帧速率为25帧/s15。本研究选择walk、 run、 jump、 side、 skip等五个具有代表性的动作， 具体如图2所示。共选择样 图1RBF神经网络结构图 x1 x2 xn 1(|x- c1|) p(|x- ci|) y1 y2 ym 158 2013， 49 （8） 本500个， 将500个样本分成两部分： 400个作为训练集， 100 个作为测试集。对比模型为： 传统Canny算子+RBF神经网络 （Canny-RBF） ， 改进Canny算子+BP神经网络 （ICanny-BP） ， 模型的评价标准采用平均识别正确率。RBF神经网络的 结构为 7-15-5， 聚类宽度为 0.25； RBF神经的网络结构为： 7-13-5； 学习误差=0.01。 5.2结果与分析 5.2.1Canny算子改进前后的识别效果 为了验证 Canny算子改进后的人体行为识别效果， 对 ICanny-RBF和Canny-RBF进行对比实验， 得到的实验结果 如图3所示。从图3可知， 相对于Canny-RBF， ICanny-RBF 的5种人体行为平均识别正确率分别增加了1.52%、 2.38%、 0.23%、 3.89%、 2.40%， 对比结果表明采用改进 Canny 算子 对人体行为图像的轮廓进行检测， 可以获得更加完整的前 景轮廓， 对后续特征提取和RBF神经网络的人体行为分类 识别效果是极其有利。 5.2.2RBF神经网络和BP神经网络的识别效果对比 为了体现 ICanny-RBF神经网络优势， 在相同条件下， 采用ICanny-BP神经网络进行对比仿真， 它们的平均识别正 确率如图4所示， 从图4可知， ICanny-RBF神经网络的识别 性能要优于ICanny-BP神经网络， 对比结果表明， 采用RBF 神经网络可以取得了比较理想的识别效果。 将网络训练目标误差设定为 0.001， 对比 BP神经网络 和RBF神经网络训练过程， 它们的训练误差曲线如图5所 示。对图 5的结果进行对比可知， RBF神经网络迭代到第 340次时， 已经达到预设精度， 迭代停止时； 而BP神经网络 迭代到 180次时， 才达到预设精度， 迭代停止时， 对比结果 表明， 相对于BP神经网络， RBF神经网络具有更快的学习 速度， 提高了人体行为的识别效率。 5.2.3识别速度检验 为了检测人体行为的识别速度， 采用测试集的平均识 别时间作为评价指标， 结果见表1。从表1可知， RBF神经 网络的人体行为识别时间相当短， 而且少于 BP神经网络 的平均识别时间， 十分适合人体行为识别的实时性要求。 6结束语 针对人体行为识别问题， 利用改进 Canny算子良好的 边缘检测特性和RBF神经网络优异的分类能力， 提出一种 改进 Canny 算子和 RBF 神经网络相结合的人体行为识别 方法。仿真结果表明， 相对于对比算法， ICanny-RBF神经 网络提