热释电红外信号人体运动特征识别.doc

光 电 子 激 光journal of optoelectronics laser第 21 卷 第 3 期 2009 年 3 月vol . 21 no . 3mar . 2010热释电红外信号人体运动特征识别3王林泓1 , 龚卫国1 ,2 3 3 , 贺莉芳1 , 肖红2 , 黄宜民2(1. 重庆大学 光电技术及系统教育部重点实验室 ,重庆 400044 ; 2. 重庆建设工业有限责任公司国防科技工业技术中心 ,重庆 400054)摘要 :根据人体在热释电红外( pir) 探测器的检测区域内沿不同路径和不同方向运动时信号在时域及频域的分布特点 ,提出一种基于单只 pir 探测器信号的人体运动特征识别方法。首先提取人体 pir 信号的频谱和短时 频谱能量特征 ;然后进行主元分析( pca) 特征降维 ,根据典型相关分析(cca) 进行特征融合 ;最后采用最小二乘 支持向量机(l s2svm) 方法进行分类识别。实验以不同人体、不同运动方式的 pir 探测器数据为研究对象。分 析结果表明 ,提出的特征提取、特征融合及识别方法能有效地对人体运动特征进行识别。关键词 :热释电红外( pir) 探测器 ; 运动特征识别 ; 典型相关分析(cca) ; 最小二乘支持向量机(l s2svm)中图分类号 : tp391. 4文献标识码 :a文章编号 :100520086 (2010) 0320440204human motion recognition using pyroelectric infrared signalwan g lin2hong1 , gon g wei2guo1 ,2 3 3 , h e li2fang1 , xiao hong2 , huan g yi2min2(1. key lab of optoelect ronic technology and system of minist ry of education of china ,chongqing university , chongqing 400044 ,china ; 2. science & technology center of national defense indust ry ,chongqing jianshe indus2 t ry co. ,lt d ,chongqing ,400054 ,china)abstract :based on t he dist ributions of a human walking wit hin t he view field of a pyroelect ric infrared( pir) detector along different pat hs or directions ,a human motion recognition met hod using output sig2 nal of single pir detector is presented. fourier t ransform and short time fourier t ransform( stf t) ener2 gy of t he pir signal are calculated as motion feat ures ,t hen principle component s analysis ( pca) is used to reduce t he feat ure dimensions ,and canonical correlation analysis ( cca) is applied to feat ure f usion. fi2 nally ,least square support vector machine (l s2svm) is adopted to classify t he feat ure vectors. experi2 mental result s show t hat t he proposed feat ure ext raction ,feat ure f usion and recognition met hod are effi2 ciently for human motion recognition.key words :pyroelect ric inf rared( pir) detector ; motion feat ure recognition ; canonical correlation analysis( cca) ; least square support vector machine (l s2svm)及摄像机的辅助控制中。文献 5 、 6 采用多个分布式布局的pir 探测器实现了对运动人体的追踪。而程卫东等 7 则用单 个探测器实现了对不同人体沿固定路径 ,以不同速度行走时的 运动特征识别。但目前利用单只 pir 探测器对人体运动特征 中的运动路径及运动方向识别的研究很少。1引言生物特征识别是利用人的生理或行为特征实现身份识别的技术 1 ,人体运动视觉分析是其中最活跃的研究方向之 一 2 。视频图像 3 及红外图像 4 是人体运动特征分析的主要 手段 ,但各种成像设备价格昂贵 ,并且检测及识别算法复杂度 高 ,运算量大。为此 ,在特定的场合 ,利用热释电红外( pir ,py2 roelect ric inf rared) 探测器进行人体运动特征识别是一种很好的 选择。pir 探测器在常温下能够有效检测出探测区域内的移 动红外辐射源 ,实现运动人体的检测。由于成本低、功耗小和 环境适应性强等特点 ,目前已广泛应用于安防系统、照明控制典型相关分析( cca ,canonical correlation analysis 是在线)性空间中寻求同一模式的两组不同特征矢量相关关系的方法。在人脸、人脸表情及字符识别 8 ,9 10 11 等领域用于实现特征融合 ,并取得了很好的识别效果。最小二乘支持向量机 (l s2svm ,least square support vector machines) 是标准支持向量机(svm) 的扩展 ,具有计算复杂度有低 ,求解速度快的优点。收稿日期 :2009207211 修订日期 :20092082303 基金项目 :国家“863”计划资助项目(2007aa01z423) ;国家“十一五”基础研究资助项目(c10020060355) ;重庆市科技攻关计划资助项目( cstc2007ac2018) ;重庆市重点科技攻关项目(cstc2009ab0175)3 3 e2mail :wggong cqu. edu. cn根据人体运动路径与运动方向的信号特点 ,在分析采集的大量不同人体不同运动方式的数据的基础上 ,本文提出一种基 于信号频谱及短时频谱能量的 cca 融合特征及l s2svm 分类 方法 ,用于人体运动特征的分类识别。实验结果表明 ,所提出 的方法能有效识别人体的运动特征。这为安防系统及智能家 居系统中的 pir 探测器准确、有效地报警提供了理论及技术的 保证。x4) 利用线性变换 z = w计算组合的特征向量, 并用y于分类。t3实验与结果分析3. 1 实验设计采用 re200b 型(nipppon ceramci 公司生产) 双元红外传 感器及 sunstar 商斯达实业集团的 7703 型菲涅尔透镜 ,选 用上面的两层 (上层 8 个透镜 ,下层 4 个透镜) ,焦距为 3. 05 cm 。探测器安装在距离地面 2 m 高的墙壁上。根据不同运动对保护对象的威胁程度不同 ,定义 6 种人体 运动 ,如图 1 所示。运动 1 、2 和运动 3 、4 的路径与探测器中心 线夹角分别为 + 45和 - 45,运动方向分别从近到远和从远到 近;运动 5 为沿垂直探测器中心线或弧线路径运动 ;运动 6 为 随机行走路径、随机方向。6 位不同的测试对象在探测区域内 以 1. 5 2. 5 m/ s 速度按规 定的 运 动 方式 行 走 , 同 时 用 dso6012a 型示波器以 100 hz 采样率对探测器输出的信号进 行采集。2 基本原理2. 1 人体运动特征提取pir 探测器输出的信号容易受到各种高频噪声的污染 ,不 利于特征信息的提取。因此 ,根据菲涅尔透镜、人体运动速率 和 pir 传感器本身的特性分析得到 6 ,采用 0. 0110 hz 的带 通滤波器对信号进行滤波 ,可有效解决噪声污染问题。去噪后 的信号再进行快速傅里叶变换 ,就可获得一种用于分类的人体 运动特征信息。当人体穿越探测器明暗视区时 ,探测器输出时变信号的峰 值正负相间。信号相邻过零点的时间差可以反映一定的运动 趋势 ,即运动方向由近到远时 ,穿越明暗区的时间将增加 ,过零 点的时间将变长 ;而从远处向近处运动时 ,穿越明暗区的时间 将减少 ,过零点时间相应的变短 ;如果沿着圆弧路径运动过零 点的时间差将保持不变 ;若随机行走则过零点的时间也表现出 随机性。信号过零点的时间变化趋势可以利用信号的短时傅 里叶变换频谱( stf t , short time fourier t ransform) 能量来表 示。离散 stf t 把时变信号分解到时间2频率域 ,从而提供每 个信号频谱能量随时间的演化趋势。离散 stf t 定义为jk )= x ( m) w ( n -m) e- jk mstf tn (e(1)式中 :k = 2k/ n , 是角频率 , k = 0 , 1 , n/ 2 - 1 ; n 是信号的总长度; w ( m) 是短时分析窗 , 长度为 l , 如果需重构要求 l n 。由于窗函数的时间移位和频率移位使短时傅里叶变换具 有局域特性 , 它既是时间函数也是频率函数 , 对某一时刻 n ,k )stf tn (ej 表示该时刻局部频谱。图 1 运动特征定义fig. 1 motion feature def inition傅里叶变换和短时频谱变换将信号从时域变换到频域 ,利用主元分析( pca) 方法对上述两种特征进行特征提取 ,然后再 用分类器进行分类。由于提取的同一运动方式的频谱特征和 stf t 能量特征 有一定的相关性和差异性。因此 ,通过 cca 方法对两种特征 进行融合 ,以获得更有效的分类信息。2. 2 人体运动特征融合cca 是利用降维的思想 ,研究两组变量之间的相关关系。 用 cca 方法可以剔除多个信号的冗余信息 ,提取不相关的典 型特征。cca 特征融合方法步骤为 12 :1) 对于频谱与短时频谱能量训练样本 xm k 和 ym k , 首先 计算协方差矩阵 s xx 、s yy 及互协方差矩阵 s xy ,其中 m 是频谱特征维数 , k 为训练样本个数 , n 为短时频谱能量特征维数;实验获得的不同运动特征的频谱如图 2 所示。由于所用探测器的明暗区域间隔为 0. 000. 56 m ,结合运动速度及实际 分析结果 ,实验选择有效信号的频谱上限为 3 hz 。由图 2 可见 ,不同运动的频谱特征存在一定的差异性 ,但对具有相同运 动路径的运动方式 ,频谱特征差异不明显。因此提取能反应运动方向信息的 stf t 能量特征。不同运动方式的时域波形及 其相应的 stf t 能量波形 ,如图 3 所示。从图 3 可见 ,具有相同运动方向的两类运动的短时频谱能 量相似。运动 5 时域过零点时间保持不变 ,所以对应的 stf t 能量值在相应的时间段波动不大。运动 6 的 stf t 频谱能量 在整个时间域分布 ,没有显著的峰值。3. 2 运动特征识别l s2svm 是标准 svm 的一种扩展 ,将 svm 中的二次规划 问题转变为线性方程组的求解 ,从而简化了计算的复杂性 ,提高了求解速度。有 6 类运动特征属于多分类问题 ,利用一对一2) 计算 s - 1 ss - 1 s或者 s - 1 ss - 1 s的非零特征值及yy yx xx xyyy yx xx xy对应的标准正交特征向量 ui 、vi ( i = 1 ,2 , r) ;3) 根据i = s xx ui 、i = s yy v i ( i = 1 , 2 ,- 1/ 2- 1/ 2, r) 计算所有典w xw y型投影向量 ,取前 d 对投影矢量构成变换矩阵 w =;光 电 子激 光 2010 年 第 21 卷442 方法实现 svm 的多分类。1) 基于单一特征的识别。每种运动随机选取40 组训练样 本 ,20 个测试样本。利用 pca 方法对频谱及短时频谱能量特 征分别进行降维 ,然后利用一对一最小二乘方法分类(选用线 性核函数) ,分类结果如图 4 所示。2) 基于融合特征的识别。特征融合的方法有特征级联及cca 特征融合 2 种方法。在特征融合前 ,首先要对原始特征 进行归一化处理 ,归一化公式为x 3= ( x - ) / , y 3= ( y - ) /(2)x xy y图 2 6 种运动频谱图fig. 2 spectra of six motions图 3 6 种运动的时域波形及其 stft 能量分布图fig. 3 wavef orms and the corresponding stft energy distributions of six motions其中 ,x 和y 、x 和y分别为训练样本的均值向量及标准差向量。 利用特征级联融合特征分类的方法是将归一化处理后的频谱及 stf t 能量级联 ,然后用 pca 降维后进行分类。 分别计算 6 种运动方式的融合特征向量形成的变换矩阵样本投影到新的特征空间并进行分类。图 4 为采用不同特征下的分类识别结果。从图 4 可见 ,在维数为 14 时 ,采用频谱特征的识别率最大 为 88. 4 % ;stf t 特征识别率在维数 24 时最高为 86. 4 %。利用特征级联的融合方法时 ,识别率在维数 37 时最大为 90. 6 %。由于采用级联特征 ,使得特征空间信息增多 ,识别率有一定的提高 ,但两种特征信息只是简单的连接在一起并没有利用它们xw ,训练 l s2svm 分类器。测试时 ,利用 z = w t, 将测试y之间的关联性。为此 ,采用 cca 特征融合方法时 ,维数仅为 5时识别率就可达到 100 % ,高于特征级联的识别率 9. 4 %。这 是因为在采用单个特征或特征级联 ,经 pca 变换后提取到的 仅是最佳描述特征而非最佳分类特征 13 。cca 方法的特点 是 ,巧妙的将两组特征间的相关性特征作为分类依据 ,既达到 了信息融合的目的 ,又消除了不同特征间的信息冗余。见 ,所提出的方法可以有效地识别人体不同的运动特征 ,同时由于探测器可以根据运动特征的识别结果及时发出准确的报 警信息 ,研究结果对提升 pir 探测器在安防系统及智能家居系 统中的应用有一定得参考价值。参考文献 :hou ye , guo bao2long. human motion det e ction by using gr2 aph cut s j . j ournal of opto ele ctronic s la ser ( 光电子 激 光) ,2007 ,18 (6) :7252728 . (in chine se)zhang qian2jin ,qi mei2bin ,j iang j ian2guo ,et al . gait re co g2nition ba se d on st atic and dyna mic fe ature s fusion of bo dy bio2metric s j . j ournal of syst e m simulation ( 系统仿真学报) ,2009 ,21 (5) :132021323 . (in chine se)xue zhao2jun , zhao peng2fei , wan bai2kun , et al . application of infrare d thermal ima ging in gait re co gnition j . j ournal ofopto ele ctronic s la ser ( 光电子 激光) , 2009 , 20 ( 3 ) : 4022405 . (in chine se)liu dian2ting , zhou xiao2dan , wang cheng2wen. wa velet2ba se d multi sp ectral fa ce re co gnition j . opto ele ctronic s let2t ers ,2008 ,4 (5) :3842386 .qi hao ,da vide j . bra dy ,bo b. d. guenther ,et al . human tra ck2 ing with wirele ss di stribut e d p yro electric sensors j . ieee. sensors j ournal ,2006 , (6) :168321696 .mo han shankar ,j ohn b burchett ,qi hao ,et al . human2tra ckingsyst e ms using pyro ele ctric infrare d det e ctors j . optical engi2ne ering ,2006 , (45) :10640121210 .cheng wei2dong , dong yong2gui . det e ction of human bo dy motion fe ature s using pyro ele ctric infrare d sensor j . chine sej ournal of scientific instrument ( 仪器仪表学报) ,2008 ,29 ( 5) :102021023 . (in chine se)sun quan2sen , zeng sheng2gen , yang mao2long , el al . co m2 bine d fe ature extraction ba se d on canonical correlation analysi s and fa ce re co gnition j . j ournal of co mput er re se arch andde velop ment ( 计算机研究与发展) ,2005 ,42 ( 4) : 6142621 . (inchine se)zhao song , zhang zhi2jian , zhang pei2ren. enhance d ccaand it s applications in fe ature fusion of fa ce re co gnition j .j ournal of co mput er aide d de sign & co mput er grap hic s ( 计算 机辅助设计与图形学学报) ,2009 ,21 ( 3) : 3942399 . ( in chi2ne se)zhang j ian2ming , yang li2rui , wang liang2min. facial ex2pre ssion re co gnition ba se d on hybrid fe ature s fuse d by cca j . co mput er applications ( 计算机应用) ,2008 ,28 ( 3) : 6432646 . (in chine se)shu ke , wu wei ,luo dai2sheng , et al . numeral reco gnition ba se d on kcca j . j ournal of opto electronic s la ser ( 光电 子 激光) ,2008 ,19 (4) :5582561 . (in chine se)sun quan2sen , zeng sheng2gen ,heng pheng2ann ,et al . the theory of canonical correlation analysi s and it s application tofe ature fusion j . chine se j ournal of co mput ers ( 计算 机学报) ,2005 ,28 (9) :152421533 . (in chine se)guo j in2yu , yuan wei2qi . palmprint re co gnition ba se d on ker2nel princip al co mponent analysi s and fi sher line ar di scriminant j . j ournal of opto ele ctronic s la ser ( 光电子. 激光) ,2008 ,19 (12) :169821701 . (in chine se) 1 2 3 4 5 图 4 不同特征运动识别率与投影维数关系fig. 4 the relations bet we