步态识别论文

1、课程论丈步态识别学号：12426009班级：通估122:婪舒琦目录搞要3 背景介绍4学习资二. 相关研克4三. 主題C算出丿53.1墓于筑图糅型的动态特征提取63.2墓于整体的修态特征灵取 83.3 天另90、实睑9五. 结果讨论12六. 总结12七. 应用的景13'、技术难点及鮮决變径148.1枝术难,6 148.2鮮决途後15九.参考丈故16学习资摘要步态识别是一科新兴的生扬特征识别技术，旨疫通过人们走珞的娄态迸.行身份识别，与 其他的生场钗别枝术相比.步态识别具有非接紘远距离和不彖易伪裝的优点。在相能视频盂 技领城，比面像识别灵具优势。对步态帜别的优缺6以及步东钗别所诊及刊的运劫

2、分刘.特 征提取与选择.核式识别算由进行了殊述，并对步态识别中存A的问題与未来的研克方向进 行了讨论。关笙诃：生畅特征钦剧；乡志很剧;特征圾取;运助分刘；场态时间规正学习资步态是指人们行走对的方式，这是一科复杂的行为特征。罪犯或许会给角己化裝，不让 fl己身上的哪治一根毛发掉疫作亲现场，但有挥东西他们是很难柱制的这就是走路的姿势。 英国南妥普敢大学电子与计算机糸的马丸尼克松放授的研丸显示.人人都冇札然不同的走 珞娄势，因为人们疫肌肉的力量.肌腿和苛骼长皮.骨粘溼皮.视觉的灵致程度、协调能力. 5、体重.重心.肌肉戎骨骼受根的程度、生理条件以及个人走瘩的”此格”上都存疫细徼 差异。对一个人来说，

3、要伪裝走跆类势非常困难.不管罪犯是丢带舟而具旬然地走向银行出 纳员还是从犯罪现场逃跑，他们的步态就可以让他们空出马脚。人类勺身很于进行步态帜别，疫一岌距青之外都有经睑能锣根据人的步态辨别出氣悉 的人。步态识别的输入是一段行走的視频国像序刃，因此其数据釆集与而像识别类似，具有 非佞犯性和可接受性。但是，由于序列图像的数据量较大，因此步态积别的计算复杂性比较 壽，处理起来也比较困难。尽管生杨力学中对于步态进行了大量的研丸工作，駅于步态的身 份墨别的研兗工作却是创创开妗。步态帜别主要提取的特征是人体每个关节的运劫。列目询 为止，还没有商业化的晟于步态的身份鉴别糸统。二、相关研究信息融合：感知融合是人

4、类感知外部世并的本能之一。人类可以非常勺然地运用这一能 力把来勺人体冬个感知森倉服耳皐凹肢的传息图像宗音味触觉俎合起来并使用丸验知识 去估计理解和识别周囲的环境以及正A发生的爭情。馳合理论正是对人类这一本能的棋仿旨 疫利用计算机技术对按时序莪得的多源观测传息在一走准则下加以勺动分析综合以兜成所 常的决策和代计任务而遗行的信息戏理过程0信息翳合的晟本虑理就像人脑练今戍理传息一样丸分利用多源传息通过对这些多源的观测 传息的合理支配和使用把多源传息A杳间或肘间上的冗余或互补依煽禁种准則来进行俎合 以茨得认測对象的一致性鮮挣戎福述。按腮信息抽象的个层次可将传息妙令分为3级C像素 级馳仝特征级融仝和决策

5、级妙合丿。 像素级馳今是在采集到的虑始数4®上遗行的馳合是虑始測报未经预处理之祈就进行的综仝和分析是呆低屋次的馳令。学习资 特征级融今為于中间屋次它丸对虑始传息遗行特征提取然后对特征传息进行关联处理 和殊合分析呆终用于n标枳别。一般来说烫取的持征信息应该是这一目标的丸分表示量 并且去除了一支的冗余信息。其优点是实现了可观的信息庄缩冇利于实肘的目标识别。特征级馳今算法的一般流程如團1所示。同 L物HH特征“监督分类目标识别一:天联n0HUU图1苗征级馳仝算法一般流程 决策级融金是一科高屋次妙令。丸将多港传薦信息对目标厲性进行衣立决策。再对各il得到的决策结果进行妙合以莪得整体一孜的决策

6、。其优点赴具冇很強的彖错性和很好的开放性。幷且处理对间较怨）难点疫于分类特征组仝与表达的机理难以量化和疣一图2 给出了决策级融合算比的一般减程。决策级砂合必须从具体决策的卖际需求出发。充分 利用特征级融仝所提取的测量对象的冬类特征信息。采用适生的融合技术来卖观。常用的方法包据k/n :隹则.Bayes准则和Dempster-Shafer理论等。同事物特征提取f决弟f f决策ff將征提取特征提取f决第f图2决策级妙令算比一般浇程三、圭题C算出丿传息融合在共他生杨特征识别领域已经取得了很好的敢栗。也为步态识别性能的进一步 灵壽提供了可能的方出。疫步态钗别领城中。常釆用特征级融合和决策级馳仝两类方出

7、。馳 合的特征包括不同类的步态特征（多特征馳合）.步态苗征和其他生杨特征（多核态椅征馳仝） 以及不同角皮摄像机柏摄的步态箱征（多視角融合）寻。在决策级融合中。通常假设冬个特征 之间具备统计独立性。別冬个分类森得到的区配分值可用Bayes理论D-S证据理论.表决出.学习资聚类分析.樣板出.棋糊集合论.神经阿络.焙比寻进行金并。通常後用的合并规则冇加出 规则.乘法规刪呆丸规则.釆小规则.中值规則和多數投票规则寻。为了进一步研丸妙金理论疫步态识别中的应用。我们灵出一科基于线国棋型和铮态特征 的步态帜别算出.静态椅征主要用于反映人体目标的全貌。例如形体壽度辞痩寻。线图旅空 主要用于反映人体目标的运动特

8、点。如行走过程中主要关节Alii的雯化(肢体间角度的支 化等.本丈分别研克了使用特征级和决策级妙合'加比规则和乘法规刪理论进行步态识别的 方出.算法流程如图3图4所示。在视频序刃分析中。首丸要将运动目标从背景图像中分制出来.通过背景减除二值化及 阴彩请除后。可以得刊步态序刃中每帧图像的单连通人体运动区城.为了去除图像中存在的 大量冗余信息并减小计算foil-步使用图像楼核化枝术将目标编放刊固主大小的團像核板中(见国6 fa；)步态的績态和动态特征都是从二值化側彩的目标按板中灵取的。® 3特征级融合策咯克程图图4决策级妙令策咯流程国3.1基于线图模型的动态特征提取首丸轴取出二值

9、側彩團像的苛架传息。然后抿据该骨架信息和鮮別学知识共同得列冬个 关节点的住置及相互间形成的角皮。亲后使用这些佞更和角度信息形成步态的动态特征.算 法的具体步躱如下：步骤1利用因像戎理技术中的中牡雯换方法提取二值側彩国像的苛杀图.它是一种可适支 换。阮能压编图像传息。又能由中轴及其数值恢复虑图像、提取方法如下：1) D農示虑图区威中像素6的集合Q (D)表示其边.邪Eu(D)表示其外边.界上(D)仪承区域D 及其8连通区域的所有像素点.令Dm=D学习资2）一步细化之居得列的结果区域如下：D唤=S（DQU% - E,（九）u竝（S（久d ）n D（tld3）如果Dn“=°"d，

10、终止迭代，跳转列笫4）步杏则，令9“d =9叶，并跳转到笫2丿步。4）D唤即为所求区城的骨架像素的集仝。步骏2根据解刘学中人体冬部分肢体占身爲的比例关糸。来提取人体的关节点住逍、即对人 体脅架进行扣福。扣描线与人体苛架的交又点即为关节点的住置.这样可以得列人体的8 个关节A:hcad * y headneck' neck sliouldwr9 shoulder ' pelvis5）闻嘯）9（“'加恥kneel kneel 3 kneel 9anklel，ankle!）* ankell，y ankle!） 连接这8个关节点，得列人体的脅骼化糅型，图5示出简化的人体比例关糸

11、。图5简化的人体比例关糸图步骤3进一步计算出骨骼化楼型中冬部分肢体所形成的角皮.这里取肢体与竖直线的角皮） 这7个角度分别包据。0hea（i, &M仪，back，&th仪h 1，Qhifth 2»xhinl，Qhin 2 »人体亍架及苛骼化娠黑' 以及肢体夾角示意图如團6所示。令（勺，儿）和（* X）分别为肢体而羯的关节点所心伐 L 则肢体夹角计算如下:& = awtan、一"（2）X 一 Jo学习资和圧""龙tB 3""池出图6人体骨需及苛骼化栈世步骤4确岌步态洪数）通过上述讨论，可以看出点

12、骨骼化模型中一共有23维煤数特征.关节 点住置2*8=16维，肢体角度7维。关节点住置中的x值通常是固灾不雯的、为了简化运算. 可以将其去除.需下关节点的y值信息及肢体角度信息共同构成15维参救特程的步态楼式J 进一步.为了请除空间尺度不同带来的彩响.需要杆这些参数特征归一化到区间tt/2,3tt/2 中。3.2基于整体的普志特征提取側彩的宽度和爲度信息是决岌目标形状的两个重要因素，宽度代仪了运劫目标的鮮疫程 2 高度则代表了运动目标的身离）身壽和辞疫是人类視觉糸统进行身份识别的主要依据之 一.但是这两个参数常常随着摄像机柏摄距离的变化而雯化）例如.同挥焦距下.一个离个 孑目标由于柏扱距富较远

13、会显得比近处的綾个子目标还要换小）宽度所代表的鮮疫信息也是 如此）因此.它们都不可以单独作为形体特征来进行步态识别）为了请徐这种谋差.本丈算出W釆用了側彩的伸长度作为墓于整体的形态箱征.即：E = （3）式中W代農側H彩的宽度,H代哀側彩的离度。皱而.伸长度中的徐法运算常常会谄徐掉一些有用的信息.例如一个柏摄距窗轶远的又 爲又胖的人可能会和一个柏扱距离较近的又换又疫的人牺冇同挥的伸长度.因此单独使用仲 长度很难将目标区分开来）为了克服上述抉点.又引入了空间度苗 征：S =：/（，_/）,P（i,j） e （0,1）（4）空间度代 U 側彩目标中祈景像素的数目。同样.两科静态参敛特征也需要进行幅

14、度上的归一化运算。学习资3-3识别本算法采用K近邻分类森进行核无分类）由于步态散据具冇周期性）循环性的特征.因此 相似性度量采用圧于周期的方法.具体步骤如下：1）令训练序刃为Xk=Xr，Xr.2，,X&.N ,测试序列为Xp=XpA,XpXp.,NsAr和叫 分别痕示两序列的帧如Xj j表斥笫i个序刃中的笫j个特征矣量。2）对任克一个序刃X =XpX2V., XjV）计算出它的步态周期n（n<N）是它的帧救，并杆其分 成N/n个子序刃.其中，笫k个子序列可4示为X （k） = X&+1, Xz，X亦。3）对于测忒集中的笫K个子序刃和训练集中任盘以L为起妗輪的子序刃计算它们

15、之间的距冑: 心 Q = Y；Jx 宀-X 爲|（4）4）得刊 整个测忒序刃和训练序列之间的相似 度:Sim（X“Xg） = l f 工二mlnSEx用必）（/） （5）式中 K=m/Np。I 为训练样 本序刃中和測洪眸本子序刃进行比较的起妗輪l=0,1,.,n-/Vg o相彼度Sim的值越九说期 而个序刃越相妆。我们分别对仅駅于整体形状特征的算法）仅墓于动态旅型苗征的算比）坯征级融合算比 以及运用了加出和乘法规则的决策级融仝算出进行了实睑和比较C見图7图10丿实脸数据 采用了来勺于卡时基梅隆大学的CMU jk据库。该数据库包令25人.毎人6个视角4科走 爆姿势。快走）慢走）上坡和抱球共24个

16、序列，毎个序刃340輪左右、重点测洪了步速对算 法的性能彩响。算比评价采用CMS和ROS曲线。为了便于进行评价（需要将数据库中每个样本序列按照 步态周期柝分为若干子序列.毎个快步走序刃丸约包含8个步态周期（每个慢步走序刃丸约 包含7个步态周期）（屛为毎人随机抽取一个步态周期作为测式集（其余步态周期序刃作为训 练罪（来进行步态识别。另外（为了測试算法对行走速度的牧疸性（本丈分别以快步走和慢步学习资走数据互为训练和识别禅本、未柝分序列）迸.行了实睑。算出帜别率采用5阶CMS结杲的平均值。实验结采如表1所列实验洌练测洪基于形状基于栈炎特征级决策级融.合算法编号样本样本特性特征融合算出加法規则乘法规则

17、25个剩余快走快走1步态步冬82.7427682.0684.887.31周期周期25个剩余慢走慢走2步态步态72.66476.13484.6782.6783.6周期周期25个25个3快走慢走39.279.282.483.276序列序列25个25个4慢走快走33.667.271.266.44&8序刊序列学习资料.510152025阶次厂遊徐 iL.l.L.L；100908070605040302010 次、济灵搭(a)实验1识别性能的CMS曲线(b)实验1校验性能的ROC曲线图7实睑1,(CMU数据库.Train:fast;lest:fast)的识别校睑性能曲统100908060刃403

18、020100。 衣、*宝轉Bee;:i;III1J* * *9: 1111-斗t£茨令及策枚殴合如弦規刈)107060/%轟40示309(1(a)实验2识别性能的CMS曲线(b)实验2校验性能的ROC曲线图8卖睑2(CMU数据4，Train:slov/;lest:slow)的识别校瞼性能曲线 °07060*50*40301010090801015阶次202510090807060504030201000 10 20 30 40 50 60 70 «0 90 100示警率/%(a)实验3识别性能的CMS曲线(h)实验3校验性能的ROC曲线图9实睑3(CMU数据库，T

19、rain:fast;7est:slow)的钗别校睑性能曲线学习资 仅决JEQ皺饮加汝现則） 决竇圾甌令（兎法規也）9080706050<4030(2010OO2015次阶10示警率/%9080706050403020mu叢、？k割卑25（a）实验4识別性能的CMS曲线 （b）实脸4校验性能的R（）C曲线图10实验4（CMU jk据库，Train:slov/;7est:fast）的识别校验性能曲统五、佶果讨论1）融合算比确实比单一箱征算比的帜别率冇所提為。2）对于相同步速的卖验来说（使用决策级馳仝算法结果更好（而且乘法规则期显优于加法规 則。3）对于不同步速的卖捡（仅晟于形状的步态特征识别

20、率下阵呆多（疑于橈童的算出识别率支 化不丸（可见形状苗征对步送变化不具冇鲁棒性。4）特征级馳金算比在步速变化的实睑中得刊了呆好的帜别结果（说期决策级翳合算出性能的 灵离灵彖易受特征算出识别结果的彩响。氏、总结步态识别的标准数据库以及算出统一评价准則还没有制定。目祈的数堀库规核轶小且不 够全而。一科步态识别方法在不同纵煽库上的识别结果可能会不同，使用不同评价标:隹对毎 种算出进行评价所得刊的评价结果也是不同的，也不具冇可比性。基于1身数据量丸.计算 复杂的特点，不可能将所冇步态钗别算法A每个数堤库上进行測试。所以，如何凉观评估步 态识别算法的性能，是步态帜别的研丸难点，也是亟需解决的问題。彩响步

21、态谅别正确率的因索很多，如何釆取扣应的册施丸服冬种因索的彩响.以达刊期 望的性能仍旻研丸的难点。学习资拥挤状态下，运动目标的1这桔以及目标之间的互遮档问题难于丈理。可以用统计的方 法从己有图像信息中进行人体类势.後置寻的估计和预測。另外，利用多换像机多视角跟瞧 柏摄来鮮决遮档问題的方比也是很冇潜力的一科方出。随舟对步态识别中融仝妓术灵滦入的研丸.如何选择性能互补的特征.如何优化具有冗 余传息的特征.如何采用不同雇次的馳合策咯来灵升算比性能也亟常进一步研丸。七、应用肯'素随舟我们逐晰辺入散字射代，基于步态箱征的身份识别技术念加显示出它的价值。对于 诸如军爭駅地.停车场.机场、离档社区等重

22、要场所，出于管理和安全的需要,人们必须知道 孩区城发生的爭件，并有效:隹确地识别人、快遠检測戒胁并且提供不同人员的进入权限级别， 于是釆用亲科苗定方出来监視该场景。特别是场景中的人，人脸、指纹和如朕寻生理特征帜 别不再it用，而步态识别作为有败的行为特征，不常要任何交互性接竝就可以卖现远距富情 况下的身份识别。英国国防爲级研克计划署(DARPA)济助的邊距离身份识别HID(Human卜 dentification at a Distance)计划，其任务就是开发多娠 扎、丸(9的視免监拉技术以实现运距 富条件下的检測.分类和识别，从而增强国陆、氏用寻场合免受恐怖裘击的自动保护能力。 美国五角大

23、犊也正心拟岌釆用步态识别技术进行反恐。英国9 - 11恐怖菱击以后，人们己经 克识列安全的臆弱性，目祈冬国都富度重视这挥一个问幾，即如何对国家重要安全部门和牧 威场所迸.行全天候.fi动、卖肘的运距青监柱和身份识别。而駅于步态特征的身份识别技术 就是鮮决这一问題的有效手段之一。虽然目询步态识别技术的败果还不尽如人如糸统的准 确率不侈壽，而且成本较壽，個这顼枝术有舟*好的应用術景。预计5年后，步态钗别机将卖 现商化。届时，世并冬国均可享受到这一新世识别技术的好处,A冬国机场及其他重要场所 的出入d安裝这种机森，结成一无形的反恐叵阿，增強人类社会的安全度，构筑一个和谗.妥 全的人类家囲。在略床工作

24、中，对人体行走方式进行獄观诃录并对步行功能进行糸统评价，是康复评走 的求要组成部分。现卖中有很多疾病会引起步态变化，即产生走爆类态异常。为此可通过对 步行规律的研丸，分析人体脅骼、关节的三维空间定住以及生杨力李特性,;隹确评价人体冬部 佞在运动过瘦中的动态支化，从而掲示步态异常的病理虑因。步态评价也是神经病学.风谡 病学.舔形学和康复医学A q常临床卖戌中的重要方面。对患有神经糸统戎脅骼肌肉糸统疾学习资 病而可能影响行走能力的总者需要进行步态分析，以评仕患者是否存在异常步态以及步态异 常的性质和程度,从而为分析异常步态廉因和琳正异常步态.制主治疗方亲灵供必要的依据。 通过步态分析还可以理鮮步态

25、并常的怎本过程和机制，从而对力.关节角度和肌肉活动遗行 详细分析，进而进行相关的医学研丸。另外，步态帜别问題是人的运动分析的一个子问題，因而步态钗别问題的研兗成果冇可 能护展应用于鮮决计算机视觉领城里的其他问題，如区分不同的运动（走珞、跑步.打阿球的 击球动作）.手语的鮮粹寻。入、技术堆点及解决遼徑步态识别是计算机视觉和钱式识别絞城一个非常新的研丸方向，近10年来，研丸者在这 方而取得了许多成绩，但是要设计并实现一个卖用性强的步态识别糸统非常复杂并1L困难。 由于人的行走娄势受冬科因素的彩响，A不同环境条件下行走娄势冇戎多戎少的变化，因此 步态识别的计算较复杂，识别的准确度还不缈高。目術孩糸统

26、的准确率疫80 o90。，准确 性低于笫一代身份识别枝术。许多瘵观因素的存品，给步态的浚终钗别带来了困难，如何更准确地识别步态特征，是步 态帜别领城面临的难題。然而，箧学研丸所确定的特征，或者因为特征本身没有可重复性，或 者由于观疼角度的限制和勺遽拾问題，并不迨于墓于计算机视觉的糸统去提取。从计算的角 度来看，从低质量和没有标记的视频序刃中对运动肠体进行跟琮和分刘的算比的不新确性导 致了所提取特征的不可素性，而由换像机滦度和角度不同度成的遗视的彩响使苗征提取工作 变得十分繁重。&勺技术难点复杂皆景的干扰：运动目标的有效检測对于目标识别跟琮和行为理鮮等后期的处理是 非常重要的。步态序刃国

27、像是一个复杂.具冇非常壽维数的视觉栈式o图像荻取过程中的不 确沱性，使得步态识别过程必然会受到各科外尿因素的干扰，从而使得复杂背景图像中的n 标检测非常困难。如何谄除复杂背景的彩响，准确提取运动人体的ti标特征， 成为步态特征提取以及后续处理的关键。钗别算法问題：目祈己有几种常用的侯式分类森应用于步态识别，但是离且处于卖瞼研学习资 兗阶段，没有一种兜美无缺的算比。常见的方出冇呆近邻(Nearestneighbor,NN)分类.人工 神絞阿络(Artificial neural network,ANN)及隐马金可夫栈童(Hidden markov model,HAAM) 寻，这些方法有许多弱点。

28、其中呆近邻分类森是根据欧几里得距窗对己知向量和待识别量进 行比对，该方出没有探入艳握数握部包含的变化传息，即：哪种散堀支化厲于同一个体部变化 信息引起的，哪科变化旻由于不同个体之间的差别凌成的。其次,呆近邻分类枝术对于权求丸 小的分紀具有不可靠性，这疫步态钗别以及数据融合中是非常重要的因素。对步态数据遗行 简单的融合也会严或彩响步态识别半。而人工神经冋络和隐马金可夫按禮的理论基础是经典 统计学，釆用的是拝本数目竣于无穷大时的漸进理论。然而疫步态识别的实际研丸中，择本救 q往往冇限，故这些亦理论上冇显箸长处的分类方法在实际应用中却可能不尽人意。另外，由 于这些算出本身存A的问幾，就会出现随着样本数的增多，钗别率会冇所下阵。这是因为，样 本數量越丸，出错的机会就越多；根据步态识别的特征来看，挥本散的增加导致箱征空间出现 拥捺现象，个体之间的差别就令编小。如何鮮决这个问題，一直困扰着许多研克者。环境因素干扰：影响步态识别的外界因素也很多。