基于图像分析的生猪运动深度提取方法

基于图像分析的生猪运动深度提取方法

0含血压监测的冷马克思恩格斯对冷克氏体的生物特征的计算机视觉特征提取研究作为生物识别特征的一个，行走函数可以通过计算机的视觉监测来检测，具有隐蔽性和非特异性特征，这使得跟踪行为的研究变得越来越重要。人的步态识别作为一种新兴的行为特征,已经成为计算机视觉研究领域的一个热点,目前在身份识别、行为识别等领域已取得一定的研究成果,而对于动物的步态特征研究则较少。国外研究者由于对动物福利的关注,近年来在动物步态特征,特别是动物跛足的识别方面开展了一些研究。LiesbetM.Pluy等通过4块载荷板测量生猪站立时的各肢对载荷板的压力数据融合摄像头采集的视觉站姿数据,对生猪跛足特征进行分析。GrégoireJ等则通过对动力学、加速度、足印分析、躺卧姿态变化和蹄部损伤等信息综合进行分析,指出行走缓慢、步幅小、站立时间长、弓背和进食后很快躺卧等特征可以作为生猪跛足指示。国内目前对于动物步态研究较少,主要集中于仿生机械领域。目前的研究中,尽管行人步态行为的计算机视觉识别已经取得了相当的成果,但基于计算机视觉进行动物步态特征自动提取的方法仍较少。行人步态的时空数据通常包括:行走速度、步长、步调、跨度姿态和摇摆时长等。而生猪作为四肢行走动物,相对人的直立行走,其时空数据特征的表达和计算机视觉提取更加复杂。课题组近年来专注于基于机器视觉的生猪异常监测的研究,重点围绕监测系统构建、生物视觉特征提取方面开展研究工作。研究中发现,疾病生猪多出现呼吸频率加快、行动迟缓、精神萎靡等行为表现。生猪步频、步幅等步态的时空数据特征,一定程度上反映了生猪步态规律,可以作为生猪运动行为的基本特征,用于异常特征监测。建立生猪的步态特征计算机视觉模型,对于识别生猪运动行为,构建和完善生猪生病时的异常行为监测系统具有积极意义。该文重点针对生猪步频特征的提取,以微软公司Kinect深度相机作为图像采集设备,采集生猪运动深度图像序列。在对各帧深度图像进行骨架提取、剪枝的基础上,通过骨架端点匹配和生猪前后肢远近侧端点的帧间相对坐标变化建立生猪运动模型。提出了通过帧间坐标变化点集拟合正弦曲线计算生猪行走完整步的方法,进一步通过计算序列完整步与序列采集时间长度比值提取生猪步频特征。1图像采集与骨架提取1.1深度图像与健康检测传统行人视觉步态识别研究中图像序列的采集多采用光学摄像头采集色彩图像进行分析研究。色彩图像在复杂背景环境下对于人体的提取常会造成一些困难,因而有学者尝试采用红外热像仪采集步态序列。利用红外热像仪获取步态图像较容易检测出人体目标,且周边环境不易对步态图像造成影响,还可实现昼夜监控。但红外热像仪较为昂贵,不利于推广。近年来,随着高速深度相机的快速发展,特别是微软公司推出面向人机交互的Kinect传感器,对计算机视觉研究领域产生了重大影响,迅速在步态识别领域得到应用。图像前景提取通常是传统光学图像识别中非常困难的一环。深度摄像机能够采集深度图像(depthimage)也称距离图像(rangeimage),其记录相应的场景上各点与摄像机的距离信息,反映了物体表面的三维特征;其每个像素点不再表示颜色,而代表目标点在场景中的深度。相对光学图像,深度图像虽然包含的目标细节信息较少,但其对光照纹理具有不变性,容易区分前景和背景,降低了图像识别的难度。典型的深度相机如微软公司的Kinect具有性价比高、可以同时采集场景的光学图像和深度图像等优点。其分辨率为640像素×480像素,采集速度30帧/s,深度图像精度误差在5m测量距离内可以控制在4cm左右。为开展生猪步频特征提取研究,以Kinect作为图像采集设备,于江苏省丹阳市荣兴养猪场采集生猪运动图像序列,采集频率设定为30帧/s。图1a给出了连续采集的5帧序列图像,从图中可以看出,由于猪舍环境中,猪舍周围墙体、设施等与目标生猪在空间上分布不同,使得在深度图像中生猪前景较为明显。对于部分与生猪相近深度的侧壁、梁柱等环境背景可以通过背景减除等图像预处理方法滤除。图1b为经过背景减除处理后的序列图像结果,从图中可以看出,经过简单的预处理,可以获得较好的生猪前景分割效果。1.2序列骨架提取骨架(Skeleton),或称中轴,最早由Blum提出。按照Blum的定义,图像骨架由物体轮廓产生,每个骨架点保持与边界距离最小的性质。作为一种形状描述方法,骨架可以用于表达物体的原始形状信息和几何拓扑结构,已被广泛的用于图像检索、医学图像分析、文字识别等方面。为通过生猪运动图像序列骨架变化进一步分析提取步频特征,需要分别提取序列中各帧图像的骨架。目前,骨架提取方法大致可以分为:基于细化的算法、基于Voronoi图的离散域骨架化算法、基于距离变换的方法、迭代收缩物体轮廓的方法、基于数学形态学的方法等5种。该文采用Choi等提出的基于距离场的骨架化算法提取各帧图像骨架。提取到的骨架如图2a所示。从图2a中可以看出,单纯骨架提取算法所得到的骨架含有较多与物体主体结构相关性较小的冗余骨架枝。为简化后续分析,有必要对骨架图进一步进行剪枝处理。基于骨架简单性和重建误差最优原则对提取的生猪图像骨架进行剪枝处理,可以得到较好的生猪简化骨架表示,如图2b所示。2骨段的匹配和节奏描述2.1序列骨架图匹配通过对序列中各帧深度图像骨架化和剪枝处理,可以得到能够较好反映生猪主体形状结构的骨架表示。骨架上的每一个像素点称为一个骨架点。仅有一个相邻骨架点的骨架点称为骨架端点(Endpoint),记为ei。侧向采集图像提取的理想生猪骨架图称为标准骨架图,通常包含7个骨架端点,如图2b所示。从骨架图中确定前、后肢骨架端点,是分析生猪行走的重要前提。然而,由于目标对象——生猪属于非刚体,生猪行走时的体态变化、两前肢或两后肢在行走时重合遮罩等因素往往导致剪枝后的骨架并不能得到上述所有骨架端点,如图3所示。如何确定图中各端点的归属,可归结为一个图匹配问题,即确定某一骨架图与标准骨架图端点间的映射对应关系,如图4所示。基于路径相似性的骨架图匹配算法,确定序列骨架图中各端点与标准骨架图中骨架端点的映射关系。设待匹配的两骨架图G、G′,ei、e′j分别是G、G′上的骨架端点。其中:0<i≤K+1,0<j≤N+1,且K≤N。首先,按式(1)计算来自不同图的端点间的路径距离矩阵:计算两待匹配骨架图G、G′中所有骨架端点的非相似度可以得到1个新的矩阵:最后,以匈牙利算法在C(G,G′)上求解最优匹配结果,确定序列骨架图中骨架端点与标准骨架图中骨架端点的映射关系。2.2后台端判别因子骨架图匹配仅能确定各骨架端点归属类别,而生猪为四蹄动物,对应最多有2个前肢端点和2个后肢端点。为区别前后肢不同端点,定义侧向采集时,距离传感器较近的一侧肢体端点为近侧端点,较远一侧肢体端点为远侧端点。则四肢端点分别称为:前肢远侧端点FFE(forelegfar-sideendpoint)、前肢近侧端点FNE(forelegnear-sideendpoint)、后肢远侧端点HFE(hind-legfar-sideendpoint)、后肢近侧端点HNE(hind-legnear-sideendpoint)。前后肢端点可通过2.1节部分骨架图匹配方法确定。当同时检测到2个前肢端点或后肢端点时,为区分端点远、近侧特性,定义判别因子Qfn。定义:设Bi为剪枝处理后骨架图G上端点ei所在的骨架枝,该骨架枝共含有L个骨架点,分别用bik(k=1,2,…,L)表示,其对应深度图像值为I(xbik,ybik),ei即为biL。以ei为起点,沿该骨架枝顺序取P个相邻的骨架点与ei一起构建骨架枝子集{biL,bi(L-1),…,bi(L-P)},ei对应远近侧判别因子为:由于深度图像中各像素点值反映其在场景中距离深度相机的距离,则当待判别两骨架端点ei、ej满足Qfni<Qfnj时,可知ei为近侧端点,ej为远侧端点。表1给出了图2b实例中两后肢骨架端点e5、e6所在骨架枝邻近骨架端点的像素值。其中,e5在其所属骨架枝中的序号为75,e6在其所属骨架枝中的序号为76。从表1可以看出,后肢端点e6邻近各骨架点的像素值小于后肢端点e5邻近各骨架点像素值,计算其Qfn,可判定e5为远侧端点,e6为近侧端点。2.3图像步度量的计算由2.1、2.2节部分,可定位一帧深度图像中生猪四肢的骨架端点,这为进一步分析深度图像序列中生猪的行走特征奠定了基础。生猪行走时,存在前肢的远、近侧肢交替和后肢的远、近侧肢交替。定义前肢远、近侧肢交替一次为完成一个前肢步(fore-legstep,FS);后肢远、近侧肢交替一次完成一个后肢步(hind-legstep,HS);完成一个前肢步和一个后肢步为一个完整步(completestep,CS)。设待分析的含有T帧生猪运动深度图像的图像序列为F={fi,i=1,2,…,T},图像fi中前肢远、近侧骨架端点图像坐标分别为(xFFEi,yFFEi)、(xFNEi,yFNEi),后肢远近侧骨架端点图像坐标分别为(xHFEi,yHFEi)、(xHNEi,yHNEi)。远近侧肢交替可通过帧间远近侧骨架端点的坐标变化来反映。为简化分析计算的复杂度,以远近侧骨架端点水平方向坐标相对变化作为远近侧肢交替的度量,即仅考虑各骨架端点x坐标的相对变化。定义图像帧fi中远、近侧端点坐标关系变量REi(dFEi,dHEi),其中:则以REi作为特征变量,可以建立反映生猪行走情况的数据模型。以前肢步度量为例,进一步提取序列图像生猪步频特征,方法如下:1)分别计算图像序列中各帧图像前肢远、近侧端点关系分量dFEi,构建数据集DFEuf03d{dFE1,dFE2,uf04c,dFET}。2)以DFE为数据集,拟合正弦曲线。定义拟合目标正弦曲线方程为:式中:a、b、c分别为拟合正弦曲线的幅值、频率和初相。3)数据集拟合正弦曲线可以较好地滤除远、近侧肢端点局部识别错误导致的数据扰动。拟合正弦曲线一个周期含2个过零点,即对应2次远、近侧肢交替。则前肢步数NFS可按式(8)对拟合正弦曲线频率倒数的2倍进行取整计算。式中:INT(·)为取整运算符。后肢步度量算法与前肢步类同,分别按式(6)、式(7)、式(8)计算得到前、后肢步数NFS、NHS。按前述完整步CS定义,深度图像序列对应的生猪完整步数NCS应为:设图像序列中第1帧图像采集时间戳为tstart、最后1帧图像采集时间戳为tlast,则图像序列对应的生猪行走步态频率fCS可由式(10)计算得到。3测试序列集构建为测试该文方法,于江苏省丹阳市荣鑫养猪场采集有效生猪运动图像序列28组,并对采集图像序列采用水平方向镜像处理得到28组图像序列,构建测试序列集共56组。以Matlab为平台编制试验代码,进行测试。3.1测试序列计算图5给出了一个前肢步的拟合曲线示例,其拟和正弦曲线频率值为0.346,按式(8)计算对应前肢步数为5。表2给出了全部56组测试序列的试验和实际观测结果的对比统计。从表2可以看出,46组测试序列该文方法检测结果与实际观测结果一致,正确率达到82.1%。3.2实验分析和结论对试验结果分析,讨论如下:1)28组原始序列及其对应28组水平镜像序列的该文算法步频检测试验结果相同。说明,该文方法与实际序列中生猪运动方向无关,具有一定的适应性。2)测试序列4组序列实际表现为运动步刚刚完成交替,而该文方法是对拟合正弦曲线频率倒数的2倍取整,由于实际远、近侧端点关系数据点与拟合曲线不重合引入拟合误差,导致检测结果与实际观测数据产生误差,但误差值均小于1个运动步。3)该文算法对于存在生猪短时原地停留的情况能够较好地适应。但当序列图像中存在较长时间的原地停留,应用该文算法时,由于2步间远、近侧端点坐标关系变量连续多帧保持不变或变化很小,拟合正弦曲线周期拉长,可能导致算法失败。试验中2组测试序列出现较大检测误差属于此种情况。4)试验中2组测试序列存在非交叉行走步情况,即远、近侧肢骨架端点图像水平坐标的关系变量没有发生符号变化,成为半波曲线,拟合正弦曲线时被忽略,导致该类运动步未能检出。5)测试序列中2组序列存在多帧图像间生猪运动发生较大转向,由初始侧向运动(即躯干垂直或近似垂直于深度相机光轴)转变为远离运动(即尾部正对深度相机)。由于运动体态的剧烈变化,使得序列中多帧图像骨架端点匹配失败,算法运行中止。这是该文方法的局限性。综上分析,该文方法对生猪侧向连续运动深度图像序列的运动步提取正确率较高,除去上述3)、4)、5)所述情况涉及的6组序列,剩余50组侧向连续运动序列正确率达92%,进一步可按式(10)计算生猪运动步频特征。且原始序列与其水平镜像序列的试验结果表明,该文方法与运动方向无关,有一定的适应性。该文方法对于运动步间存在较长停留时间或非交叉步的情况尚需进一步改进。对于图像序列中出现较大体态变化特别是非侧向运动的情况,由于无法实现骨架端点匹配,使得该文