讲稿 面向车间人员管控的多源视频数据融合技术.doc

讲稿 面向车间人员管控的多源视频数据融合技术 各位老师好，我是机电班的刘洋，指导老师是刘庭煜，毕业设计的题目是面向车间人员管控的多源视频数据融合技术。 那么今天我将围绕算法核心详细说明我在毕设中所做的工作以及所取得的成果。 PPT呢是按照项目进展顺序排版的，与各位老师手中的毕设说明书章节顺序一致，各位老师可以跟着我，一起感受视觉算法的魅力！首先阐述系统的总体结构，申明本项目所做部分在整体中的环节及前后联系，并申明本项目的特殊情况！本项目依托国防科工局基础科研重点项目，针对航天科工某厂车间“安全传感器”项目展开研究。 项目需要在1000平方米以上的车间分布约19个摄像头，如这张图所示，对整个车间实现全覆盖视频监控。 而摄像头监控的画面是矩形的，比如5号摄像头，他的实际监控区域大致是这样的范围，呈现出一个梯形。 而同侧的3号摄像头监控范围大致是这样的，他们中间会存在红色的重叠区域。 如果此时有一个人正好站在这个区域内，他将同时被两个摄像头所识别，这样就会被记数为两个人，比实际多了一个；同理，在5号和6号这两个对侧的监控范围内，也存在重叠的区域，里面的人也会被多计数一次。 这样整个车间的累计计数结果将会失准。 所以本课题应运而生，题目中的“数据融合”即为此意，将重叠区域准确计数。 同时希望老师注意这里的同侧和对侧的概念，1,3,5,7为同一侧，刚刚所讲的5和6等为对侧。 现在我们来看项目的总体系统，它由3个模块组成视觉传感网络也就是安装的摄像机，人员识别检测和信息发布模块，而这其中的人员分区分布可视化，简单来讲就是人员计数，就是我的课题所在的环节。 那么整个系统是怎么运行的呢？好的，假设现在19个摄像头已经安装到位，并且已经连接到了交换机上，我从控制台可以看到视频。 图片流输入到人员检测模块，经过深度学习和RGB视觉训练过后的计算机可以自动识别图片中的人物并且返回他的坐标，我所用到的就是这个坐标，坐标传进来，经过3个前期步骤及核心算法后，会将最后的人数结果输出到信息发布模块，这样整个流程就完成了。 但由于项目的特殊性，这个项目是国防相关的，部署的厂里都是武器，所以我不能拿到车间的监控图片，不得已，只能在老图搭建了一个简易的模型，验证算法的可行性，然后拿到现场修改参数后运行。 老图总共布置了3个摄像头，分别是camera1,2,3。 这里1和2是对侧，2和3是同侧的关系。 初始的监控画面是这样的。 可以清楚的看到，画面和肉眼直接观察的不一样，是鱼眼状的，这不利于我们后面的工作。 正所谓工欲善其事必先利其器！我们有必要进行一些预处理，化繁为简。 实验室中用到的摄像头有两种，从型号上也可以看出二者差别不大，左边的可以用网线直接供电，右边需要额外接个电源而已。 我们都是对单张图片进行处理，那我们怎么从视频中获取图片呢？首先我编写了一个Python的截图程序，程序可以执行截图指令，但是对他的截图时间进行分析，可以看到如下“规律”，但是应该是近乎同步的而非有规律的，为什么这些截图时间在0.6s内变动呢？其实Python解释器在执行代码时，有一个全局解释锁GIL锁，任何Python线程执行前，必须先获得GIL锁权限，所以多线程在Python中只能交替执行，即使100个线程跑在100核CPU上，也只能同时用到1个核。 也正是因为这个锁的存在，导致截图程序中每个摄像头的时间差波动才会变得这么大。 但是C+不一样，开多少个线程就同时执行多少个，这也是为什么C+在运行多线程时CPU飙高的原因，它是真正同步的。 从图中可以看到截图时间在0.025s内波动，是Python的22分之1，所以使用C+更利于程序的高效性！具体的程序见附录A和B。 前面我们已经看到过这张图，图中我们可以看到现实生活中是直线的窗台变成了曲线，这是摄像头的鱼眼效应。 现在我们来校正这一个现象，对摄像头进行标定。 这张图就放在这，一会我们来看标定之后的样子。 标定使用到的是这张7X10的正方形黑白网格纸，把它贴在一个平板上，然后凑近摄像头，像这样，然后运行前面讲到的截图程序，之后选择约20张不同角度的截图，送入附录C中的程序执行，可以看到黑白格的交界点被摄像机识别了，并且出现了如图所示的连线，然后程序会进行误差计算，总共会输出3个值，按照张正友教授的标定要求，三个值都不能大于1，具体可见论文21页图4.74.8，这样才能保证最终的矫正效果。 如果误差值不满足则需要修改初始值然后重新运行程序，符合要求的话则会输出参数矩阵，将矩阵应用于这张图片后。 哎？可以发现四周出现了弯曲黑边，但画面中的窗台竟然变直了，而且地板上这两条铝合金线也变直了，这就为我们的下一步有效监控区域划分铺平了道路。 由于监控照射的是对面的区域，所以我们索性选择中间这个隔板底部与地面交接的直线和墙边直线为另外两条界线，这4条线围成的区域就是camera1的有效监控区域。 同理，这三条界限还是camera2的边界线，再加上这边的墙边直线，构成了camera2的有效监控区域。 这里有个情况需要阐述，由于中间隔板的遮挡，人被遮住的部分是不会被算在内的，坐标只到能看到的部分而不假想人体的位置往下延伸，所以这张图中camera2的有效监控区就变成了这样，当然，这个隔板拿走的话监控区域就还是这整个部分。 现在看到的是3个摄像头的有效监控区。 既然边界线选完了，下面我们就需要计算边界线的坐标了，这里我们使用到LambelImage软件，向右向下分别为XY轴的正方向，它可以返回图中框的左上和右下角的xy坐标，然后利用斜截式，即可求得图中所有曲线在当前坐标中的方程式。 实验室数据如下。 计算过程虽然简单但是一个摄像头下4条直线，车间部署时19个摄像头就需要计算76条，这样就会很耗时间。 于是编写了一个自动读取excel表格中边界坐标值并将结果自动写入的程序，详见附录D。 接下来就到了核心算法模块化区域算法，缩写为MAA。 如图所示，黄色区域为有效区，周围的红色区域为非有效区，那么正好在边界线附近出现的人怎么办，比如踩线这种情况。 于是将算法分为3个部分同侧算法，对侧算法和门内算法分别讨论。 针对同侧算法，我们提出约定在每个摄像头的左右两条边界中，都只计数其右边界线上的人员。 什么意思呢？左上角camera2，右下角camera3，两者是同侧的关系。 camera2的右边界线和camera3的左边界线在实际中是同一条线，现在我们关注上边的8,9,10和下边的1,2,3，他们分别是一一对应了一个人。 好，按照约定每个摄像头的左右两条边界中，只计数右边界线上的人员，那么上图中8在有效监控区内，被保留，9正好踩在右边界线上，被保留，10在有效区外被删除，保留的记做1，也就是110；下图中1在有效区外，被删除，2踩在左边界线上，根据约定被删除，3在有效区内，被保留，即001，可以看到这三个在重叠区域内的人都只被保留了一次，这样就解决了同侧的重复计数问题。 类似的，针对对侧算法提出约定每个摄像头的下边界，都统一由一侧摄像头计数。 这里的一侧指得是摄像头安装在同一边的位置，比如实验室中的camera2和3就在同一侧。 现规定camera2和3所在的一侧的摄像头的下边界上的人员被保留。 什么意思呢？上图camera2的下边界线和下图camera1的下边界线在实际中也是同一条线，根据规定，camera2的下边界上的人被保留，看到6号的脚是踩在边界线上的，他被保留，而下图中的6号和他其实是同一个人，但是这是camera1的下边界线，根据前面的规定，他要被删除。 这样对侧的重复计数问题也被解决了。 最后，可以看到camera1的图像中有个门，如果有个人站在门外很靠近门的位置，他被摄像头识别后也会被计数，但他实际上不在室内，基于此又提出了约定有点类似于数学上的“属于”关系，如果这个人的矩形边框坐标全部包含在门的坐标内，那么判定该人位于门外，算法将删除该人员坐标不计数。 好了，上面已经将算法全部介绍完了，实践是检验真理的唯一标准！让我们看看运行的结果。 初期共检测到了35个实验对象，先人为的评判一下哪些要被保留，哪些要被删除，得到一个期望的结果。 然后将实验数据全部送入MAA算法中执行，从输出的结果来看，二者完全一致。 换张图，上方人工处理结果，下方算法输出结果，可以看到不管是每个摄像头下保留的人员还是最后的计数结果都