人脸抓拍识别系统技术方案

精品文档 1欢迎下载 智能分析视频监控系智能分析视频监控系 统统 设设 计计 方方 案案 2015 102015 10 精品文档 2欢迎下载 目录目录 一 系统概述 4 二 系统优势 5 三 应用场景 6 四 系统设计 7 4 1 概述 7 4 2 技术特点 7 4 2 1 技术概要 7 4 2 2 人脸抓拍技术 8 4 2 3 人脸识别技术 9 4 3 系统结构 10 4 3 1 系统组网 10 4 4 人像系统功能 11 4 4 1 人脸检测抓拍 11 4 4 4 自动识别性别 11 4 4 5 图像记录防篡改功能 11 4 4 6 高清录像功能 11 4 4 7 数据存储功能 12 4 4 8 数据 FTP 传输与断点续传功能 12 4 4 9 远程系统管理维护功能 12 五 后端管理平台 13 5 1 系统框架 13 5 2 后端服务器简介 13 5 3 客户端功能介绍 15 5 3 1 功能架构 15 5 3 2 客户端主要功能介绍 15 5 3 2 1 视频播放 15 5 3 2 2 历史视频查询 15 5 3 2 3 图片和事件信息显示 16 5 3 2 4 图片和事件关联视频查询 16 5 3 2 5 建立重要案事件视频库 16 5 3 2 6 黑名单布控报警 16 5 3 2 7 模糊图像处理 17 5 3 2 8 系统设备状态监测 17 六 系统应用 17 6 1 人脸抓拍应用 17 6 2 人像比对应用 18 精品文档 3欢迎下载 6 3 条件检索应用 19 6 4 视频关联人脸应用 19 6 5 黑名单布控应用 20 精品文档 4欢迎下载 一 系统概述一 系统概述 人车抓拍卡口系统 的出现 使对车辆和人员的监控实现实时报警成为 了可能 不但可以对车辆进行监控管理 而且同时对人员进行了有效监控管理 对于城市中心区域 城市城中村及中小城市的治安管理系统建设更具有现实作 用和意义 同时该系统在机制上实现了无效数据的屏蔽从而可以有效地降低中 心存储的压力 该系统的数据采集方式可以实现多级检索 大大提高了系统的 使用效率 节省了查询时间 减少了警力的占用 该系统响应了公安部的要求 符合当前实际的需要 具有时效性及高科技的特点 减少了大系统建设的后顾 之忧 必将在推广后成为公共安全的得力助手 达到 科技强警 的目标 精品文档 5欢迎下载 二 系统优势二 系统优势 1 视频触发 应用灵活 方便 不需要破路埋设线圈 系统建设简单 维 护方便 2 前端采用高清一体网络摄像机作为图像采集设备 成像质量高达 300 万 像素 图片质量高 一台高清摄像机可实现对车辆的抓拍 完成号牌识别 行 人抓拍 视频记录 设备构成简单 系统建设 应用简便 工控机用作前端存 储 3 系统支持后期人脸比对扩展功能 可将前端抓拍人像与人像库进行实时 比对 当比对相似度达到一定阀值 则会自动报警 也支持遗留物检测 固定 物检测等扩展功能 4 可以实现对重点区域同时提供高清的人像照片 车辆照片和有效高清视 频录像 实现对重点区域的全天候 大范围的管理要求 提高了管理水平 在 一定程度上极大的制止了不法行为的发生 同时也为相关安全部门的调查取证 创造了条件 为后期的案件处理提供可靠 有效的线索和依据 5 领先的车牌识别技术 准确率很高 车牌识别种类齐全 可准确识别车 牌字体和车牌底色 6 系统操作简便 人机界面友好 易于维护 7 多目标系统对地铁出入口的广场进行一个全局的监控和细节目标的检测 跟踪 8 人群密度统计 对广场区域人群密度进行分析统计 已 4 种颜色表示密 度 但密度超过设定值 立即进行报警 精品文档 6欢迎下载 三 应用场景三 应用场景 目前本系统主要应用在以下几个方面 地铁站 机场 车站 高速路收费站 城中村 小区等重要的出入口 地铁站 机场 车站 高速路收费站 城中村 小区等重要的出入口 公路卡口点 社区 景区 工业园区 政府 军队等场所 公路卡口点 社区 景区 工业园区 政府 军队等场所 精品文档 7欢迎下载 四 四 系统设计系统设计 4 14 1 概述概述 系统是我司自主开发设计的新一代智能卡口系统 同时具有车辆监控管理 和人员监控管理功能 它融合了多项专利技术 融合先进的计算机视觉技术 高清视频图像处理和神经网络等关键技术于一体 结合网络和自动控制技术 利用高清晰一体摄像机做检测传感器 对进入镜头的过往车辆 人员进行实时 抓拍 摄像机内置软件进行分析处理 它既可进行本地独立工作 也可联网组 成一个强大的安防系统 同时结合多目标系统和人群密度统计分析系统 对广场区域进行一个全覆 盖的监控以及对人群密度的分析统计 4 24 2 技术特点技术特点 4 2 14 2 1 技术概要技术概要 系统结构简洁 高度集成化 前端高清一体摄像机采集车辆 人脸图片 摄像机内置软件完成分析 识别 具有高度集成性 有效降低使用与维护 成本 可针对性全捕获机动车 人像 实现过往目标的全面管控 夜间智能补光 白天无逆光 全天候清晰成像 号牌识别平均有效率 在车牌图像满足国标要求120像素 180像素的情况 下 识别率可达到95 识别车牌大小范围可达到70像素到250像素 识别车牌亮度 对比度动态范 围大 人脸抓拍大小范围可达到80像素到500像素 准确率高达92 领先的倾斜车牌识别技术 支持识别车牌一定程度的倾斜 倾斜30 以内 系统具备高清录像功能 录像的帧率30Fps 秒 精品文档 8欢迎下载 4 2 24 2 2 人脸抓拍技术人脸抓拍技术 人脸检测是指对于任意一幅给定的图像 采用一定的策略对其进行搜索以 确定其中是否含有人脸 如果是则返回人脸的位置 大小和姿态 人脸抓拍的 实现需要人脸检测算法作为支撑 判断图像中是否存在人脸 这一项技术最初 伴随人脸识别的研究而逐步发展 人脸检测是人脸识别智能系统中非常重要的一个环节 只有首先保证人脸 抓拍图像的高效率 高质量 才能在人脸识别系统中做好良好铺垫 在其他领 域也可以用来作为辅助手段 例如 公安机关案件侦查 监控系统辅助抓拍等 人脸检测是一个复杂的具有挑战性的模式检测问题 其主要的难点有两方 面 一方面是由于人脸内在的变化所引起 人脸具有相当复杂的细节变化 不同的外貌如脸形 肤色等 不同的表情 如眼 嘴的开与闭等 人脸的遮挡 如眼镜 头发和头部饰物以及其他外部物体等 另外一方面由于外在条件变化所引起 由于成像角度的不同造成人脸的多姿态 如平面内旋转 深度旋转以及上 下旋转 其中深度旋转影响较大 光照的影响 如图像中的亮度 对比度的变化和阴影等 图像的成像条件 如摄像设备的焦距 成像距离 图像获得的途径等等 这些困难都为解决人脸问题造成了难度 如果能找到一些相关的算法并能 在应用过程中达到实时 将为成功构造出具有实际应用价值的人脸检测与跟踪 系统提供保证 国外对人脸检测问题的研究很多 比较著名的有 MIT CMU 等 国内的清华 大学 中科院计算所和自动化所 南京理工大学 北京工业大学等都有人员从 事人脸检测相关的研究 而且 MPEG7 标准组织已经建立了人脸识别草案小组 人脸检测算法也是一项征集的内容 随着人脸检测研究的深入 国际上发表的 有关论文数量也大幅度增长 如 IEEE 的 FG ICIP CVPR 等重要国际会议上每年 都有大量关于人脸检测的论文 占有关人脸研究论文的 1 3 之多 由此可以看 到世界对人脸检测技术的重视 精品文档 9欢迎下载 人脸检测算法种类较多 目前国内常用的人脸检测算法 总的来说主要有 子空间法 PCA ICA 神经网络法 SVM haar hog LBP AdaBoost 方法 并将 该方法用于其他方面的检测 比如多视角的人脸检测 以上研究代表了目前人脸 检测研究的最高水平 但常用的这些算法主要包括检测速率较慢以及鲁棒性差 易受环境变化而检测效果较差等缺点 而难以很好的应用于实际的系统之中 目前 我们采用的是最新的检测技术 归一化像素差分法 Normalized Pixel Difference 或 NPD 其特征公式如下 yx yx yx f 该方法特征描述相对简单 计算复杂度也比其他算法低很多 在检测效果以及 检测速度上是其他算法无法比及的 目前算法通过对大量正负样本进行特征提取 机器学习而实现 对于实际 应用场景中人脸偏转角度小于 30 以内的人脸都能准确快速的检测 我们通过 对 200 万包含正负样本的测试样本集进行检验 其中 FRR 漏检率 可以达到 0 01 万级别 FAR 误检率 可以达到 0 001 十万级别 对于大小为 640 480 的图片 检测平均速度可以达到 70ms 在国内处于顶尖水平 4 2 34 2 3 人脸识别技术人脸识别技术 人脸识别 是基于人的脸部特征信息进行身份识别的一种生物识别技术 用摄像机或摄像头采集含有人脸的图像或视频流 并自动在图像中检测和跟踪 人脸 进而对检测到的人脸进行脸部的一系列相关技术 通常也叫做人像识别 面部识别 人脸与人体的其它生物特征 指纹 虹膜等 一样与生俱来 它的 唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提 与其它类型的 生物识别比较人脸识别具有如下特点 非强制性 用户不需要专门配合人脸采集设备 几乎可以在无意识的状态 下就可获取人脸图像 这样的取样方式没有 强制性 非接触性 用户不需要和设备直接接触就能获取人脸图像 并发性 在实际应用场景下可以进行多个人脸的分拣 判断及识别 除此之外 还符合视觉特性 以貌识人 的特性 以及操作简单 结果 直观 隐蔽性好等特点 精品文档 10欢迎下载 人脸特征点提取是指对给定且已经对齐的人脸图片自动的计算出经过抽象 且带有类别区分性以及类间区分性的特征 人脸特征的好坏是整个人脸识别中 最重要因素 相似性计算是指计算数据库中模板人脸与当前抓怕人脸的距离 取一定阈值的距离来作为判断同一个人的依据 人脸对齐是指通过给定的人脸区域自动的计算出人眼睛 鼻子 嘴巴以及 脸部轮廓的位置 计算出人脸偏转的角度然后自动的把人脸矫正到正脸位置 人脸对齐的准确性是影响人脸比对成功率的一个重要因子 我们使用了基于深度学习的人脸识别算法 整个训练集达到 10 万人次总计 800 万训练样本 在 LFW 人脸识别数据库上 实现了 99 2 以上国内顶尖的准 确率 4 34 3 系统系统结构结构 4 3 14 3 1 系统组网系统组网 系统由前端信息采集抓拍子系统 网络传输子系统和后端平台组成 实现 对通行车辆信息的采集 传输 处理 分析与集中管理 亦实现对过往行人的 人像采集 处理 分析等 1 前端信息采集抓拍子系统 前端摄像机实现对车辆 人像综合信息的采集 包括车辆特征照片 车牌 号码与颜色 车身颜色 过往人像面部特征等 摄像机内置软件完成图片信息 识别 据缓存以及网传等功能 工控主机用作数据存储 2 网络传输子系统 完成系统数据信息的传输与交换 可通过 FTP 方式将车辆图片 人脸图片 车辆行人通过信息 时间 地点 车牌号码 车身颜色等 设备监测数据等上 传到中心管理系统 3 后端平台 完成数据信息的接入 比对 记录 分析与共享 亦可实现查询统计功能 由服务器安装平台软件模块组成 包括 数据库服务器 管理服务器 应用服 务器 Web 服务器和时钟服务器 图片通过视频存储服务器进行集中存储 其 中 数据库服务器安装数据库软件保存系统各类数据信息 管理服务器安装管 理模块负责系统综合管理 应用服务器安装应用处理模块负责数据处理 布控 精品文档 11欢迎下载 比对 报警转发 上下级通讯等 Web 服务器安装 Web Server 负责向 B S 用户 提供访问服务 时钟服务器安装 GPS 加 NTP 校时软件负责全网设备统一校时 视视频频监监控控系系统统平平台台 中中心心存存储储单单元元 管管理理平平台台 前前端端系系统统后后端端中中心心平平台台 工工控控机机 摄摄像像机机 补补光光灯灯 摄摄像像机机 补补光光灯灯 摄摄像像机机 补补光光灯灯 摄摄像像机机 补补光光灯灯 客客户户端端 网网络络传传输输系系统统 传传输输网网络络 工工控控机机 工工控控机机 工工控控机机 4 44 4 人像系统功能人像系统功能 4 4 14 4 1 人脸检测抓拍人脸检测抓拍 在人行通道出入口架设人脸抓拍一体化摄像机 前端摄像机对通过监测区 域的过往行人会自动抓拍一张人像 并会通过自主制定的优选策略选择角度最 佳 图像最清晰的人脸并且截取标准人像 同时人像信息会写入关联数据库 人像抓拍准确率高达 95 4 4 44 4 4 自动识别性别自动识别性别 前端摄像机对通过监测区域的过往行人抓拍人像后 内置识别软件可自动 识别男女性别 并将识别结果通过网络发送至后端平台 4 4 54 4 5 图像记录防篡改功能图像记录防篡改功能 系统在前端摄像机对图片进行水印加密 也就是从数据的源头加密 防止 在传输 存储 处理等过程中被人为修改 断绝了数据篡改的可能性 图片通 过网络传输到中心管理服务器 中心管理软件自动对每一张图片进行水印验证 以保证数据的安全性和真实性 4 4 64 4 6 高清录像功能高清录像功能 系统在支持抓拍高分辨率图片的同时 能实现 24 小时高清视频录像功能 精品文档 12欢迎下载 分辨率不低于 1920 1080 视频和人像 车辆信息关联 可以通过视频检索到人像和车辆图片 也可 以通过人像和车辆检索到视频 4 4 74 4 7 数据存储功能数据存储功能 系统采集的车辆图片 人脸图片 高清录像等数据支持前端存储和中心集 中存储 前端存储设备包括抓拍摄像机内置的 SD 卡和智能终端管理设备内置的大容 量硬盘 系统在前端即可实现数据的备份存储功能 中心存储是将数据保存在位于后端中心的集中存储系统 如大容量磁盘阵 列等 4 4 84 4 8 数据数据 FTPFTP 传输与断点续传功能传输与断点续传功能 系统支持多种方式的数据传输 可通过 FTP 方式将车辆图片 人脸图片 车辆行人通过信息 时间 地点 车牌号码 车身颜色等 设备监测数据等上 传到中心管理系统 也可在中心通过网络调用或下载操控前端设备存储的数据 系统支持数据的断点续传 如因网络中断或其它故障 数据无法上传至管 理中心时 可暂时将数据存储在前端 待网络恢复后前端存储设备自动上传网 络中断期间的数据至管理中心 4 4 94 4 9 远程系统管理维护功能远程系统管理维护功能 系统具备故障自动检测功能 能通过软硬件自动检测系统故障并恢复正常 工作 具有断电自动重启动 自动侦错报错 自动监测主要设备和主要运行软 件的工作状态等功能 系统具备权限管理功能 能够对不同对象分配不同类型的使用权限 系统具备日志记录功能 可记录主要设备 网络状态和主要运行软件的工 作日志 还能记录设备或者网络状态改变 重启 或者重新连接 主要软件发 生重启或故障等事件日志 系统具有主动校时功能 24h 内设备的计时误差不超过 1 0s 系统具备远程维护及参数的设置等功能 精品文档 13欢迎下载 五 后端管理平台五 后端管理平台 5 15 1 系统框架系统框架 后端管理平台中心业务处理框架图如下 数据从前端接收进来后分别由以 下服务器进行处理 然后经由客户端进行最终的操作 5 25 2 后端服务器简介后端服务器简介 1 1 视频存储服务器 视频存储服务器 前端高清摄像码流通过数字网络传输 在视频监控平台软件的管理下 直 接传输至视频网络存储服务器 视频网络存储服务器内置第三方流媒体模块和 录像模块 实现前端摄像机的直写录像存储模式 同时视频网络存储服务器支 持内置第三方回放模块 可以接收浏览客户端的回放指令并检索历史视频 然 后通过以太网络发送给客户端回放 2 2 数据接收服务器 数据接收服务器 接收前端设备发送回来的车牌号码 人像数据和图片 保存到数据库中 3 3 比对服务器 比对服务器 精品文档 14欢迎下载 当中心系统的数据接收服务器收到各个监控点发送回来的车辆车牌号码及 人像后 实时地将数据进行融合存入比对服务器中 自动进行比对报警 如果 比对符合 则向客户端发送报警信息 4 4 智能分析服务器 智能分析服务器 实时视频分析 系统前端视频分析主机即可对多目标智能跟踪系统前端设 备采集的图像进行智能分析 当某些监控点是普通监控设备 本系统后端管理 平台亦可支持对普通当中心系统的数据接收服务器收到各个监控点发送回来的 数据后 实时地将数据进行融合存入智能分析服务器中 智能分析服务器会对 监控数据进行分析 能自动分析出各种异常行为 包括非法闯入禁区检测 异 常奔跑检测 非法逆行检测 物品遗留检测 行为骤变检测 倒地检测 打架 斗殴 人群非法聚集等 如分析出行为类型 将会将结果向客户端发出报警信 息 回放视频分析 系统支持对原始视频进行浓缩 实现快速的录像检索回放 通过设置浓缩规则 智能分析如禁区入侵 通过绊线 人脸出现等行为 对原 始视频进行浓缩 并生成事件 满足设定规则的视频保留 没有发生事件的视 频剔除 并支持视频浓缩播放 对发生了制定规则事件的视频正常播放 对没 有发生事件的视频快速播放 具体的播放速度可以定制 5 5 客户端 客户端 显示服务器传回的数据处理结果 并进行操作 精品文档 15欢迎下载 5 35 3 客户端功能介绍客户端功能介绍 5 3 15 3 1 功能架构功能架构 5 3 25 3 2 客户端主要功能客户端主要功能介绍介绍 5 3 2 15 3 2 1 视频播放视频播放 系统支持播放前端传回的实时视频 也可支持回放任意时间段 任意地点 的视频 并可根据不同的检索方式搜索视频 可以按分类选择只有车 只有人 有车又有人的方式查看视频记录 5 3 2 25 3 2 2 历史视频查询历史视频查询 系统支持查询历史视频 可选择历史视频对某一监控点视频进行历史视频 回放 首先选择需要回放的摄像机 然后选择回放时间段 该时间段不宜过长 最好时半小时以内 然后逐段视频进行回放 点击确定后 系统会把该时间段 的时间片段全部取出 精品文档 16欢迎下载 5 3 2 35 3 2 3 图片和事件信息显示图片和事件信息显示 系统支持可根据图片查询到对应事件的信息 并在界面上显示事件详细信 息 如事件发生地点 时间 事件类型等 通过此功能可快速提取关键图片方 便公安刑侦人员对对应事件进行查看 快速寻找案件线索 5 3 2 45 3 2 4 图片和事件关联视频查询图片和事件关联视频查询 同时支持事件缩略图浏览 点击缩略图 可查看对应时间的原始关联图片 和关联小段视频 通过此功能可以有效较少冗余视频 快速提取关键视频方便 公安刑侦人员对视频进行回放 快速寻找案件线索 5 3 2 55 3 2 5 建立重要案事件视频库建立重要案事件视频库 监控图像信息与案事件信息有机组织构成案事件管理业务 方便案事件信 息与媒体信息 报警信息的对应关联与检索 为大情报分析 案事件等相关系 统提供基础资源以及组织方式 将与案件有关的重要案件视频录像和抓拍图片和案件卷宗相关联 统一集 中存储到公安案事件视频库中 案事件视频资料来源于接警记录 历史案件视 频分析记录 支持通过案件关键信息进行检索和调阅 为公安各项警务工作提 供辅助研判资源和工具 5 3 2 65 3 2 6 黑名单布控报警黑名单布控报警 系统可以手工录入或导入黑名单数据进行布控 当中心系统的数据接收服 务器收到前端发送回来的车辆车牌号码及人像后 实时地将数据进行融合存入 数据库服务器中 与数据库和重点人员人像库搜索比对 若发现是黑名单车牌 或嫌疑人 则向指定客户端发送告警信息包 并联动报警 真正做到嫌疑人与 嫌疑车辆在城市里无立足之处 精品文档 17欢迎下载 5 3 2 75 3 2 7 模糊图像处理模糊图像处理 使视频侦查过程中细节特征更清晰 系统支持视频图像增强功能 可选择 突出或抑制图像中的部分特征 通过低照度增强 去噪 去模糊 去雾等功能 使图像与视觉响应特性相匹配 增强主观效果 使得画面更加的易于观看 方 便公安干警更加高效的选取重点关注视频进行分析 1 支持多种图像处理算法