基于人脸识别的门禁及考勤管理系统应用结构设计.doc

1 基于人脸识别的门禁及考勤管理系统应用结构设计基于人脸识别的门禁及考勤管理系统应用结构设计 第一章第一章 绪绪 论论 1 11 1 课题研究的背景与意义课题研究的背景与意义 门禁 考勤是每个单位物业 人事管理工作中的重要组成部分 随着计算机 技术的飞速发展 各种打卡机 磁卡考勤机 IC 机的不断出现 代替了传统的 人工门禁 考勤方式 使门禁 考勤管理进入一个新时代 近年来 由于生物识 别具有便于携带 不会丢失 不会遗忘 不会被借用或盗用等特点 生物识别 技术被引起重视和广泛的应用 人脸识别技术作为生物识别技术中的一种 它具 有直接 友好 方便的特点 易为用户所接受 因此成为了身份验证的最理想依 据 目前 国际上掌握比较先进的人脸识别技术的国家有美国 德国 加拿大 以色列等 其中 美国 A4Vision 产品 FAR 错误接受率 0 12 FRR 错误拒绝率 9 79 姿态变化识别率 23 面部头发遮挡识别率 50 头部遮挡识别率 低于 5 弱光线识别率 低于 5 我国在这一领域也已处于 较为领先的地位 其中由清华大学电子系人脸识别课题组负责人苏光大教授主 持承担的国家 十五 攻关项目 人脸识别系统 识别率大于 80 国内 深圳 科佳科技集团的 KOM V620 人脸识别考勤系统 航天金盾公司的航天人面考勤系 统等考勤速度已小于 1 秒 准确率均在 96 以上 随着人脸识别技术的进一步发展 相信如果在人脸姿势变化 特征部分遮 挡 年龄变化 光照变化等降低识别率的方面得以技术突破 更多的识别率高 响应速度快的基于人脸识别技术的考勤系统产品将不断涌现 虽然人脸识别有很多其他识别无法比拟的优点 但是它本身也存在许多困 难 人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题 之一 人脸识别的困难主要是人脸作为生物特征的特点所带来的 人脸在视觉 上的特点是 2 第一 不同个体之间的区别不大 所有的人脸的结构都相似 甚至人脸器 官的结构外形都很相似 这样的特点对于利用人脸进行定位是有利的 但是对 于利用人脸区分人类个体是不利的 第二 人脸的外形很不稳定 人可以通过脸部的变化产生很多表情 而在 不同观察角度 人脸的视觉图像也相差很大 另外 人脸识别还受光照条件 例如白天和夜晚 室内和室外等 人脸的很多遮盖物 例如口罩 墨镜 头发 胡须等 年龄等多方面因素的影响 在人脸识别中 第一类的变化是应该放大而作为区分个体的标准的 而第 二类的变化应该消除 因为它们可以代表同一个个体 通常称第一类变化为类 间变化 inter class difference 而称第二类变化为类内变化 intra class difference 对于人脸 类内变化往往大于类间变化 从而使在受类 内变化干扰的情况下利用类间变化区分个体变得异常困难 因此 本课题研究的目的就在于力求使人脸识别在姿势变形 光照变化等 方面增强其容忍度 提高识别率 并在此基础上建立一套实用的门禁 考勤系统 该基于人脸识别技术的门禁 考勤系统 要使数据采集 数据统计和信息查 询过程自动化 方便员工上班报到及管理人员统计 考核员工出勤情况 能准 确反映出某天或者某月的个人 部门或者整个单位的考勤状况 为管理人员提 供准确的考勤数据 并且 数据要客观公正 计算准确可靠 能有效防止迟到 早退 旷工等不良现象的发生 同时也要最大限度地避免人为因素的干扰 体 现考勤管理制度的公开 公平性 杜绝代打考勤等人情化现象 此外 使用基 于人脸智能识别的手段以获得相对准确的进出人员资料 对个别安全场所及重 要区域来说是必不可少的 从而使管理效率大大提高 促进管理的正规化 规 范化和科学化 进而为各单位管理提供科学 可靠的门禁 人事考勤管理手段 因此 课题的成果将具有广阔的产品化前景 1 21 2 基于人脸识别技术的门禁考勤研究现状基于人脸识别技术的门禁考勤研究现状 人脸识别是一种最自然的机器身份识别方式 人脸是可塑性变形体 加之 受到光照 姿势 表情变化 饰物 背景等因素的影响 识别的准确度受到很 3 大限制 同时人脸识别还涉及到图像处理 计算机视觉 模式识别 等领域 所以 人脸识别是一项非常艰巨的任务 目前 主流的识别方法有 基于特 征的方法 包括几何特征方法 代数特征方法等 如 Brunelli等利用人脸边 缘图的积分投影提取了人脸几何特征 并提出用灰度模板来表示人脸几何特征 的方法 Turk 等采用特征脸 Eigenfaces 方法实现人脸识别 Pentland 等 提出对于眼 鼻和嘴等特征分别建立一个特征子空间 并联合特征脸子空间的 方法获得了好的识别结果 基于模板的方法 包括模板匹配方法 弹性图匹 配方法等 如 Nastar 等提出将人脸图像表示为可变形的3D网格表面 将人脸 匹配问题转换为曲面匹配问题 取得一定技术突破 基于模型的方法 包括 形变模型方法 支持向量机方法 隐马尔可夫模型方法等 如 Lanitis 等通 过在人脸特征边沿选择一些稀疏的基准点描述人脸的形状特征 然后将形状变 形到所有人脸图像的平均形状 最终得到描述人脸的AAM Active Appearance Model 模型 通过改变参数可得到不同变化的人脸图像 模型参数能够用于人 脸识别 其中 弹性图匹配方法将作为本课题选择的主要技术方法运用于基于 人脸识别技术门禁 考勤系统开发中 目前 本课题组已完成了国家自然科学基金项目 远程协作系统中感知处 理技术的研究 60273040 国家教育部科学技术研究重点项目 远程协作 系统支撑环境关键技术的研究与应用 01040 和江苏省高校自然科学基金 课题 远程协作系统中人 人界面关键技术的研究 02KJB520003 研究 出了基于肤色和脸部特征的视频序列中实时人脸检测与跟踪方法 研究了采用 Fisher 变换 奇异值分解 SVD 和隐马可夫模型 HMM 的唇动检测与唇语识别 方法 开发出了相应的原型系统 其中基于视频图象的目标检测 运动跟踪 特征提取与识别给面部特征点的检测与定位 视频人脸特征的提取与识别提供 了可借鉴的方法和可使用的原型系统 而对 SVD HMM 等特征提取与识别方法 的研究以及开发的 具有年龄变化的人脸识别原型系统 更是为探索人脸特 征的提取方法与识别工具开发积累了经验 为基于人脸识别的门禁 考勤系统 的产品化提供了良好的技术储备 目前 虽然国内外已出现了一些商业化的基于人脸识别技术的考勤系统 但由于其技术方案原因 对于人脸姿势变化 光照变化等容忍度差 识别率低 4 加上出现海量图像搜索匹配灾难 实时响应差 本课题将采用基于小波变换的图像预处理技术 提高系统对光照变化的容 忍度 采用基于弹性图匹配方法的人脸识别确认 提高系统对人脸姿势 方向 变化的容忍度 采用卡式与人脸识别相结合的方法 有针对性地进行人脸匹配 识别 解决海量图像搜索匹配灾难问题 1 2 1人脸识别的研究进展人脸识别的研究进展 人脸识别最早可以追溯到 1888 年 但人脸识别的真正研究始于 20 世纪 60 年代末 Bledsoe 以人脸特征点的间距 比率等参数为特征 建成了一个半自动 的人脸识别系统 人类在长久的认知活动中 往往将人脸作为区分一个人的重 要手段 人脸是人体中一个极为普通 复杂而又具有很强表征性的器官 每个 人脸都有自己独特的特征 与其他身份鉴别方法相比 人脸识别具有直接 友 好 方便 用户接受程度高和鲁棒性强等特点 人脸特征信息可以直接使用 不易被盗用或假冒 并且成本很低 人脸识别的发展按照其自动化的程度可以分为三个阶段 第一阶段是机械式的识别阶段 以 Bertillon Allen 和 Parke 为代表 主要 研究人脸识别所需要的面部特征 在 Bertillon 的系统中 用一个简单的语句与 数据库中某一张脸相联系 同时与指纹分析相结合 提供了一个较强的识别系 统 为了提高脸部识别率 Allen 为待识别脸设计了一种有效和逼真的摹写 Parke 则用计算机实现了这一想法 并产生了较高质量的人脸灰度图模型 这一 阶段工作的特点是识别过程全部依赖于操作人员 显然这不是一种可以完成自 动识别的系统 第二阶段是人机交互式识别阶段 代表性工作有 Gold stion Harmon 和 Lesk 用几何特征参数来表示人脸正面图像 他们采用 21 维特征向量表示人脸 面部特征 并设计了基于这一特征表示法的识别系统 Kaya 和 Kobayashi 则采 用了统计识别方法 用欧式距离来表征人脸特征 如嘴唇与鼻之间的距离 嘴 唇的高度等 更进一步地 T Kanad M Nagao 设计了一个高速且有一定知识 导引的半自动回溯识别系统 创造性地运用积分投影法从单幅图像上计算出一 组脸部特征参数 再利用模式分类技术与标准人脸相匹配 Kanad 的系统实现 了快速 实时的处理 是一个很大的进步 这个阶段虽然需要利用操作员的某 些先验知识 但仍然摆脱不了人的干预 5 第三阶段是真正的机器自动识别阶段 近十余年来 随着高速度高性能计 算机的发展 人脸模式识别方法有了较大的突破 提出了多种机器全自动识别 系统 这一阶段识别率和自动化程度得到提高 目前国内外用于人脸识别的方法层出不穷 但是根据人脸表征方式的不同 通常将人脸正面自动模式识别技术分为三大类 基于几何特征的识别方法 基 于代数特征的识别方法和基于连接机制的识别方法 1 基于几何特征的人脸自动识别方法 这类识别法将人脸用一个几何特征向量表示 用模式识别中层次聚类的思 想设计分类器达到识别目的 这就要求选取的几何特征向量具有一定的独特性 能够反映不同人脸之间的差别 同时又具有一定的弹性 以消除时间跨度 光 照等的影响 几何特征向量是以人脸器官的形状和几何关系为基础的特征向量 其分量通常包括人脸指定两点间的欧式距离 曲率 角度等 人脸器官的关键 点分别对应不同的积分投影方式产生出的波峰波谷 根据人脸结构的先验知识 可以得出人脸各器官之间的几何位置关系 2 基于代数特征的人脸自动识别方法 这类识别法仍然是将人脸用特征向量表示 只不过用的是代数特征向量 即人脸图像在由 特征脸 张成的降维子空间上的投影 基于代数特征识别的 主要原理是利用统计特征提取 从而形成子空间进行模式识别 3 基于连接机制的人脸自动识别方法 这类识别法将人脸直接用灰度图 二维矩阵 表示 利用了神经网络的学 习能力及分类能力 这种方法的优势在于保存了人脸图像中的材质信息及细微 的形状信息 同时避免了较为复杂的特征提取工作 而且 由于图像被整体输 入 符合格氏塔 Gestalt 心理学中对人类识别能力的解释 根据人脸比对识别技术在现实生活中应用 国内外主要有以下几个方面 1 德国的 Siemens Nixford 高科技公司开发的视频入口控制系统 是一 个配合卡片使用的入口控制系统 可用于自动取款机 也可以代替计算机常用 的入口口令 2 清华大学研制成功的 人脸识别系统 与 2000 年 12 月 23 日通过了 公安部部级鉴定 3 2005 年 4 月 作为中国半导体与信息科学的奠基人之一 中科院王 守觉院士研究出 人脸仿生模式识别防盗银行卡 产品 实现银行取款机从 认卡 到 认人 的开创性革命 柜员机见到储户才会 吐钱 这一科 技将造福于目前已拥有 10 亿张普通银行卡的亿万中国百姓 6 4 上海银晨智能识别科技有限公司研究开发出的 银晨嵌入式人脸识别 出入口控制系统 把人脸比对识别技术和考勤门禁系统结合起来 但是并没有 做到实时比对识别 而是前端控制器控制摄像头进行打卡拍照 后台进行人工 手动识别 人脸识别就是针对从生物传感器得到的图像中 判断有没有人脸并且有没 有需要的人脸 一般的研究步骤和内容如下 1 人脸的描述 人脸描述是人脸自动识别中的一个核心问题 它在一定 程度上决定了人脸识别的具体方法及其性能 计算机对人脸进行检测 识别甚 至表情分析 很重要的一点就是如何合理地表示人脸 所有的已知人脸必须以 一定的格式存储起来 表示的本质与识别时的匹配策略相互影响 目前常见的 两种表示方法是 特征向量法和二维灰度图象表示法 2 人脸检测 即从不同的场景中检测出所有人脸的存在并确定其具体位 置和主要特征的位置 其方法大致可分为基于统计和基于知识两类 前者将人 脸图像视为一个高维向量 从而将人脸检测问题转化为高维空间中分布信号的 检测问题 而后者则利用人的知识建立若干规则 从而将人脸检测问题转化为 假设验证问题 这一任务受光照 噪声 头部倾斜度以及各种遮挡的影响 3 特征提取 即确定表示检测出的人脸和数据库中的已知人脸模板的描 述方式 具体的特征形式随识别方法的不同而不同 早期研究较多的静态人脸 识别方法有基于几何特征的人脸识别方法和基于相关匹配的人脸识别方法 目 前 静止图像的人脸识别方法主要有三个研究方向 一是基于统计的识别方法 包括特征脸方法和隐马尔克夫模型方法 二是基于连接机制的识别方法 包括 一般的神经网络方法和弹性图匹配方法 三是其他一些综合方法或处理非二维 灰度图像的方法 通常的表示方法包括几何特征 如欧式距离 曲率 角度 统计特征 如矩阵特征矢量 固定特征模板 特征脸 云纹图等 4 人脸识别 就是将待识别的人脸与数据库中的已知人脸比较 得出相 关信息 这一过程的核心是选择适当的人脸表示方式与匹配策略 在匹配策略 上 常见的有最近距离法 支持向量机方法 神经网络的方法等等 5 表情分析 即对待识别人脸的表情进行分析 并对其加以分类 6 物理分类 即对待识别人脸的物理特征进行分类 得出其年龄 性别 种族等相关信息 1 2 2人脸识别的发展趋势人脸识别的发展趋势 人脸识别是一个跨学科富挑战性的前沿课题 目前的很多方法仍停留在研 究阶段 其识别效果离实用还有较大的差距 要开发一个在无约束环境下自动 7 识别人脸系统 人脸识别系统的研究应着重在以下三个主要技术环节进行突破 1 实时人脸检测与定位 由于人脸模式的多样性和图像获取过程中的不 确定性 人脸在图像空间中的分布非常复杂 建立人脸在高维图像空间中的精 确分布模型是一件非常困难的事情 目前人脸检测与定位研究的一个趋势是根 据具体应用的需要 对检测的环境进行合理的估计 从而简化问题 提高人脸 检测与定位的准确性和实时 2 视觉和非刚体特征选择与提取 识别人脸主要依据人脸上的特征 也 就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的度 量 由于人脸变化复杂 因此特征表述和特征提取十分困难 由于人脸是非刚 体的 单单使用基于刚体的人脸特征抽取方法是很难达到满意的效果 其次 人脸识别被认为是人类视觉中独特的过程 因此结合生理学和心理学的研究成 果 可更有效地提取个性人脸特征 基于视觉和非刚体的人脸特征的提取是新 的人脸特征提取的研究方向 3 集成式的人脸比对识别 在进行比对识别时 不仅要考虑各种因素所 导致的人脸变化 而且在容忍变化的同时 还不能损害到人脸识别的有效性 由于各种分类算法都有各自的优缺点 故将多种分类识别方法进行有效的综合 和集成已成为人脸比对识别的新动向 自动人脸识别技术自 20 世纪 90 年代后期逐步进入市场 但是 这些技术 和系统离实用化都有一定距离 性能和准确率有待提高 目前 自动人脸识别 技术主要应用在银行安全防范管理 机场安检信息综合管理 军事单位出入控 制管理 公安刑事侦缉等需要高保密性 安全性的国家部门与管理机构 还没 有真正普及到民用领域 民用领域的人脸识别系统的研究与开发将倍受关注 如企业员工人脸考勤系统 重要场所的人脸门禁系统等 1 31 3 课题的主要课题的主要工作工作 1 人脸识别诸技术的比较性研究 由于人脸识别技术迅猛发展 涌现出了大量人脸识别的关键性技术 如何 在这些技术中能够根据考勤系统特定要求 选择一种或几种技术的组合 是本 课题亟待解决的问题 在大量的分析和研究基础上 我们采用了基于弹性模板 匹配和 SVM 的分层次人脸比对识别方法 2 研究能够提高人脸识别率和响应速度的识别算法 8 由于人脸是可塑性变形体 加之受到光照 姿势 表情变化 饰物 背景 等因素的影响 识别的准确度受到很大限制 另外海量图像搜索匹配灾难的出 现 使得人脸识别的实时响应差 实验证明 基于模板匹配和 SVM 的分层次人 脸比对识别方法获得了较高的识别正确率 响应速度快 可满足实时要求 3 基于人脸识别技术的门禁 考勤系统体系的构建 基于人脸识别技术的门禁 考勤系统要作为一项可商品化的实用系统使用 就必须充分考虑客户的需求 使产品科学化 人性化 方便客户使用 从而为 客户所在单位的管理提供科学 可靠的门禁 人事考勤管理手段 基于这一点 课题对整个系统体系做出科学合理的规划 并设计实现了完整的基于人脸识别 技术的门禁 考勤系统 9 第二章第二章 系统整体结构系统整体结构 本系统采用C S体系结构 以数据库服务为服务器端 其他均为客户端 如 下图 一个摄像头和一台客户端主机 门禁 考勤机 以及一个刷卡器共同组成 一个门禁 考勤检查点 刷卡器与门禁 考勤机相连 通过员工的刷卡 可从服 务器端搜索并定位其相关人脸图象 摄像头用来捕获员工脸部画面 并通过接 口传送给门禁 考勤机 门禁 考勤机对输入的图像进行分析 提取脸部特征 送服务器端并与库内已定位待识别的员工人脸图像进行相应的识别运算 若匹 配则通过门禁 考勤 否则 不予通过或报警 另外 服务器还要承担门禁 考 勤统计以及提供网页查询服务等功能任务 图2 1 基于人脸识别的门禁 考勤系统示意图 系统采用技术系统采用技术 1 摄像头选用微软 LifeCam VX 6000 其象素 130 万 最大分辨率为 800 600DPI 最大帧频 30FPS 传输接口 USB2 0 10 2 门禁 考勤机采用微机或 DSP 与刷卡器和摄像头相连 3 门禁 考勤机与服务器 各部门的机器与服务器采用 TCP IP 协议互联 4 采用 C 语言编程实现刷卡和人脸抓拍功能 并采用 sock 编程技术 实现与 服务器的通信 传递卡与人脸照片信息 5 服务器根据卡号 确定库中的人脸照片 将它与抓拍到的人脸照片 进行特 征比对 6 根据比对的结果 进行报警 统计和进行相应的处理 2 12 1 系统结构设计系统结构设计 整个系统包含图像采集与门禁控制模块和人脸比对识别模块 图像采集与 门禁控制模块负责完成图像采集与显示输出 打卡记录 显示比对识别结果 门禁控制 人脸比对识别模块完成对采集到的图像进行识别 门禁记录查询等 打卡人脸比对系统 FPGA门禁控制器 打卡器 摄像头 液晶显示器 门锁 电路 RS485 数据库 管理人员 图 2 2 系统结构图 图像采集与门禁控制模块是打卡人脸识别门禁系统的前端子系统 实现人 脸打卡识别系统与打卡人之间的交互 搭建在 Altera 公司基于 FPGA 的包含 NIOS II 软核 CPU 的嵌入式 SOPC 软硬件平台上 11 NIOS II CPU 视视频频采采集集 PS2接接口口 LCD控控制制器器 通通信信接接口口 CCD摄摄像像头头 射射频频读读卡卡器器 TFT LCD屏屏 人人脸脸比比对对识识 别别 基基于于FPGA的的SOPC硬硬件件平平台台 电电锁锁控控制制电电锁锁 图 2 3 图像采集与门禁控制子系统 打卡人脸比对系统 建 立 样 本 库 实 时 比 对 黑 名 单 管 理 记 录 管 理 模 块 删 除 样 本 库 图 2 4 人脸比对识别子系统 2 22 2 系统模块划分系统模块划分 人脸比对识别子系统功能模块说明 建立样本库模块 系统监听并接受来自前端硬件的信息 包括图像数据和 卡号 然后系统自动进行包括图像平滑处理 人脸检测并显示 灰度均衡化处 理 并提示是否将该图像接收至数据库 在建库结束后 录入该员工的基本信 息 包括姓名 性别等 同时系统将自动创建改类的平均模板并更新 SVM 模型 12 删除样本库模块 删除所选择的员工类的模版库 图像 数据库表中的基 本信息 自动更新 SVM 模型 黑名单管理功能模块 用于对黑名单的管理 主要有人工添加黑名单 删 除黑名单 删除黑名单时 可完成黑名单数据表的删除 添加黑名单 主要是 增加黑名单到黑名单表 记录管理功能模块 主要用于管理员查询流水记录信息 提供按照所有人 和个人两种不同的查询模式 对于每种模式 可以有 按日期查询 按月份查 询 按时间跨度查询 未通过记录查询等多种组合 记录管理子系统还提供了 导出数据的功能 可以将数据库和流水图像数据导出备份 清空数据 主要是 数据库中的流水记录和其对应的图像 启动比对功能模块 监听并接收前端硬件发送的实时图像数据和卡号 并 自动完成图像与处理 人脸检测 人脸比对 显示图像 发送反馈结果 显示 反馈结果 保存实时图像数据和记录进入数据库等操作 如果验证通过 则主 界面会显示 PASS 失败则会显示 FAIL 13 第三章第三章 图像采集与门禁控制子系统图像采集与门禁控制子系统 3 13 1 基于基于 FPGAFPGA 的的 SOPCSOPC 技术方案技术方案 随着超大规模集成电路技术发展 可编程逻辑器件 FPGA 凭借其较低的投入 成本 较高的并行处理速度和较大的灵活性在当前的嵌入式实时系统中得到广 泛应用 由于 FPGA 芯片的可编程特性和强大的处理能力 利用 FPGA 来实现 视频图像采集与显示系统有很大的优越性 同时使用 SOPC System On Programmable Chip 系统来实现软硬件协同操作 可以大大提升系统性能 SOPC 是一种灵活高效的 SOC 解决方案 市场上有丰富的 IP 核资源可供用户灵 活选择 用以构建各种不同的系统 除了系统使用的资源外 可编程器件内还 具有足够的可编程逻辑资源 用以实现附加的用户自定义逻辑 随着 EDA 技术 的发展和大规模可编程逻辑器件性能的不断提高 以片上可编程系统技术为核 心的嵌入式系统开始在众多应用领域崭露头角 代表了当今电子设计的发展方 向 随着可编程逻辑技术的不断创新和发展 EDA 技术发展的日新月异 硬件 描述语言的不断进化 开发工具的不断完善 成熟 IP 的不断涌现使得可编程逻 辑器件的潜力得到越来越大的发挥 14 系统的图像采集与门禁控制模块就是搭建在 Altera 公司基于 FPGA 的嵌入 式 SOPC 软硬件平台上 在单片 FPGA 芯片中集成了处理器 存储器 I O 接口 自定义设备等系统设计需要的功能模块 构建成一个可编程的片上系统 3 23 2 图像采集与门禁控制模块软硬件结构图像采集与门禁控制模块软硬件结构 图像采集与门禁控制模块包含硬件设备接口设计和软件应用程序设计 硬件设计主要面向三部分外部设备 分别是以CCD摄像头 射频读卡器为代 表的输入设备和以LCD屏 电锁控制为代表的输出设备 以及将采集到的人脸图 像传送到人脸检测系统进行处理和识别的RS 232 RS 485通信设备 因此 硬件 设计包含视频采集模块 PS2接口模块 LCD控制模块 电锁控制模块 通信接 口模块 硬件结构如下图 软件设计包含系统初始化 中断管理 拍照控制 数据通信 电锁控制以 及文本服务 软件流程如图所示 15 END 有有刷刷卡卡中中断断产产生生 拍拍照照 发发送送人人脸脸图图像像 发发送送射射频频卡卡号号 接接收收识识别别结结果果 显显示示在在LCD屏屏 YES 恢恢复复动动态态视视频频采采集集与与显显示示 初初始始化化系系统统 动动态态视视频频采采集集与与显显示示 START 通通 信信 出出 错错 识识别别到到匹匹配配人人脸脸 NO 开开启启电电子子锁锁 YES NO 3 2 1 动态视频采集与显示动态视频采集与显示 视频数据的采集与显示是人脸打卡识别门禁系统中的第一个环节 是后续 工作的基础 视频图像采集是多媒体信息处理 视频监控等系统的前端子系统 是实际 视频处理系统中必须考虑的部分 随着图像的数字化处理在军事 科研 工业 农业和医疗等领域得到广泛应用 许多用于图像采集和处理的芯片也相继推出 处理功能越来越强大 使用也越来越方便 数字视频日益成为一种广泛应用的 媒体 视频技术的产品开发也颇具前景 而嵌入式视频采集的实现方法正是其 中的关键技术 本文采用Altera公司的FPGA CycloneII EP2C35和AD公司的视频解码芯片 ADV7181B的来实现嵌入式视频采集 CycloneII EP2C35用于对视频采样进行控 16 制 ADV7181B用于对输入视频信号进行A D转换 CCD 摄像头采集到PAL 制式的模拟信号 通过视频采集模块中视频解码芯 片ADV7181B将模拟信号转变成标准数字视频格式 把得到的数字视频信号存入 帧缓存 SDRAM 中 由LCD控制器控制液晶屏显示 整个过程通过Verilog 硬 件描述语言 利用FPGA硬件资源来实现 以便满足实时性的要求 设计图如下 CCD 摄摄像像头头 AD转转换换视视频频解解码码 视视频频采采集集模模块块 帧帧缓缓存存 LCD显显示示 控控制制器器 视视频频显显示示模模块块 TFT LCD屏屏 3 3 2 读取身份识别卡读取身份识别卡 门禁系统的非接触 感应式射频卡读卡器是门禁系统的重要组成部分 是 门禁系统信号输入的关键设备 本课题使用的读卡器支持 PS2 接口 标准 PS2 设备履行一种双向同步串行协议 每次在数据线上发送一位数据并且在时钟线 上发一个脉冲 课题中的射频 ID 读卡器 只产生设备到主机的通信 它们的数 据时序图如下 当读卡器读到 ID 卡的数据后 以 PS2 串行格式输出射频卡卡号 为此课题 在 NIOS II 系统中设计了 PS2 接口模块 用于读取由 PS2 接口输送来的卡号值 接收到有效卡号后 产生中断请求 PS2 接口模块利用 FPGA 资源 使用硬件 描述语言进行设计 并集成在 NIOS II 系统中 3 3 3 数据通信数据通信 嵌入式人机交互模块基于SOPC思想进行设计 Altera公司的SOPC开发环境 本身附带了众多标准IP核 只需在工程环境中通过简单的点击操作就可以完成 对相应IP核模块的添加 进而在Nios II集成开发环境中通过对硬件抽象层的库 17 文件进行调用来实现对接口IP核的驱动 以此简化设计流程 提高开发效率 人机交互模块与人脸图像识别模块之间需要传送图像数据以及识别结果 利用SOPC Builder开发环境中提供的通用异步接收器 发送器 UART IP核 在 人机交互模块与人脸打卡识别模块之间实现通信协议 完成数据通信 该IP核 可以通过设置灵活改变其波特率 奇偶校验位 停止位 传输的数据位以及其 他可选的流控制信号等 3 3 4 中断管理和文本服务中断管理和文本服务 系统使用中断方式管理持卡人打卡动作 持卡人刷卡后 PS2模块产生中断 请求 系统处理该中断请示执行拍照功能 并将刷卡人的照片存储在帧缓存中 在Nios II系统中 支持最多32个硬件中断 外部输入设备可以通过NiosII处理 器提供的32个中断请求输入接口中的任意一个来发出中断请求 硬件中断 handler会从依次查询是否有有效的中断发生 检测到有效中断时 硬件中断 handler就会调用相应的中断服务程序来响应该中断 从中断服务程序返回后 硬件中断又会重新查询有效中断 直到检测不到任何有效中断时 硬件中断 handler才退出 系统初始化时 需要首先对PS2接口所对应的硬件中断进行注册 为了满足所需的识别结果反馈显示功能 课题开发了相应的文本服务 事 实上 每个字符都可以看做是具有一定形状的图像 形状的描述即为字符图像 的数据 通常称为字模 若干个字符的字模的集合即构成一个字库 字符描述 的方式基本上可分为两大类 点阵字符和矢量字符 对应字符描述方式的不同 字库也可分为点阵字库和矢量字库 本课题采取点阵字库创建方法 创建了一 个 16 8 的 ASCII 码字库和一个 63 39 的汉字小字库 设计了相对应的字符显 示程序 并且在单个字符显示的基础上开发字符串显示程序 18 第四章第四章 人脸检测与人脸图像预处理人脸检测与人脸图像预处理 4 14 1 概述概述 人脸检测与人脸图像预处理是人脸识别中的一个重要的环节 是特征提取 和分类识别的基础 准确的人脸检测和合理的人脸图像预处理能够提高识别率 反之将会降低识别率 人脸检测与定位是指在输入图像中确定所有人脸 如果 存在 的位置与大小 人脸检测系统的输入是可能包含人脸的图像 输出是关 于图像中是否存在人脸以及人脸的数目 位置 尺度 位姿等信息的参数化描 述 输入图像由于图像采集环境的不同 如光照明暗程度以及设备性能的优劣 等 往往存在有噪声 对比度不够等缺陷 另外 距离远近 焦距大小等又使 得人脸在整幅图像中的位置和大小不确定 由于图像的质量 背景 光照以及 图像中人脸的平移和旋转等都会影响人脸识别的准确性 为了保证人脸图像中 人脸位置 大小和人脸图像质量的一致性 必须对人脸图像进行预处理 人脸 图像预处理包括人脸图像的灰度化处理 人脸图像的尺度归一化和人脸图像的 灰度均衡化 4 4 2 2 人脸检测与定位人脸检测与定位 4 2 1 人脸检测的主要研究方法人脸检测的主要研究方法 人脸检测与定位是指在任意图像中确定是否包含人脸 如果包含人脸 则 需要确定每个脸部所在的位置和尺寸 作为人脸信息处理中的一项关键技术 人脸检测与定位的应用背景已经远远超出了人脸识别系统的范畴 在身份验证 基于内容的图像检索 数字视频处理 视觉监测等方面都有着重要的应用价值 人脸检测与定位的过程实际上就是对人脸模式特征的综合判断过程 包括多种 方法 22 1 肤色模型与人脸验证的方法 对于彩色图像 在确定肤色模型之后 首先可以进行肤色检测 在检测出 肤色像素后 需要根据它们在色度上的相似性和空间上的相关性分割出可能的 人脸区域 同时利用区域的几何特征或灰度特征进行是否是人脸的验证 以排 除其它色彩类似肤色的物体 2 基于启发式模型的方法 19 基于启发式模型的方法首先抽取几何形状 灰度 纹理等特征 然后检验 它们是否符合人脸的先验知识 Yang 等提出了基于镶嵌图 mosaic image 又称 为马赛克图 的人脸检测方法 Yang 等将人脸的五官区域分别划分为 4 4 个和 8 8 个马赛克块 使用一组规则进行检验 并且利用边缘特征进一步验证 卢 春雨 26 等对镶嵌图方法进行了改进 按照人脸器官的分布将人脸划分为 3 3 个 马赛克块 在检测中自适应地调整各块的大小 使用一组基于各块灰度和梯度 统计特征的知识规则检验该区域是否为人脸 取得了较好的实验结果 3 基于特征空间的方法 由于人脸图像的复杂性 显式地描述人脸特征具有一定困难 因此另一类 方法 统计模型的方法越来越受到重视 此类方法将人脸区域看作一类模式 即模板特征 使用大量的 人脸 与 非人脸 样本训练 构造分类器 通过判别 图像中所有可能区域属于哪类模式的方法实现人脸的检测 4 基于人工神经网络的方法 人工神经网络 ANN 方法是把模式的统计特性隐含在 ANN 的结构和参数之 中 对于人脸这类复杂的 难以显式描述的模式 基于 ANN 的方法具有独特 的优势 5 基于概率模型的方法 基于概率模型方法的一种思路是计算输入图像区域 region 属于人脸模式 object 的后验概率 p object region 据此对所有可能的图像窗口进行判别 6 基于支持向量机的方法 支持向量机 Support Vector Machines SVM 是 Vapnik 等提出的基于结构风 险最小化原理 Structural Risk Minimization Principle SRM 的统计学习理论用于 分类与回归问题 SRM 使 VC Vapnik Cherovnenkis 维数的上限最小化 这使得 SVM 方法比基于经验风险最小化 Empirical Risk Minimization Principle ERM 的 人工神经网络方法具有更好的泛化能力 4 2 2 肤色模型肤色模型 颜色是区别物体的重要特征之一 对于同一种族的人来说 其肤色具有较 强的共性 并且人的皮肤颜色分布与其它物体的颜色分布一般不同 不同物体 的颜色除了受光照的影响较大外 与物体的大小 伸缩及姿态基本上无关 利用 这一点 可以快速地大致框出人脸可能存在的区域 与其它检测方法相比 利 用颜色知识框出的人脸区域定位可能不够精确 但如果在整个系统实现中作为 人脸检测的粗定位环节 它具有直观 实现简单 快速等特点 可以为后面的进一 20 步精确定位创造良好的条件 已达到最优的系统性能 所谓肤色模型 也和其他的数学建模一样 即用一种代数的 解析的 或 查找表等形式来表达哪些象素的色彩属于肤色 或者表征出某一象素的色彩与 肤色的相似程度 从方法论的角度 肤色模型的获得又可以进一步的进行划分 1 色彩空间中的聚类模型 这种模型主要通过色彩格式的变换 使得肤色在某一色彩或变形的色彩空 间中呈良好的聚类特性 然后将这一聚类在色彩空间中的分布区域用一种简便 的代数解析式加以表达 2 高斯模型和高斯混合模型 这种方法主要是利用了统计学的原理 认为像肤色这样的符合正态分布的 随机样本在特征空间中的分布应该符合高斯分布 而高斯分布的数学表达形式 简单 直观 又是统计学中研究得比较深入的一种正态模型 所以对其加以利 用具有一定的优越性 利用高斯模型来建立通用的肤色模型又可以大致分为两种做法 可以利用 多个人脸样本建立起一个单纯的肤色高斯模型 也可以对每一个单个的人脸样 本分别建立肤色高斯模型 然后再叠加成为一个高斯混合模型 肤色是带有人物的彩色图像中数据量相对集中且稳定的区域 比检测眼睛 等面部器官具有更高的可靠性 若用肤色能定位脸 则这种检测方法具有姿态 不变性 简便易行的特点 鉴于肤色在图像中的这些特点 利用肤色来检测图 像中人这一类目标 如果提取的特征是稳定的话 该思路是能够被大家认可的 类似地 唇色也具有这种特点 尤其在口型识别 表情识别等系统中唇部是最 感兴趣的区域 对它准确 快速地定位和捕捉 其意义不亚于识别本身 我们在人脸检测算法中加入对肤色信息的应用 其目的是希望通过在图像中 进行是否是肤色的预先判断或后期验证 从而排除掉非肤色 即不可能存在人脸 的区域 以达到减小搜索空间 提高人脸检测算法的时间效率 降低误报率的作 用 人们经过研究发现 人的皮肤颜色具有下面三个特点 1 聚类性 人的皮肤颜色分布在色彩空间中很小的一个范围内 2 亮度相关 色度无关 不同人种的肤色区别主要受亮度影响 受色度影 响较小 通过彩色的亮度归一化或色彩空间的转换 不同人之间的肤色和唇 色的差异能得到明显的减弱 3 在一定的光照条件下 人的皮肤颜色在归一化 RGB 颜色空间符合高斯 分布 即归一化后的三种颜色分量分别为 a R I b G I c B I 且 I R G B a b 分别为一高斯分量 我们知道 彩色图像在 RGB 空间的 R G B 值不仅代表色彩同时也表示亮 度 RGB 三体之间存在着很大的相关性 因此 RGB 彩色空间不适于表征物体 21 的颜色特征 肤色建模选择 YUV 色彩空间 我们注意到 YUV 色彩空间具有如 下一些优点 1 YUV 色彩格式具有与人类视觉感知过程相类似的构成原理 2 YUV 色彩格式被广泛的应用在电视显示等领域中 也是许多视频压 缩编码 如 MPEG JPEG 等标准中普遍采用的颜色表示格式 3 YUV 色彩格式具有与 HSI 等其他一些色彩格式相类似的将色彩中的 亮度分量分离出来的优点 4 相比 HSI 等其他一些色彩格式 YUV 色彩格式的计算过程和空间坐 标表示形式比较简单 5 实验结果表明在 YUV 色彩空间中肤色的聚类特性比较好 由 RGB 空间向 YUV 空间转换的公式如下 4 1 B G R V U Y 100 0 515 0 615 0 436 0 289 0 147 0 114 0 587 0 299 0 Y 分量表示颜色的亮度信息 两个色差信号 U 和 V 分量相互正交 称为 色度信号 我们看到的彩色信号可以看成是由亮度信号和色度信号两部分复合 而成 色度信号 U 和 V 在二维平面空间中形成一个二维矢量 其模值 Ch 代 表彩色的色饱和度 体现了 R G B 的大小 而相位角 代表色调 体现了 R G B 三者的比例 其中模值 Ch 和相位角 定义如下 4 22 VUCh 1 U V tg 2 图 4 3 直观地反映了彩色信息在 UV 平面上的分布 22 图 4 3 彩色信息的 UV 空间矢量图 进一步研究发现 我们企图寻找不因人的改变而改变的肤色空间 唇色空 间 实际上 就是要在色度的 UV 平面上寻找一个适当的相位角 使得肤色值 或唇色值能够相对集中地体现在某个轴上 即用这样的坐标轴 空间 来表现数 据 能得到肤色或唇色的最强体现 为了使我们的方法不仅适合不同肤色的人脸检测 而且也适合于其他特定 的目标检测 因此要对待检测的人脸图像进行实时学习 选取不同角度视频捕 捉的人脸图像作为学习样本 交互标注出人脸范围 从而建立起实时肤色模型 由于皮肤颜色具有空间聚类性 相对于整个色彩空间而言仅是一个小的区 域 利用颜色直方图的方法 根据聚类分布特点 可知二维直方图呈明显单峰 据此可建立人脸肤色模型 算法如下 统计采集到的多幅彩色图像中指定区域 各像素点的 R G B 值 利用 RGB 彩色空间与 YUV 彩色空间的转换关系 得到像素点在 YUV 空间的对应像素值 Y U V 在平面二维 UV 坐标系中统 计所得的数据 并将 U V 值转换为相位角 为了忽略边缘不连续区域 我 们考虑不同相位角 所对应的像素点的个数 以个数最多的相位角 为基准 保留 概率分布在最大值的 0 9 1 2 范围内的坐标点 就可以得到肤色在二维 坐标系中的聚类区域 最后对多幅图像求模型的平均值 就建立了这些图像所 对应的人脸肤色的 模型 在后继的实验中我们发现 用同样方法加入肤色 Cb 模型后 人脸分割的准确性提高了 所以为了提高检测速度和效率 根据相同 的原理 我们再建立肤色在 YCbCr 色彩空间的 Cb 模型 由 RGB 空间向 YCbCr 空间转换的公式如下 4 3 B G R Cr Cb Y 0813 0 4187 0 5 0 5 03313 0 1687 0 114 0 587 0 299 0 例如 对于如下采集到的多幅彩色图像 建立框出区域的肤色模型 图 4 4 采集到的彩色图片 对于以上这组图像建立的肤色模型为 Cb 165 120 80 40 23 为了验证该算法的正确性 我们选用标准人脸库中的图片进行实验 例如 对于下面这组标准人脸库中的图片 用上述的方法可以得到它们的肤色模型 图 4 5 Internet 上下载的图片 得到的肤色模型为 Cb 这个结果与高文等 150 104 100 30 人的肤色模型完全相符 所以我们提出的建模方法是可信的 需要说明的是 由于光照条件和采集设备的原因 对不同的图像来说 其 肤色相位角 和 Cb 分量的分布会随之而改变 这从我们上面给出的两个实例 可以看出 在实验室灯光下 用我们采集到一组图像建立的肤色 模型为 Cb 它更适合于后继的人脸检测 因为在我们研 165120 80 40 究的实时视频人脸检测中 肤色建模与检测是两个连续过程 两者是在同一环 境下进行的 即我们的建模过程也是实时的 因此采用我们的实时建立肤色模 型并进行人脸检测的方法鲁棒性好 4 2 3 基于二维投影的快速人脸分割算法基于二维投影的快速人脸分割算法 在肤色模型确定的情况下 人脸区域分割的算法在肤色分割预处理中起到 核心性的作用 人脸区域分割将彩色图像中的肤色区域从原图像中分割出来 我们称其为 肤色候选区域 之后人脸区域的检测确认就是在选出的候选区域中进行的 这 样不用在整幅图像中搜索 大大降低的时间和空间复杂度 提高了效率 对于 一个好的分割算法有如下要求 24 1 分割得到的一系列矩形应该尽可能地包含待检测图像中的所有人脸 对于距离较近或者是有与其他肤色接触的多个人脸 分割后得到的肤色区域自 然区域较大或者是连在一起 这时可以用一个矩形区域覆盖它们 根据前面对 肤色分割预处理的分析可知 不漏检 不降低正确率是整个肤色分割预处理的 前提 也是人脸区域分割算法的首要前提 再加上前面对肤色模型的分析 无 论什么样的肤色模型都存在着判断失误的现象 所以这第一点要求 即算法输 出的一系列矩形应该尽量包含所有的人脸区域 便显得尤为重要 2 分割得到的一系列矩形应该少包含非肤色区域 也即相对原来的整幅 图像 经过肤色分割预处理后的这一系列矩形的大小要明显小于原来的整幅图 像 这也正是肤色分割预处理能够提高人脸检测算法的时间效率的原因 也是 肤色分割预处理能够降低误检率的关键 根据对肤色区域分割算法结果的要求 也就是对于算法本身的要求 为此 我们这里提出了一种新颖 快捷 鲁棒的人脸区域分割算法 采用了将基于象 素点的方法和基于区域的方法相结合的算法 基于象素点的方法主要用于前期 初始矩形序列的产生 争取快速的得到包含人脸区域的外接矩形 然后用基于 区域的方法 全局考虑 对初始矩形序列进行区域归并 得到最终的输出矩形 对于算法的整体流程 我们用图 4 6 来表示 图 4 6 分割算法流程 首先 根据建立的肤色模型 将输入的彩色图像用肤色分割成黑白二值图 像 由于光照 采集设备等的影响 二值图中会存在部分噪声 为了增强图像 质量 加快后继的区域分割 要对图像进行去噪声处理 分别去除孤立噪声点 和面积很小的干扰区域 然后 采用二维投影法将经过去噪的二值图像进行区 域分割和归并 最后得到分割后各候选区域的包围盒 我们采用了基于象素 密度 的滤波方法来去除噪声 这是一种类似 卷积 的滤波方法 直观的讲 就是在以每一个肤色象素为中心的邻域内统计肤色象 素的个数 超过给定阈值时中心点保留为肤色 否则认为是非肤色 若考虑 8 输入经过肤色分割的二值图像 像素密度卷积去除孤立噪声点 数学形态学算子填充非连通区 投影法确定各连通区域起始点 区域归并处理 输出各候选区域包围盒 25 邻域 则图像密度的计算式如下 yx 4 4 1 1 1 1 1 jyixgyx ij 1 yxg 若考虑 4 邻域 则计算式为 yx 4 5 1 1 1 1 1111 yxgyxgyxgyxgyx 利用图像密度可以首先除去由于孤立象素点产生的噪声 去除孤立点噪声后的二值图像中大块区域的边缘仍较模糊 还需考虑区域 弥合问题 为了后继区域合并算法能得到正确的区域范围 再对图像进行数学 形态学处理 其中腐蚀操作用于增强边缘 去除毛刺点 膨胀操作用于填充脸 部非肤色区域 使整个脸部非填充区域尽可能变小 在得到了去噪声后的二值图像后 我们就可以提取出肤色区域了 为提高 人脸区域提取算法的速度 我们设计了基于二维肤色个数投影的快速肤色区域 分割算法 主要思想如下 1 将形态学处理后的二值图像作水平方向的投影 H 表示其水平投影的结 果 显然 H 为一维数组 数组长度即为二值图的宽度 4 6 N y yxgxH 1 Mx 1 其中 分别表示二值图像的宽度和高度 g x y 表示二值图中 x y 处像素NM 点的灰度值 2 由水平投影图可以看