（计算机应用技术专业论文）基于卷积网络的人脸检测的研究与实现.pdf

摘要 人脸检测问题最初作为人脸识别系统的定位环节被提出，近年来由于其在 安全访问 控制、 视觉监测、基于内 容的检索和新一代人机界面等领域的 应用价 值，开始作为一个独立的课题受到研究者的普遍重视。对于人脸这类复杂、 难 以显式描述的检测模式，基于神经网 络的方法具有独特的 优势， 它把人脸模式 的统计 特性隐含在神经网络的结构和参数之中，通过对大量样本的训练，来完 成检测任务。本文正是基于神经网络的这些优点提出了一种基于卷积神经网络 ( c n n ， c o n v o l u t i o n a l n e u r a 1 n e t ， o r k s ) 的 人 脸检 测方 法。 由 于 该方 法使 用了 一个卷积层和一个子抽样层，在增强了 输入图像的特征的同时又缩减了 输入数 据量。经过这两层处理后的输入图像由 输入时的4 00个输入变成了14 4 个，输入 参数几乎减少到原来的四分之一。激活函 数和处理后的输入层的连接没有采用 全连接，而是部分连接。这样训练参数进一步减少。由于上述特点，本文所采 用的 卷积网络具有结构简单、训练参数少和适应性强等优点。经过试验表明， 使用了该方法的人脸检测器可以检测出 具有不同 表情、姿态、尺寸和背景的图 像中的 人脸位置，并达到较高 检测率、速度和低的错误警报数。 关键词:人脸检测， 卷积神经网络，模式分类 abs tract a ut o m at i c fa c e d e t e ct i o n ind i g i t a i v i d e o i s b e c o m i n g a v e ryi m p o rt ant r e s e ar c h t o p i c ， d u et oit sw i d eran g eo fapp l i c a t i o n s ， s u c has s e c urity a c c e s s c o ntro l ， m o d e l 一 b as e dv i d e oc o d i n go r c o nt e ni 一 b as e dv i d e oi n d e x i n g . i nth i sp aper ， we p r e s e nta c o nne c t i o n i s t app r o a c h fo r d e t e c ti n g 助d p r e c i s e l y l o c a l i z i n g s e lni一 fr o n t a l h u m an fa c e s i nc o m p l e xi m a g e s ， m aki n gn oa s s u m p t i o no nt h ec o nt e nt o r th e l i g h t i n gc o n d i t i o n so f t h es c e ne， n e it h e r o nth es i z e ， th eo r i e n t a t i o n ， an dth e 即p e ar anc e o f th e fa c e s . u n l i k e o th ers y s t e m s d e p e n d i n g o n a h and 一 c ra ft e d fe 户 t u re d e t e c t i on st a g e ，fol 1 o wed b y a fe at u r ec l a s s i fi c at i o nst a g e ，we p r o p o s ea c o nvo l utio n a l n e u r aln e t work ar c h i t e ct ur e d e s i g n e d t o r e c o g n i z e st ro n g l y v ar i abl e face p atte rns d i r e c t l y fr o mp i x e l i m a g e s wit h n o p r e p r o c e s s i n g， b ya u t o m at i c al l y s y n th e s i z hi gi t s o wn s e t o f fe at ure e x tr a ct o r s fr o ma l ar g e tr ai n i n gs cto f fa c e s . m o r e o v e r ， th e u s e o f r e c e p t i v e fi e l d s ， s h ar e d w e i g ht s and s p at i als ub一 s amp l i n gi n s u ch an e ura l mo d e l p rov i d e ss o med e g r e e so f i nvar i anc et otr ans l ati o n ， r o t at i o n ， s c al e ， andd e fo nnat i o no f t h efa c ep atte rn s ， we p 邝 s e n t i n d e t a i l s th eo p t i m i z e d d e s i g n o f o u r ar c h i t e c t ure and o u r l e a m i n g s t r at e g y . t h e n ， we p r e s e ntt h e p ro c e s s o f fa c e d e t e ct i o nu s i n gth i s ar c h i t e c t ur e . f i n a l l y ， w e p r o v i d e ex p e r i m e n t a l r e s u l t s to d e m o n s t r at e t h ero b u s to e s s o f o ur a p p roa c han di t s c apa b i l i tyt o p r e c i s e l yd e t e c t e x tr e m e l y v ar i abl e face s i n unc o nt r o l l e d e nvi r o nm e nt . ke y w ords : f a c ede t e c t i o n;p a t t e r ncl a s s i fic a t i o n ;c o n v o l u t i o n alne u r a l ne t wor k 月创匕.d口 声 习f 月 本 人 郑 重声明 : 此处 所 提交的 硕 士 学 位论 文 基于卷积网络的人脸检测 的研究与实现 ， 是 本 人 在华北电 力 大 学 攻 读 硕士学 位 期间， 在 导 师 指导 下 进 行 的研究工作和取得的 研究成果。据本人所知，除了文中特别加以 标注和致谢之处 外， 论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得华北电 力大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名:日 期: 关于学位论文使用授权的说明 本人完全了 解华北电 力大学有关保留 、 使用学位论文的规定，即: 学校有 权保管、 并向 有关部门 送交学位论文的 原件与复印 件;学校可以 采用影印、 缩 印 或 其它复制手段复制并保存学位论文; 学校可允许学位论文被查阅或借阅; 学 校可以学术交流为目 的， 复制赠送和交换学位论文: 同 意学校可以 用不同方 式在不同媒体上发表、传播学位论文的全部或部分内容。 必密的学位论文在 解密后遵守 此规 定 ) 作者签名:导师签名: 期:日期: 华北电力大学硕士论文 第一章引言 11研究的意义和背景 人脸检测( fa cedet ecti o n)是指在输入图像中确定所有人脸( 如果存在) 的位置、 大小、姿态的过程。人脸检测作为人脸信息处理中的一项关键技术，近年来成为模 式识别与计算机视觉领域内一项受到普遍重视、研究十分活跃的课题，人脸检测问 题最初来源于人脸识别。人脸识别的研究可以追溯到20世纪6 任 一 70年代，经过几十 年的曲 折发展已日 趋成熟1 旧 。 人脸检测是自 动人脸识别系统中的一个关键环节， 但 是早期的人脸识别研究主要针对具有较强约束条件的人脸图像( 如无背景的图像) ， 往往假设人脸位置己 知或很容易获得，因此人脸检测问题并未受到重视。近几年随 着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用 背景要求自 动人脸识别系统能够对一般环境图像具有一定的适应能力，由 此所面临 的一系列问题使得人脸检测开始作为一个独立的课题受到研究者的重视。今天，人 脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字 视频处理、视觉监测等方面有着重要的应用价值。人脸检测研究具有重要的学术价 值。 表1 一 1 人脸检测分类 分类依据类别 图 像类型图像来源静止图像动态图像 颜色信息彩色灰度 图像前景镜头类型头肩部图像半身/ 全身图像 人脸姿态正面侧面 人脸数目单人未知 图像背景复杂程度简单背景复杂背景 12人脸检测问题的分类与人脸模式分析 人脸检测问题所包含的内容十分广泛，从不同的角度可以有多种分类方法( 表 1 一 1)。本文主要讨论静止图像中的人脸检测问题。动态图像中单帧内的人脸检测与 静 止图 像的 情况基本相同， 若考虑动 态信息 则属于人脸跟踪( fa cetrack in g ) 问 题， 将 不在本文讨论范围内。人脸图像所包含的模式特征十分丰富，如图 卜1所示。 这 些特征中哪些是最有用的、 如何利用这些特征， 是人脸检测要研究的一个关键问 题。 华北电力大学硕士论文 人脸模式具有复杂而细致的变化，因此一般需要采用多种模式特征综合的方法，如 图 1 一 2所示。归纳起来，根据利用特征的色彩属性可以将人脸检测方法分为基于 肤色特征的方法和基于灰度特征的方法两类。前者适用于构造快速的人脸检测和人 脸跟踪算法，后者利用了人脸区别于其它物体的更为本质的特征，是人脸检测领域 研究的重点。根据特征综合时采用的不同 模型，可以 将基于灰度特征的方法分为两 大类:基于启发式( 知识) 模型的方法和基于统计模型的方法。由于人脸检测问题的 复杂性，无论哪一类方法都无法适应所有的情况，一般都针对人脸检测领域内某个 或某些特定的问题。 图1 一 1 人脸模式特征 图卜2 各种特征综合 华北电力大学硕士论文 1 . 3国内外研究动态 人脸检测问 题的探索开始于八十年代末、九十年代初， 吸引了 越来越多的研究 者的兴趣，取得了一批有意义的研究成果。 人脸是复杂的模式，受到多种因素的影响。找到一种有效的方法提取人脸的共 性特征来描述人脸模式，即人脸的建模，是人脸检测的关键。国内 外相关文献中提 出了许多方法，概括而言，目 前的技术可分为基于器官的方法和基于模板的方法。 基于器官的方法将人脸视为显著器官的组合，首先提取一些重要的器官:眼、 鼻、唇等，然后通过器官的 位置和它们之间的几何关系来检测人脸。基于模板的方 法将人脸看作一个整体的模式，即二维的 像素矩阵， 从统计的观点，通过大量的人 脸图像样本构造人脸模式空间，根据相似度量来判断人脸是否存在。在这两个框架 之下， 发展了许多方法。 此外， 利用彩色信息进行人脸检测， 也是一种有效的方法。 在确定了人脸模型后，一 个人脸检测系统还需要具有特征提取和分类决策的功 能。这两个问题都是围绕着人脸模型来进行的。一般而言，特征提取可以在图像的 空域或者频域实现。分类决策的方法是统计模式识别所研究的重要内容。 早期的人脸检测集中于静止图像，起步于基于特征的模型或者简单的模板匹配 技术， 在空域上提取特征，能 够完成简单的人脸检测任务。中 期的发展开始采用基 于模板的方法， 用统计学习的方法建立人脸模型， 可以实 现复杂背景下的人脸检测， 并且运用运动信息来考察视频流或图 像序列中的 人脸检测。近期，研究者的方向各 不相同，有人从频域中提取特征，有人继续研究更复杂的统计模型，有人将最新的 分类决策理论应用于人脸检测领域。 在研究过程中，人们认识到:将多种技术结合 在一起，利用多种信息可以 提高人脸检测方法的效率，这将是未来的发展趋势.同 时最近的研究还集中在了实时人脸检测算法上。随着人脸识别技术的发 展和市场对生 物特征鉴定 技术的 认可，实时 人脸检测技术已 成为了 一个迫 切的要 求。 1 . 3 . 1国外研究现状 许多国 家展开了 人脸检测的 研究， 主要是美国、 欧 洲国 家、日 本、 新加坡、 韩国 等， 著 名 的 研 究 机 构 有 美国m i t的 m e d l a l ab ， c mu 的 h u man- c o 呻 u t e r l n t e r fa c e l n s t i t u t e ， m i c r o s o f t r e s e a r c h ，英国 的d e p art m e n t o f e n g i n e e r i n g i n u n i v e r s i t y o f c a m b r i d g e 等。 1 . 3 . 2国内研究现状 国内 开展人脸检测研究的 主要单位有清华 大学t翻、 北京 工业大学旧 ， 、 中 科院计算所 l0j、中 科院自 动化所1l、 复旦大学， 南京理 工大学等，都 取得了 一定的成果。 哈尔滨工业大学的研究者实现了 一个复杂背景下的多级结构的人脸检测与跟踪 系统， 其中采用了模板匹配、 特征子脸、 彩色信息等人脸检测技术，能 够检测平面内多 3 华北电力大学硕士论文 姿态正面人脸， 并可以 跟踪 任意姿 态的 运动的 人脸. 简述如下: 这 种检测方法是一个两 级结构的 算法， 对于扫 描窗口， 首先 和人脸模板进行匹配， 如果匹 配， 那么将其投影到 人脸子空间，由 特征子 脸技术判断 是否为人脸。 模板匹配的方法是: 按照人脸特征， 将 人脸图像 划分成1 4 个不同区域， 用每 个区 域的 灰度统计值表示该区域， 用整个样 本的灰 度平均值归一 化， 从而得到用特征向 量表示的 人脸模板。 通过非监督学习的方法 对训练 样本聚类， 得到参考模板族。 将测试图 像的 模板与参 考模板在某 种距离 测度下匹 配， 通 过阐值 判断匹配 程度。 特征子脸技术的 基本思 想是: 从统计的 观点， 寻找 人脸图 像分 布 的基本 元素， 即人脸图 像样本集协方差 矩阵的 特征向 量， 以 此近似地表征人脸图 像. 这 些 特征向 量称为 特征脸。 实际上， 特征 脸反映了 隐含在人脸样本集合内 部的信息和 人脸 的结构 关系。 将眼睛、 面颊、 下领的 样本集协方 差矩阵的特征向量 称为特征眼、 特征领 和 特征 唇， 统称特征子 脸。 特征子脸在相应的图像 空间中 张成子空间， 称为子脸空间。 计 算出 测试图 像窗口在 子脸空间的 投影距离， 若窗口图 像满足闺值比 较条 件， 则 判断其 为人脸。 北京工业大学的研究人员提出了人脸重心模板这一新技术并运用这一技术建立 了一个于复杂背景中检测人脸的系统。 他们设计了人脸重心模板以实现人脸快速的 定 位。 这种人脸模板具有多尺度的检测功能，能 适应于检测处于复杂背景中任何位 置的不同大小的人脸; 人脸重心模板上的重心点对应于人脸模式上的各个器官( 双 眉、 双眼、 鼻和嘴) ， 重心点之间动态的二维空间 约束关系适应于检测具有不同构型 的实际人脸 。人脸重心模板的匹配是基于从mosaic 图像上提取的重心点之上的，而 m osai c 图像是对人脸器官区域的一种很好的 模糊或灰度平均处理，从其上可以 很好 的提取出 各器官的位置，因而它较不易受特定人脸表情、纹理的影响:对于光照而 言，由于光照并不改变人脸器官区域与其它区域的灰度高低不同的这一相对性性 质，所以它基本上不受光照影响。垂直人脸以纵轴向 左右旋转一定角度 ( 一 4 5a 一 + 45。 ) ， 由于人脸器官成水平分布， 不影响 m os ai c横边和重心点的提取， 所以水平 旋转人 脸的 检测也不受影响。 清华大学的 研究人员 对人类肤色进行了 较为系统的分析， 并提出了 基于颜色和特征 的自 适应人脸检测的方法.他们还提出一种基于多模板匹配的单人脸检测方案，但 是检测速度并不适应实时应用。 1 . 4常用人脸检测方法简介 1 4 . 1模板匹 配汇，卜 ， ， 分为两种方法:固定模板和变形模板。固定模板的方法是首先设计得到一个或 几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阑值来 判断测试样本是否人脸。 这种方法比较简单，在早期的 系统中 采用得比较多。但由 华北电 力大学硕士论文 于人脸特征的变化很大，很难得到有效的模板来表示人脸的共性，这种方法目 前己 不多见，有的系统将其作为粗检测或预处理的手段。变形模板方法在原理上与固定 模板相同， 但其中包含一些非固定的元素。一种方法是手工构造参数化的曲 线和曲 面以表征人脸中的某些非固 定特征，如眼睛、鼻子和嘴唇等。另一种方法是系统自 动产生自 适应的曲线和曲面，以构成变形人脸模板。检侧方法是:将模板与测试图 像进行弹性匹配，并加入 “ 惩罚” 机制， 利用某种能量函数表示匹配程度。 1 42基于器官特征的方法， 一24 这种方法首先提取人脸器官图像特征， 然后根据人脸中 各器官的几何关系来确 认人脸的存在。 利用了大量的特征，包括几何、空间、灰度等各种度量， 对人脸进 行粗定位。 人脸的几何关系由一个树型结构表示，并计算出概率属性，作为判断是 否为人脸的条件。 这是一种自 底向 上的方法，另外还有自 顶向下的 方法，即 根据一 个人脸模型 ( 一般是正面人脸模型)先在一个比较大的范围内寻找人脸候选区，由 粗到精地在一个最佳范围内定位人脸候选区，然后检测各种人脸器官特征。c arlos h. m or imot 。 和m y ro n fl ic kner 在一 个 鲁棒 性强 的 瞳孔 定 位技 术的 基 础 上， 结 合人 脸 结构信息，实现了多人脸的 检测。 1 4 . 3示例学习翻1， 示例学习的基本思想是从某一概念的己给正例和反例的集合中归纳产生出接 受所有正例， 同时 排斥所有反例的该概念的一般规则。 将人脸检测视为从模式样本中 区分非人脸样本和人脸样本的 模式识别问 题，通过对人脸样本集和非人脸样本集进 行学习以 得到分类算法.为了获得较高的精度，学习过程需要大量的样本.另外， 样本数据本身是高维矢量。因 此，研究通用而有效的学习算法的关键是精确的可区 分度和数据维数的降低。 很有意思的是，几乎所有的统计模式识别方法都应用到了人脸检测这个问题 上。这里有两个方面，一个是在特征提取方法上， 使用了统计的方法，比如主成分 分析.一个是在判别分类的算法上使用了统计的方法， 如支持向 量机，隐马尔科夫 模型，贝叶 斯决策等等。 1 . 4 . 4基于彩色信息的方法3 川 人脸的 肤色在颜色空间中的分布相对比较集中，利用这个特点可以检测人脸。 这种方法的 最大优点是对姿态变化不敏感。 用彩色信息检测人脸的关键是合理选择 色度坐标. 常用的 方案是将彩色的 r 、g 、b分量归一化。目 前人们研究更多的是 如何提取彩色的色度信息，即 将 r g b彩色空间转化为其它彩色空间，以突出色度 信息。 h.martin设计了肤色模型表征人脸颜色，利用一个感光模型对输入图 像修正和 华北电 力大学硕士论文 补 偿， 并 建立人脸 颜色分类器， 其输出 作为 神经网 络的 输 入进行检测。 tony等采用 高斯混合模型 ( g m m ， g auss i anm 议 tu rem o del)表示人脸肤色r 、g 、b各分量的 统计分布，通过闽值比较判断象素是否为人脸象素。y ingd a i 等利用彩色信息， 并结合人脸的纹理特征， 设计了s g l d共发矩阵方法进行检测。 h ai yuanw 。 通过在 x y z彩色空间中，对人脸肤色和头发颜色的分布建立基于模糊逻辑理论的描述模 型，通过计算隶属度来确定人脸肤色区域. 1 . 4 . 5形状分析 从几何的观点和统计的角度来分析人脸的形状特征， 主要是人脸的大小、对称 性、形状参数等信息。不同于基于特征的方法，这种方法作为细检测的途径，通常 和基于彩色信息的方法结合一起使用。 1 4 . 6多模态信息融合 人脸检测要考虑的因素很多，研究者们从不同的角度出发根据不同的信息来设 计检测方法。实际上，人的大脑对人脸的判别过程，借助了多种信息，比如肤色、 人脸结构、纹理等;因此可以认为这是一个多模态信息融合的过程。 研究者的实践 也表明，各种方法在单通道上的可靠性是有限的，但是如果采用多种方法来证实人 脸的存在，那么会得到更高的检测效率。 5 .j. mcke lma等介绍了一个动态序列图像中的人脸识别系统，其中根据运动信 息、肤色信息和面部结构模型实现了 人脸检测算法。5 :hkim等人同样结合人脸的 对称性和一致性、运动信息、肤色信息，对视频流中的人脸进行检测。 1 . 4 . 7神经网络140-，4j 从本质上讲，神经网络也是一种基于样本的学习方法。将神经网络用于人脸检 测，取得了很大的进展。 mit的学者首先对人脸样本集和非人脸样本集聚类，以测试样本与人脸样本集 和非人脸样本集的子类之间的 距离作为识别特征向量， 利用多层感知器( m l p)网络 作为分类器。 c mu的研究人员直接以图像作为神经网络的输入， 设计了一个具有独 特结构的适用于人脸特征的神经网 络分类器，并且通过前馈神经网 络对检测结果优 化。 他们工作的 共同 之处是都采用了自 调 整 ( b oo ts tr ap)的 学习原理， 对分类器一 边训练， 一边测试， 并把在测试过程中的错误分类结果作为反例样本加入学习过程， 从而减少了样本集的规模，并逐步的提高了神经网络的分类性能。 r a p h ae l fera ud 等利用多个神经网 络:多层感知器( m l p)和约束产生式模型 ( c g m，c o n s t r a i ne d g en e r at iv e m o d e l) ， 实 现t 一个可 应用于web 中 人脸图 像检索的 快速而准确的人脸检测方法。s h an g 一 h ung li n 等训练了 三个基于概率决策的神经网 络( p d b n n，p ro b a b il i s t i c d e c i s i o n b a s 叨n e u ra l n e two 改 ) ，用于 人脸检测、 眼睛定位和 华北电力大学硕士论文 人脸识别，实现了一个完整的人脸识别系统。 1 . 5本文主要工作 本文针对图像中任意大小、位置、姿势、方向、肤色、面部表情和光照条件的 人脸，提出了一种基于卷积神经网络 ( c o n v o l ut i o n a l n e u r a i n e t w o r k s ，简称c n n ) 的人脸检测方法。 本文还对人脸检测系统设计的一般问题进行了初步讨论，并且针对所涉及的问 题设计了一个人脸检测系统，该系统正是使用本文提出的卷积神经网络算法。最后 本文给出了这个人脸检测系统的检测结果分析。 华北电力大学硕士论文 第二章神经网络系统概述 人工神经网络，s ，指的是模拟生物神经系统的结构和功能， 运用大量的处理部 件， 由 人工方式建立起来的网络系统。 它是在脑神经系统研究的基础上建立起来的， 人脑是人工神经网络的原型，人工神经网络是对脑神经系统的模拟。 2 . 1脑神经系统与生物神经元 2 . 1 . 1脑神经系 统 人的智能来自 于大脑。根据现代科学研究，脑是由大量的神经细胞或神经元组 成， 大约包含有1010 10， ， 个神经元， 每个神经元可以看作为一个小的处理单元， 与 大约 10 3 一10 个神经元相连。大脑的学习过程就是神经元之间的连接随外部激励信 息做自 适应变化的过程，大脑处理信息的结果由 神经元的状态表现出来。 2 . 1 . 2生物神经元 1 .生物神经元组成 作为神经系统的基本单元， 生物神经元虽然有很多种类型， 但其基本结构相似， 主要由四个部分组成:细胞体、树突、轴突和突触。如图2 一 1 所示: 图2 一 1 生物神经元 细胞体:它是生物神经元的新陈代谢中心，同时还用于接收并处理其它神经元 传递过来的信息. 树突:这是由 细胞体向外伸出的除轴突外的其它分枝，长度一般均较短，但分 枝很多。它相当于生物神经元的输入端，用于接收从四面八方传来的神经冲动。 轴突:这是由细胞体向外伸出的最长的一条分枝，长度最大可达 lm 以上， 其 作用相当于生物神经元的输出电缆，它通过尾部分出的许多神经末稍及稍端的突触 华北电力大学硕士论文 向其它生物神经元输出神经冲动。 突触: 这是生物神经元之间相互连接的接口部分， 位于神经元的神经末稍尾端. 每个突触具有一定的连接强度， 它不仅影响着输出信号的强弱，而且决定着输出对 其它神经元的作用方式 ( 激励或是抑止) 。 2 .生物神经元之间的联系 在神经系统中，一个生物神经元首先通过它的树突，接收来自 于其它神经元的 信号:接着由神经元细胞体将所有输入信号进行简单地处理( 如求和) ;最后通过轴 突和突触，把神经元的处理结果 ( 即输出信号)传递给其它生物神经元。 2 . 2人工神经元 正如生物神经元是生物神经网络的基本处理单元一样， 人工神经元 ( 后面简称 为 “ 神经元，) 作为对生物神经元的模拟，是人工神经网络的基本处理单元。 2 . 2 . im 一 p模型 在对生物神经元的结构、特性进行深入研究的基础上，心理学家麦克洛奇 钾.mccul loch) 和数理逻辑学家皮兹(w . p i t t s)于 1 9 4 3年首先提出了一个简化的 神经元模型一m 一 p模型 ( 如图 2 一 2) 。该模型提出了以下几点假定: 第一，每个神经元都是一个多输入单输出的信息处理单元; 第二，突触分兴奋型和抑制型两种类型; 第三，神经元具有阐值特性; 第四，神经元是非时变的，即突触强度均为常数。 把具有上述特征的神经元数学化，就产生了下式所示的人工神经元的数学模 型。该模型的输入输出数学表达式2 一 1 为: 少 二 f (u ) 二 f ( 艺wl xl 一 0) ( 2 一 1 ) 仁 1 其中， xl (i二 1 ， 之 二 ， n) 为加于输入端上的 输入信号; 哟 的连接强度， 简称连接权值; 0为神经元的闽值:e 为该神经元与各输入间的突触 表示所有输入信号的累加; fo 为神经元的激励函数: 少表示神经元的输出。 w1 输入 图2 一 2 卜p 模型 华北电力大学硕士论文 由 此可以 看出，人工神经元的输出实际上是由输入样本、连接权值和阐值三者 决定的， 其输出 值可看作是三者的函数. 在实际应用当中， 输入信号为 (i= 1 ， 2，. ， n) 常 被 写 成向 量 形式x= (x 1， 犯 ， 习r rn ， 称为 输 入向 量 或输 入 样本。 相应 的 神 经元 的 权 值写 作 权 值向 量牙 = (w 。 w 么 二 ， w 砂 了 砂. 据 此， 神 经元 的 输出 则 表示 为 式 2 一2 。 夕 = f ( x t 万一 0 )( 2 一 2 ) 2 . 2 . 2人工神经元的分类 根据激励函 数的不同，人们常把人工神经元分成如下几种类型: 1 . 线性神经元 其激励函数为式2 一 3 。 刀 习= x( 2 一 3 ) 如图 ( 2 一 3a ) 所示。 2 .阅值神经元 其激励函数为式 2 一 4 。 ， j _ 、1 1x 之 0 1 欠 x ) 二1 。 l 一l x0)， 增大学习率: 若经过一轮迭代训练后， 平 均误差e增加， 则本次调整无效，令n二p * n ( p 0)， 减小学习率。在具体计 算中， 一般取q 二0 . 05，p =0 . 3 . 3 . 3 . 5卷 积网络训练过程 华北电力大学硕士论文 神经网络用于模式识别的主流是有指导学习网络，无指导学习网络更多的是用 于聚类分析。对于有指导的模式识别，由于任一样本的类别是已知的，样本在空间 的分布不再是依据其自 然分布倾向来划分，而是要根据同类样本在空间的分布及不 同类样本之间的分离程度找一种适当的空间划分方法，或者找到一个分类边界，使 得不同 类样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不 断调整用以划分样本空间的分类边界的位置，使尽可能少的样本被划分到非同 类区 域中。由于本文主要是检测图像中的人脸，所以可将样本空间分成两类:人脸样本 空间和非人脸样本空间，因而本文所使用的学习网络也是有指导的学习网络。 卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之 间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用己 知的 模式对卷积网络加以训练，网络就具有输入输出 对之间的映射能力。 卷积网络执行的是有导师训练，所以其样本集是由形如: ( 输入向量，理想输 出向量)的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统 的实际 “ 运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所 有的权都应该用一些不同的小随机数进行初始化。 “ 小随机数”用来保证网络不会 因权值过大而进入饱和状态，从而导致训练失败; “ 不同”用来保证网络可以正常 地学习。实际上，如果用相同的数去初始化权矩阵，则网络无能力学习。 训练算法主要包括 4步，这4 步被分为两个阶段: 第一阶段，向前传播阶段: 从样本集中取一个样本(i， 划，将 x输入网络; 计算相应的实际输出休 。 在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络 在完成训练后正常运行时执行的过程。在此过程中，网络执行的是由式3 一 7 计算: 0 ， = 凡 ( ( 凡 ( 月 (xr平 ， ) 平 ， ， ) ) 平 ” ， )( 3 一 7 ) 第二阶段，向后传播阶段 计算实际 输出马与相应的 理想输出耳的 差; 按极小化误差的方法调整权矩阵。 这两个阶段的 工作一般应受到精度要求的 控制， 在这里， 用式3 一 8 计算e po 作为网 络关于第p 个样本的误差测度。 而将网 络关于整个样本集的 误差测度定义为: e = 艺凡 今合 客 帆 一 叨 ( 3 一 8 ) 如前所述，之所以将此阶段称为向后传播阶段，是对应于输入信号的正常传 播而言的。因为在开始调整神经元的连接权时，只能求出输出 层的误差，而其他层 的误差要通过此误差反向逐层后推才能得到。有时候也称之为误差传播阶段。为了 华北电力大学硕士论文 更清楚地说明本文所使用的卷积神经网络的训练过程，首先假设输入层、中间层和 输出 层的 单元数分别是 n、 l 和m 。x= (x 。 xl ， 二xn)是加到网 络的 输入矢量， h一 伪 0，hl ， . ， 瓦 ) 是中间层输出 矢量， y = (y 0. 力 ， . ， 翔) 是网 络的实际输出 矢量， 并且 用d= (d0， dj ， 二 ， 咖夕 来表示训练组中各模式的目 标输出矢量。输出单元1 到隐单元j 的 权 值是巧 ， 而隐单元j到 输出 单元k的 权值是陈 . 另外用氏和必 来分 别表 示输出单元和隐单元的闽值。 于是，中间层各单元的输出为式3 一 9 : 气=f ( 艺 玲 xt + 妈 ) 3 一 试 ( 3 一 9 ) 而输出层各单元的输出是式 儿= f( 艺叽气 十 氏 ) ( 3 一 1 0 ) 其 中f (*)是 激 励函 数 ， 采 用犷 垫 函 数 式3 一 n : f ( x ) = 1 +e 一 x ( 3 一 1 1 ) 在上述条件下，网络的训练过程如下: 1) 选定训练组。从人脸和非人脸样本集中分别随机地选取 3 00 个样本作为 训练组。 2) 将各 权值玲，陈 和闽 值竹， 氏置成小的 接近于 。的随 机值， 并初 始 化 精度控制参数和学习率a。 3 ) 从训练组中取一个输入模式 x加到网络，并给定它的目 标输出矢量d 。 4 ) 利用式3 一 9 计算出一个中间层输出矢量h，再用式3 一 10计算出网络的实 际输出矢量y。 5) 将输出矢量中的元素 y : 与目 标矢量中的元素盛 进行比较，计算出m 个 输出 误差项式3 一 12: 氏=(dk 一 夕 办七 (1 一 川(3一 1 2) 对中间层的隐单元也计算出 司 l个误差项式3 一 13: 杯 = 朽 0 一 朽 ) 艺 氏 陈 ( 3 一 1 3 ) 6) 依 次 计 算出 各 权 值 的 调 整 量 式3 一 1 犷 知 式3 一 1 5 : 刁 陈( ” ) = ( a / ( 1 + l ) * ( j 陈( n 一 1 ) + 1 ) * 凡 hj 刁 气 ( n ) = ( a / ( 1 + 刃) * ( 刁 玲 ( n 一 1 ) + 1 ) * 毛 气 和闻值的调整量式3 一 16和3 一 1 7 : 刁 久( n)= ( a / ( 1 + l ) ) * ( j 久 ( n 一 1 ) + 1 ) * 几 刁 药 ( n ) = ( a / ( 1 + l ) ) ( 刁 丸 ( n 一 1 ) + 1 * 毛 7 ) 调整权值式3 一 18和式3 一 19: (3一 1 4 ) ( 3 一 1 5 ) ( 3 一 1 6) ( 3 一 1 乃 叽( n + 飞 ) 称( n + 1 ) = = 砚 * ( n ) + 刁 陈 ( n ) 气 ( n ) + 刁 称 ( n ) 2 9 ( 3 一 1 8 ) ( 3 一 1 9) 华北电力大学硕士论文 调整闲值式 3 一 20和3 一 2 1 : 风( n + 1 ) = 氏 ( n ) + 刁 氏( n ) 式 ( n + 1 ) = 此 ( n ) + 刁 药 ( n) ( 3 一 2 0 ) ( 3 一 2 1 ) 8 )当 k1至 m后， 判断指标是否满足精度要求: e续 ， 其中 e是 总误差函数， 艺(d*二 助， 如 果 不 满 足 ， 就 返 回( 3 ) ， 继 续 迭 代 . 如 果 满 历1一2 经e 每且 足就进入下一步。 9 )训练结束，将权值和阐值保存在文件中。这时可以认为各个权值已经达稳 定，分类器形成。再一次进行训练时， 直接从文件导出权值和阐值进行训练，不需 要进行初始化。 华北电力大学硕士论文 第四章人脸检测系统实现与系统检测结果分析 4 1系统设计概述 在人脸检测技术尚未达到完全成熟阶 段的今天， 系统设计的作用非常突出，良 好的系统设计可能起到事半功倍的效果，而拙劣的系统设计可能会葬送最好的核心 算法的前途。一个实用的人脸检测应用系统能否有良 好的识别性能当然主要依赖于 核心识别算法的性能，但系统设计是否合适同样在很大程度上影响着应用系统的成 败，尤其是在目 前情况下，人脸检测技术并非成熟技术，还面临着诸多关键问 题的 挑战，系统设计的作用更加突出。鉴于此，本章初步探讨了 人脸检测应用系统设计 中 需要考虑的一些共性关键问 题，如现场环境设计、 摄像设备选择与安装、 注册原 型图像的挑选、核心算法选择标准、学习 集选择、模型在线更新等。最后， 基于前 面章节提出的核心技术和关键问题解决方案，给出了人脸检测系统应用原型系统的 设计方案和系统检测结果分析。 4 . 2应用系统设计共性关键问题初探 4 . 2 . 1现场环境设计与改造 人脸检测的研究现状表明，目前最好的人脸识别系统也只有在限定条件下才能 取得最佳的检测效果。因此，在条件允许的情况下，必须认真设计应用系统的现场 环境，必要时对现场环境进行改造。设计时需要考虑的主要要素包括 : 1 .系统应用时段内 光照条件应尽量一致 尤其要尽量保证系统注册原型图像的采集条件应该尽量与系统实际运行时候 的图 像采集条件一致。这对于完全通过人造光源照明的应用现场而言是可以比 较容 易地做到的，但对于人造光源与自 然环境光源 ( 例如通过窗户)混合照明的现场来 说， 保持全天候二十四小时照明条件尽量一致并非易事，必要的时候要通过人造光 源进行补偿，以 便消除这些影响. 2 .避免逆光、侧光、 高光和曝光不足 逆光、侧光、高光和曝光不足对于现有的多数人脸检测系统而言都是灾难性的 ( 很多系统甚至不能检测到人脸)，因 此，除非万不得己， 应尽量避免出 现这些情 况.例如，尽量不要将摄像设备对准室外、窗户等，同时应该尽量使得被识别对象 是面向 光源的.必要的时 候要通过反光板、毛玻璃灯罩等人造光源进行补偿，以便 消除逆光、侧光、曝光不足等问题。 华北电力大学硕士论 文 4 . 2 . 2摄像设备选择与安 装 摄像设备是人脸检测系统的 “ 眼睛”，其采集到的人脸图像的质量和属性在很 大程度上决定了人脸识别系统的最终性能，需要慎重挑选，并进行合适的安装。 1 .摄像设备选择 并非功能最全或者最昂贵的摄像设备就是最好的，对不同需求的应用系统应该 采用不同种类、不同功能的摄像设备。需要考虑的摄像设备要素主要包括: 1) 感光方式和成像质量 目前主流的摄像设备主要采用ccd和c m os 图像传感器。对多数应用而言，应 该尽量选用c cd 摄像头，尽量避免选用价格较低但成像质量较差的c m 0s摄像设备; 另外，对于需要在较暗的环境下工作的应用而言，应选择最小照明度小的产品。 2) 镜头焦距与变焦镜头 除非有相应的 形变矫正策略，应尽量使用标准焦距镜头，而避免采用形变较大 的 广角甚至鱼眼镜头。 这主要是因为 人脸检测算法开发和模型训练所采用的图像多 数是标准镜头摄制的， 鱼眼镜头带来的形变会导致识别模型的失效。对于一些用户 不会配合的应用场合，选择具有变焦镜头的摄像设备可能是非常有必要的，例如可 以 在检测到人脸比 较小的情况，自 动变焦以摄取分辨率更高的人脸图像用于检测。 3) 光圈、自 动光圈、白 平衡与增益调整功能 对于需要在自 然环境光源条件下、 全天候运行的应用系统而言， 具备自 动光圈、 白 平衡和增益功能的摄像设备是必备的。自 动光圈和增益调整功能使得 应用系统可 以根据输入图像的明暗程度调节光圈或增益以避免过度曝光或者欠曝光。而白平衡 则可以 抵消外界环境光源带来的色温变化， 这一点对于基于肤色的人脸检测系统尤 为关键。 2 .摄像设备安装 1) 视角: 尽量保证正面视角图像。现有的人脸识别算法的姿态鲁棒性都比较 差，因 此摄像设备的安装应该尽量保证用户能够基本正面镜头。对于固定摄像机的 场合而言，身高不同会导致视角的变化过大，针对该问题，可以考虑的 策略包括放 置多个不同位置的摄像设备，在识别时进行多路识别结果的融合。 2) 距离:人与摄像设备距离的设定依赖于镜头的焦距情况，一般应该保证人 脸在图 像的中 央位置，大小不应该少于32x 32像素。 还需要注意的一点是人与摄像 头的距离不要过近，以免出现严重的桶形失真。 3 .摄像设备的一致性 由 于不同的摄像设备具有不同的内 部参数，因此不同的摄像设备摄制的图 像会 有很多隐含的差别，会在一定程度上影响人脸识别系统的性能。f e r e t 97 测试也表 明了这一点。因此，如果能够保证训练模型图像、注册图像、现场识别图 像的采集 华北电力大学硕士论文 设备是统一的，至少尽量保证是同一型号的，识别效果会有更大的保障。 4 . 2 . 3增强人脸检测功能 人脸检测技术日 臻成熟， 对多数用户比 较配合的应用系统而言，现有的人脸检 测算法己经能 够有9 既以上的检测率，可以 保证应用系统的需求。但实践表明， 对 很多室外应用而言 ( 比如视频监控系统)， 尤其是在日 照充足的中午，逆光、侧光 会使得检测系统的性能下降很多 ( 高原地区更甚)。在这些场合下，应用相对比 较 成熟的 运动检测、背景减等方法， 进一步降低误检率、提高检测率是必须考虑的 策 略。提高人脸检测算法性能的另一种策略是对现场重新进行学习。典型的做法是现 场采集典型的人脸图像，加入到原有的训练图像集中，重新训练检测模型，从而提 高系统对新环境的适应能力。 4 . 3人脸检测系统应用原型系统设计 4 . 3 . 1人脸检测系统硬件选择 1 s a e r i m 彩色 c c d 摄像头 主要规格说明: 摄像元件 1/4 彩色c cd 水平解像度 4 80 线以 上 镜头 变 焦 16倍光 学 变焦 ( fl. 6 f 绍. g nun一 63 mm) 最低照度 0 . i l ux 聚焦范围 10llun一 无穷大 白平衡 自动控制 ( 室内/ 室外 ) ( 手动) 电子快门 1 / 5 0 一 1 / 1 0 0 0 0 秒 ( 8级) 远程控制 a dk e y / p / t / c t l 视频输出 i v p 一 p75 欧姆， y / c 分离输出 同步方式 内同步 2 .大恒 c g 3 o o 彩色/ 黑白 采集卡 d h 一 c g 3 0 0 视频采集卡具有使用灵活，集成度高，功