基于核函的LDA人脸图像识别.doc

基于核函的 LDA 人脸图像识别 摘要 对于人脸识别 大家似乎认为它离我们很远 其实人脸识别与我们的生活 也是息息相关的 人脸识别是生物特征识别的一个主要研究方向 与其它生物 特征识别技术相比较 人脸识别具有能动性 用户界面友好等许多特点 同时 在所有的生物特征方向 人脸特征也是最普遍和最比较容易获取的 因此 在 模式识别和图像处理领域 人脸识别一直都是比较热门的研究课题之一 特征 提取是模式识别学科研究的最基本问题之一 对于人脸识别而言 抽取有效的 人脸特征是完成人脸识别任务的关键 从最初的基于几何的方法到基于统计等 复杂特征的方法 人脸识别已经发展了很多算法 目前 基于统计特征的线性 方法在人脸识别中以发展的比较成热 但是由于人脸识别涉及光照 表情 姿 态等诸多因素 线性方法在实际也应用中表现得还远远不够 因此 将线性方 法拓展到非线性领域以提高识别率是个有待解决的问题 基于核函数的特征提 取方法是最近提出的一种很有效的非线性特征提取方法 本文就基于核的特征 提取方法在人脸识别方面的应用进行了较深入的研究 所提出的算法在 ORL 人脸数据库上的试验取得了比较好的识别效率 关键词 人脸识别 特征提取 核方法 Kernel Function Based LDA Face Image Recognition Abstract For face recognition everyone seems to think it is very far away from us in fact face recognition and our lives are also closely related Face recognition is the biometric identification of a major research direction compared with other biometric identification technology face recognition book mobility friendly user interface and many other features Meanwhile In the direction of all the biometric facial feature is the most common and most relatively easy to obtain Therefore In the field of pattern recognition and image processing face recognition has always been a popular research topic Feature extraction is one of the most fundamental problems of pattern recognition disciplines For face recognition the extraction of effective facial feature is the key to complete the recognition task From the initial geometry based approach to the methods based on statistical and other complex features face recognition has been the development of many algorithms At present To develop linear methods based on statistical features in face recognition more into the hot face recognition involves illumination facial expression posture and many other factors the linear method in practical applications performance is still far from enough Therefore that the linear method is extended to the nonlinear field in order to improve the recognition rate is a problem to be solved Based on multiple nuclear functions combination of feature extraction methods recently proposed a very effective non linear feature extraction method In this paper based on the core feature extraction method in face recognition more in depth study the test of the proposed algorithm in the YALE face database and obtain good recognition efficiency First understand the LDA linear discriminant analysis as the principles and methods of feature extraction tools and then to understand the basic idea of the definition of the kernel function principles characteristics and Kernel space And then to understand the basic idea of the definition of the kernel function principles characteristics and Kernel space Understand existing use LDA and KLDA method for face image recognition rate MATLAB code written in the LDA and KLDA a kernel function method for face recognition Writing based on the KLDA for face image recognition MATLAB code with the combination of multiple kernels Finally the advantages and disadvantages of a single kernel function KLDA for human face recognition and scope of application of the multiple Kernel functions combination Keyword Face recognition feature extraction Kernel function 目录 1 绪论 1 1 1 人脸识别发展介绍 1 1 2 人脸识别研究意义 3 1 3 本文人脸识别研究方法 3 1 4 人脸识别技术的应用 4 2 线性判别分析 LDA 5 2 1 Fisher 算法理论基础 5 2 2 欧氏距离 7 2 3 研究 LDA 的方法步骤 9 2 3 实现过程 10 2 4 实现结果 10 2 5 结果分析 15 3 核函数 16 3 1 理论基础 16 3 1 1 传统方法 16 3 1 2 核技巧 17 3 2 常用的几种核函数形式 19 3 3 核函数的特点 20 3 4 核函数处理非线性问题 21 4 研究成果 23 4 1 人脸库的选取 23 4 2 随机数模拟 LDA 成果 23 4 3 LDA 在 ORL 库中的识别成果 26 4 4 核函数在 ORL 库中的识别成果 28 4 4 1 核函数方法实施步骤 28 4 4 2 在 ORL 库中的识别过程 28 4 4 3 部分实验结果 32 4 4 4 单个核函数结果分析 33 5 总结 34 5 1 对于 LDA 的总结 34 5 2 对核函数的总结 34 5 3 相对比较 34 致谢 35 参考文献 36 第 1 页 1 绪论 1 1 人脸识别发展介绍 第一阶段 1964 1990 这一阶段人脸识别通常只是作为一个一般性的模 式识别问题来研究 所采用的主要技术方案是基于人脸几何结构特征的方法 这集中体现在人们对于剪影的研究上 人们对面部剪影曲线的结构特征提取与 分析方面进行了大量研究 人工神经网络也一度曾经被研究人员用于人脸识别 问题中 总体而言 这一阶段是人脸识别研究的初级阶段 非常重要的成果不 是很多 也基本没有获得实际应用 第二阶段 1991 1997 这一阶段尽管时间相对短暂 但却是人脸识别研 究的高潮期 可谓硕果累累 不但诞生了若干代表性的人脸识别算法 美国军 方还组织了著名的 FERET 人脸识别算法测试 并出现了若干商业化运作的人 脸识别系统 贝尔胡米尔等提出的 Fisherface 人脸识别方法是这一时期的另一 重要成果 该方法首先采用主成分分析对图像表观特征进行降维 在此基础上 采用线性判别分析的方法变换降维后的主成分以期获得 尽量大的类间散度和 尽量小的类内散度 该方法目前仍然是主流的人脸识别方法之一 产生了很 多不同的变种 比如零空间法 子空间判别模型 增强判别模型 直接的 LDA 判别方法以及近期的一些基于核学习的改进策略 麻省理工学院的马哈 丹则在特征脸的基础上 提出了基于双子空间进行贝叶斯概率估计的人脸识别 方法 该方法通过 作差法 将两幅人脸图像对的相似度计算问题转换为一个 两类 类内差和类间差 分类问题 类内差和类间差数据都要首先通过主成分分 析 PCA 技术进行降维 计算两个类别的类条件概率密度 最后通过贝叶斯决 策 最大似然或者最大后验概率 的方法来进行人脸识别 人脸识别中的另一种 重要方法 弹性图匹配技术 Elastic Graph Matching EGM 也是在这一阶段 提出的 LFA 在本质上是一种基于统计的低维对象描述方法 与只能提取全局 特征而且不能保留局部拓扑结构的 PCA 相比 LFA 在全局 PCA 描述的基础上 提取的特征是局部的 并能够同时保留全局拓扑信息 从而具有更佳的描述和 判别能力 LFA 技术已商业化为著名的 FaceIt 系统 因此后期没有发表新的学 术进展 由美国国防部反毒品技术发展计划办公室资助的 FERET 项目无疑是 该阶段内的一个至关重要的事件 FERET 项目的目标是要开发能够为安全 情报和执法部门使用的 AFR 技术 该项目包括三部分内容 资助若干项人脸 识别研究 创建 FERET 人脸图像数据库 组织 FERET 人脸识别性能评测 该 项目分别于 1994 年 1995 年和 1996 年组织了 3 次人脸识别评测 几种最知名 的人脸识别算法都参加了测试 极大地促进了这些算法的改进和实用化 总体 而言 这一阶段的人脸识别技术发展非常迅速 所提出的算法在较理想图像采 集条件 对象配合 中小规模正面人脸数据库上达到了非常好的性能 也因此 第 2 页 出现了若干知名的人脸识别商业公司 从技术方案上看 2D 人脸图像线性子 空间判别分析 统计表观模型 统计模式识别方法是这一阶段内的主流技术 第三阶段 1998 现在 FERET96 人脸识别算法评估表明 主流的人脸识 别技术对光照 姿态等由于非理想采集条件或者对象不配合造成的变化鲁棒性 比较差 因此 光照 姿态问题逐渐成为研究热点 与此同时 人脸识别的商 业系统进一步发展 为此 美国军方在 FERET 测试的基础上分别于 2000 年和 2002 年组织了两次商业系统评测 基奥盖蒂斯等人提出的基于光照锥模型的多 姿态 多光照条件人脸识别方法是这一时期的重要成果之一 他们证明了一个 重要结论 同一人脸在同一视角 不同光照条件下的所有图像在图像空间中形 成一个凸锥 即光照锥 为了能够从少量未知光照条件的人脸图像中计算光 照锥 他们还对传统的光度立体视觉方法进行了扩展 能够在朗博模型 凸表 面和远点光源假设条件下 根据未知光照条件的 7 幅同一视点图像恢复物体的 3D 形状和表面点的表面反射系数 传统光度立体视觉能够根据给定的 3 幅已知 光照条件的图像恢复物体表面的法向量方向 从而可以容易地合成该视角下 任意光照条件的图像 完成光照锥的计算 识别则通过计算输入图像到每个光 照锥的距离来完成 以支持向量机为代表的统计学习理论也在这一时期内被应 用到了人脸识别与确认中来 支持向量机是一个两类分类器 而人脸识别则是一个多类问题 通常有三 种策略解决这个问题 即 类内差 类间差法 一对多法和一对一法 布兰兹 和维特等提出的基于 3D 变形模型的多姿态 多光照的人脸图像分析与识别方 法是这一阶段内一项开创性的工作 2001 年的国际计算机视觉大会 ICCV 上 康柏研究院的研究员维奥拉和琼斯展示了他们的一个基于简单矩形特征和 AdaBoost 的实时人脸检测系统 在 CIF 格式上检测准正面人脸的速度达到了 每秒 15 帧以上 该方法的主要贡献包括 1 用可以快速计算的简单矩形特征 作为人脸图像特征 2 基于 AdaBoost 将大量弱分类器进行组合形成强分类器的 学习方法 3 采用了级联技术提高检测速度 目前 基于这种人脸 非人脸学习 的策略已经能够实现准实时的多姿态人脸检测与跟踪 这为后端的人脸识别提 供了良好的基础 沙苏哈等于 2001 年提出了一种基于商图像 13 的人脸图像识 别与绘制技术 该技术是一种基于特定对象类图像集合学习的绘制技术 能够 根据训练集合中的少量不同光照的图像 合成任意输入人脸图像在各种光照条 件下的合成图像 基于此 沙苏哈等还给出了对各种光照条件不变的人脸签名 图像的定义 可以用于光照不变的人脸识别 实验表明了其有效性 巴斯里和 雅各布则利用球面谐波表示光照 用卷积过程描述朗博反射的方法解析地证明 了一个重要的结论 由任意远点光源获得的所有朗博反射函数的集合形成一个 线性子空间 这意味着一个凸的朗博表面物体在各种光照条件下的图像集合可 以用一个低维的线性子空间来近似 这不仅与先前的光照统计建模方法的经验 实验结果相吻合 更进一步从理论上促进了线性子空间对象识别方法的发展 而且 这使得用凸优化方法来强制光照函数非负成为可能 为光照问题的解决 提供了重要思路 FERET 项目之后 涌现了若干人脸识别商业系统总体而言 第 3 页 目前非理想成像条件下 尤其是光照和姿态 对象不配合 大规模人脸数据库 上的人脸识别问题逐渐成为研究的热点问题 而非线性建模方法 统计学习理 论 基于 Boosting 的学习技术 基于 3D 模型的人脸建模与识别方法等逐渐成 为备受重视的技术发展趋势 1 2 人脸识别研究意义 研究人脸识别在理论和技术上都有重要的意义 一是可以推进对人类视觉 系统本身的认识 二是可以满足人工智能应用的需要 采用人脸识别技术 建 立自动人脸识别系统 用计算机实现对人脸图像的自动识别有着广阔的应用领 域和诱人的应用前景 同时人脸识别作为一种生物体征识别与其它较成熟的识 别方法 如指纹 虹膜 DNA 检测等 相比有以下几个优点 无侵犯性 人脸图像的获取不需要被检测人发生身体接触 可以在不惊动被检测人的情况 下进行 低成本 易安装 人脸识别系统只需要采用普通的摄像头 数码摄 像机或手机上的嵌入式摄像头等被广泛使用的摄像设备即可 对用户来说也没 有特别的安装要求 无人工参与 整个人脸识别过程不需要用户或被检测人 的主动参与 计算机可以根据用户预先的设置自动进行 由于具有以上优点 近几年来 人脸识别技术引起了越来越多科研人员的关注 人脸检测研究具有 重要的学术价值 人脸是一类具有相当复杂的细节变化的自然结构目标 此类目 标的检测问题的挑战性在于 人脸由于外貌 表情 肤色等不同 具有模式的 可变性 一般可能存在眼镜 胡须等附属物 作为三维物体的人脸的影像不 可避免地受由光照产生的阴影的影响 因此 如果能够找到解决这些问题的方法 成 功构造出人脸检测与跟踪系统 将为解决其它类似的复杂模式检测问题提供重要 的启示 1 3 本文人脸识别研究方法 首先了解 LDA 线性判别分析 作为特征提取工具的原理和方法 再了 解核函数的定义 原理 特点以及核空间的基本思想 了解已有的使用 LDA 和 KLDA 相关方法进行人脸图像识别的识别率 编写用 LDA 和 KLDA 一个 核函数 方法实现人脸识别的 MATLAB 代码 用多个核函数组合的方法编写 基于 KLDA 的进行人脸图像识别 MATLAB 代码 最后分析多个核函数组合相 对于单一核函数的 KLDA 用于人脸图像识别的优缺点和适用范围 1 4 人脸识别技术的应用 自 90 年代后期以来 一些商业性的人脸识别系统逐渐进入市场 近几年 来人脸识别作为计算机安全技术在全球范围内迅速发展起来 特别是美国遭受 第 4 页 911 恐怖袭击以后 人脸识别技术更引起了广泛的关注 在这一阶段 更多的 研究集中在基于视频的人脸识别上面 人脸识别技术具有广泛的应用前景 在国 家安全 军事安全和公共安全领域 智能门禁 智能视频监控 公安布控 海 关身份验证 司机驾照验证等是典型的应用 在民事和经济领域 各类银行卡 金融卡 信用卡 储蓄卡的持卡人的身份验证 社会保险人的身份验证等具有 重要的应用价值 在家庭娱乐等领域 人脸识别也具有一些有趣有益的应用 比 如能够识别主人身份的智能玩具 家政机器人 具有真实面像的虚拟游戏玩家 等 今天 人脸检测的应用背景已经远远超出了人脸识别系统的范畴 在基于内 容的检索 数字视频处理 视觉监测等方面有着重要的应用价值 第 5 页 2 线性判别分析 LDA 2 1 Fisher 算法理论基础 Fisher 判别法是历史上最早提出的判别方法之一 其基本思想是将 n 类 m 维数据集尽可能地投影到一个方向 一条直线 使得类与类之间尽可能分开 从形式上看 该方法就是所谓的一种降维处理方法 为简单起见 我们以两类 问题 1和 2的分类来说明 Fisher 判别法的原理 设数据阵为 x RN m 1共有 N1个样本 2共有 N2个样本 N N1 N2 两个类别在输入空间的均值向量为 2 2P1p x p 2 2 m x p 1 1 x N 1 uRx N 1 u 1 设有一个投影方向 这两个均值向量在该方向的 m T m Rwww w 21 投影为 2 2 1 2 22 1 1 11 2 1 xw 1 uwu xw 1 uwu R N R N p p p TT p TT x x 在方向 两均值之差为w 2 3 2121 uuwuu T 类似地 样本总均值向量在该方向的投影为 2 4 1 1 xw 1 uwuR N N p p TT 定义类间散度 Between class scatter 平方和 SSB 定义类 j的类内散度 Within class scatter 平方和为 2 5 jj Np j T p T Np jp T Wj xxSS 22 uwwuw 两个类的总的类内散度误差平方和为 2 6 wSw wuuw uww 2 1 2 1 2 2 1 W T jNp T jpjp T jNp j T p T j wjW j j xx xSSSS 第 6 页 其中 2 7 2 1 uu jNp T jpjpW j xx S 我们的目的是使类间散度平方和 SSB与类内散度平方和 SSw的比值为最大 即 2 8 ww ww wmax W T B T W B SS SS J S S 给出了类间散度平方和 SB 与类内散度平方和 SE 的几何意义 类间散度 平方和 SB 的另一种表示方式为 2 9 T B2121 uuuu S 可以证明 2 13 与 2 7 只相差一个系数 简单证明如下 由于 2 10 N NN N pp pp 2211 uu xx 1 u 21 xx 由 2 7 得 2 11 T TT B N NN NN 2121 21 222111 uuuu uuuuuuuu S 这说明 2 11 与 2 7 只相差一个与样本数有关的常数 类内散度平方和 SSE的另一种表示方式为 2 12 21 2 2 2 1 pp ppE SS xx 这正是 2 9 下面分析怎样确定最佳投影方向 w 显然 SB SW均为对称阵 于是 且 SW 令 2 1 W S 2 1 T W S 2 1 2 1 WW SS 则 代入 2 11 得 wv 2 1 W S vw 2 1 W S 2 13 vv vv ww ww wmax 2 1 2 1 T WB T W T W T B T J SSS S S 使 2 13 为最大 等价于求最大特征值 2 1 2 1 max WB T W SSS 对应的特征向量 即 BW SS 1 max 2 14 ww max 1 BW SS 我们知道 第 7 页 2 15 21 2121 2121 2121 u wuuuu uu uuuu wuwuu TT T B wS 于是 2 15 可写成 2 16 wuu Wmax21 1 S 这说明 的方向与的方向一致 即w 21 1 uu W S 2 17 21 1 uuw W S 因此 在应用过程中 我们往往不必求出类间散度阵 B S 与输入空间维数相等 或者说 投影方向过原点 设分类阈值为 则w 判别公式为 2 18 xw xwx xwx T T T 如果不定 如果 如果 2 1 确定 的一些经验公式为 1 取两个类别均值在方向投影的简单平均w 2 19 2 21 uuwT 2 考虑样本数的两个类别均值在方向投影的平均w 2 20 N uNuNwT 2211 或 2 21 N uNuNwT 2112 3 考虑类方差的两个类别均值在方向投影的平均w 2 22 21 112 uuuT 或 2 23 21 2111 uuwT 这里 分别为两个类别在方向投影的均方差 1 2 w 当然 当类内散度阵不可逆时 Fisher 判别法失效 W S 2 2 欧氏距离 第 8 页 d sqrt xi1 xi2 2 这里 i 1 2 n xi1表示第一个点的第 i 维坐标 xi2表示 第二个点的第 i 维坐标 n 维欧氏空间是一个点集 它的每个点可以表示为 x 1 x 2 x n 其中 x i i 1 2 n 是实数 称为 x 的第 i 个坐标 两个点 x 和 y y 1 y 2 y n 之间的距离 d x y 定义为上面的公式 欧氏距离的比仿意义欧氏距离 看作信号的相似程度 距离越近就越相似 就越易相互干扰 误码率就越高 最近邻方法 1 已知N个已知类别 样本X 2 输入未知类别样本x 3 计算x到 xi X i 1 2 N 的距离 di x 4 找出最小距离 dm x min di x 5 看xm属于哪一类 xm 2 6 判x 2 1 2 图 2 1 最近邻识别法框图 第 9 页 图 2 2 用欧氏距离形成的 Distance 矩阵 2 3 研究 LDA 的方法步骤 1 通过随机数模拟传统 LDA 的方法 对其进行验证 看是否符合论文 的设计要求 并求准确识别率 2 在用传统 LDA 方法对 ORL 人脸库进行识别分析 看是否能够运行 如果可以对传统 LDA 在 ORL 的识别方法求其正确识别率 并比较在 ORL 人 脸库中的识别效果和在随机书模拟情况下效果的比较 3 对于传统 LDA 进行缺点分析 第 10 页 样本的设置 求训练样本中各类样品的均值向量mi 求训练样本内各类样品类内离散度矩阵Si 求总类间离散度矩阵Sw 求训练样本的总体均值向量 求类间离散矩阵Sb 求投影矩阵 W 求测试样本和训练样本在W上的投影 根据最近邻识别原理进行识别计算正确识别率 图 2 3LDA 系统框图 2 3 实现过程 实现步骤如下 1 样本设置 2 求训练样本中各类样品的均值向量 mi 3 求训练样本内各类样品类内离散度矩阵 Si 4 求总类间离散度矩阵 Sw 5 求训练样本的总体均值向量 zongjunzhi 6 求类间离散矩阵 Sb 第 11 页 7 求投影矩阵 W 8 求测试样本和训练样本在 W 上的投影 9 根据最近邻识别原理进行识别 10 计算正确识别率 2 4 实现结果 例如 样本设置 二类样本 每类其中有 20 个样本 每个样本是 50 维正态分布随机向量 每类前 10 个作为训练样本 后 10 个作为测试本 A1 rand 20 50 A2 2 rand 20 50 生成样本 TA A1 1 10 A2 1 10 TA 为训练样本共 30 个样本 前 10 个为 一样本 后 10 个为第二类样本 TE A1 11 20 A2 11 20 A3 11 20 TE 为测试样本得到结果 图 2 3 样本类别 图 2 4 训练和测试样本 图 2 5 类间和类内离散度矩阵 图 2 6 投影矩阵 w 图 2 7 投影后的测试样本和训练样本 通过训练样本 TA 测试样本 TE 同投影后的 yTA 和 yTE 进行对比可以看出降 维的效果很明显 第 12 页 表 2 1Distance 矩阵 表 2 2Index 矩阵 第 13 页 表 2 3sorted 矩阵 可以看出 sorted 矩阵是对 distance 矩阵每一列的数字进行的由小到大的排 列 index 矩阵是对 sorted 排列后的数字 在原来 distance 矩阵中的位置的排列 如在 sorted 中的第一行第一列的这个数 0 35451 在原来 distance 矩阵中排第一 列的第五行 在 index 矩阵中就显示数字 5 同理得出其他的数字排列顺序 第 14 页 图 2 7 部分对比结果 记得我们在 index 矩阵中得知 0 35451 这个数字在原来 distance 矩阵中排第 一列中的第 5 在训练样本 TA 中可以知道 TA 的中的前 10 个为 A1 中间 10 个 为 A2 后 10 个为 A3 通过数学计算 5 10 为 0 5 没有超过 1 所以其为第一类 即 A1 类 如果所得数字超过 1 但不超过 2 其为第二类即 A2 类 如果所得数 字超过 2 但未超过 3 其为第三类即 A3 类 ceil 是向离它最近的大整数圆整 其中最高识别率为 图 2 8 识别率 由于是随机样本所以每次得到的结果不定 每次所得准确识别率都不一定 相同 随机数判别和人脸数据库识别的基本思想是一致的 后续工作即进行人 脸数据库 LDA 的识别分析 识别具体程序如下 A1 rand 20 50 A2 2 rand 20 50 A3 3 rand 20 50 TA A1 1 10 A2 1 10 A3 1 10 TA为训练样本共30个样本 前10个 为一样本 中间10个为第二类样本 后10个为第三类样本 TE A1 11 20 A2 11 20 A3 11 20 TE为测试样本 m1 mean TA 1 10 1 m2 mean TA 11 20 1 m3 mean TA 21 30 1 第 15 页 for i 1 10 x1 i TA i m1 end S1 x1 x1 for i 1 10 x2 i TA i 10 m2 end S2 x2 x2 for i 1 10 x3 i TA i 20 m3 end S3 x3 x3 SW S1 S2 S3 zongjunzhi mean TA 1 SB m1 zongjunzhi m1 zongjunzhi m2 zongjunzhi m2 zongjunzhi m3 zongjunzhi m3 zongjunzhi SB m1 m2 m1 m2 W D eigs inv SW SB y1 W TA y2 W TE yTA y1 yTE y2 lei for i 1 3 lei lei ones 1 10 i end for Dim 1 6 for Dim 10 30 for i 1 30 for j 1 30 distance i j sqrt sum y1 1 Dim i y2 1 Dim j 2 end 第 16 页 end clear i clear j sorted index sort distance 1 for i 1 30 f 1 i ceil index 1 i 10 end clear i right num sum lei f right ration right num 30 100 rate 1 Dim right ration DDD f lei end 2 5 结果分析 分类识别 LDA fisher 算法模拟 线性鉴别分析的基本思想是将高维的 模式样本投影到最佳鉴别矢量空间 以达到抽取分类信息和压缩特征空间维数 的效果 投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距 离 即模式在该空间中有最佳的可分离性 在该空间中进行最近邻识别 识别 所用到的是欧氏距离 能过实现明显的降维和得到较高的正确识别率 第 17 页 3 核函数 3 1 理论基础 随着科学技术的迅速发展和研究对象的日益复杂 高维数据的统计分析方 法显得越来越重要 直接对高维数据进行处理会碰到很多困难 包括 随着维 数的增加 计算量迅速增大 数据的可视性差 维数灾难 即当维数较高时 即使数据的样本点很多 散步在高维空间的样本点数依然很少 许多在低位时 应用成功的数据处理方法 在高维空间中不能应用 如关于密度估计的核方法 领域法等 低维时鲁棒姓很好的统计方法到了高维空间 其稳定性也就变差了 由此可见在多元统计过程中降维的重要性 然而 一般常见的降维方法是建立在正态分布这一假设基础上的线性方法 显得过于简化 因而往往不能满足现实中的需要 这里将传统的线性降维方法 通过引入核函数推广到非线性领域中 基于核方法的特征提取理论本质上都是基于样本的 因此 它不仅适合于 解决非线性特征提取问题 而且还能比线性降维方法提供更多的特征数目和更 好的特征质量 因为前者可提供的特征数目与输入样本的数目是相等的 而后 者的特征数目仅为输入样本的维数 核方法首先采用非线性映射将原始数据由数据空间映射到特征空间 进而 在特征空间进行线性操作 由于运用的非线性映射 而且这种非线性映射往往 是非常复杂的 从而大大曾强的非线性数据的处理能力 核方法是一系列的先进非线性数据处理技术的总称 其共同特征是这些数 据处理方法都应用了核映射 核方法首先采用非线性映射将原始数据由数据空 间映射到特征空间 进而在特征空间进行对应的线性操作 由于运用了非线性 映射 而且这种作线性映射往往是非常复杂的 从而大大增强了非线性数据的 处理能力 从本质上讲 核方法实现了数据空间 特征空间和类别空间之间的 非线性变换 设 xi 和 xj 为数据空间中的样本点 数据空间到特征空间的映射 函数为中 核方法的基础是实现了向量的内积变换通常 非线性变换函数 中相当复杂 而运算过程中实际用到的核函数相对简单多了 3 1 1 传统方法 直观 LDA 的想法是找到一个投影 最大限度地级分离 鉴于两套标记 的数据 和 定义类的方法 m1和 m2要 1 c 2 c 第 18 页 3 il 1n i n i i x l 1 m 1 这里是类的实例数 ci 线性判别分析的目标是给类的一个大的分离 同时 i l 也保持在一流的方差小 这是最大化作为制定 3 wSw wSw wJ w T B T 2 这里 SB类间的协方差矩阵 Sw总类内协方差矩阵 3 T 1212B m mm mS 3 3 T i m xm xS i n 2 1i k 1n i i nw 4 鉴别关于 w 设置等于零 并重新安排给 wJ 3 wSwSwwSwSw Bw T wB T 5 由于我们只关心的方向 w 和 SBw 具有相同的方向 m2 m1 SBw 可取代 m2 m1我们可以丢弃的标量和 给 wSw B T wSw w T 3 12 1 w m mSw 6 3 1 2 核技巧 延长 LDA 的非线性映射 可以将数据映射到一个新的功能空间 F 通过 一些功能 在这个新的功能空间 需要最大化的功能 第 19 页 3 wSw wSw wJ w T B T 7 这里 3 T 1212B m mm mS 8 3 T i i n 2 1i l 1n i i nw m xm xS i 9 和 3 il 1j i j i i x l 1 m 10 此外 请注意 明确计算的映射然后执行 LDA 的计算昂贵 Fw i x 而且在许多情况下 顽固性 例如 F 可能是无限维的 因此 而不是明确 的数据映射到 F 数据可以通过重写算法在隐式嵌入点产品和使用的内核的把戏 在新的特征空间中的点产品被替换内核函数 LDA 的可 yxyxk 重新点产品方面首先指出 w 将有扩大的形式 3 l 1i ii xw 11 然后注意 3 i Ti kj l 1j l 1k j i i T Mxxk l 1 mw i 12 这里 3 il 1k i kj i ji xxk l 1 M 13 的分子 J w 然后可以写为 3 Mwm mm MwwSw T T 1212 T B T 14 第 20 页 这里 同样 分母可以写成 T 1212 m Mmmm 3 NwSw T w T 15 这里 3 T j 2 1j lj K1 IKN j 16 与组件定义为I 是单位矩阵 所有参赛作品的矩阵等 thth m n j K j mn xxk j l 1 于 可以得出这样的身分开始表达和使用的扩张 w 的定义和 j l 1 wSw w T w S i m 与这些方程的分子和分母 J w 方程 J 可改写为 3 N M J T T 17 然后 区分和设置等于零给 3 MNNM TT 18 因为只有方向 w 因此方向 上述事项 可以解决如 3 12 1 MMN 19 注意在实践中 N 通常奇异 所以被添加到它的身份的倍数 1 3 NN 20 鉴于解决方案 一个新的数据点的预测 1 3 xxkxwxy i l i i 1 21 3 2 常用的几种核函数形式 核函数必须满足 Mercer 条件 目前 获得应用的核函数有一下几种 1 线性核函数 第 21 页 3 yxyxk 22 2 二次核函数 3 1yxyxk 23 3 多项式核函数 多项式核函数是最常使用的一种非线性映射 d 阶的 多项式函数定义如下 3 d cyxy xk 24 其中 c 为常数 d 为多项式阶数 当 c 0 d 1 时 该核函数即为线性核 函数 4 高斯径向基 RBF 函数 最常用的径向基函数采用高斯径向基函 数 定义为 3 2 2 2 y x expyxk 25 其中 x y 为两个向量之间的距离 为常数 5 多层感知器核函数 又称 Sigmoid 核函数 3 sffsetyxscaleyx tanh k 26 其中 scale 和 offset 是尺度和衰减参数 实际上 在核函数的应用中 核函数的选择及相关参数的确定是问题的关 键和难点所在 到目前为止 也没有太多的理论指导 需要指出的是 与同一 个核函数对应的映射可能不唯一 实际上 甚至使用者无需知道核函数映射的 具体形式 与统一核函数对应的不同映射 在维数上也存在差别 在特征空间中往往存在输入空间所没有的性能 考虑到输入空间中两类线 性不可分样本 一类为 1 0 0 1 另一类为 0 0 T 21 xxX 第 22 页 1 1 而与式对应的特征空间中相应的一 222121 xxxx2xxx 类为 1 0 0 0 0 1 另一类为 变为线性可分 从上面 1 210 0 0 的讨论可见 核方法可以将线性空间中的非线性问题映射为非线性空间中的线 性问题 从而有望较好地克服以往线性处理方法处理非线性问题所存在的不足 Fisher 判别函数过于简单 往往不能满足处理非线性数据的要求 改进的途径 有两种 一是对样本集进行复杂的概率密度估计 在此基础上在使用贝叶斯最 优分类器 这种理论是最理想的 然而由于需要极多的数据样本 在实际中常 常是不可行的 第二条途径是采用非线性投影 使投影后的数据线性可分 核 Fisher 判别分析使用了类似于 svm 和 pca 方法的核技巧 即首先把数据非线性 地映射到某个特征空间 F 然后在这个特征空间中进行 Fisher 线性判别 这样 就隐含的实现了原输入空间的非线性判别 3 3 核函数的特点 1 核函数的引入避免了 维数灾难 大大减小了计算量 而输入空间的 维数 n 对核函数矩阵无影响 因此 核函数方法可以有效处理高维输入 2 无需知道非线性变换函数 的形式和参数 3 核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的 映射 进而对特征空间的性质产生影响 最终改变各种核函数方法的性能 4 核函数方法可以和不同的算法相结合 形成多种不同的基于核函数 技术的方法 且这两部分的设计可以单独进行 并可以为不同的应用选择不同 的核函数和算法 3 4 核函数处理非线性问题 解决线性不可分问题 第 23 页 低维空间的线性不 可分 非线性变化 图 3 9 由于维数是升高 很大程度上增大了计算量 所以引进多项式核函数 KLDA 系统的识别过程 样本的设置 求训练样本中各类样品的均值向量mi 求训练样本内各类样品类内离散度矩阵Si 求总类间离散度矩阵Sw 求训练样本的总体均值向量 求类间离散矩阵Sb 求投影矩阵 W 求测试样本和训练样本在W上的投影 根据最近邻识别原理进行识别计算正确识别率 求K yiji xxkxx 图 3 10KLDA 系统框图 一般常见的降维方法是建立在正态分布这一假设基础上的线性方法 显得 过于简化 因而往往不能满足现实中的需要 这里将传统的线性降维方法通过 引入核函数推广到非线性领域中 核方法可以将线性空间中的非线性问题映射 高维空间的线性可 分 第 24 页 为非线性空间中的线性问题 从而有望较好地克服以往线性处理方法处理非线 性问题所存在的不足 4 研究成果 第 25 页 4 1 人脸库的选取 几种常见的人脸库如下 1 Yale 人脸数据库由耶鲁大学计算视觉与控制中心创建 包含 15 位志 愿者的 165 张图片 包含光照 表情和姿态的变化 包含了 10 个人的 5 850 幅多 姿态 多光照的图像 其中的姿态和光照变化的图像都是在严格控制的条件下采 集的 主要用于光照和姿态问题的建模与分析 由于采集人数较少 该数据库的进 一步应用受到了比较大的限制 2 ORL 人脸数据库 由剑桥大学 AT A2 2 rand 20 50 生成样本 TA A1 1 10 A2 1 10 TA 为训练样本共 30 个样本 前 10 个为 一样本 后 10 个为第二类样本 TE A1 11 20 A2 11 20 A3 11 20 TE 为测试样本得到结果 图 4 1 样本类别 图 4 2 训练和测试样本 第 26 页 图 4 3 类间和类内离散度矩阵 图 4 4 投影矩阵 w 图 2 7 投影后的测试样本和训练样本 通过训练样本 TA 测试样本 TE 同投影后的 yTA 和 yTE 进行对比可以看出降 维的效果很明显 表 4 1Distance 矩阵 第 27 页 表 4 2Index 矩阵 表 4 3sorted 矩阵 可以看出 sorted 矩阵是对 distance 矩阵每一列的数字进行的由小到大的排 列 index 矩阵是对 sorted 排列后的数字 在原来 distance 矩阵中的位置的排列 如在 sorted 中的第一行第一列的这个数 0 35451 在原来 distance 矩阵中排第一 列的第五行 在 index 矩阵中就显示数字 5 同理得出其他的数字排列顺序 第 28 页 图 4 5 部分对比结果 记得我们在 index 矩阵中得知 0 35451 这个数字在原来 distance 矩阵中排第 一列中的第 5 在训练样本 TA 中可以知道 TA 的中的前 10 个为 A1 中间 10 个 为 A2 后 10 个为 A3 通过数学计算 5 10 为 0 5 没有超过 1 所以其为第一类 即 A1 类 如果所得数字超过 1 但不超过 2 其为第二类即 A2 类 如果所得数 字超过 2 但未超过 3 其为第三类即 A3 类 ceil 是向离它最近的大整数圆整 其中最高识别率为 图 4 6 识别率 由于是随机样本所以每次得到的结果不定 每次所得准确识别率都不一定 相同 随机数判别和人脸数据库识别的基本思想是一致的 后续工作即进行人 脸数据库 LDA 的识别分析 4 3 LDA 在 ORL 库中的识别成果 样本设置 Class train num 5 每个类别中训练样本的个数 Class num 10 样 本总数 Class test num Class num Class train num 5 测试样本数 图 4 7 样本 第 29 页 图 4 8 测试样本和训练样本 图 4 9 类间和类内离散度 图 4 10 投影矩阵 W 图 4 12 训练样本和测试样本降维前 图 4 13 训练样本和测试样本降维后 4 14 图部分结果对比 得到的最高真确识别率为 第 30 页 图 4 15 识别率 结果分析 传统 LDA 有两个突出缺点 一是处理高维图像时容易产生 小样本问题 即样本维数大大超过训练图像个数的问题 二是由此引发的边缘类主导特征空 间分解的问题 所以得到的识别率是比较低的 需要引入核函数来解决这一问 题 4 4 核函数在 ORL 库中的识别成果 4 4 1 核函数方法实施步骤 核函数方法是一种模块化 Modularity 方法 它可分为核函数设计和算法设 计两个部分 具体为 1 收集和整理样本 并进行标准化 2 选择或构造核函数 3 用核函数将样本变换成为核函数矩阵 这一步相当于将输入数据通过 非线性函数映射到高维特征空间 4 在特征空间对核函数矩阵实施各种线性算法 5 得到输入空间中的非线性模型 显然 将样本数据核化成核函数矩阵 是核函数方法中的关键 注意到核函数矩阵是 M M 的对称矩阵 其中 M 为 样本数 4 4 2 在 ORL 库中的识别过程 人脸库的读取程序 orl zeros 112 92 10 40 所有样本 for i 1 40 for j 1 10 a imread strcat F rltx ORL s num2str i num2str j pgm a double a orl j i a 第 31 页 end end 样本空间的设置 class num 40 sample num 10 r