（信号与信息处理专业论文）复杂光照及姿态下的人眼检测与跟踪.pdf

摘要 论文题目 复杂光照及姿态下的人眼检测与跟踪 学科专业 信号与信息处理 研究生 王家乐 指导教师 胡涛教授 摘要 签名 签名 大量的数据表明疲劳驾驶在交通事故发生原因中占有相当大的比重 为减少这方面的 事故 对驾驶人疲劳监测技术的研究越来越多 主要集中在三个方面的研究 基于驾驶员 个体特性的监测方法 基于驾驶人生理参数测量的监测方法和基于车辆参数的监测方法 后两种方法需要一些电线或电极接触驾驶人身体 不受驾驶人欢迎 或者是受车辆的类型 驾驶人驾驶经验和驾驶条件等限制 第一种方法是非接触式的监测方法 最新的研究方向 是非接触式基于p e r c l o s e 的驾驶人疲劳检测方法 由于驾驶人所处环境的复杂性 所设计的基于p e r c l o s e 的驾驶入疲劳检测系统就 必须满足在复杂光照 复杂姿态以及人是否戴眼睛的环境下很好的检测到驾驶人的眼睛 在比较各检测算法后 本文将支持向量机这种基于统计学习理论的方法与人眼检测技术相 结合 完成人眼检测部分 本文主要完成驾驶人疲劳检测系统中的人眼检测与跟踪 眼睛的检测是实现本系统的 关键 首先对复杂环境下采集的不同人的人眼样本和非人眼样本进行灰度直方图均衡 将 结果表示成向量形式 运用序贯最小优化算法进行离线训练 得到一组支持向量以及各支 持向量的权重 视频在线检测过程中先利用背景差分法和积分投影法相结合检测出运动的 上半人脸部分以缩小人眼的检测范围 再利用支持向量机的训练结果组成支持向量分类 器 在人脸的上半区域检测人眼 完成人眼初检 最后用窗口融合的方法去掉误检区域 最终完成人眼检测 从支持向量机算法本身上可以看出此算法速度比较慢 不能满足实时检测的要求 因 此 从正确检测后的第二帧开始利用卡尔曼预测与支持向量机相结合的方法缩小检测区 域 提高检测速度 实验表明 本方法能基本实时完成人眼的检测 并对复杂光照 人头的复杂姿态以及 人是否戴眼睛有一定的适应性 关键词 人眼检测 支持向量机 人眼跟踪 k a l m a n 预测 盏 西安理工大学硕士学位论文 a b s t r a c t t i t l e h u m a ne y ed e t e c t i o na n d t r a c k i n gu n d e rc o m p l e xl i g h ta n dp o s t u r e m a jo r s i g n a la n di n f o r m a t i o np r o c e s s i n g n a m e j i a l e a n g s u p e r v i s o r p r o f t a oh u a b s t r a c t s i g n a t u r e s i g n a t u r e l a r g ea m o u n to fd a t as h o wt h a td r i v e rf a t i g u ei sa ni m p o r t a n tc a u s eo fc o m b i n a t i o n u n i t t r a f f i cc r a s h e s f o rr e d u c i n gt h ea c c i d e n ti nt h i sa s p e c t t h er e s e a r c hi nm o n i t o r i n gt e c h n o l o g y t od r i v e r sc o m e sm o r ea n dm o r ea n dc o n c e n t r a t e so nt h r e ea s p e c t s t h em o n i t o r i n gm e t h o d b a s e do nd r i v e r si n d i v i d u a l c h a r a c t e r i s t i c s t h em o n i t o r i n gm e t h o db a s e do nd r i v e r s p h y s i o l o g i cp a r a m e t e r s a n dt h em o n i t o r i n gm e t h o db a s e do nv e h i c l ep a r a m e t e r s t h el a s tt w o m e t h o d sr e q u i r e sal i t t l ew i r eo rt h ee l e c t r o d et o u c h i n gt h ed r i v e r sb o d y n o t b e i n gw e l c o m e d b yt h ed r i v e r s o rb e i n gl i m i t e db yv e h i c l et y p eo rd r i v i n ge x p e r i e n c e sa n dc o n d i t i o n t h ef i r s t m e t h o di san o n c o n t a c tm e a s u r i n gm e t h o d t h en e w e s tr e s e a r c hd i r e c t i o n i sn o n c o n t a c t m e a s u r i n gm e t h o db a s e do np e r c l o s e b e c a u s eo ft h ec o m p l e xe n v i r o n m e n tt h ed r i v e r si n t h ed e s i g n e ds y s t e mo fd r i v e rf a t i g u e d e t e c t i o nm u s ts a t i s f i e st h a td e t e c t i n gt h et w o e y e sv e r yw e l lu n d e rt h ee n v i r o n m e n to fc o m p l e x i l l u m i n a t i o n c o m p l e xp o s t u r ea n dp e o p l ew i t hg l a s s e so rn o t a f t e rc o m p a r i n gs a m ed e t e c t i o n m e t h o d s t h i sp a p e rc o m b i n e dt h em e t h o do fs u p p o r tv e c t o rm a c h i n ew h i c hb a s e do ns t a t i s t i c a l l e a r n i n gt h e o r yw i t he y ed e t e c t i o nt e c h n o l o g yt oc o m p l e t ee y ed e t e c t i o n t h i sp a p e rm a i n l yc o m p l e t e dt h ee y ed e t e c t i o na n dt r a c i n gi nd r i v e rf a t i g u ed e t e c t i o n s y s t e m e y ed e t e c t i o ni st h ek e yt e c h n o l o g yo ft h es y s t e m f i r s to fa l l u s i n gg r a yl e v e l h i s t o g r a me q u a l i z a t i o nt oe y ea n dn o n e y es a m p l e sw h i c hc o m ef r o md i f f e r e n tp e o p l eu n d e r c o m p l e xe n v i r o n m e n t r e p r e s e n t e dt h er e s u l tt ov e c t o rf o r m t h e nu s e ds e q u e n t i a lm i n i m a l o p t i m i z a t i o na l g o r i t h mt oo f f l i n et r a i n i n g a c c e p t e das e to fs u p p o r tv e c t o ra n dc o r r e s p o n d i n g w e i g h t o nt h ep r o c e s so fo n l i n ed e t e c t i o n f i r s t l y c o m b i n eb a c k g r o u n dd i f f e r e n c em e t h o d w i t hi n t e g r a lp r o j e c t i o nm e t h o dt od e t e c t i o nt h eu p p e rh a l ff a c e a n dt or e d u c t i o nt h er a n g eo f e y es e a r c h i n g t h e nd e t e c te y ei nt h er a n g eo ft h eu p p e rf a c eu s i n gt h er e s u l to fs v m c o m p l e t i n ge y ep r i m a r yd e t e c t i o n f i n a l l yc o m p l e t i n gt h ee y ed e t e c t i o nu s i n gt h ew i n d o wf u s i o n m e t h o d f r o mt h es v mi ts e l fc a ns e et h a tt h i sm e t h o d ss p e e di sv e r ys l o w l y a n dc a l l ts a t i s f yt h e 西安理工大学硕士学位论文 r e q u i r e m e n to fr e a l t i m e t h e r e f o r e f r o mt h es e c o n df r a m ea f t e rc o r r e c td e t e c t i o n c o m b i n i n g k a l m a np r e d i c t i o na n ds v mt or e d u c ed e t e c t i o nr a n g ea n di m p r o v et h ea l g o r i t h ms p e e d e x p e r i m e n t ss h o w e dt h a tt h i sm e t h o dc a nr e a l t i m ec o m p l e t ee y ed e t e c t i o nb a s i c a l l y a n d h a v es a m ea d a p t a b i l i t yt oc o m p l e xi l l u m i n a t i o n c o m p l e xp o s t u r ea n dp e o p l ew i t hg l a s s e so r n o t k e y w o r d s e y ed e t e c t i o n s v m e y et r a c k i n g k a n l m a np r e d i c t i o n 独刨一性 声明 秉承祖国优良道德传统和学校的严谨学风郑重申明 i 本人所皇交的学位论文是我 一 一 一 个人在导师指导下进行的研究士作及取得的成果 尽我所知 除特别加以标注和致谢 的地方外 论文中不包含其他人的研究成果 与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢 一 一 i 一 本论文及其相关资料若有不实之处 由本人承担一切相关责任 j 论文作者签名 圣宝l 妙p 年 月 日 学位论文使用授权声明 本人 圭彖金 在导师的指导下创作完成毕业论文 本人已通过论文的答辩 并已经在西安理工大学申请博士 硕士学位 本人作为学位论文著作权拥有者 同意 授权西安理工大学拥有学位论文的部分使用权 即 1 已获学位的研究生按学校规定 提交印刷版和电子版学位论文 学校可以采用影印 一缩印或其他复制手段保存研究生 上交的学位论文 可以将学位论文的全部或部分内容编入有关数据库进行检索 2 为 教学和科研目的 学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆 资料室等场所或在校园网上供校内师生阅读 浏览 本人学位论文全部或部分内容的公布 包括刊登 授权西安理工大学研究生部办 理 保密的学位论文在解密后 适用本授权说明 论文作暑签名 至虹 i导师签名 o g 牵3 月歹o 日 第一章绪论 1 绪论 1 1 课题研究背景和意义 随着交通事业的迅速发展 安全问题已显得尤为重要 交通事故每年导致大量的财产 损失和人员伤亡 近年来 世界各国政府投入大量资金以改善驾驶环境 提高驾车安全性 目前已经取得了一定的成果 比如道路偏离系统 疲劳检测系统 自动巡航控制系统 前 向车辆碰撞警告系统 前向避撞辅助系统等等 都可以大大减轻驾驶人员的负担 提高交 通系统的安全性 但是 这些研究成果还没有在当今的交通事业中普遍应用 在各项交通事故调查中发现 其中由驾驶人疲劳驾驶而引起的事故占一定的比重 卡 耐基梅隆大学在驾驶模拟器上进行的研究表明 机动车辆重大事故9 1 归因于驾驶人疲 劳驾驶 而夜晚疲劳驾驶的重大事故率约达1 9 9 英国交通研究实验室 t r a n s p o r t r e s e a r c hl a b o r a t o r y 认为 驾驶疲劳导致的道路交通事故占全部交通事故的1 0 l o u g h b or o u g h 大学的研究人员分别对9 9 6 名载重汽车和4 6 2 1 名轿车男驾驶人进行跟踪 调查 发现有2 9 的驾驶人在开车时打瞌睡 其中1 0 的驾驶人由于困倦而导致交通事 故 由于我国地域广阔 长途汽车数量大 我国交通事故死亡人数已连续1 0 多年居世界 前列 1 2 1 引起驾驶人疲劳的原因有很多 比如睡眠不足 人的生理周期 不同人的身体状况等 等 即使在以上条件都良好的情况下 野外高速公路长时间驾驶也会导致驾驶人注意力不 集中或驾驶疲劳 长途车驾驶入日夜兼程的赶路更恶化了驾驶条件 其中疲劳主要有以下 表现 1 反应时间显著增长 注意力分散 判断能力下降 主动性降低 注意力分配不均 衡 经常丢失重要的信息 2 感觉器官的功能减退或紊乱 如视觉模糊 听力下降 判断迟缓 3 驾驶动作不灵活 操作能力下降 节律失调 4 记忆和思考能力下降 判断失误增多 5 驾驶人的信心 决心 耐性和自我控制能力减退 缺乏坚持不懈的精神 易于激 动 急躁和开快车 6 过度疲劳会使驾驶人在行车途中产生困倦 甚至打瞌睡 疲劳驾驶作为交通事故发生的一个重要原因 已成为严重的社会问题 因此 对驾驶 人疲劳检测系统的研究有着非常重大的意义 1 2 驾驶人状态监测技术的研究现状 驾驶人疲劳检测系统从上世纪9 0 年代开始就有了很大的进展 尤其是2 0 0 0 年以后 l 西安理工大学硕士学位论文 不论是在国内还是国外都有研究成果出现 1 2 1 国外驾驶人疲劳检测系统的研究现状 国外现有研究成果及代表性产品有 3 9 1 美国研制的打瞌睡驾驶人侦探系统 采用多普勒雷达和复杂的信号处理方法 可获取驾驶人烦躁不安的情绪活动 眨眼频率和持续时间等疲劳数据 用以判断驾驶人是 否打瞌睡或睡着 2 转向盘监视系统 一种监测方向盘非正常运动的传感器系统 适用于各种车辆 方向盘正常运动时传感器系统不报警 若转向盘连续4 秒不运动就会发出报警声直到转向 盘继续正常运动为止 该系统固定在车内录音机旁 转向盘下面的杆上装有一条磁性带 用以监测转向盘的运动 3 路面警告系统 一种设置在高速公路上用计算机控制的红外线监测系统 当行 驶车辆摆过道路中线或路肩时 向驾驶人发出警告 4 反应时测试仪 根据驾驶人对仪器屏幕上随机出现的光点的反映 光点出现时 敲击键盘 速度测试驾驶人的反应 用以判断其疲劳程度 5 日本成功研制了电子清醒带 使用时将其固定在驾驶人头部 将其一端的插头 插入车内点烟器的插座 装在带子里的半导体温差电偶使平展在前额部位的铝片变凉 使 驾驶人睡意消除 精神振作 6 宾夕法尼亚大学智能交通实验室采用p e r c l o s 作为精神生理疲劳程度的测量 指标 测量的参数是在单位时间内 1 分钟 眼睛闭合时间占总时间的百分比 以8 0 为 判断的标准 闭眼时间百分比超过8 0 判为疲劳 7 日本先锋公司开发出防止驾驶人开车打瞌睡的系统 它可通过心跳速度的变化 监测驾驶人是否打瞌睡 在睡意来临1 5 分钟前提醒司机注意 防止发生事故 这一系统的 核心技术之一是贴在转向盘上的纸状的心跳感应器 驾驶人握转向盘时可以握住它 感应 器每隔1 5 秒检测一次司机的心跳速度 1 2 2 国内驾驶人疲劳检测系统的研究现状 近几年来 我国在机动车辆驾驶中驾驶疲劳测评方法的研究在理论上虽然已取得了一 些成绩 但至今还没有研究出实用的产品 同发达国家相比还有相当大的差距 国内的研 究成果主要有以下方面 1 0 1 1 2 上海交通大学的石坚等通过传感器测量驾驶人驾驶时方向盘 踏板等的运动参数来判 别驾驶人的安全因素 发现方向盘的操纵情况与驾驶人的疲劳程度具有一定的联系 方向 盘较长时间不动 说明驾驶人在打瞌睡 2 第一章绪论 郑州机务南段工程师董世衍采用近红外线光电技术 研制成功一种防止驾驶人打瞌睡 的警报系统 郑培 周一鸣提出了脸部活动图像识别的人脸皮肤色彩高斯模型 通过眼睛灰度模式 匹配 成功地实现了驾驶人驾驶疲劳的测评 构建了基于p e r c l o s 的机动车驾驶人驾 驶疲劳的实验测评系统 李增勇 王成焘从人机工程学角度综合分析研究了造成驾驶疲劳的环境因素 并从汽 车人机界面设计方面提出防止和缓解驾驶疲劳的有效措施 杨渝书 姚振强从人机工程学角度对驾驶疲劳的产生因素进行了分析 对驾驶疲劳的 定量评价进行了实验研究 1 2 3 基于p e r c l o s 的驾驶人疲劳检测方法 以上的研究成果大体可以将最近的研究分为3 个不同方向 基于驾驶人个体特性的监 测方法 基于驾驶人生理参数测量的监测方法和基于车辆参数的监测方法 后两种方法需 要一些电线或电极接触驾驶人身体 不受驾驶人欢迎 或者是受车辆的类型 驾驶人的驾 驶经验和驾驶条件等限制 第一种方法是无接触式的监测方法 最新的研究方向是非接触 式基于p e r c l o s 的驾驶人疲劳检测方法 此方法是在检测到驾驶人眼睛的情况下 统计 人眼在单位时间内的闭合时间 如果人眼闭合时间占单位时间的8 0 以上 可判断驾驶 人处于疲劳状态 人眼检测是p e r c l o s 的驾驶人疲劳判断的前提条件 因此对人眼检测 与跟踪的研究是很必要的 1 3 论文的研究内容和组织结构 本文的主要研究内容是驾驶人疲劳检测系统中的人眼检测与跟踪算法 由于驾驶人所 处环境的特殊性 在人眼检测时要考虑到光照的复杂性与驾驶人姿态的复杂性 以及驾驶 人带眼镜与否 根据以上分析 本文选择了一种基于统计的方法 支持向量机 s u p p o r t v e c t o r m a c h i n e s 简称s v m 本文深入研究了s v m 的训练算法以及其在人眼检测中的应用 结合 k a l m a l l 跟踪算法 提高整个算法的检测速度 主要完成复杂环境下静态人脸图像的眼睛 检测和视频序列的人眼检测与跟踪 支持向量机理论的应用领域有很多 比如 基于支持向量机的人脸检测 基于支持向 量机的虹膜识别 基于支持向量机的车牌识别 基于支持向量机的文本识别等等 但在人 眼检测领域很少涉及 本文将支持向量机理论应用到人眼检测领域 从支持向量机在各方面的应用可以看出 其主要用于静态图像的检测 分类和识别 主要是因为支持向量机方法的速度比较慢 很难达到实时 本文采用k a l m a n 预测与支持 西安j e y 大学硕士学位论文 向量机相结合的方法提高检测速度 现存的人眼检测方法大多对条件要求苛刻 比如对光照的要求 对人脸姿态的要求 尤其是好多算法要求不能戴眼镜 本文对光照要求的范围比较宽 而且人的头部可以上下 左右一定角度的偏转 戴眼镜与否本文不做任何限定 主要工作内容包括 一 支持向量的训练 1 在各种复杂光照 不同人 不同姿态 以及戴与不戴眼睛的条件下拍摄人脸图 像 手工裁切人眼样本与非人眼样本 2 对样本去噪 灰度化 及直方图均衡 3 选择核函数和相关参数 对所有正负样本进行训练 得到训练结果 二 人脸图像中的人眼检测 1 遍历人脸的上四分之一到二分之一部分 用支持向量机进行判断 完成人眼初 检 2 进行窗口融合 三 视频中人眼检测与跟踪 1 在视频序列中利用背景差分与积分投影相结合的方法得到人脸区域 静态人脸 图像除外 2 遍历人脸的上半部分 进行人眼初检 并进行窗口融合 3 检测成功 进入跟踪阶段 4 若跟踪失败则重新转入检测阶段 本文的章节安排如下 第一章绪论 第二章人眼检测算法概述 第三章支持向量机 第四章样本的选取与s v 训练算法 第五章基于支持向量机的人眼检测系统的实现 第六章人眼跟踪 第七章结论与展望 第二章人眼检测算法概述 2 人眼检测算法概述 人眼检测的方法主要可以分为两类 1 3 h 2 0 基于知识的方法和基于统计的方法 基于 先验知识或经验的方法是利用待检测图像中的灰度 纹理 眼睛的形状或眼睛轮廓等特征 信息来检测眼睛 基于统计的方法实际上是基于学习与训练的方法 它将人眼区域看作一 类样本 通过对大量人眼图像进行学习训练 根据人眼的特征构造人眼模式与非人眼模式 分类器 使用分类器判别图像中所有可能区域是包含人眼区域还是不包含人眼区域 从而 实现人眼检测 这种方法有利于考虑到各种复杂情况 因为在训练时会选取大量的不同复 杂情况下的样本 经过训练后得到分类器 这种分类器就会对复杂情况下的图像达到较好 的分类 得到较好的检测结果 2 1 基于知识的人眼检测 在人眼检测领域的早期研究中 与人脸检测以及指纹检测等一样都采用基于知识的一 些简单方法 比如在人眼检测中的积分投影方法就经常被应用 这些方法都存在着一定的 局限性 如适用条件单一 鲁棒性不高 但人们更关注的是其优点 即一般检测时间短 学习过程简单 在特定领域中有很好的适用性 因此 一部分研究者对这类方法不断的研 究改进发挥其优势 下面对一些在人眼检测中具有代表性的方法加以介绍 2 1 1 基于积分投影及改进的积分投影法的眼睛定位方法 积分投影 2 1 2 2 1 是根据人眼灰度的总体分布特点 比如人眼区域比周围区域的灰度值 小 进行水平方向与垂直方向上的积分投影 假设i x y 表示点 x y 处的像素灰度值 在 l 叉 f h j x l x 2 y l y a 内的垂直积分投影函数和水平积分投影函数分别表示为 s x 兰 工 y 2 1 乃 y 至m j 2 2 而 通过积分投影函数 可以反映出图像在水平或垂直方向上的总体灰度值情况 用水平 投影得到的一个波谷与垂直投影得到的两个波谷来确定眼睛的位置 但是这种方法经常受 眼区眉毛或者光线变化带来的阴影所影响 容易产生误判 对这种方法的改进包括 微分 与积分投影相结合 可通过差分对图像进行处理把差分结果进行积分投影 这两种方法相 结合可以克服一些由光照因素引起的眼部阴影等 混合投影函数 与微分法达到的目的是 5 西安理工大学硕士学位论文 一样的 就是将差分投影用方差投影方法来代替 但这些改进仍然不能满足人头姿态变 化的要求 比如人头有一定角度的旋转 上下倾斜或左右倾斜 这些方法都没有较好的检 测效果 2 1 2 基于模板匹配的方法 基于模板匹配的方法1 2 3 2 4 是提前建立人眼模板 在检测和定位人眼时 以一定的步 长遍历目标图像 在目标图像上以遍历到的块与预定模板像素灰度值或颜色值相比较 并 计算各灰度差或颜色差的总和 即求两者的相似程度的算法 设一个相似度阈值 如果相 似度大于阈值则认为是眼睛 具体方法有 基于模糊分类的模板匹配眼睛定位方法 通过 模糊分类技术引入双眼相对位置关系等知识信息 从备选集合中找出相似度最高的一组 作为双眼的定位点 变形模板匹配法 就是模板随着观测参数一直得到修正与变化 但 是这种方法对光照以及人头姿态的变化也非常敏感 因为同一只眼睛在强光下和弱光下的 灰度值就相差很大 而且此方法对目标图像大小的变化也很敏感 2 1 3 基于对称变换的人脸图像眼睛定位方法 基于对称变换的人脸图像眼睛定位方法 2 5 2 6 1 是一种利用图像灰度分布的特性 从计 算对称值的角度出发 利用梯度对称变换 得到梯度图 最终实现自动定位人脸图像中眼 睛的算法 对称变换是基于梯度图的局部算子 记p i p j 为图像上的任意两点 它的连 线与水平线的逆时针夹角为 其取值范围为 o 一万 以p 点为连线中心的对称点集合 为 呦 f j l 半 p 马悼小 2 3 p i p i 处在以p 为中心 为半径的一个圆形区域内 定义点的对称强度为 跏 p f 艚 d i j p i j r f 5 2 4 其中距离因子d i j 方向因子p f 分别为 6 刚 p 卜掣半x 仃o r a o l 卅 协5 l 丽1e x p 等斛等麒它 第二章人眼检测算法概述 p i c o s o j c o s o 1 c o s o o o r o r 预测函数称作指示函数 损失函数可以定义为 地讹咖盼麓 使风险最小就是b a y e s 决策中使错误率最小 在函数逼近问题中 y 是连续变量 这里假 设为单值函数 损失函数可定义为 l y f x w y 一 x w 2 3 4 即采用最小平方误差准则 而对概率密度估计问题 学习的目的是根据训练样本确定x 的概率密度 即估计的密度函数为p x w 则损失函数可以定义为 l p x w 一l o g p x w 3 5 3 1 2 经验风险最小化 在上面的问题表述中 学习的目标在于使期望风险最小化 但是 由于可以利用的信 息只有样本 3 2 式的期望风险并无法计算 因此传统的学习方法中采用了所谓经验风险 最小化 e 1 w 准则 即用样本定义经验风险 1 三i e e r n p w 亡 三 乃 厂 薯 w 3 6 f l 作为对3 2 式的估计 设计学习算法使它最小化 对损失函数3 3 经验风险就是训练样 本错误率 对3 4 式的损失函数 经验风险就是平方训练误差 而采用3 6 式损失函数的 e r m 准则就等价于最大似然方法 事实上 用e r m 准则代替期望风险最小化并没有经过充分的理论论证 只是直观上 合理的想当然做法 但这种思想却在多年的机器学习方法研究中占据了主要地位 人们多 年来将大部分注意力集中到如何更好地利用最小化经验风险上 而实际上 即使可以假定 l o 第三章支持向量机 当1 1 趋向于无穷大时3 6 式趋近于3 2 式 在很多问题中的样本数目也离无穷大相去甚远 所以这种方法在某些情况下得不到很好的训练效果 3 1 3 复杂性与推广能力 e r m 准则不成功的一个例子是神经网络的过学习问题 开始 很多注意力都集中在 如何使r 一 们更小 但很快就发现 训练误差小 并不总能导致好的预测效果 某些情 况下 训练误差过小反而会导致推广能力的下降 即真实风险的增加 这就是过学习问题 之所以出现过学习现象 一是因为样本不充分 二是学习机器设计不合理 这两个问题是 互相关联的 设想一个简单的例子 假设有一组实数样本 x y y 取值在0 1 之间 那 么不论样本是依据什么模型产生的 只要用函数f x 口 s i n a x 去拟合它们 口是待定 参数 总能够找到一个口使训练误差为零 但显然得到的 最优 函数并不能正确代表 真实的函数模型 究其原因 是试图用一个十分复杂的模型去拟合有限的样本 导致丧失 了推广能力 在神经网络中 若对有限的样本来说网络学习能力过强 足以记住每个样本 此时经验风险很快就可以收敛到很小甚至零 但却根本无法保证它对未来样本能给出好的 预测 学习机器的复杂性与推广性之间的这种矛盾同样可以在其它学习方法中看到 由此可以看出 有限样本情况下 1 经验风险最小并不一定意味着期望风险最小 2 学习机器的复杂性不但应与所研究的系统有关 而且要和有限数目的样本相适应 所以 需要一种能够指导人们在小样本情况下建立有效的学习和推广方法的理论 3 2 统计学习理论的核心内容 统计学习理论就是研究小样本统计估计和预测的理论 其中包括以下核心内容 v c 维 推广性的界 结构风险最小化 3 2 1v c 维 为了研究学习过程一致收敛的速度和推广性 统计学习理论定义了一系列有关函数集 学习性能的指标 其中最重要的是v c 维 v a p n i k c h e r v o n e n k i s d i m e n s i o n 模式识别方 法中v c 维的直观定义是 对于一个指示函数集 如果存在h 个样本能够被函数集中的函 数按所有可能的2 6 种形式分开 则称函数集能够把h 个样本打散 函数集的v c 维就是 它能打散的最大样本数目h 若对任意数目的样本都有函数能将它们打散 则函数集的 v c 维是无穷大 v c 维反映了函数集的学习能力 v c 维越大则学习机器越复杂 容量越大 遗憾的 是 目前尚没有通用的关于任意函数集v c 维计算的理论 只对一些特殊的函数集知道其 西安理工大学硕士学位论文 v c 维 比如在n 维实数空间中线性分类器和线性实函数的v c 维是n l f x 口 s i n c t x 的v c 维则为无穷大 对于一些比较复杂的学习机器 如神经网络 其v c 维除了与函 数集 神经网结构 有关外 还受学习算法等的影响 其确定更加困难 对于给定的学习函 数集 如何计算 用理论或实验的方法 其v c 维是当前统计学习理论中有待研究的一个 问题 3 2 2 推广性的界 统计学习理论系统地研究了对于各种类型的函数集 经验风险和实际风险之间的关 系 即推广性的界 关于两类分类问题 结论是 对指示函数集中的所有函数 包括使经 验风险最小的函数 经验风险r e m p w 和实际风险r w 之间以至少1 7 7 的概率满足如下 关系 r w r e m p 川 其中h 是函数集的v c 维 n 是样本数 这一结论从理论上说明了学习机器的实际风险是由两部分组成的 一是经验风险 训 练误差 另一部分称作置信范围 它和学习机器的v c 维及训练样本数有关 公式3 7 表明 在有限训练样本下 学习机器的v c 维越高 复杂性越高 则置信范围越大 导致 真实风险与经验风险之间可能的差别越大 这就是为什么会出现过学习现象的原因 算法 的v c 维增大 那么它对给定的训练样本集合有更强的分类或拟合能力 导致了更小的经 验风险民 w 甚至使它为零 但是 h 变大时 公式3 7 的第二部分也随之增大 即放 大了置信范围 这可能导致大的风险上界 从而减小了算法具有小的实际风险r w 的可 能性 反之 若h 缩小 那么它对给定的训练样本集合的分类或拟合能力减弱 导致了大 的经验风险 因此 机器学习过程不但要使经验风险最小 还要使v c 维尽量小以缩小置 信范围 才能取得较小的实际风险 即对未来样本有较好的推广性 3 2 3 结构风险最小化 从上面的结论看到 e r m 原则在样本有限时是不合理的 因此 需要同时最小化经 验风险和置信范围 其实 在传统方法中 选择学习模型和算法的过程就是调整置信范围 的过程 如果模型比较适合现有的训练样本 相当于h n 值适当 则可以取得比较好的 效果 但因为缺乏理论指导 这种选择只能依赖先验知识和经验 造成了神经网络等方法 对使用者 技巧 的过分依赖 统计学习理论提出了一种新的策略 即把函数集构造为一个函数子集序列 使各个子 集按照v c 维的大小排列 在每个子集中寻找最小经验风险 在子集间折衷考虑经验风险 1 2 第三章支持向量机 和置信范围 取得实际风险的最小 这种思想称作结构风险最小化或有序风险最小化即 s r m 准则 统计学习理论还给出了合理的函数子集结构应满足的条件及在s r m 准则下实 际风险收敛的性质 s r m 有如下一种设计思路 即设计函数集的某种结构使每个子集中都能取得最小的 经验风险 如使训练误差为o 然后只需选择适当的子集使置信范围最小 则这个子集中 使经验风险最小的函数就是最优函数 支持向量机方法实际上就是这种思想的具体实现 3 3 支持向量机 支持向量机 是数据挖掘中的一个新方法 支持向量机能成功的处理回归问题 时间 序列分析 和模式识别 分类问题 判别分析 等诸多问题 并可以推广到预测和综合评 价等领域 目前 国际上支持向量机理论的研究和实际应用都处于快速发展阶段 3 3 1 线性可分情况 对于n 个线性可分的样本扛 y i 1 n 一为样本特征向量 y i 卜1 一1 是 样本分类的标识 如果咒 1 则葺属于正样本 否则薯属于负样本 支持向量机的核心 思想是找到最优分类面 此分类面要使两类样本正确分开 而且分类间隔最大 如图3 1 所示 h l h 图3 1 支持向量机示意图 f i g 3 1s c h e m a t i cd i a g r a mo fs u p p o r tv e c t o rm a c h i n e 其中 圆形和方形代表两类样本 h 为分类线 h 1 h 2 分别为过各类中离分类线最近 的样本且平行于分类线的直线 h 1 h 2 上的训练样本称作支持向量 它们之间的距离叫 做分类间隔 所谓最优分类线就是要求分类线不但能将两类正确分开 训练错误率为o 而且使分类间隔最大 假设如果存在分类超平面w e x t 6 0 使得w 一 6 l 咒 1 或者 w t 6 1 m 一1 i 1 2 n 则称训练集是线性可分的 上面两式可归纳成一个表 达式 y w x 6 一l oi 1 2 n 3 8 西安理工大学硕士学位论文 这样分类间隔为三 要使分类间隔最大 即要0 训l 最小 那么 求解最优超平面问题就可 i l w f l 以表示成如下的约束优化问题 即在式 3 8 的约束条件下 求解最小化函数 矽 w 1 w l l 2 l 2 w 叻 3 9 使分类间隔最大实际上就是对推广能力的控制 这是s v m 的核心思想之一 统计学 习理论指出 在n 维空间中 设样本分布在一个半径为r 的超球范围内 则满足条件w 垒 的正则超平面构成的指示函数集f x w b w 薯 6 的v c 维满足下面的界 h o i l 2 3 n 为l a g r a n g e 系数 现在的问题就是要求l 的最小值 把式3 1 1 分别对w a t 和b 求偏微分 并令其等于0 就可以把上述问题转换为一个较简单的对偶 问题 即在约束条件下 对必求解3 1 2 的最大值 q a no t 丢兰q 口 乃乃 3 1 2 i i j j i l 先求出该对偶问题的解 然后再利用最优化理论中原始问题和对偶问题的关系来得到 原始问题的解 具体算法 l 对己知训练数据集葺 m 构造并求解最优化问题q a 2 通常情况下只有少部分 不为0 这些非零的q 对应的向量就是支持向量 其对应 的向量就在分界边界上 3 根据上式得到划分的超平面 并得到决策函数 y x s g n a y f x t x 6 3 1 3 3 3 2 广义最优分类超平面 显然 上面的方法在保证训练样本全部被正确分类 即经验风险r e m p 为o 的前提下 通过最大化分类间隔来获得最好的推广性能 对于线性不可分问题 可以通过引入正的松 弛因子盏来允许错分样本的存在 这时 约束条件3 8 变为 只 w 6 1 考 o f l 2 n 3 1 4 而目标则变为求3 1 5 式的最小值 1 4 第三章支持向量机 知形n c 毒 3 1 5 即折衷考虑最少错分样本和最大分类间隔 得到广义最优分类超平面 这样 其对偶问题 可以写成在约束条件下 也就是对新构成的l a g r a n g e 函数求最小值 得到结果如公式3 1 6 3 1 7 3 1 8 咒 0 3 一1 6 0 c i l 2 n 3 1 7 q 口 主 一昙兰 乃弗均而 3 1 8 i l i l 下面求3 1 8 的最大值 其中 c 0 是一个常数 它控制对错分样本惩罚的程度 广义最 优分类超平面的对偶问题与线性可分情况几乎完全相同 3 3 3 线性不可分情况 在实际的应用当中 线性可分或者近似线性可分的情况是很少的 很多情况都是非线 性的 要将线性不可分的情况正确的划分 一个很重要的方法就是将样本空间从低维转换 到高维 比如式子o y 2 x 2 2 x y y 2 x z y 就是一个简单的二维变三维的例子 图3 2 说明在二维情况下 不能正确线性分类的两类样本转换到三维空间后变成了完全可 分的样本 输入空间 竺苎兰坠翌 特征空间 输入空间 一特征空间 图3 2 映射 f i g3 2m a p p i n g 因此 对于上面的线性不可分情况 引入一个非线性映射 将输入空间的数据映射到 高维空间 然后再在高维空间中实现线性的划分 即 x 专缈 x 3 1 9 则上式的对偶问题变为 西安理工大学硕士学位论文 q 口 n 嘶一i 1 t 口f q 乃巧妒 而 伊 f l 二i 1 约束条件为 t z i y i o i 1 2 n 3 2 1 c q 0 i 1 2 n 3 2 2 可以观察到 在上面的对偶问题中 不论是原目标函数空间还是变换以后的特征空间 都只涉及训练样本之间的内积运算鼍 z 或缈 x 妒 x 如果在特征空间中 先进行映射 然后再求内积 是十分繁琐甚至困难的事情 因为特征空间甚至可能是无穷维的 考虑到 在特征空间中只涉及到内积 支持向量机巧妙的提出了核函数这一概念 令k 鼍 x j e x o e x j f 1 2 n 3 2 3 其中k t x 为核函数 如果不关心具体的映射 只关心映射后的内积 这样 对偶问题 变为 笔q 兰a t i o t j y j y j k 墨圳 3 2 4 8 l f j l 约束条件如式3 2 1 3 2 2 而相应的分类函数也变为 厂 x s 印 口t i y f k t x 6 3 2 5 其中b 为阈值 概括地说 支持向量机就是首先通过用内积函数定义的非线性变换将输入空间转换到 一个高维空间 在这个空间中求广义最优分类面 s v m 分类函数形式上类似于神经网络 输出是中间节点的线性组合 每个中间节点对应一个支持向量 如图3 3 所示 1 6 第三章支持向量机 1 1 核函数 6 恐xnx 而 x 2 x 图3 3 支持向量机过程图 f i g3 3p r o c e s sd i a g r a mo fs u p p o r tv e c t o rm a c h i n e 在上述解决线性不可分的分划问题中 采用了一个巧妙的方法 那就是引入了一个 映射 但是从对偶问题的求解过程看 这个映射的具体形式其实可以不关心 关键是能够 求出所要算的内积 也就是找到相应的核函数 3 0 1 这种避开具体的映射 直接寻找核函 数的方法不仅在理论上可行 在实际算法的实现中也非常必要 函数值的求解毕竟比计算 向量的点积简单快捷得多 那么是不是所有的函数都可以作为核函数 什么样的函数才可 以作为核函数 如何选取适当的核函数 这些都是实质性的问题 事实上核函数的研究本 身也是支持向量机模型研究的一个重要方面 对于核函数的要求 最直观的表达就是它可 以表示为其它某个函数的点积 统计学习理论指出 根据h i l b e r t s c h m i d t 定理 只要一种 运算满足m e r c e r 条件 它就可以作为内积使用 m e r c e r 定理 对于任意的对称函数k x 玉 它在某个特征空间中的内积运算的充分 必要条件是 对于任意的矽 z 0 且i 矿 x d x 0 3 2 6 这个条件并不难满足 s v m 中采用不同的内积 核函数将形成不同的算法 目前研究最多的核函数有三种 1 多项式核函数 k x i x 1 9 3 2 7 在此q 是自然数 与之对应的支持向量机是一个q 阶多项式分类器 1 7 西安理工大学硕士学位论文 2 径向基函数 r b f b x 1 2 k x x i e x p 一l 3 2 8 仃 所得到的支持向量机是一种径向基函数分类器 它与传统r b f 方法的重要区别是 这里每个基函数中心对应一个支持向量 它们以及输出权值都是由算法自动确定的 3 s i g m o i d 内积函数 x x x i t a n h v x 一 c 3 2 9 这时支持向量机实现的就是包含一个隐层的多层感知器 网路权值和隐层节点 而且 算法不存在困扰神经网络方法的局部极小点问题 核函数的思想可以有广泛的应用 如果一个问题只涉及到点积的运算 那么就可以尝 试引入核函数 将问题映射到高维空间中去解决 这种思想也称为核方法 k e m e l m e t h o d 许多传统方法都是核方法的版本 如k e r n e l p c a k e m e l f i s h e r k e r n e l s u b s p a c 等 目前的研究表明 核方法在一系列的应用中表现出非常优秀的性能 如s v m 可以降 低分类面的复杂度 提高分类精度 基于核的特征提取方法可以有效地解决特征提取过程 中的非线性问题 当然 由于核函数的重要性 如何去构造核函数也成为人们关注的课题 b 核函数选取 从上面讨论可以知道 在实际应用中 支持向量机关于核参数选择的问题非常重要 例如 多项式核函数的阶数问题 径向基核函数中的函数宽度 以及s i g m o i d 核函数中函 数的宽度和偏移等 统计学习理论目前对这些问题给出了一些建议和解释 但是并没有给 出理论上的最优方案 所以参数以及核函数的选取只能凭经验 虽然很多实验表明据此得到的径向基核函数 参数的效果基本上不错 但是在设计实用系统时 总是希望其性能越高越好 因此通常需 要根据实际的样本数据来仔细调节这些参数