（运筹学与控制论专业论文）支持向量机在股市预测中的分析与应用.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意 签名：一查维星日期：逊：皇 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保 留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分 内容，可以采用影印、缩印或其他复制手段保存论文 ( 保密的论文在解密后应遵守此规定) 粗啉坐：皇 摘要 近年来，股票市场在我国发展迅速，已逐步成为金融企业必不可少的组成部 分，受到投资者的普遍关注但是股票市场的预测非常复杂和困难，需要通过预测 股市波动的情况来把握股票市场的发展规律，以降低股票的投资风险，但传统的 预测技术并没有准确的揭示股票市场的内在规律支持向量机( s v m ) 具有结构简 单、全局最优、泛化能力较好的优点。本文采用了支持向量机的方法对股市进行预 测，可以相信，将支持向量机的方法用于股市预测会具有良好的应用前景 本文，首先对支持向量机进行了详细的介绍，并对影响股市的因素进行分析， 进而提出预测股市的参数选择策略其次，讨论了核函数及其参数对预测结果的 影响，并对股市预测的过程进行了介绍提出了一种改进的滚动时间窗方法，首先 将其应用于预测股市的走势，然后将其应用与预测股票的价格，实验结果表明该 方法足一种有效的方法 关键词：支持向量机；股票市场预测；核函数；滚动时间窗 北京工业大学理学硕士学位论文 a bs t r a c t i nr e c e n ty e a r s ，t h es t o c km a r k e th a v ed e v e l o p e di nc h i n ar a p i d l y , i th a sb e c a m ea l l i n t e g r a lp a r to f t h ef i n a n c i a lf i r m sg r a d u a l l y i th a sg o tm u c ha t t e n t i o no ft h ei n v e s t o r s b u tt h ef o r e c a s t i n go fs t o c km a r k e ti ss oc o m p l e xa n dd i f f i c u l t w en e e dt of o r e c a s tt h e s t a t u so ft h es t o c km a r k e tt oh o l dt h er u l eo fd e v e l o p m e n t ，b u tt h et r a d i t i o n a lf o r e c a s t - i n gt e c h n i q u e sd on o tr e v e a lt h ei n t e r n a lr u l e so ft h es t o c km a r k e t t h es u p p o r tv e c t o r m a c h i n e ( s v m ) h a sas i m p l es t r u c t u r e ，g l o b a lo p t i m i z a t i o n ，g e n e r a l i z a t i o nb e t t e ra d v a n t a g e t h ep a p e ru s es u p p o r tv e c t o rr e g r e s s i o nm a c h i n em e t h o dt op r e d i c tt h es t o c k m a r k e t w ec a nb e l i e v et h a tu s et h es u p p o r tv e c t o rm a c h i n em e t h o di nt h es t o c km a r k e t w i l lh a v ea g o o dp r o s p e c t f i r s to f a l l ，t h ep a p e rd e s c r i b et h es u p p o r tv e c t o rm a c h i n ed e t a i l e d ，a n dt h e na n a l y z e t h ef a c t o r sw h i c ha f f e c ts t o c km a r k e t ，t h e np u t sf o r w a r dap a r a m e t e rs e l e c t i o ns t r a t e g y f o rs t o c km a r k e tp r e d i c t i o n s e c o n d l y , t h ep a p e rd i s c u s s e dt h ek e r n e lf u n c t i o na n dt h e i n f l u e n c eo fk e r n e lp a r a m e t e r so nt h ef o r e c a s t a n di n t r o d u c et h es t e p so fp r e d i c t i o n o ft h es t o c km a r k e t m e a n w h i l e ，i th a sp u tf o r w a r dar o l l i n gt i m ef r a m em e t h o d a n d a p p l i e dt h em e t h o dt of o r e c a s tt h et r e n do fs t o c k , a n dp r i c e t h er e s u l ts h o wt h et h e m e t h o di sa ne f f e c t i v em e t h o d k e yw o r d s ：s u p p o r tv e c t o rm a c h i n e ；s t o c km a r k e tf o r e c a s t ；k e r n e lf u n c t i o n s ；r o l l i n g t i m ew i n d o w u 一 目录 目录 摘要 i a b s t r a c t ， 第1 章绪论1 1 1 课题的应用背景l 1 2 股票预测的发展l 1 3 支持向量机简介- 3 1 4 本文主要内容和论文结构安排 4 第2 章股票市场预测的基本理论6 2 1 股票预测背景知识简介- 6 2 2 股票市场的研究方法8 第3 章支持向量机相关理论研究1 0 3 1 学习模型 l o 3 2 经验风险最小化原理( e r m 原理) - - 1 l 3 3 结构风险最小化原理( s r m ) 1 3 3 4 线性可分问题 1 5 3 5 近似线性可分问题- 1 7 3 6 线性不可分问题- - 1 9 3 7 支持向量回归学习机- 2 2 第4 章股票走势预测 - 2 7 4 1 引言 2 7 4 2 样本的选取和参数选择2 8 4 3 股票价格预测方案3 2 一i 一 北京工业大学理学硕士学位论文 4 4 数据预处理和核函数的选取3 3 4 5 本章小结 - 3 7 第5 章股票价格预测。- - ：3 8 5 1 支持向量回归机进行股市预测的步骤 3 8 5 2 股票价格预测实证分析- - 3 8 5 3 个股预测 - 4 3 5 4 本章小结 4 5 总结与展望4 6 参考文献 - - - 4 7 致谢 5 1 一一 第1 章绪论 1 1 课题的应用背景 第1 章绪论 股票是市场经济的产物，股票的发行和交易促进了市场经济的发展自 从股票1 7 7 3 年在英国率先发行以来，已有二百多年的历史我国自1 9 8 5 年发 行第一支股票，目前已拥有沪、深两大证券交易所，上百家证券交易公司 现在股票投资已经成为人们日常生活的一个重要组成部分，然而，股票投资 的收益与风险并存，获取高收益的同时也须冒较大风险 随着股市的发展，以及对股市规律认识的加深，人们提出各种各样的股 市预测方法但是效果都不是很理想，几位研究者发现某些标准模型并不比 任意选更好1 1 】，研究发现，非线性模型能产生比传统模型更好的预测结果 1 2 目前认为人工神经网络( t h ea r t i f i c i a ln e u r a ln e t w o r k s ( a n n s ) ) 是预测股票 效果最好的就如g r u d n i t s k i 和o s b u r n i s 所说，在没有事先假设数据的情况 下，a n n s 被证明是一类可以映射任何非线性函数的通用函数的近似者【4 】 所以，a n n s 被广泛应用于股票预测【5 】但是研究发现，由于a n n 本身的限 制，a n n 经常显示不连续解【6 】，另外，a n n s 模型也常常局部极小化和溢 出，为了克服这些缺点，v a p n i k 于1 9 9 0 年提出了支持向量机理论 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是数据挖掘中的一项新技术， 是借助于最优化方法解决机器学习问题的新工具支持向量机目前主要用来 解决分类问题( 模式识别，判别分析) 和回归问题而股市行为预测通常为预 测股市数据的走势和预测股市数据的未来数值如果将走势看作两种状态 ( 涨、跌) ，问题便转化为分类问题，而预测股市的价格是典型的回归问题， 所以有理由相信支持向量机可以对股市进行预测 1 2 股票预测的发展 伴随着人们对股市认识的不断加深，金融理论与数理工具的日益完善， 北京工业大学理学硕士学位论文 各种预测方法应运而生在金融经济学的发展上，人们对金融预测作了大量 的探索，取得了丰硕的成果典型的金融预测是时间序列预测传统的金融 时间序列大致上有两种研究方法，一种是从基本的经济原理出发建立金融时 间序列服从的数学模型m 另一种方法是从统计角度对金融时间序列进行研 究。二十世纪8 0 年代以前，人们对时间序列的研究主要集中在一种线性模 型，即自回归移动平均模型( a u t or e g r e s s i v em o v i n ga v e r a g em o d e s ，a r m a ) ， 这种模型结构简单，有着完善的统计推断技术，应用非常广泛。后来，针对 线性模型的不足，开始研究非线性时间序列，它从某种程度上克服了线性模 型的局限性，与实际情况更相符，从而得到了广泛的应用【8 j 股市预测按不同的标准可以有不同的分类。按涉及的范围不同可分为； 指数预测和个股预测；按预测时间长短不同可分为：长期预测、中期预测和 短期预测；按预测方法的不同可分为：定性预测和定量预测等等。 随着股市的产生和发展，一些分析方法逐步得到完善s a mn e l s o n 收集 了c h a r l e sd o w 的市场观并发展成为市场行为原则，成为技术分析基础的道氏 理论r i c h a r ds c h a b a c k e r 第一个将通用图表形态分类，研究出“缺口理论”， 被称作技术分析科学之父r i e f f n e l i o t 通过研究市场波动和循环的形态， 提出了“波浪理论”w d g a n n 研究了时间要素的重要性，提出了“价格时间 等价”的概念随后，又出现了各种分析方法，包括k 线图分析法、柱状图分 析法、点数图分析法、移动平均法、形态分析法、趋势分析法、角度分析法、 神秘级数与黄金分割比螺旋历法、四度空间法等【9 】从6 0 年代开始，人们 尝试使用各种时间序列分析方法来预测股市s c h e k m a n 通过建立自回归模 型对法兰克福股市进行预测，但股市是一个非线性系统，为了更确切描述实 际系统特性又发展了阈值自回归模型、多项式自回归模型和指数自回归模 型等，r f e n g l e 在八十年代初提出的自回归条件异方差模型( a u t or e g r e s s i v e c o n d i t i o n a l l yh e t e r o s c e d a s t i cm o d e l s ，a r c h ) ，是非线性时间序列 1 9 8 9 年美国学者l e b a r o n 发现了股票日收益序列与周收益序列中存在混 2 第1 章绪论 沌现象分形学的创始人m a n d e l b r o l 对股票价格的变动规律进行了研究，他 从股票价格变动的分布及其分布的相似性方面论证了股票价格的变化是分 形的f a r m e r 和s i d o r o w i c h 对股市时序进行了研究，采用数值计算，观察系 统的相图结构，计算系统的l y a p u n o v 指数，验证了股票市场混沌现象的存在 性，并应用动力学中相空间重构的思想对股价时序进行技术处理，然后在重 构相空间上，利用小波理论对股市时序进行预测 圳 近年来，随着人工智能理论的发展成熟，其在模式识别和复杂系统控制 等方面已经取得了巨大的成功，并开始在经济、金融等领域广泛应用神经 网络具有可逼近任意非线性连续函数的学习能力和对杂乱信息的综合能力， 在这些方面得到了广泛的应用并有不少人员开始用人工神经网络来研究股 票，并取得一些成果，比如 1 1 】支持向量机由于其具有稳定性强，和全局 最优，并能通过参数调节来避免过学习，并成功的利用核函数解决了“维数 灾难”由于这些优点支持向量机在在线文本分类，模式识别中得到了广泛 的应用并已经有一些人员开始用其进行股票市场的研究 1 3 支持向量机简介 支持向量机【1 2 【13 】【1 4 】【15 】【1 6 s u p p o r tv e c t o rm a c h i n e ，s v m ) 是数据挖掘中的一项 新技术，是借助于最优化方法解决机器学习问题的新工具它最初于2 0 世纪 9 0 年代由v a p n i k 提出，a t & tb e l l 实验室研究小组主要将其应用于模式识别 领域t l r l 近些年来在其理论研究和算法实现方面都取得了突破性进展，并 开始成为克服“维数灾难”和。过学习”等传统困难的有利办法，虽然他还 处在飞速发展的阶段，但它的理论基础和实现途径的基本框架已经形成支 持向量机目前主要来解决分类问题( 模式识别，判别分析) 和回归问题支持 向量机的最大特点是改变了传统的经验风险最小化原则，而是针对结构风险 最小化原则提出的，因此具有很好的泛化能力另外，支持向量机在处理非 线性问题时，首先将非线性问题转化为高维空间中的线性问题，然后用一个 3 一 北京工业大学理学硕士学位论文 核函数来代替高维空间中的内积运算，从而巧妙地解决了复杂计算问题，并 且有效地克服了维数灾难以及局部极小问题 尽管支持向量机有以上的优点，但是在金融时间序列预测这方面研究还 很少m u k h e r j e ee ta l l l 8 证明支持向量机可以应用于金融时间序列分析t a y 和c a o 19 证明5 种金融时间序列数据可以用支持向量机进行预测，并指出， 支持向量机在标准均方误差，均方绝对误差，趋势正确率，加权趋势正确率 标准下优于人工神经网络。k y o u n g - j a ek i m 2 0 用支持向量机对股市指数的运 动趋势进行预测 1 4 本文的主要内容和论文结构 本文对于支持向量机在股市预测中的应用作了广泛深入的研究，分别用 用支持向量分类机和支持向量回归机对股票的走势和价格进行了预测，较全 面的讨论的股市预测的各种问题。提出了股市预测的完整步骤。同时，对预 测过程采用了真实数据进行检验实验表明，支持向量机算法具有明显的优 越性，而支持向量机在股市的中短期预测方面有比较好的效果。具体研究内 容包括【2 0 】【2 1 【2 2 】： ( 1 ) 股票指标的选取和原始数据的处理； ( 2 ) 数据的标准化； ( 3 ) 核函数及其参数的选取； ( 4 ) 计算结果的分析与比较 本文结构如下，第一章阐述了选题的背景以及意义，并概述了股票市场 预测的发展状况。最后指明了本文研究的主要内容和本篇论文的主要结构 第二章简要介绍了股票市场预测的基本理论及研究进展概括介绍了股市预 测的相关背景知识，并对目前存在的股市预测方法进行了分类和详细的介 绍第三章介绍了支持向量机的相关原理及其发展状况包括支持向量机理 4 第1 章绪 论 论发展背景，统计学习理论，支持向量分类机的模式分类，并简要介绍了支 持向量机的回归算法第四章和第五章主要进行实证分析第四章主要对股 票的预测趋势进行预测，第五章主要针对股票的价格预测，并提出了一种新 的算法，用此算法分别对上证1 8 0 指数和两个个股做了走势和价格的预测， 实验证明，此算法预测股票是可行的 5 北京工业大学理学硕士学位论文 第2 章股票市场预测的基本理论 股票预测背景知识简介 股票足一种由股份有限公司签发的用以证明股东所持股份的凭证，它表 明股票的持有者对股份公司部分资本拥有所有权。股票市场预测，是金融经 济预测的一个重要分支它对股票市场所反映的各种资讯进行收集、整理， 综合等工作，从股市的历史、现状和规律性出发，运用科学的方法，对股市 未来发展前景进行测定 股市预测一般基于以下三点假设i s l n ： ( 1 ) 有效市场假设：指股票市场会对每一条有可能影响股价的信息作出 反映，而各种价格的变动正是这种反映的结果。 ( 2 ) 供求决定假设：指一切信息都会对股票市场的供求双方力量对比产 生影响，供求决定交易量和交易价格 ( 3 ) 历史相似原则：指由历史资料所概括出来的规律已经包含了未来股 票市场的一切变动趋势 1 、股票指数介绍 股票价格指数1 2 6 】是用来度量股票行情的一种指标，它一般由证券交易 所或其他金融及服务机构编制借助股票指数，人们可以观察分析股票市场 的发展动态，研究有关国家和地区的政治、经济发展趋势，拟定投资策略 ( 1 ) 综合指数，是将所有上市挂牌的股票纳入计算指数的投资组合之中， 故每一只股票价格的变动都会影响指数值的变化，其代表性最好但由于综 合指数投资组合的权数是上市公司的总股本，当上市公司的总股本在与其流 通量不相一致时，总股本大的股票对股票指数的影响就较大另一个缺陷是 容易受新股影响 6 第2 章股票市场预测的基本理论 ( 2 ) 上证综合指数，是上海证券交易所于1 9 9 1 年7 月1 5 日开始编制和公 布的，以1 9 9 0 年1 2 月1 9 日为基期，基期值为1 0 0 ，以全部上市股票为样本， 以股票发行量为权数进行编制有时会出现股票指数走势与大部分股票的涨 跌相背离 ( 3 ) 成份股形式的股票指数，其入选股票数量是恒定的，所选用的权数为 股票的流通量但足由于入选股票数量有限有时很难贴切反映股市行情的变 化 ( 4 ) 上证1 8 0 指数，是上海证券交易所对原上证3 0 指数进行了调整并更 名而成的，是在所有a 股股票中抽取最具市场代表的1 8 0 种样本股，以2 0 0 2 年6 月2 8 日的上证3 0 指数收盘点为为基点，从7 月1 日起对外正式发布，每 半年有专家委员会调整构成股份其具有可操作性和投资性、能够作为投资 评价尺度及金融衍生产品基础的基准指数上证1 8 0 指数由于规模大，流动 性好、发展稳定，代表主体经济的行业龙头组成，能真正反映市场主体部分 的价值水平 2 、股市常用术语 ( 1 ) 开盘价，指当日开盘后该股票的第一笔交易成交的价格如果开市后 3 0 分钟内无成交价，则以前日的收盘价作为开盘价 ( 2 ) 收盘价，指每天成交中最后一笔股票的价格 ( 3 ) 最高价，指当日所成交的价格中的最高价位 ( 4 ) 最低价，指当日所成交的价格中的最低价位 ( 5 ) 成交量，指股票成交的数量手是股票成交的最小单位，一手为1 0 0 股 ( 6 ) 成交金额，指用货币表示的股票成交总量，等于成交价格乘以成交 量 ( 7 ) 涨跌，以每天的收盘价与前一天的收盘价相比较，来决定股票价格是 涨还是跌 7 北京工业大学理学硕士学位论文 ( 8 ) 压力点、压力线，股价在涨升过程中，碰到某一点( 或线) 后停止涨升， 此点( 或线) 称为压力点( 或压力线) ( 9 ) 支撑点、支撑线，股价在下跌过程中，碰到某一点( 或线) 后停止下跌 甚至回升，此点( 或线) 称为支撑点( 或支撑线) 股票市场的研究方法 股票预测同其它资本市场预测一样， “利益”和“风险”构成了市场的 核心内容，它符合市场经济的两条基本假设，即：( a ) 人是“理性”的，即每 个人都会在给定的法规政策约束条件下，争取自身的最大利益。( b ) 交易者 在市场中有完全的选择自由，同时由自己承担风险【2 6 】【2 7 1 1 、基本面分析 基本面分析方法是根据环境因素来决定股票买卖时机，是研究影响证券 市场供给和需求的各种因素。基本面因素对市场未来走势的影响是直接的， 易于理解的。基本面分析着重于对一般经济经济状况以及上市公司的经营管 理状况，行业动态等因素进行分析，以此来研究股票的内在价值，并与现价 进行比较，从而决定股票的买卖。影响股票价格因素有很多，较为重要的有： 企业因素：企业的财务状况，经营成果，资本结构，行业特点，企业的 重大合同，及人事变更等主要社会经济指标z 消费品零售物价指数( c p i ) 、 g d p 增长率，城镇登记失业率，财政状况，国际收支状况等宏观金融指标： 利率，汇率。行业因素：股票发行公司的所属行业政治因素；外交关系， 国际环境，领导人的更换、新的政策，法律，管理办法等 2 、技术分析法 技术分析法是通过图表或者技术指标的记录，研究市场过去以及现在的 行为反映，以推测未来的价格变动趋势其依据的技术指标的主要内容是由 股票价格、成交量和指数的涨跌等数据计算所得崇尚技术分析的人认为投 8 第2 章股票市场预测的基本理论 资者心理和大众情绪对股票价格影响大于公司基本面因素的影响股票市场 上的投资群体的行为是受投资者对股市下跌的恐慌和对股市上涨的贪婪心 理驱使的【2 6 】【2 7 1 3 、数量分析法 ( 1 ) 时间序列分析法 现在常用的时间序列分析法主要是建立自回归模型( a r ) 、移动平均模 型( m a ) 、自回归一移动平均模型( a r m a ) 和齐次非平稳模型( a r i m a ) ，其中 a r i m a 模型是较成熟的模型，常被用来对股价( 最高价、最低价、开盘价、 收盘价) 及综合指数进行预测，通过选择模型的参数和辩识模型的系数实现 对时间序列的拟合，进而用拟合好的模型对未来进行预测 ( 2 ) 神经网络预测法 神经网络( s s ) 预测方法主要包括：前向神经网络预测方法( f n n ) 、时 间延迟神经网络预测方法( t d n n ) ，以及自回归神经网络预测方法( r n n ) t d n n 可转化为f n n ( 3 ) 其他预测法 比如专家评估法和市场调整法等定性预测方法，回归分析法、时间序列 平滑法、趋势曲线模型法、随机时间序列预测方法、灰度预测、m a r k o v 预测 法和判别分析预测法等定量预测方法 9 北京工业大学理学硕士学位论文 3 i 学习模型 第3 章支持向量机相关理论研究 学习问题是人工智能( a i ) 、神经网络( n n ) 最为重要的基础和内容，也是 s v m 最为重要的理论基础。学习的目的是通过对有限个训练样本的学习，发 现隐含在训练样本背后的规律( 如函数形式等) ，学习方法有三种 2 3 【2 4 1 2 5 】； ( 1 ) 监督学习，这种学习方式外界环境存在训练器“教师”，他可对一组 给定输入提供应有的输出结果，这组己知的输入一输出数据对称为训练样本 集学习系统可根据已知输出与实际输出之间的差值( 误差信号) 来调节系统 参数。 ( 2 ) 非监督学习，这种学习方式不存在外部“教师”，学习系统完全按照 环境能提供数据的某些统计规律来调节自身参数或结构( 这足一种自组织过 程) ( 3 ) 再励学习( 强化学习) ，这种学习介于上述两种情况之间，外部环境对 系统输出结果只给出评价而不是给出正确结果，学习系统通过强化那些受奖 励的动作来改善自身性能 本文中所讨论的学习是监督学习用下面三个部分来描述监督学习模 型： ( 1 ) 产生器( g ) ( 又称环境) ，它是被学习的对象，产生随机向量x r ，它 们是从固定但未知的概率分布函数f ( z ) 中独立抽取的 ( 2 ) 训练器( s ) ( 又称教师) 它本身存储了有关环境的知识，因而可对每 一输入z 返回一个( 应有) 输出值y ，产生输出的根据同样是来自未知条件分 布函f ( y l x ) ( 3 ) 学习机( l m ) ( 算法，网络) ，它可实现一组输入输出映射；雪= ，( z ，a ) ， a a ，其中雪是由学习机产生的实际输出，a 是一组自由参数集合( 如：权 1 0 第3 章 支持向量机相关理论研究 值、阀值等) 如图3 - 1 所示 图3 - 1 学习模型 y 根据这个模型，在学习过程中，观察数据对( x ，可) ( 训练集) 在训练之后， 学习机l m 必须对任意输入z 输出雪学习的目标是能够给出输出雪，使 之最佳接近训练器( s ) 的响应( 应有的输出) 可即学习问题就是在一组给 定函数集( 某固定结构的网络) 中选择出能最佳逼近训练器的响应y 的函 数雪= f ( x ，o ) ( 如通过调节权值) ，这种选择足基于训练集的训练集由根 据联合分布函数f ( x ，y ) = f ( x ) f ( y l x ) 抽取出的z 个独立分布的观测值： ( x l ，y 1 ) ，( x 2 ，可2 ) ，( 勋，肌) 组成的 3 2 经验风险最小化原则( e r m 原则， 令l ( y ，( z ，伽) ) 表示某输入z 的应有输出y 与实际输出的雪= ，( z ，w ) 之间 的损失或差异，称为损失函数对不同的问题会有不同的损失函数，主要有 三类：模式识别、回归估计和概率密度估计 ( 1 ) 对于模式识别问题，输出y 只能取两种值y = 1 ，o 】或y = 【一1 ，1 ) ， s 称作指示函数集，或假设集，损失函数定义为： l ( y ，f ( x ，叫) ) = ( 3 1 ) 、l，、l， z z ， ， = y 耖 o 1 ，t_【 北京工业大学理学硕士学位论文 其中，( z ) s ( 2 ) 对于回归问题，y 足假设集s 为实函数集，损失函数可定义为： l ( y ，( z ，叫) ) = ( y f ( z ，叫) ) 2 ( 3 2 ) 其中i ( x ) s ( 3 ) 对于概率密度估计问题，学习的目的是根据训练样本确定x 的概率密 度p ( z ) ，则损失函数可定义为： l ( y ，( z ，叫) ，p ( z ) ) = 一l o g p ( z ) ( 3 3 ) 损失函数的期望值称为期望风险( r i s k ) 。则期望风险为： r ( w ) = l ( y ，y ( x ，w ) ) d f ( x ，可) ( 3 4 ) 其中f ( x ，y ) 为z 与y 的联合分布。 学习的目的是在函数类 厂( z ，硼) ) 中寻找使r ( 伽) 值最小的函数，但 唯一的信息是训练集( x t ，y i ) ，i = 1 ，2 ，f ，所以要构造经验风险函数： 1 f r e m p ( w ) = 亭三( 纨，( 既，彬) ) ( 3 5 ) 经验风险最小化原理简述如下z 令w e m p 表示使经验风险r 唧( 叫) 最小化 的权值，则在经验风险r 唧( 叫) 一致收敛于实际风险r ( w ) 的条件下，r ( w 。m p ) 依概率收敛于实际风险r ( 伽) 最小值即； p s u pi r ( w e w ( 叫) 一亿唧( 训卜。 ( 3 6 ) j 也就是说，当样本趋于无穷时，使经验风险最小化的w 。m p 对应的期望风险最 小，这就是e r m 原则 而有限的样本下，e r m 原则不能使真实风险较小e r m 的一个不成功 例子足“过学习问题”一是因为样本不充分，二是学习机设计不合理这 两个问题是互相关联的由此产生了通过改进网络结构( 学习机结构) 来改善 学习方法的原则：结构风险最小原则( s r m 原则) 一1 2 第3 章支持向量机相关理论研究 3 3 结构风险最小化原则御谢原贝眇 3 3 1v c 维 v c 维直观的定义是；对一个指示函数集，如果存在h 个样本能够被函数 集中的函数按所有可能的2 种形式分开，则称函数集能够把h 个样本打散， 函数集v c 维就是它能打散的最大样本数目h 用数学描述为，假定空间r l v 中有h 个样本( x ，秽) ，x r ny - - 1 ，1 ) ，f 是r 一 - 1 ，1 的某种函数集，d f ( h ) = m a x d r ( s ) ，其中：s ( s r ) 是所 有样本数为h 的集合 若d ，( ) 能实现s 中所有2 h 个可能的二分割，即d f ( h ) = 2 ，则称s 可被 f 细分，函数集f 的v c 维定义为能被f 细分s 的最大元素数也就是能使 d f ( h ) = 2 的最大h 值 v c 维反映了函数集的学习能力，v c 维越大则学习机越复杂( 容量越 大) 遗撼的是，目前尚没有计算函数集v c 的通用表达式 3 2 2 推广的界 对于各种类型的函数集，经验风险和实际风险的关系，即推广的界关 于两分类问题，对指示函数集中的所有函数( 包括使经验风险最小的函数) ， 经验风险r 唧( 叫) 和实际风险r ( 叫) 之间以至少1 一叼的概率满足如下关系； r ( w ) s 见唧( 伽) + ( 3 7 ) 其中，h 是函数集的v c 维，f 是样本数 式( 3 7 ) 从理论上说明了实际风险的组成部分，一是经验风险( 训练误差) ， 另一部分称作置信范围，它和学习机v c 维及训练样本数有关可以简单地 表示为z r ( 叫) 见m p ( 伽) + 圣( 九z ) ( 3 8 ) 1 3 北京工业大学理学硕士学位论文 式( 3 8 ) 表明在有限训练样本下，学习机的v c 维越高，则置信范围越大， 导致真实风险与经验风险之间可能的差别越大机器学习过程不但要使经 验风险最小，还要使v c 维尽量小以缩小置信范围，才能取得较小的实际风 险，即有较好的推广性 3 2 3 结构风险最小化原则( s a m 原贝l d 统计学习理论提出新的策略，即把函数集构造为一个函数子集序列，使 各个子集按照v c 维的大小排列，在每个子集中寻找最小经验风险，在子集 问折衷考虑经验风险和置信范围，使实际风险最小如图3 - 2 所示，这种思 想就称作为结构风险最小化( s r m 原则) 风险 欠学习过学习 函数子集：蕊c 是c 岛 v c 筘： g 屯董如 图3 - 2 结构风险最小化示意图 睑 实现s r m 原则可以有两种方法：一是在每个子集中寻求最小经验风险， 然后选择使最小经验风险和置信范围之和最小的子集显然这种方法当子集 数目很大甚至足无穷时不可行二是设计函数集的某种结构使每个子集中都 能取得最小的经验风险，然后选适当的子集使置信范围最小，则这个子集中 1 4 第3 章支持向量机相关理论研究 使经验风险最小的函数就是最优函数支持向量机实际上就是这种思想的具 体实现 下面介绍支持向量机，支持向量机是依据统计学习理论中的结构风险最 小化原理构造而成的一个通用的学习机器支持向量机最初的研究是针对模 式识别中的线性可分的两类分类问题分类问题就是根据给定的训练样本集 t = _ 【( 翰，玑) ，i = 1 ，2 ，2 ) ，筑舻，y i - 1 ，1 ) ，寻找决策函数 f ( x ) = 8 9 n ( 9 ( z ) ) ( 3 9 ) 推断对任一样本x 的y = ，( z ) 的值在机器学习中，把求解分类问题( 即寻找 决策函数) 的方法称为分类学习机分类问题有三类问题；线性可分问题、 近似线性可分问题、线性不可分问题下面就介绍解决这三类分类问题的支 持向量分类学习机 3 4 线性可分问题 刁 在线性可分情况下，存在一个超平面将训练样本完全分开，如图3 3 所 该超平面可描述为： 图3 - 3 线性可分情况 ( w z ) + b = 0 1 5 ( 3 1 0 ) 北京工业大学理学硕士学位论文 其d e ，“”是点积，w 是n 维向量，b 为偏离量。最优超平面是使得每一类 数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面 最优超平面可以通过求解下面的二次规划问题来求得： i i l i n 扣p ( 3 1 1 ) s t y i ( w i 耽) + 6 1 ，i = 1 ，2 ，1 此二次规划有唯一极小值点，用l a g r a n g e 乘子法来求解( 3 11 ) ，可得l a g r a n g e 函数： l ( w ，b ，a ) = 去l i 叫i | 2 一芝二q t 犰( ( 叫t z t ) + 6 ) 一1 ( 3 1 2 ) 其中q t 0 ，i = 1 ，2 ，l 为l a g r a n g e 乘子 对参数求偏导得； 丽o l = 叫一to l i y i x i = o 兮w = 妻a t 犰 c 3 m ， 筹= 妻a t 犰= 。号妻q 舭= 。 把式( 3 1 3 ) ，( 3 1 4 ) 带入式( 3 1 2 ) 得对偶问题 ( 3 1 4 ) 1 zz f r a i n i a i c e j y i y j ( x i 巧) 一o l i 么t = 1 j = l i = 1 s t 圭啦犰：0 ( 3 1 5 ) a t 0 ，i = 1 ，2 ，2 若o l 是问题( 3 1 5 ) 的一个解，则 1 6 ( 3 1 6 ) z 彤 q 。试 = 叫 第3 章 支持向量机相关理论研究 由k k t 条件，最优解还应满足s a 玑( ( 伽i z t ) + b ) 一1 】= 0 ，i = 1 ，2 ，f ( 3 1 7 ) 对于大多数样本，q i = 0 对应a 0 的样本被称为支持向量( s u p p o r t v e c t o r , 简称s v ) 参数b 可由任意一个支持向量( 对应q l 0 的点兢) 和式( 3 1 7 ) 计算求出 但是，为了减少误差影响，通常选取位于两类不同的支持超平面上的支持向 量的平均值来计算，即 6 = 一三 等野( 叫，兢) + 翟势( 伽，孔) ( 3 1 8 ) 所以，判别函数为： 可= s g n 量，a t 犰( 即z ) + 6 ( 3 1 9 ) z t s y 3 5 近似线性可分问题 用一个超平面能基本将训练集分开的问题，就足近似线性分类问题。如 图3 - 4 所示 o o o o 图3 - 4 近似线性可分情况 即，不要求所有训练点( x i ，y i ) 满足蹦x i ) + 6 1 对每一个训练点 ( 鼢，y i ) ，i = 1 ，2 ，f ，引进一个大于0 的松弛变量& ，i = 1 ，2 ，f ，把约束条 1 7 北京工业大学理学硕士学位论文 件放宽为训( 伽x i ) + 6 + & 1 ，已刻画错分程度。