第7章 决策树和决策规则PPT参考幻灯片_第1页
第7章 决策树和决策规则PPT参考幻灯片_第2页
第7章 决策树和决策规则PPT参考幻灯片_第3页
第7章 决策树和决策规则PPT参考幻灯片_第4页
第7章 决策树和决策规则PPT参考幻灯片_第5页
已阅读5页，还剩19页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

决策树和决策规则,第7章,1,本章目标,分析解决分类问题的基于逻辑的方法的特性信息论基础ID3算法了解何时以及怎样用修剪方法降低决策树和复杂度总结用决策树和决策规则表示一个分类模型的局限性,2,什么是分类？数据分类（dataclassfication）是数据挖掘的主要内容之一，主要是通过分析训练数据样本，产生关于类别的精确描述。这种类别通常由分类规则组成，可以用来对未来的数据进行分类和预测。数据分类的两个步骤：第1步：建立一个模型，描述给定的数据类集或概念集（简称训练集）第2步：使用模型对数据进行分类。包括评估模型的分类准确性以及对类标号未知的元组按模型进行分类,3,7.1信息论基础,信息论是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题：信源的描述，信息的定量度量、分析与计算信道的描述，信道传输的定量度量、分析与计算。信源、信道与通信系统之间的统计匹配，以及通信系统的优化Shannon的三个编码定理。信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新通信体制的源泉。,4,香农信息(概率信息),信息是事物运动状态或存在方式的不确定性的描述。在通信系统中形式上传输的是消息，但实质上传输的是信息,信源,信宿,信道,消息,干扰或噪声,（发信者）,（收信者）,通信系统框图,5,样本空间：某事物各种可能出现的不同状态，即所有可能选择的消息的集合。对于离散消息的集合，概率测度是对每一个可能选择的消息指定一个概率。一个样本空间和它的概率测度称为一个概率空间。表示：X，P在离散情况下：其中，P(ui)为选择符号ui作为消息的概率，称为先验概率,信源数学模型,6,后验概率：条件概率接收端收到消息（符号）后而发送端发的是的概率。自信息：消息发生后所含有的信息量，反映了消息发生前的不确定性：,7,信源熵定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。公式：熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定性的度量。单位：以2为底，比特/符号,8,互信息,后验熵：当接收到输出符号V=vj后，信源的平均不确定性，即输入符号U的信息度量条件熵：对后验熵在输出符号集V中求期望称为信道疑义度。表示在输出端收到全部输出符号V后，对于输入端的符号集U尚存有不确定性（有疑义），这是由于存在干扰（噪声）引起的。H(U|V)6TS
人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论