第一讲分类与回归问题ppt课件

1、第一讲第一讲 分类与回归问题分类与回归问题 第一部分第一部分 分类问题分类问题第二部分第二部分 回归问题回归问题第一部分第一部分 分类问题分类问题 分类问题的描述分类问题的描述 分类问题的类型分类问题的类型 分类问题的求解方法分类问题的求解方法 分类问题的描述分类问题的描述图1线性可分的两类问题分类问题的描述分类问题的描述图2线性不可分的两类问题分类问题的描述分类问题的描述 图3 三类问题1）分类问题的描述分类问题的描述 图4 三类问题2）分类问题的描述分类问题的描述分类问题：根据给定的训练集，分类问题：根据给定的训练集，其中其中要求寻找要求寻找 上的决策函数上的决策函数 以便能用决策函数以便

2、能用决策函数 “较好地推断任一模较好地推断任一模式相对应的式相对应的 值。值。),( ,),(11llyxyxTnixRC1,2,iymli, 2 , 1C( ):f xC( )f xxy从数学的角度看分类问题从数学的角度看分类问题 知： （1函数的值域为有限个离散点 （2函数在某些点上的函数值。 求解：寻找一个函数能较好地预测其他点上的函数值注记注记l 如何选择可选的函数类？l 丰富与简单之间的权衡l 如何定义“较好地”？l 经验风险与置信风险的折中l 是连续函数吗？定义域 如果不是 空间呢？比如 ；值域 取不同的值会否影响解？比如l 的连续化方法值得研究）l 比如首先求一个从 到 的连续函

3、数 ,然后再对其离散化，得到不连续的分类函数：( ):f xCCnRnZ1,2,4,2 m( ):f xC(CC )()( )g x( )( ( )f xlabel g x分类问题的类型分类问题的类型 从类的多少角度：一类，二类，多类，可从类的多少角度：一类，二类，多类，可列无穷类列无穷类;其中一类、二类是最基本的问题，其中一类、二类是最基本的问题，因为其他可以通过它们来处理。因为其他可以通过它们来处理。 从类的线性可分角度：线性可分，线性不从类的线性可分角度：线性可分，线性不可分。可分。 从类之间序关系的角度：有序分类，无序从类之间序关系的角度：有序分类，无序分类。分类。 分类问题的求解方法

4、分类问题的求解方法 寻找每个类固有的特征：更适合于一类、寻找每个类固有的特征：更适合于一类、多类问题。如大部分的图像识别技术。多类问题。如大部分的图像识别技术。 寻找类之间的差异：更适合于两类问题。寻找类之间的差异：更适合于两类问题。如支持向量机技术。如支持向量机技术。 一点想法：从类的分布角度出发，可以考一点想法：从类的分布角度出发，可以考虑从概率密度函数来选择分类函数，也可虑从概率密度函数来选择分类函数，也可以考虑从势函数和混沌吸引子来选择分类以考虑从势函数和混沌吸引子来选择分类函数。函数。第二部分第二部分 回归问题回归问题 回归问题的描述回归问题的描述 回归问题的类型回归问题的类型 回归

5、问题的求解方法回归问题的求解方法 回归问题的描述回归问题的描述 图5 线性回归问题回归问题的描述回归问题的描述图6 非线性回归问题回归问题的描述回归问题的描述回归问题：根据给定的训练集，回归问题：根据给定的训练集，其中其中要求寻找要求寻找 上的决策函数上的决策函数 以便能用决策函数以便能用决策函数 “较好地推断任一模较好地推断任一模式相对应的式相对应的 值。值。),( ,),(11llyxyxT,1,2,niixRyR ilCC( ):f xC( )f xxy从数学的角度看分类问题从数学的角度看分类问题知： （1函数的值域为整个实数域； （2函数在某些点上的函数值。求解： 寻找一个函数能较好地预测其他点上的函数值。回归问题与分类问题的关系回归问题与分类问题的关系 分类： 回归： 因此回归可以看成是分类问题的推广，可以看成是类别数为不可数时的分类问题。但我们不能以此简单地认为回归问题比分类问题难，事实上由于回归问题的值域为整个实数域，常常更好处理。1,2,mR注记注记l 如何选择可选的函数类？l 丰富与简单之间的权衡l 如何定义“较好地”？l 经验风险与置信风险的折中l 定义域 如果不是 空间 呢？比如 l 的连续化方法值得研究）CnRnZ( ):f xC回归问题的类型回归问题的类型l线性回归问题l非线性回归问题回归问题的求解方法回归问题的求解方法 插值方法 曲线拟合方法最小二