模式识别第2讲.ppt

模式识别 模式识别 原理 方法及应用 第2次课程概要 模式判别决策区域和决策函数广义决策函数分类超平面特征空间尺度协方差矩阵 决策区域 样本用特征空间Rd的特征向量表示对于分类问题 将特征空间划分为与类对应的区域 这些区域被称为决策区域 决策区域 类别界限 样本x x1 x2 R2 决策区域与决策函数特征空间尺度协方差矩阵 决策函数 决策函数 样本x x1 x2 R2 决策区域与决策函数特征空间尺度协方差矩阵 决策函数 决策函数 样本x x1 x2 R2 决策区域与决策函数特征空间尺度协方差矩阵 增广特征向量 权向量 增广权向量 决策函数 超平面的两个参数任意一点z到超平面的距离 决策区域与决策函数特征空间尺度协方差矩阵 决策面或判别式d维线性平面超平面 确定超平面的两个参数如下 线性决策函数遇到什么情况没法有效分类 广义决策函数 决策区域与决策函数特征空间尺度协方差矩阵 只要各类别间没有重叠 我们总能在Rd空间中找到一个广义决策函数 将第i类从全体类别中分离出来 广义决策函数 例1 应用二次决策函数的一个两类判别问题 决策区域与决策函数特征空间尺度协方差矩阵 广义决策函数 例2 广义决策函数为函数的线性组合的一个两类判别问题 决策区域与决策函数特征空间尺度协方差矩阵 变换 广义决策函数 例3 广义决策函数为多项式的一个两类判别问题 决策区域与决策函数特征空间尺度协方差矩阵 两个特征 15个权重系数 十四个特征 1个偏差量 多项式决策函数的计算量 决策区域与决策函数特征空间尺度协方差矩阵 d维特征空间的模式识别问题 为了得到一个k次的多项式决策函数需要计算 个多项式系数 如何解决多分类问题 第一种情况 绝对可分任何一个类可以从其他所有的类中分离出来 决策区域与决策函数特征空间尺度协方差矩阵 可通过推广两类分类问题 即采用多阶段二分类方法解决多类问题 决策函数 决策域 决策函数 决策域 如何解决多分类问题 第二种情况 成对可分不能达到绝对可分 但可以成对线性可分 决策区域与决策函数特征空间尺度协方差矩阵 决策函数 决策域 常用范数 能够度量特征向量之间距离的四种常用方法 决策区域与决策函数特征空间尺度协方差矩阵 切比雪夫范数 棋盘格范数 欧几里得范数 欧几里得平方范数 乘方范数 p是控制各维度差异的权重 r则控制样本逐渐分开的时候 它们之间距离的增长速度 r p 明可夫斯基范数 r p 2 欧几里得范数 r p 1 棋盘格范数 r p 切比雪夫范数 决策区域与决策函数特征空间尺度协方差矩阵 欧几里得距离尺度下的等距离面和决策面 与均值点距离为1的等距离面 决策面 2维空间类别数为2两个类的均值点分别是 12 1 51 决策面上的点到两个均值点距离是相等的 决策面实际上是垂直于两个类均值点连线并通过连线中点的超平面 决策区域与决策函数特征空间尺度协方差矩阵 欧几里得距离尺度下的等距离面和决策面 与均值点距离为1的等距离面 决策面 2维空间类别数为2两个类的均值点分别是 12 1 51 决策面上的点到两个均值点距离是相等的 决策面实际上是垂直于两个类均值点连线并通过连线中点的超平面 决策区域与决策函数特征空间尺度协方差矩阵 棋盘格距离尺度下的等距离面和决策面 等距离面 决策面 2维空间类别数为2两个类的均值点分别是 12 1 51 决策面是阶梯状的直线 基本是平行于x轴 如果每一类数据沿轴向分布 则适合用棋盘格距离尺度来划分类 决策区域与决策函数特征空间尺度协方差矩阵 切比雪夫距离尺度下的等距离面和决策面 等距离面 决策面 2维空间类别数为2两个类的均值点分别是 12 1 51 决策面是阶梯状的直线 基本平行于xy轴的对角线方向 如果每一类数据沿象限二等分线分布 则适合用切比雪夫距离尺度来划分类 决策区域与决策函数特征空间尺度协方差矩阵 距离尺度的选择 我们观察样本 看样本是以什么形状聚集在类均值点周围的 然后根据不同距离尺度的性质 进行距离尺度选择 有没有一种距离尺度适用性稍广一些 比如通过调整某些特定的参数 以适合不同的聚类形状 决策区域与决策函数特征空间尺度协方差矩阵 调整 线性变换 A为对称矩阵 变换后的空间 等距离面变成了超椭圆面 决策区域与决策函数特征空间尺度协方差矩阵 马哈拉诺比斯距离尺度 当A为单位矩阵 就得到欧几里得距离尺度要达到适合多种聚类形状的情况 可以通过选择合适的A实现为了使得马氏距离公式符合距离的意义 A是正定矩阵关于A 后面有更多讨论 决策区域与决策函数特征空间尺度协方差矩阵 比例尺 1 一个二维两类的数据分布直观得到 两个坐标轴使用的是同样的比例尺在欧氏距离尺度下 两个特征对于距离的计算贡献是等价的 决策区域与决策函数特征空间尺度协方差矩阵 比例尺 2 修改PRT维度的比例尺 实际上是还原为原来的特征量PRT PRT10 10 在欧氏距离尺度下 参数N对于距离的计算没有贡献 决策区域与决策函数特征空间尺度协方差矩阵 一种标准化方法 除了对特征N进行缩放外 常用的标准化方法还有 决策区域与决策函数特征空间尺度协方差矩阵 特征xi上的平均值特征xi上的标准偏差 比例尺改变后 均值为0 偏差为1这种标准化能改变比例尺 功能是缩小方差大的特征 伸长方差小的特征 直观认识的例子 可以将椭圆形的数据分布变成圆周 改变比例尺后的y与其原始特征向量x之间的关系 这种标准化方法在简单比例变换中的性质 给定特征xi 经过标准化后得到的yi有将xi作简单比例变换 即变换矩阵是对角阵的线性变换 得到xi 再将其标准化 得到 决策区域与决策函数特征空间尺度协方差矩阵 提出问题 不是作简单比例变换 即 假如不是作对角阵的线性变换想要通过一种距离尺度 使得一般的线性变换不会改变原先的距离马哈拉诺比斯距离C 协方差矩阵 决策区域与决策函数特征空间尺度协方差矩阵 协方差和相关系数 1 协方差描述两个随机变量 X和Y 之间关系的密切程度等于0 则X和Y相互独立不等于0 则X和Y相互不独立 X与Y存在一定关系协方差的绝对值越大 X与Y的相关越密切 但是需要考虑到尺度的影响 需要标准化 得到相关系数 决策区域与决策函数特征空间尺度协方差矩阵 协方差和相关系数 2 决策区域与决策函数特征空间尺度协方差矩阵 的充要条件是存在常数 使得 是衡量X与Y之间线性相关程度的量 X与Y线性正相关 X与Y线性负相关 变小的时候 X与Y的线性相关程度就变弱 X与Y不存在线性关系 X与Y不相关 的充要条件是存在常数 使得 的充要条件是存在常数 使得 的充要条件是存在常数 使得 的充要条件是存在常数 独立与不相关 独立与不相关都是随机变量之间相互联系程度的一种反映独立 X与Y没有任何关系不相关 X与Y没有线性相关关系X与Y独立 则X与Y一定不相关X与Y不相关 则X与Y不一定独立对于正态随机变量而言 X与Y的独立性与不相关性是等价的 决策区域与决策函数特征空间尺度协方差矩阵 协方差矩阵 给定n个样本 两个特征之间的协方差可以用以下公式估计到 决策区域与决策函数特征空间尺度协方差矩阵 协方差矩阵对称阵对角线即相应特征的方差 直观体验协方差 1 对于任意一个特征向量 有如果数据分布是圆形的 那么总能找到另一个特征向量 正交的 产生一个对应的 vij值 假设样本足够多 遵循以上规律 将会计算出协方差cij为0的结果 决策区域与决策函数特征空间尺度协方差矩阵 直观体验协方差 2 用类似的方法观察一个椭圆分布长轴 主轴 附近方向分布着更多更大的正vij值椭圆越扁 协方差的绝对值越大 特征之间的相关性也会很高 决策区域与决策函数特征空间尺度协方差矩阵 马氏距离度量的比例变化无关性 1 一个例子 线性变换后的均值和协方差矩阵 决策区域与决策函数特征空间尺度协方差矩阵 马氏距离度量的比例变化无关性 2