数学模型6-3统计分类.pdf

6 3 统计分类 Bayesian决策 正态分布判别 判别分析 线性回归 Logistic回归 分类 基本想法 Bayes公式 后验概率 先验概率 k 其中 k 1 Bayes公式 Bayes决策 将观测向量归入后验概率最大的类 即 利用Bayes公式 上式等价于 最小错误Bayes决策 错误函数 单个类别的错误函数 其中 i为归入类别 i的区域 最小错误Bayes决策 最小错误Bayes决策 因此 为了使p error 最小 只要选择区域 i 使得正确分类概率最大 Bayes决策使得正确分类概率最大 Bayes错分概率为 两类问题Bayes决策 对于一维观测量x 最小错误率对应于如下 的最优分界线下的错误率 最优分界线 x 正态分布判别 对多元正态分布 按照Bayes原则 正态分布判别 二次判别函数 判别规则是 若对所有的j i有gi gj 则将样 本归入 i 正态分布判别分界面 从数据估计参数 设有一组样本 其正态分布特 征 那么似然函数 求log L 对 的微分得到 从数据估计参数 这里用到公式 于是 极大似然估计为 正态分布二次判别函数 用估计值带入到判别函数 得到二次判别函 数 有时甚至用每个类型数据个数所占比例 来估计先验概率 正态分布线性判别函数 特别地 假定类协方差相等时 判别函数简化 为线性函数 其中SW为共群协方差矩阵 其估计为 正态分布两类判别函数 对于两类问题 当类协方差相等时 判别函数 有更简单的形式 如果 将样本归入 1 否则归 入 2 其中 判别分析 最初由 R A Fisher提出 Fisher判别分析 寻找一个投影方向 使得在该方向上 极小化组内距离 极大化组间距离 基本的目标在于提取最有效的分类特征 Fisher判别分析 分散矩阵 组间距 组内距 投影方向上的分散矩阵 投影变换u Tx 投影后组间距SB u TSB 投影后组内距SW u TSW Fisher判别分析 Fisher准则 投影后的组间距和组内距比值 最大 投影方向求解 为保证唯一性 可以要求 满足 采用Lagrange乘子法 变为下面的函数的优 化问题 投影方向求解 目标函数对 微分 得方程 投影方向求解 求解特征值问题 SB的秩最大为K 1 可以最多提取K 1个特 征向量 两类问题的Fisher判别分析 两类时的Fisher准则 对JF 微分得 得 两类问题的Fisher判别分析 判别规则 和前面等协方差正态分布Bayes决策形式一 样 有时候就取Bayes决策之阈值 两类问题的Fisher判别分析 B 2 0 1 5 1 0 0 5 0 5 1 0 1 5 2 0 A w 小样本问题 样本量小时 SW的估计往往得到一个奇异 矩阵 求逆会带来很大的偏差 解决方法 加入白噪声 即 模拟试验表明 即使加入10 的噪声 往 往能够得到好的结果 对大样本问题也可 以采用这种方式来提高效果 Sw Sw I 0 1 Fisher判别Limitation Suboptimal for more than m 1 classes m is the number of extracted features Classes should be linear separable class covariance matrices should be equal Class A Class B Class C f1 foptimal optimal decision boundaries suboptimal decision boundary f1 foptimal Class A Class B optimal decision boundary suboptimal decision boundary 线性回归 模型 给定一组样本 x1 y1 xn yn 用极大似然 估计参数 似然函数 最小二乘解 等价于优化下面的函数 即所谓最小二乘解 最小二乘解 Q a 对变量求微分 最小二乘解 写成参数的线性方程组 最小二乘解 平移到相应的均值 即 方程化为 即若数据标准化后 截距项a为0 最小二乘解 假设数据x和y都已经做了相应的标准化 令 有如下的矩阵方程 最小二乘解 当n p时 即样本个数大于变量个数 有解 当n p时 即样本个数小于变量个数 有解 Logistic回归 模型 即 参数估计 给定一组数据 x1 y1 x2 y2 xn yn yi只 取0或1 对数似然函数 极大似然估计 参数估计算法 两类问题 对数似然函数 Newton Raphson算法 线性判别 VS Logistic回归 公式