第二章 贝叶斯决策理论.pdf

模式识别模式识别 第二章 贝叶斯决策理论 中国矿业大学信电学院中国矿业大学信电学院 蔡利梅蔡利梅 第二章贝叶斯决策理论第二章贝叶斯决策理论 2 1贝叶斯决策的基本概念2 1贝叶斯决策的基本概念 2 2基于最小错误率的贝叶斯判别法2 2基于最小错误率的贝叶斯判别法 2 3基于最小风险的贝叶斯决策2 3基于最小风险的贝叶斯决策 2 4Neyman Pearson决策2 4Neyman Pearson决策 2 5分类器的设计2 5分类器的设计 2 6正态分布模式的统计决策2 6正态分布模式的统计决策 2 1贝叶斯决策的基本概念2 1贝叶斯决策的基本概念 用概率统计的方法研究随机模式的决策问题 用概率统计的方法研究随机模式的决策问题 采用贝叶斯决策理论方法的采用贝叶斯决策理论方法的前提条件前提条件 各类别总体的概率分布是已知的各类别总体的概率分布是已知的 要决策的类别数是一定的要决策的类别数是一定的 先验概率 先验概率 预先已知的或者可以估计的模式识别 系统位于某种类型的概率 预先已知的或者可以估计的模式识别 系统位于某种类型的概率 类条件概率密度函数 类条件概率密度函数 系统位于某种类型条件下 模式样本X出现的概率密度分布函数 系统位于某种类型条件下 模式样本X出现的概率密度分布函数 后验概率 后验概率 系统在某个具体的模式样本X条件下位 于某种类型的概率 系统在某个具体的模式样本X条件下位 于某种类型的概率 贝叶斯公式 设试验E的样本空间为S A为E的事件 B1 B2 Bn为S的一个划分 该公式称为Bayes公式 贝叶斯公式 设试验E的样本空间为S A为E的事件 B1 B2 Bn为S的一个划分 该公式称为Bayes公式 nj BPBAP BPBAP ABP BPAP n j jj ii i i 2 1 0 0 1 则 且 功能在于将先验概率转化为后验概率功能在于将先验概率转化为后验概率 2 2最小错误率贝叶斯决策2 2最小错误率贝叶斯决策 希望在决策中尽量减少分类错误的概率 因此根 据Bayes公式建立的 希望在决策中尽量减少分类错误的概率 因此根 据Bayes公式建立的使错误率最小使错误率最小的分类规则 称之为基于最小错误率的贝叶斯决策 的分类规则 称之为基于最小错误率的贝叶斯决策 1 癌细胞识别实例分析 实例 1 癌细胞识别实例分析 实例 有要进行识别的细胞 已经经过了预处理 抽取 了d个表示细胞的特征 构成d维向量x 判断该 细胞为正常或异常细胞 有要进行识别的细胞 已经经过了预处理 抽取 了d个表示细胞的特征 构成d维向量x 判断该 细胞为正常或异常细胞 根据先验的统计知识做出估计 如某一个地区 癌症的发病率为5 即 只说明是正常细胞的可能性大 不能作为正常或异常的判据 根据先验的统计知识做出估计 如某一个地区 癌症的发病率为5 即 只说明是正常细胞的可能性大 不能作为正常或异常的判据 005 0 995 0 21 PP 21 PP 1 2 21 xorx 设正常细胞属于类 异常细胞为类 已 知d维特征向量x 求 设正常细胞属于类 异常细胞为类 已 知d维特征向量x 求 数学表示数学表示 以往的统计数据以往的统计数据 1 P 2 P 先验概率和先验概率和 类条件概率密度和类条件概率密度和 21 xpxp 根据统计资料判断两类中x出现的概率 根据统计资料判断两类中x出现的概率 95 0 2 阳阳xp 01 0 1 阳阳xp 21 xorx 设实例中提取出的特征向量 x 阳 判断设实例中提取出的特征向量 x 阳 判断 假设特征向量 x 阴或x 阳 患者的试 验反映为阳性的概率为0 95 正常人试验反 映为阳性的概率为0 01 即 假设特征向量 x 阴或x 阳 患者的试 验反映为阳性的概率为0 95 正常人试验反 映为阳性的概率为0 01 即 利用Bayes公式求后验概率利用Bayes公式求后验概率 xP i 677 0 005 0 95 0995 0 01 0 995 001 0 2211 11 1 PxpPxp Pxp xP 阳阳 阳 阳 323 0 1 12 阳阳xPxP 分析分析 根据后验概率 发现这个细胞不正常的可能性 增大了 根据后验概率 发现这个细胞不正常的可能性 增大了 所以判断该细胞为正常的 所以判断该细胞为正常的 xPxP 21 实际中仅这个结论不能确诊的 需要更有效的化验 实际中仅这个结论不能确诊的 需要更有效的化验 2 最小错误率的贝叶斯决策规则 2 最小错误率的贝叶斯决策规则 2 1 21 xxPxP 则若 2 1 2211 xxpPxpP 则若 2 1 1 2 2 1 x P P xp xp xl 则若 xPxP 21 判别判别x为正常类为正常类 例2 2 两个一维模式类别 其概率密度函数如 图 设两类先验概率相等 设提取出的x分别为 判别 例2 2 两个一维模式类别 其概率密度函数如 图 设两类先验概率相等 设提取出的x分别为 判别2 1 23 xxx 21 xorx 0 1 2 3 x 1 1 xp 2 xp 21 21 2 1 2 1 1 2 1 PP xxpxxp 解 由图可知 解 由图可知 2121 xxxpxp 反之 如 为 贝叶斯决策规则可表示 反之 如 为 贝叶斯决策规则可表示 时 当 拒绝决策或任意决策时 当 时 当 时 当 拒绝决策或任意决策时 当 时 当 221 21 121 2 1 0 2 4 1 2 3 0 2 1 1 xxpxpx xpxpx xxpxpx 例2 3 信号通过一受噪声干扰的信道 输入信号 为0或1 噪声为高斯型 其均值为0 方差为 信道输出为x 用最小错误率贝叶斯决策判别输出 x是0还是1 例2 3 信号通过一受噪声干扰的信道 输入信号 为0或1 噪声为高斯型 其均值为0 方差为 信道输出为x 用最小错误率贝叶斯决策判别输出 x是0还是1 2 信道信道分类器分类器 输入输入 0 1 噪声 判别 结果 噪声 判别 结果 x 一般认为一般认为x0 5判为判为1 解 设送0为类 送1为类 送0的先验概率 为P 0 送1的先验概率为P 1 解 设送0为类 送1为类 送0的先验概率 为P 0 送1的先验概率为P 1 1 2 当输入信号时 因受噪声为正态分布的干扰 其幅 值大小的概率密度分别为 当输入信号时 因受噪声为正态分布的干扰 其幅 值大小的概率密度分别为 2 2 1 2 exp 2 1 x xp 2 2 2 2 1 exp 2 1 x xp 似然比 似然比 2 2 1 2 21 exp x xp xp xl 最小错误率贝叶斯决策为 最小错误率贝叶斯决策为 2 1 2 0 1 2 21 exp x P Px 则若 假设P 0 P 1 则决策变为 假设P 0 P 1 则决策变为 1 0 2 1 0 2 21 2 1 2 xxx x 即时 即若 4 验证错分概率 4 验证错分概率 dxxPxePeP xPxPxP xPxPxP xeP 212 121 当 当 对于所有的对于所有的x值所进行的判断 错误率为最小 值所进行的判断 错误率为最小 从而保证平均错误率从而保证平均错误率P e 也达到最小 也达到最小 作出任何决策都有风险 任何一个错判都会带来 一定的后果 错误率最小不一定风险也最小 因 此 考虑分类错误引起的损失而产生最小风险的 贝叶斯决策方法 作出任何决策都有风险 任何一个错判都会带来 一定的后果 错误率最小不一定风险也最小 因 此 考虑分类错误引起的损失而产生最小风险的 贝叶斯决策方法 2 3最小风险贝叶斯决策2 3最小风险贝叶斯决策 样本x为d维向量 样本x为d维向量 状态空间由c个可能状态 类别 组成 状态空间由c个可能状态 类别 组成 对x可能采取的决策 对x可能采取的决策 1 问题表述 1 问题表述 T d xxxx 21 c 21 a 21 决策表决策表 损失 状态 决策 损失 状态 决策 1 2 j c 1 2 i a 11 21 j 1 c 1 12 22 j 2 c 2 1 i 2 i ji ci 1 a 2 a ja ca 经过分析研究统计得出 经过分析研究统计得出 2 风险定义 2 风险定义 条件风险 把一个特征向量x作出决策时带来的条件期 望损失 条件风险 把一个特征向量x作出决策时带来的条件期 望损失 i aixP ExR j c j ji jii 21 1 xR i 期望风险期望风险 全概率全概率 dxxpxxRR x 期望风险 反应对所有的x取值采取相应的决策时 所带来的平均风险 期望风险 反应对所有的x取值采取相应的决策时 所带来的平均风险 xR i i i x 条件风险是对特征向量x作出决策 时带来的条件期望损失 而每一个x可以作出 决策时的风险大小不同 所以究竟采用哪 一种决策将随x的取值而定 则把决策看成x 的函数 条件风险是对特征向量x作出决策 时带来的条件期望损失 而每一个x可以作出 决策时的风险大小不同 所以究竟采用哪 一种决策将随x的取值而定 则把决策看成x 的函数 k ai ik xRxR 则若 min 21 3 最小风险贝叶斯决策规则 3 最小风险贝叶斯决策规则 对于每一个具体的特征向量x 希望对它作 出决策带来的风险最小 对于每一个具体的特征向量x 希望对它作 出决策带来的风险最小 规则 规则 步骤步骤 求后验概率求后验概率 利用决策表及后验概率求条件风险利用决策表及后验概率求条件风险 求最小的条件风险 确定作出 决策 求最小的条件风险 确定作出 决策 xP j xR i xR k k 4 例 4 例 例2 4 细胞识别 正常类 异常类 例2 4 细胞识别 正常类 异常类 1 2 4 0 2 0 21 xpxp 1 0 2 P 9 0 1 P 决策表如下 决策表如下 按最小风险贝叶斯决策进行分类 按最小风险贝叶斯决策进行分类 损失状态 决策 损失状态 决策 01 60 1 2 1 2 4 0 2 0 1 09 0 21 21 xpxp PP 01 60 2221 1211 818 0 092 1 182 06 182 0 818 0 121 2 1 22 212 2 1 11 21 xPxPxR xP xPxR xPxP j jj j jj 条件风险 后验概率 条件风险 后验概率 判断细胞异常采取决策判断细胞异常采取决策 221 xRxR 结果与按最小错误率贝叶斯决策进行分类结果与按最小错误率贝叶斯决策进行分类截然相 反 截然相 反 这是由于相差太多 这是由于相差太多 损失起 了主导因素而造成 损失起 了主导因素而造成 1221 与 ji ji ji 1 0 1函数 假设损失函数为01函数 假设损失函数为0 c ijj j c j jjii xPxPxR 11 条件风险为条件风险为 等式右边的求和过程表示对等式右边的求和过程表示对x采取决策的条件错 误概率 采取决策的条件错 误概率 i 5 最小错误率和最小风险两种决策之间的关系 5 最小错误率和最小风险两种决策之间的关系 m ijj j ai ik xPxRxR 1 2 1 min min 若若 正好为求最小条件错误概率正好为求最小条件错误概率 所以 最小错误率贝叶斯决策就是在所以 最小错误率贝叶斯决策就是在0 1损失函数条 件下的最小风险贝叶斯决策 即 损失函数条 件下的最小风险贝叶斯决策 即前者是后者的特例 前者是后者的特例 6 验证错分风险 6 验证错分风险 同前错误率的验证 每次决策保证条件风险最 小 因此对所有的x作出决策时 其期望风险也必 然最小 同前错误率的验证 每次决策保证条件风险最 小 因此对所有的x作出决策时 其期望风险也必 然最小 2 4Neyman Pearson决策2 4Neyman Pearson决策 在一类错误率固定使另一类错误率最小的判别 准则 聂曼 皮尔逊判决Neyman Pearson 在一类错误率固定使另一类错误率最小的判别 准则 聂曼 皮尔逊判决Neyman Pearson 最小使为常数时取聂曼 皮尔逊准则是在 如图所示 的错误率判为为 的错误率判为为 1022 2211 122 211 12 dxxpdxxp 1 xp 2 xp 1 2 X 1 X 1 2 021 L 采用拉格朗日乘数法求极值 拉格朗日函数为 采用拉格朗日乘数法求极值 拉格朗日函数为 1 Neyman Pearson决策 1 Neyman Pearson决策 1 1 1 111 2 1 12 120 021 021 11 1 11 12 12 类属于区域在即 区域内应使在 为变量 要使L最小 式中 类属于区域在即 区域内应使在 为变量 要使L最小 式中 1 1 1 1 xx xp xp xpxp dxxpxp dxxpdxxp dxxpdxxpL dxxpdxxp 最小一定这时 可确定 为常数时 在取的函数 为 最小一定这时 可确定 为常数时 在取的函数 为 12 2222 dx xp 区域 在 22 2 1 210 1 2 x xp xp dxxpxpL dxxpdxxp 21 22 1 同理 同理 根据两个不等式 限定错误率的判别规则 根据两个不等式 限定错误率的判别规则 2 1 2 1 x xp xp 归结为寻找阈值 的分界线作时当 21 2 1 xp xp 2 例 2 例 2 2 exp 2 1 2 exp 2 1 2 1 exp 2 1 2 exp 2 1 2 2 2 122 2 2 2 2 111 1 xxxx xp xxxx xp T T 同理 因为是两类正态 同理 因为是两类正态 TT 0 1 0 1 21 I 21 09 0 2 例2 5 两类二维模式正态分布 协方差矩阵为单位矩阵 设 求聂曼皮尔逊准则 例2 5 两类二维模式正态分布 协方差矩阵为单位矩阵 设 求聂曼皮尔逊准则 如图所示 时为最小错误率 如图所示 的不同直线 平行于x对于不同 判别边界是 式有了判别边界和判别形 判别式为 判别边界为 如右图所示 如图所示 时为最小错误率 如图所示 的不同直线 平行于x对于不同 判别边界是 式有了判别边界和判别形 判别式为 判别边界为 如右图所示 2 2 1 ln 2 1 2exp 2exp 2exp 1212 2 1 1 2 1 1 1 1 2 1 小但大小大但小大 即xx xx x x xp xp 42 1 2 1 4 1 1 1 1 x 2 x 1 2 345 0 7 0 345 0 7 0 所以此时聂曼 皮尔逊分类器的分界线为 所以此时聂曼 皮尔逊分类器的分界线为 2 1 1 1 345 0 69 02lnln ln 2 1 xx x 所以因为 由图可知为保证 2足够小 边界应向 1一侧靠 则 1 由图可知为保证 2足够小 边界应向 1一侧靠 则 1 与 2的关系表如右 与 2的关系表如右 最小的判别规则 时使这就是在给定 最小上式使 此时 判别式为 由表查得给定 最小的判别规则 时使这就是在给定 最小上式使 此时 判别式为 由表查得给定 1 1 1 1 x xp xp 2 2 2 1 2 1 2 0902 2090 的关系表与 的关系表与 2 4 2 1 20 04 0 09 0 16 0 25 0 38 3 两类错误率与ROC曲线 3 两类错误率与ROC曲线 用阳性 positive 和阴性 negative 来代表两 类 不考虑拒绝决策的情况 状态和决策的可 能关系如下 用阳性 positive 和阴性 negative 来代表两 类 不考虑拒绝决策的情况 状态和决策的可 能关系如下 状态状态 决策决策 阳性阳性阴性阴性 阳性阳性真阳性 真阳性 TP 假阳性 假阳性 FP 阴性阴性假阴性 假阴性 FN 真阴性 真阴性 TN 真阳性和真阴性是正确分类 假阳性和假阴性 称作第一类错误 第二类错误 或称作误报 虚警 漏报 真阳性和真阴性是正确分类 假阳性和假阴性 称作第一类错误 第二类错误 或称作误报 虚警 漏报 灵敏度和特异度 灵敏度和特异度 FPTN TN Sp FNTP TP Sn Sn 真正的阳性样本中有多少比例能被正确检测出来 Sp 真正的阴性样本中有多少比例没有被误判 反应所研究方法能够正确识别阳性样本的能力和 正确判断阴性样本的能力 Sn 真正的阳性样本中有多少比例能被正确检测出来 Sp 真正的阴性样本中有多少比例没有被误判 反应所研究方法能够正确识别阳性样本的能力和 正确判断阴性样本的能力 灵敏度和特异性是一对矛盾灵敏度和特异性是一对矛盾 ROC曲线 ROC Receiver Operating Characteristic 以 假阳性率 1 Sp 作为横坐标 真阳性率Sn作为 纵坐标 所绘制的曲线反映随着阈值的变化两 类错误率的变化情况 功能 被用来 ROC曲线 ROC Receiver Operating Characteristic 以 假阳性率 1 Sp 作为横坐标 真阳性率Sn作为 纵坐标 所绘制的曲线反映随着阈值的变化两 类错误率的变化情况 功能 被用来比较两种分类判别方法的性能比较两种分类判别方法的性能和被 用来 和被 用来作为特征与类别相关性的度量作为特征与类别相关性的度量 ROC曲线必须在对角线左上方才有实际价值 因为 对于一个决策方法总是希望其真阳性率高 假 阳性率低 ROC曲线必须在对角线左上方才有实际价值 因为 对于一个决策方法总是希望其真阳性率高 假 阳性率低 越靠近左上角 说明方法性能越好越靠近左上角 说明方法性能越好 AUC area under ROC curves ROC曲线下的相 对面积 定量衡量方法的性能 AUC area under ROC curves ROC曲线下的相 对面积 定量衡量方法的性能 越接近1 方 法性能越好 越接近1 方 法性能越好 2 5分类器的设计2 5分类器的设计 用数学形式描述分类规则用数学形式描述分类规则 1 判别函数和决策面的概念 1 判别函数和决策面的概念 决策面 把特征空间分成若干个决策域 类 别区域 划分这些区域的边界面称为决策 面 用数学解析式表达称为决策面方程 决策面 把特征空间分成若干个决策域 类 别区域 划分这些区域的边界面称为决策 面 用数学解析式表达称为决策面方程 判别函数 表达决策规则的某种函数 判别函数 表达决策规则的某种函数 2 两类情况下的判别函数和决策面方程 2 两类情况下的判别函数和决策面方程 0 0 0 2 1 21 xg xg xg xgxgxg 决策面方程 决策若 则决策决策规则 如果 判别函数 决策面方程 决策若 则决策决策规则 如果 判别函数 最小错误率贝叶斯决策的判别函数 最小错误率贝叶斯决策的判别函数 最小风险贝叶斯决策的判别函数 最小风险贝叶斯决策的判别函数 等 或 等 或 2211 21 PxpPxpxg xPxPxg xRxRxg 12 最小错误率贝叶斯决策的决策面方程 最小错误率贝叶斯决策的决策面方程 最小风险贝叶斯决策的决策面方程 最小风险贝叶斯决策的决策面方程 等 或 等 或 2211 21 PxpPxp xPxP xRxR 12 3 多类情况下的判别函数和决策面方程 3 多类情况下的判别函数和决策面方程 两类分类问题的推广 定义一组判别函数两类分类问题的推广 定义一组判别函数 决策规则表示为 如果使 对一切成立 则 判别函数即为 决策面方程 决策规则表示为 如果使 对一切成立 则 判别函数即为 决策面方程 cixgi 2 1 xgxg ji ij i x xgi xgxg ji 最小错误率贝叶斯决策多类问题的判别函数 最小错误率贝叶斯决策多类问题的判别函数 等 或或 等 或或 iii iiiii Pxpxg PxpxgxPxg ln ln 最小风险贝叶斯决策的判别函数 最小风险贝叶斯决策的判别函数 xR i xgi 4 例 4 例 例2 6 写出例2 1 2 2 2 4的判别函数和决 策面方程 例2 6 写出例2 1 2 2 2 4的判别函数和决 策面方程 例2 1是最小错误率贝叶斯决策问题 定义判别函数 例2 1是最小错误率贝叶斯决策问题 定义判别函数 21 2211 1 0 xpxp PxpPxpxg 0 90 9 0 0 21 xpxpxg 即9决策面方程为即9决策面方程为 2 3 2 1 2 1 1 2 1 2211 xxxPxpPxpxg 2 3 0 xxg即决策面方程为即决策面方程为 例2 1是最小错误率贝叶斯决策问题 定义判别函数 例2 1是最小错误率贝叶斯决策问题 定义判别函数 21 22121121 212121 12 6 0 9 0 xpxp PxpPxp xPxP xRxRxg 0 2 0 21 xpxpxg即3决策面方程为即3决策面方程为 例2 4是最小风险贝叶斯决策问题 定义判别函数 例2 4是最小风险贝叶斯决策问题 定义判别函数 2 6正态分布时的统计决策2 6正态分布时的统计决策 实际中的许多数据集可以用正态分布来近似 而且正态分布有利于作数学分析 所以 单独 对正态分布时贝叶斯决策作一讨论 实际中的许多数据集可以用正态分布来近似 而且正态分布有利于作数学分析 所以 单独 对正态分布时贝叶斯决策作一讨论 1 单变量正态分布的定义 1 单变量正态分布的定义 2 2 2 exp 2 1 x xp 概率密度函数 概率密度函数 参数 参数 22 2 Nxp x x 决定 一般表示为和完全由 散程度 的方差 表示分布的离 心 的期望 表示分布的中随机变量 决定 一般表示为和完全由 散程度 的方差 表示分布的离 心 的期望 表示分布的中随机变量 2 多元正态分布的定义 2 多元正态分布的定义 xxxp T d 1 21 2 2 1 exp 2 1 概率密度函数 概率密度函数 参数 参数 的逆矩阵 是的行列式 是 协方差矩阵是 均值向量为d 维列向量为 的逆矩阵 是的行列式 是 协方差矩阵是 均值向量为d 维列向量为 xxE xE xxxx T T d T d 1 21 21 dd d 维 维 3 例 3 例 例2 7 二维的三类别模式 具有下列分布 例2 7 二维的三类别模式 具有下列分布 II II II II 5 0 5 0 2 1 5 0 5 0 2 1 3 1 1 2 0 0 1 3 21 NNxp NxpNxp 3 2 1 3 1 iP i 以最小错误率贝叶斯决策对点分类 以最小错误率贝叶斯决策对点分类 3 0 3 0 x ijj j ii xPxpPxp 则如果则如果 max 3 2 1 多类别问题 采用如下判别规则 多类别问题 采用如下判别规则 ij j i i xxpxp iP 则如果 规则转化为 则如果 规则转化为 max 3 2 1 3 1 3 2 1 1454 009 0 exp 2 1 3 0 3 0 2 1 exp 2 1 2 1 exp 2 1 1 2 2 2 1 2 1 211 xp xx x x xxxp 0975 049 0exp 2 1 3 0 3 0 11 2 1 exp 2 1 1 1 11 2 1 exp 2 1 2 2 2 2 1 2 1 212 xp xx x x xxxp 1330 034 0exp 4 1 04 0exp 4 1 3 0 3 0 5 0 5 0 5 05 0 2 1 exp 4 1 5 0 5 0 5 05 0 2 1 exp 4 1 3 2 1 21 2 1 213 xp x x xx x x xxxp 1 231 x xpxpxp 4 多元正态分布的性质 4 多元正态分布的性质 参数 对分布具有决定性参数 对分布具有决定性 等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面 不相关性等价于独立性不相关性等价于独立性 线性变换的正态性线性变换的正态性 线性组合的正态性线性组合的正态性 Mahalanobis距离Mahalanobis距离 的马氏距离的平方到 的马氏距离的平方到 xxx T 12 对于一个确定的多元正态分布 d确 定 假如 对于一个确定的多元正态分布 d确 定 假如 2 2 常数 则p x 的值不变 称 此时x对应的点为等密度点 常数 则p x 的值不变 称 此时x对应的点为等密度点 2 2 常数的解是一个超椭球面 常数的解是一个超椭球面 等密度点的轨迹是x到 的马氏距离为常 数的超椭球面 等密度点的轨迹是x到 的马氏距离为常 数的超椭球面 马氏距离和欧氏距离的关系马氏距离和欧氏距离的关系 距离在模式识别中是一种很重要的概念 一般认为同一类模式间的距离小 不同类 模式间的距离大 欧氏距离最常用 距离在模式识别中是一种很重要的概念 一般认为同一类模式间的距离小 不同类 模式间的距离大 欧氏距离最常用 两个向量之间的欧氏距离的定义 两个向量之间的欧氏距离的定义 当 为单位阵时 两种距离相同 当 为单位阵时 两种距离相同 BABAd T 2 5 正态概率模型下的最小错误率贝叶斯决策 5 正态概率模型下的最小错误率贝叶斯决策 xgxg Pxx d xg ciNxp Pxpxg ji iii T iii iii iii 决策面方程为 决策面方程为 ln 2 1 ln 2 1 2ln 2 2 1 ln ln 1 特殊情况一 特殊情况一 ciI i 2 1 2 2 2 2 0 0 i 即即 每一类的协方差矩阵相等 类 内各特征间相互独立 各协方 差为 每一类的协方差矩阵相等 类 内各特征间相互独立 各协方 差为0 具有相等的方差 具有相等的方差 ii T i d iii T iii i i d i ji Pxx d Pxx d xg PP lnlnln lnlnln 2 2 1 2 12 2 1 2 1 2 2 2 1 2 1 2 2 1 I 若 I 若 前两项与类别前两项与类别i无关 最后一项无关 最后一项lnP i lnP j 将来比较各个判别函数时 将来比较各个判别函数时 3项可以相互抵消项可以相互抵消 2 1 2 i T ii xxxg 简化判别函数为 简化判别函数为 离分类器 这种分类器称为最小距 可转化为求最小的 分类时 寻找 的欧氏距离的平方 的均值向量到类为 离分类器 这种分类器称为最小距 可转化为求最小的 分类时 寻找 的欧氏距离的平方 的均值向量到类为 2 1 2 2 max 2 1 i i ii n j ijjii T i x xg x cixxxx 的线性函数 到这个式子可以接着化简 若 的线性函数 到这个式子可以接着化简 若 x Pxxxg PP ii T ii ji ln 2 1 2 例2 8 二维的两类分类问题 其中 例2 8 二维的两类分类问题 其中 2 1 21 PP IIII 1 1 0 0 21 NxpNxp 求最小错误率的贝叶斯判别函数和决策面方程 求最小错误率的贝叶斯判别函数和决策面方程 解 模式呈正态分布 且解 模式呈正态分布 且 2 1 2121 PPI I 判别函数为 判别函数为 2 1 2 i T ii xxxg 决策面方程为 决策面方程为 21 xgxg 1 1 1 11 2 1 2 1 21 2 1 21 2 1 2121 xx x x xx x x xxxxx T 化简 设 化简 设 例2 9例2 9 21 PP 设以下模式类别具有正态概率密度函数 设以下模式类别具有正态概率密度函数 求该两类模式之间的贝叶斯判别函数和决策面方程求该两类模式之间的贝叶斯判别函数和决策面方程 TTTT TTTT 64 66 46 44 20 22 02 00 2 1 TTTTT 1120220200 4 1 1 TTTTT 5564664644 4 1 2 6 5 5 55 2 1 1 1 11 2 1 21 2 1 21 2 1 2121 xx x x xx x x xxxxx T 化简 设 化简 设 xgxg xxxg PP i T ii 21 1 2121 2 1 决策面方程为 判别函数为 且 决策面方程为 判别函数为 且 1 1 II T T xxE xxE 222 111 10 01 40 04 4 1 11 1 1 11 1 1 11 1 1 11 1 1 4 1 特殊情况二 特殊情况二 ci i 2 1 ii T ii ji Pxx d xg PP ln 2 1 ln 2 1 2ln 2 1 若若 去掉与类别去掉与类别i无关的前两项以及最后一项无关的前两项以及最后一项 21 2 1 2 1