人工智能PPT样板.ppt

第二章 贝叶斯决策论,兰远东,2.1 引言,贝叶斯决策论是解决模式分类问题的一种基本统计途径。它做了如下假设，即决策问题可以用概率的形式来描述，并且假设所有的概率结构已知。 例：鲑鱼和鲈鱼分类 两类鱼自然状态下的先验概率 先验概率是一个随机变量(=1鲈鱼; = 2鲑鱼) 等概率假设下有： P(1) = P(2) P(1) + P( 2) = 1,仅根据先验概率的判决规则 if P(1) P(2) 则 判为1 否则 判为 2 连续判决和误差概率 使用类条件概率信息（ P(x | )类条件概率密度函数 ） P(x | 1) 和 P(x | 2) 描述两类鱼光泽度的不同,2.1 引言,2.1 引言,2.1 引言,处于类别j并具有特征值x的模式的联合概率密度如下： p(j,x) = P(j | x) . p(x)=p(x| j ) .P(j ),由上可得贝叶斯公式：,两类问题情况下,非正式表示：,根据后验概率判决 X 是观测属性 if P(1 | x) P(2 | x) 判决状态为 1 if P(1 | x) P(2 | x) 判决状态为 2 所以: 当我们观测到一个 x, 判决的误差概率为 : P(error | x) = P(1 | x) 如果判决为 2 P(error | x) = P(2 | x) 如果判决为 1,2.1 引言,2.1 引言,平均误差概率可表示为：,最小化误差概率判决 if P(1 | x) P(2 | x) 判为 1 否则判为 2 ; 所以: P(error | x) = min P(1 | x), P(2 | x),2.2 贝叶斯决策论连续特征,贝叶斯推广 使用多余一个的特征 允许多余两种类别状态的情形 允许有其他行为而不是仅仅是判定类别 通过引入一个更一般的损失函数来替代误差概率,2.2 贝叶斯决策论连续特征,令1, 2, c 表示有限的c个类别集 1, 2, a 表示有限的a种可能的行为集 (i | j)为类别状态j 时采取行动i的风险。 则有下面的几个等式：,总风险：,两类情况下 1 : 判为 1 2 : 判为 2 ij = (i | j) :类别为j 时误判为i所引起的损失 条件风险: R(1 | x) = 11P(1 | x) + 12P(2 | x) R(2 | x) = 21P(1 | x) + 22P(2 | x),2.2 贝叶斯决策论连续特征,判决规则如下: 如果 R(1 | x) (12- 22) P(2 |x) 判为 1 否则判为2,2.2 贝叶斯决策论连续特征,2.2 贝叶斯决策论连续特征,等价判别规则2： 如果： (21- 11) P(x | 1) P(1) (12- 22) P(x | 2) P(2) 判为 1 否则判为2 等价判别规则3(合理假设21 11)：,成立，则判为1 否则判为2,似然比超过某个不依赖x 的阀值，那么可判决为1,2.3 最小误差率分类,基于类别的行为 如果采取行为i 而实际类别为j，那么在i = j 的情况下判决是正确的，如果i j，则产生误判。为避免误判，需要寻找一种判决规则使误判概率最小化。 对称损失或0-1损失函数:,则,条件风险为:,最小化误差概率，需要最大化后验概率 P(i | x) (因为 R(i | x) = 1 P(i | x) 基于最小化误差概率，有： 对任给j i，如果P (i | x) P(j | x)，则判为 i,2.3 最小误差率分类,2.4 分类器、判别函数及判定面,多类别情况 判别函数 gi(x), i = 1, c 如果：gi(x) gj(x) j i 分类器将特征向量x判为i,2.4 分类器、判别函数及判定面,一般风险情况下，可令gi(x) = - R(i | x) (最大判别函数与最小的条件风险相对应) 根据最小误差率情况下 gi(x) = P(i | x) (最大判别函数与最大后验概率相对应),其他判别函数：,2.4 分类器、判别函数及判定面,每种判决规则将特征空间分为c个判决区域 if gi(x) gj(x) j i 则 x属于Ri (也就是把x判为i),2.4 分类器、判别函数及判定面,两类情况（二分分类器） 令 g(x) g1(x) g2(x) 如果 g(x) 0判为1 ; 否则判为 2,g(x)的另类计算：,2.5 正态密度,分析的简易型 连续性 很多处理都是渐进高斯的，大量小的独立的随机分布的和 手写字符, 语音等都是高斯的 单变量密度函数： 其中: 是x的期望值 2 是方差,2.5 正态密度,多元密度函数 一般的d维多元正态密度的形式如下: x = (x1, x2, , xd)t = (1, 2, , d)t 均值向量 = d*d 协方差矩阵 |行列式值 -1逆矩阵,2.5 正态密度,2.6 正态分布的判别函数,最小误差概率分类可以通过使用判别函数获得 gi(x) = ln P(x | i) + ln P(i) 多元情况下：,2.6 正态分布的判别函数,情况1： i = 2.I (I 是单位矩阵),“线性机器”使用线性判别函数的分类器。 线性机器的决策面是一个由下式定义的超平面: gi(x) = gj(x),2.6 正态分布的判别函数,