哈工大人工智能课件chpt54

人工智能原理

第5章不精确推理

1人工智能原理

第5章不精确推理1

本章内容

5.1不精确推理的必要性

5.2不确定性的表示

5.3贝叶斯网络

5.4可信度方法

5.5模糊推理

参考书目

附录似然比与贝叶斯概率推理第7章不精确推理2 本章内容

5.1不精确推理的必要性

5.2不5.1不精确推理的必要性

不精确推理的原因/方法第7章不精确推理35.1不精确推理的必要性

不精确推理的原因/方法第7为什么要不精确推理推理所需的信息不完备：竞争双方不知道对方信息背景知识不足：疑难病症的机理多种原因导致同一结果：疾病的诊断信息描述模糊：目击者对嫌疑犯的描述信息中含有噪声：做假帐，虚假统计报表，采集数据当中的噪声（雷达、声纳/化验）等规则是模糊的：定性描述，如“如果刑事犯罪猖獗，就应加大打击力度”等推理能力不足：天气预报的计算解决方案不唯一：多个方案如何选优的问题第7章不精确推理4为什么要不精确推理推理所需的信息不完备：竞争双方不知道对方信不确定性与不精确推理从智能体角度看，他不得不在不确定的环境下行动现实的不确定性需要不精确推理：将数值计算引入推理过程继续使用逻辑联结词真假值概率化，以表示某种可靠程度在推理的前提和结论之间建立概率公式应用：专家系统中的推理网络PROSPECTOR系统MYCIN系统第7章不精确推理5不确定性与不精确推理从智能体角度看，他不得不在不确定的环境下5.2不确定性的表示

5.2.1概率及其公理

5.2.2概率推理第7章不精确推理65.2不确定性的表示

5.2.1概率及其公理

5.2.主观Bayes主义(概率从何而来)主观Bayes主义：现实世界的一些因果关系可以形成一种信念，它并非在所有场合下都正确，可称为部分信念表示这种信念的最好方法是概率方法对概率的解释有若干种，其中一种称为主观Bayes主义/要点：概率是个人的一种合理置信度，每个人的估计(概率)虽然各不相同，但应该满足概率的基本规律和其他某些客观规律，因而是合理的第7章不精确推理7主观Bayes主义(概率从何而来)主观Bayes主义：第7章5.2.1概率及其公理随机变量布尔随机变量—定义域=<T,F>离散随机变量—定义域=可数域连续随机变量—定义域=实数集合原子事件—世界的所有随机变量的特定赋值组合/构成无法确定的世界状态的完整详细描述如X的世界由weather=<sunny,rainy,cloudy,snow>和今天是否喝酒drink_today=<T,F>组成则有4*2种不同原子事件第7章不精确推理85.2.1概率及其公理随机变量第7章不精确推理8原子事件的性质(1)原子事件是互斥的：sunny∧drink_today和sunny∧¬dringk_today不能同时成立(2)由所有原子事件组成的集合是穷尽的—至少有一个原子事件一定成立/所有原子事件的逻辑析取=T(3)任何特定的原子事件与每个命题(简单或者复合命题)的真或假一一对应—任何一个表示所在世界状态的命题都可以用原子事件的逻辑联结表示，任何一个命题逻辑上都等价于所有蕴涵该命题真值的原子事件的析取sunny等价于sunny∧drink_today∨sunny∧¬drink_today第7章不精确推理9原子事件的性质(1)原子事件是互斥的：sunny∧drink先验概率的表示先验概率：没有任何其它信息存在情况下关于某个命题的信度用向量表示随机变量的先验概率分布P(weather)=<0.7,0.2,0.08,0.02>对于组成世界的离散随机变量全集，使用诸如：P(weather,drink_today)来表示涵盖全集的随机变量集的值的全部组合的概率：全联合概率分布第7章不精确推理10先验概率的表示先验概率：没有任何其它信息存在情况下关于某个命先验概率的表示全联合概率分布用概率表表示P<weather,drink_today>用4*2表格表示第7章不精确推理sunnyrainycloudysnowDrinkT0.20.150.040.015DrinkF0.50.050.040.00511先验概率的表示全联合概率分布用概率表表示第7章不精确推理s条件概率的表示条件概率定义由此有乘法定理P(a∧b)=P(a|b)P(b)=P(b|a)P(a)如果a和b相互独立，则

P(a|b)=P(a) P(b|a)=P(b) P(a∧b)=P(a)P(b)第7章不精确推理12条件概率的表示条件概率定义第7章不精确推理12概率公理Bayes概率服从如下公理(Kolmogorov公理)：(1)0≤P(a)≤1(2)P(T)=1/P(F)=0(3)P(a∨b)=P(a)+P(b)-P(a∧b)当a/b互斥有P(a∨b)=P(a)+P(b)此为加法定理互斥性也就是独立性这样的概率公理是不能违反的第7章不精确推理13概率公理Bayes概率服从如下公理(Kolmogorov公理全概率公式原子事件的性质：任何命题a等价于所有a在其中成立的原子事件的析取—事件集合记为e(a)由所有原子事件是互斥的，得到如下全联合概率分布一个命题的概率等于所有它在其中成立的原子事件的概率和/满足独立性和完全性第7章不精确推理14全概率公式原子事件的性质：任何命题a等价于所有a在其中成立的5.2.2使用全联合概率分布进行推理全联合概率分布是知识库，从中可得到所有概率的计算—命题在其中成立的所有原子事件的概率和P(cavity∨toothache)=0.108+0.012+0.072+0.008+0.016+0.064=0.28P(catch)=0.108+0.016+0.072+0.144=0.34第7章不精确推理toothache¬toothachecatch¬catchcatch¬catchcavity0.1080.0120.0720.008¬cavity0.0160.0640.1440.576155.2.2使用全联合概率分布进行推理全联合概率分布是知识库边缘化上述全概率公式从另一个角度可以视为通用化边缘规则：

P(A)=∑zP(A,z)=∑zP(z)P(A|z) 将某个随机变量的分布抽取出来，求和从而得到该变量的无条件概率(或称为边缘概率)/其过程称为边缘化或求和消元(summingout)用于从多个变量的全概率分布中求取某个变量的概率，进行推理第7章不精确推理16边缘化上述全概率公式从另一个角度可以视为通用化边缘规则：第7归一化大多数情况下我们对计算某个变量的条件概率感兴趣：1/P(toothache)保持不变，可把它看成是保证其所包含的概率相加为1的常数。引入归一化常数—=1/[p(a)+p(﹁a)]一般公式：P(X|e)=P(X,e)=yP(X,e,y)（根据全概率公式）解释为：e固定条件下X/Y遍历所有值，构成此时的所有原子事件第7章不精确推理17归一化大多数情况下我们对计算某个变量的条件概率感兴趣：第7章Bayes公式Bayes公式(也称逆概率公式)从条件概率公式可得

在某些场合下引入一个证据e以后，得更通用的Bayes公式

第7章不精确推理18Bayes公式Bayes公式(也称逆概率公式)第7章不精确逆概率公式的例子逆概率公式不仅是条件概率公式的一个简单变形，实际上很有用处—如果某个条件概率不便计算，则可以先计算其逆概率，而后算出所要的条件概率例子：求P(肺炎|咳嗽)可能比较困难，但统计P(咳嗽|肺炎)可能比较容易(因为要上医院)/假设P(肺炎)=1/10000，而P(咳嗽)=1/10，90%的肺炎患者都咳嗽，则

P(肺炎|咳嗽)=

第7章不精确推理19逆概率公式的例子逆概率公式不仅是条件概率公式的一个简单变形，修正因子(1)可以将前面的逆概率公式写成

这说明先验概率P(H)可以通过方括号部分(作为修正因子)修正为后验概率P(H|E)(证据E为真时H的后验概率)在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九第7章不精确推理20修正因子(1)可以将前面的逆概率公式写成第7章不精确推理2修正因子(2)将E看作证据，先验概率P(E)越小，且H为真时E的条件概率P(E|H)越大，则修正因子所起作用越大在上例中，如果P(咳嗽)=0.0001/P(咳嗽|肺炎)=0.9999/

P(肺炎)不变则P(肺炎|咳嗽)=0.9999，远远超过原来的万分之九第7章不精确推理21修正因子(2)将E看作证据，先验概率P(E)越小，且H为真时后验概率递推公式当有n个互相独立的证据，则有公式

上式可以写成递推公式形式：

上式说明：随着新证据的不断获得，从证据少时的后验概率推出证据多时的后验概率，且每一步都是把上一步的后验概率视为新证据到来时的先验概率第7章不精确推理22后验概率递推公式当有n个互相独立的证据，则有公式第7章不精独立性条件下的推理使用全联合分布表，可以进行查询(推理)/但只适用于变量少的情况N个可能证据变量，则相关条件概率的组合数达到2N条件独立性—一旦某个变量的取值确定下来，则其余变量就相互独立对于toothache/cavity/catch三者，cavity决定了其余两者，而它们彼此之间无关系P(toothache∧catch|Cavity)=P(toothache|Cavity)*P(catch|Cavity)第7章不精确推理23独立性条件下的推理使用全联合分布表，可以进行查询(推理)/条件独立性给定第3个随机变量Z后，X/Y的条件独立定义为：P(X,Y|Z)=P(X|Z)P(Y|Z)或P(X|Y,Z)=P(X|Z) P(Y|X,Z)=P(Y|Z)则牙科领域3个随机变量有：P(Toothache,Catch|Cavity)=P(Toothache|Cavity)P(Catch|Cavity)和P(Toothache,Cavity,Catch)=P(To,Cat|Cav)P(Cav)=P(To|Cav)P(Cat|Cav)P(Cav)第7章不精确推理24条件独立性给定第3个随机变量Z后，X/Y的条件独立定义为：第条件独立性的结果条件概率表(CPT)的分解原概率表有7个彼此独立的数值(23-1)新概率表有5个独立数值(2+2+1)n个变量彼此独立后，表示的规模从O(2n)变为O(n)条件独立性允许概率系统进行规模的扩展；条件独立性比绝对独立性更容易获得此结论导致了朴素贝叶斯模型P(Cause,Effect1,…,Effectn)=(∏P(Ei|C))P(C)第7章不精确推理25条件独立性的结果条件概率表(CPT)的分解第7章不精确推理5.3贝叶斯网络

5.3.1贝叶斯网络的表示

5.3.2贝叶斯网络中的精确推理

5.3.3贝叶斯网络的近似推理第7章不精确推理265.3贝叶斯网络

5.3.1贝叶斯网络的表示

5.3.贝叶斯网络的由来

全联合概率计算复杂性十分巨大朴素贝叶斯太过简单现实需要一种自然、有效的方式来捕捉和推理——不确定性知识变量之间的独立性和条件独立性可大大减少为了定义全联合概率分布所需的概率数目27贝叶斯网络的由来全联合概率计算复杂性十分巨大27贝叶斯网络定义贝叶斯网络(Bayesiannetwork)是一个有向图，其中每个节点都标注了定量概率信息(1)一个随机变量集合组成网络节点，变量可以是离散的或者连续的(2)一个连接节点对的有向边或者箭头的集合，如果存在从节点X指向节点Y的有向边，则称X是Y的一个父节点(3)每个节点都存在一个条件概率分布P(Xi|Parent(Xi))，量化父节点对该节点的影响(4)图中不存在有向环(是有向无环图DAG)第7章不精确推理28贝叶斯网络定义贝叶斯网络(Bayesiannetwork)5.3.1贝叶斯网络的表示从一个例子(防盗网)开始第7章不精确推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.01295.3.1贝叶斯网络的表示从一个例子(防盗网)开始第7章条件概率表每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率如P(A)=0.94=P(A|Burglary∧Earthquake)条件事件是父节点取值的一个可能组合每行的概率之和应该为1(表中只给出了为真的情况，为假的概率应为1-p)一个具有k个布尔父节点的布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)没有父节点的节点的概率只有1行/为先验概率第7章不精确推理30条件概率表每个节点旁的条件概率表(简称CPT)中的值对应一个贝叶斯网络语义：全联合概率分布全联合概率分布的每个条目都可以通过贝叶斯网络的信息计算出来：联合分布中的某项是对每个变量赋予一个特定值情况下的合取概率就是条件概率表中适当元素的乘积第7章不精确推理31贝叶斯网络语义：全联合概率分布全联合概率分布的每个条目都可以链式法则初始的合取概率化为更小的条件概率和更小的合取式

P(Xi|Xi-1,…,X1)=P(Xi|Parent(Xi))—如果父节点包含于条件Xi-1,…,X1之中父子节点的关系使得贝叶斯网络具有局部结构化的特性，即每个节点只和数量有限的其它部分产生直接的相互作用P(MaryCall|JohnCall,Alarm,Earthquake,Burglary)=P(MaryCall|Alarm)第7章不精确推理32链式法则初始的合取概率化为更小的条件概率和更小的合取式第7贝叶斯网络的语义公式计算示例：

试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时John和Mary都给你打电话的概率。解：

P(j,m,a,~b,~e)=P(j|a)P(m|a)P(a|~b,~e)P(~b)P(~e)=0.9×0.7×0.001×0.999×0.998=0.00062=0.062%33贝叶斯网络的语义公式计算示例：试计算：报警器响了，但既没有贝叶斯网络的特性：

作为对域的一种完备而无冗余的表示，贝叶斯网络比全联合概率分布紧凑得多BN的紧凑性是局部结构化(Locallystructured,也称稀疏,Sparse)系统一个非常普遍特性的实例BN中每个节点只与数量有限的其它节点发生直接的相互作用假设节点数n=30,每节点有5个父节点，则BN需30x25=960个数据，而全联合概率分布需要230=10亿个！34贝叶斯网络的特性：作为对域的一种完备而无冗余的表示，贝叶斯贝叶斯网络的构造原则：

首先，添加“根本原因”节点然后，加入受它们直接影响的变量依次类推，直到叶节点，即对其它变量没有直接因果影响的节点两节点间的有向边的取舍原则：更高精度概率的重要性与指定额外信息的代价的折衷“因果模型”比“诊断模型”需要更少的数据，且这些数据也更容易得到35贝叶斯网络的构造原则：首先，添加“根本原因”节点35条件独立关系贝叶斯网络中节点相互独立(下面两个定义等价)：(1)给定父节点，一个节点与它的非后代节点是条件独立的第7章不精确推理U1UmXZ1jZnjY1Yn36条件独立关系贝叶斯网络中节点相互独立(下面两个定义等价)：第条件独立关系图示第7章不精确推理U1UmXZ1jZnjY1Yn(2)给定一个节点的父节点、子节点以及子节点的父节点(Markovblanket)，这个节点对于其它节点都是条件独立的37条件独立关系图示第7章不精确推理U1UmXZ1jZnjY15.3.2贝叶斯网络中的精确推理概率推理系统中的基本任务是计算被查询变量的后验概率设X为待查询变量/e为观察到的证据E={E1…Em}证据变量集合/Y={Y1…Yn}非证据变量集合(也称隐变量)全部变量集合={X}∪E∪Y推理的任务是：求后验概率P(X|e)实际上，根据边缘化规则可得P(X|e)=P(X,e)=∑yP(X,e,y)第7章不精确推理385.3.2贝叶斯网络中的精确推理概率推理系统中的基本任务是查询实例(1)上式表明：在贝叶斯网络中计算条件概率的乘积并求和，以便回答查询以防盗警报为例，求P(B|JohnCalls=T,M=F)证据JohnCalls=True/MaryCalls=False查询变量Burglary=True隐含变量Earthquake/Alarm用首字母简化式有：P(b|j,m)=P(b,j,m) =∑E∑AP(b,E,A,j,m)第7章不精确推理39查询实例(1)上式表明：在贝叶斯网络中计算条件概率的乘积并求P(b|j,m)=P(b,j,m) =∑E∑AP(b,E,A,j,m)P(b|j,m)=∑E∑AP(b)P(E)P(A|b,E)P(j|A)P(m|A)上式最坏复杂度仍然是O(n2n)：对所有变量求和改进—将相对常数移到求和符号以外P(b|j,m)=P(b)∑EP(E)∑AP(A|b,E)P(j|A)P(m|A)计算过程(遍历A=a/a和E=e/e)P(j|a)=0.90 P(m|a)=0.30P(j|a)=0.05 P(m|a)=0.99P(a|b,e)=0.95 P(a|b,e)=0.05P(a|b,e)=0.94 P(a|b,e)=0.0640P(b|j,m)=P(b,j,m) 查询实例(2)进一步代入条件概率：P(b|j,m)=∑E∑AP(b)P(E)P(A|b,E)P(j|A)P(m|A)上式最坏复杂度仍然是O(n2n)：对所有变量求和改进—将相对常数移到求和符号以外P(b|j,m)=P(b)∑EP(E)∑AP(A|b,E)P(j|A)P(m|A)计算过程(遍历A=a/a和E=e/e)P(j|a)=0.90 P(m|a)=0.30P(j|a)=0.05 P(m|a)=0.99P(a|b,e)=0.95 P(a|b,e)=0.05P(a|b,e)=0.94 P(a|b,e)=0.06第7章不精确推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.0141查询实例(2)进一步代入条件概率：第7章不精确推理Burg+++P(b)0.01P(e)0.002P(~e)0.998P(a|b,e)0.95P(~a|b,e)0.05P(a|b,~e)0.94P(~a|b,~e)0.06P(m|a)0.70P(j|a)0.90P(j|~a)0.05P(j|a)0.90P(j|~a)0.05P(m|a)0.70P(m|~a)0.01P(m|~a)0.01P(b|j,m)的自顶向下的计算过程42+++P(b)0.01P(e)P(~e)P(a|b,e)P(查询实例(3)乘积求和过程∑EP(E)∑AP(A|b,E)P(j|A)P(m|A) =P(e)*∑AP(A|b,e)P(j|A)P(m|A)+P(e)*…… =P(e)*[P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)*P(j|a)*P(m|a)]+P(e)*…… =0.002*[0.95*0.90*0.30+0.05*0.05*0.99] +0.998*[0.94*0.90*0.30+0.06*0.05*0.99] =0.2568第7章不精确推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.0143查询实例(3)乘积求和过程第7章不精确推理Burglary查询实例(4)相应地有 P(b|j,m)=P(b)*0.2568=0.001*0.2568 =*0.0002568类似地有P(b|j,m)=*P(b)∑EP(E)∑AP(A|b,E)P(j|A)P(m|A)=*P(b)*[0.002*(0.0783+0.0351)+0.998*(0.0003+0.0495)]=*0.999*0.0499 =*0.0499归一化以后有P(B|j,m)=<0.0003,0.0499>=<0.006,0.994>只有John打电话而出现盗贼的概率小于1/100★第7章不精确推理44查询实例(4)相应地有 第7章不精确推理44精确推理的复杂度单连通结构—贝叶斯网络中任何两个节点都至多只有一条无向路径相连此时，单连通上的精确推理的时间和空间复杂度都和网络规模呈线性关系而对于多连通结构(见下图)，最坏情况下变量消元法可能具有指数级的时空复杂度—此时贝叶斯网络的推理是一个NP问题所以要寻找多连通网络中的近似算法第7章不精确推理45精确推理的复杂度单连通结构—贝叶斯网络中任何两个节点都至多只多连通网络第7章不精确推理SRP(W)TT.99TF.90FT.90FF.00CP(R)T.80F.20sprinklerRainWetgrassCP(S)T.10F.50P(C)=.5cloudy46多连通网络第7章不精确推理SRP(W)C4747已知：一个事件e={学校政策U=true,and工作压力大=true}，请根据上述枚举法计算出现过劳死的概率。48已知：一个事件e={学校政策U=true,and5.4似然比与Bayes概率推理

第7章不精确推理495.4似然比与Bayes概率推理

第7章不精确推理495.4似然比与Bayes概率推理引入概率的相对量度[定义]几率： 称为H的几率或先验几率，取值范围[0,)由此反过来有

[定义]条件几率： 第7章不精确推理505.4似然比与Bayes概率推理引入概率的相对量度第7章后验几率和先验几率的关系例子：O(晴天|冬天早晨有雾)=4.2，如果冬天早晨有雾，则该天为晴天的可能性是非晴天可能性的4.2倍由几率定义、条件几率定义和条件概率公式可以推得后验几率和先验几率的关系：

第7章不精确推理51后验几率和先验几率的关系例子：O(晴天|冬天早晨有雾)=4.推理规则和规则强度在Bayes概率推理中，推理规则表示为

ifE(前提/证据)thenH(结论/假设)规则强度用LS/LN表示(也称为似然比)/其不精确推理过程是：根据证据E的概率P(E)，利用规则的LS和LN，把结论的先验概率P(H)更新为后验概率P(H|E)，因而也称为概率传播第7章不精确推理52推理规则和规则强度在Bayes概率推理中，推理规则表示为第7似然比[定义]似然比：

LS=P(E|H)/P(E|﹁H) LN=P(﹁E|H)/P(﹁E|﹁H) 则可得下述关系：

O(H|E)=LS*O(H) O(H|﹁E)=LN*O(H) 有多个证据独立时，其公式是

第7章不精确推理53似然比[定义]似然比：第7章不精确推理53似然比约束对LS和LN的约束对于LS和LN有如下约束要求：二者都是非负的，并且满足第7章不精确推理54似然比约束对LS和LN的约束第7章不精确推理54似然比应用似然比(规则强度)LS和LN的应用当P(E)=1时，利用LS将先验几率O(H)更新为后验几率O(H|E)/当P(﹁E)=1时，利用LN来更新几率在专家系统PROSPECTOR(一个用于探矿的ES)中同时应用了LS和LN，分别表示正面证据和反面证据的支持，称为充分因子和必要因子，并将LS、LN附着在每条规则之上第7章不精确推理55似然比应用似然比(规则强度)LS和LN的应用第7章不精确推LS和LN的作用当LS很大，说明证据成立时假设成立的可能性很大，否则LS<1说明E排斥H；LN很小，说明证据不成立时假设不成立的可能性很大LS和LN之值接近1时说明证据成立或不成立对于结论是否成立影响不大一般情况下，LS和LN不是根据定义计算出来的，而是给定的第7章不精确推理56LS和LN的作用当LS很大，说明证据成立时假设成立的可能性很应用举例(1)例子：评职称的概率设某副教授X要评正教授，现有4个指标，却有8人参与竞争/投票前夕，X作了如下预测：如果不考虑评委因素，则成功概率=1/2，此相当于先验几率O(H)=1；如果考虑评委因素，则情况如下：校评委共15人，其中5人来自其他竞争者所在系，4人与X素有微隙，尤其是其中2人兼具来自其他竞争者所在系，对X的成功构成了极大威胁，但聊以自慰的是评委中有5位老朋友，估计会投X的票第7章不精确推理57应用举例(1)例子：评职称的概率第7章不精确推理57应用举例(2)为此，X定义了如下的似然比：LS(评委Y1出席|X评上)=1/2 Y1来自其他竞争者所在系，同时令LN=2 (LS*LN=1)LS(评委Y2出席|X评上)=1/4 Y2与X素有微隙，同时令LN=4LS(评委Y3出席|X评上)=1/8 Y3来自其他竞争者所在系兼与X素有微隙，同时令LN=8LS(评委Y4出席|X评上)=4 Y4是X的老朋友，同时令LN=1/4LS(评委Y5出席|X评上)=1 Y5不属于以上情况，LN=1第7章不精确推理58应用举例(2)为此，X定义了如下的似然比：第7章不精确推理应用举例(3)若15人全体出席，且假定各条件互相独立，则按公式：X评上的后验概率是：O(X评上|15人出席)= 根据几率和概率之间的关系，换为概率P=O/(1+O)=1/9，X评上的希望不大第7章不精确推理59应用举例(3)若15人全体出席，且假定各条件互相独立，则按公应用举例(4)但是，当又有消息说，一位来自其他竞争者所在系兼与X素有微隙的评委A不能出席，而代之以一位态度中立的评委/此时，X又作了一番推测： LS(﹁A出席|X评上)=LN(A出席|X评上)=8 LS(中立评委|X评上)=1则在原结果的基础上乘上上述因子，使得后验几率=1，即后验概率=1/2，X评上的前景大大改观 ★第7章不精确推理60应用举例(4)但是，当又有消息说，一位来自其他竞争者所在系兼5.6模糊推理

5.6.1模糊数据的确定

5.6.2模糊关系及其投影

5.6.3模糊推理的例子第7章不精确推理615.6模糊推理

5.6.1模糊数据的确定

5.6.25.6.1模糊子集第5章非经典逻辑

传统集合论：

一个元素是否属于某个集合，回答只有是和否，界限分明。此时，可用特征函数CA(x)表示x是否属于A：此时总假定存在一个定义明确的集合U，A是U的子集。U可称为个体域或基底集。其元素称为基元。

非精确刻划:

但现实世界有许多意义不能精确刻划(内涵)、外延不能用传统集合表示的概念。典型例子：“老年人”包括多大年龄的人？再如：“高个”、“派头大”、“很大的数”、“令人遗憾的结果”等等625.6.1模糊子集第5章非经典逻辑传统集合论：62模糊子集定义第5章非经典逻辑对非精确划分的需要引出了模糊逻辑模糊子集(fuzzysubset)的定义：若A={<x,A(x)>|x∈U∧A(x)∈[0,1]}，则A称为集合U的一个模糊子集。A(x)称为x对A的隶属函数，或隶属度、一致性测度模糊子集的支集(supportset)： S={x|x∈U∧A(x)>0}模糊子集的高度 h(A)=max{A(x)|<x,A(x)>∈A}63模糊子集定义第5章非经典逻辑对非精确划分的需要引出了模糊逻模糊子集例子(1)第5章非经典逻辑例1：“老年人”的范围—可用隶属函数old(x)来表示老年人集合这个隶属函数表明人从50岁以后开始步入老年。x=55，old(x)=0.5；x=60，old(x)=0.8；x=80，old(x)≈1(0.97) ★64模糊子集例子(1)第5章非经典逻辑例1：“老年人”的范围—模糊子集(2)第5章非经典逻辑例2：自然数集合中“小的数”，其模糊子集可以用下面的隶属函数刻划：基底集为自然数，则min(0)=1(肯定是小的数)

min(1)=100/1011(就是小的数)min(10)=0.5(差不多是小的数)min(100)0.1(难说是小的数)min(1000)0(不能是小的数) ★65模糊子集(2)第5章非经典逻辑例2：自然数集合中“小的数”

Zadeh给出了模糊子集的另一种表示法—隶属度/基元表示如模糊子集“青年”=0/15+0.2/16+0.6/17+0.9/18+0.9/19+1/20～25+0.9/26+…可以写成如下形式(当基底集为有穷)：或(当基底集为无穷)：模糊子集表示法第5章非经典逻辑66Zadeh给出了模糊子集的另一种表示法—隶属度/基元表示模模糊与概率的区别第5章非经典逻辑

模糊与概率的区别：虽然同属于非精确描述，但概率现象的每个具体结果是确定的“非此即彼”；模糊现象的结果是非确定的“亦此亦彼”模糊的基础是概率67模糊与概率的区别第5章非经典逻辑模糊与概率的区别：虽然同模糊集合运算(1)第5章非经典逻辑

模糊集合运算(1)空集判断：设A为U的模糊子集，当且仅当xU，A(x)=0时，A为空集，记为；(2)A包含于B：A、B为U的任意模糊子集，对xU，A(x)B(x)，记为AB；(3)A等于B：对xU，A(x)=B(x)，记为A=B；(4)A的补集：A={<x,1A(x)>|xU}68模糊集合运算(1)第5章非经典逻辑模糊集合运算68模糊集合运算(2)第5章非经典逻辑

(5)A与B的并集：AB={<x,max(A(x),B(x))>|xU}(6)A与B的交集：AB={<x,min(A(x),B(x))>|xU}(7)A与B的差集：AB={<x,min(A(x),1B(x))>|xU}，显然有A=UA69模糊集合运算(2)第5章非经典逻辑(5)A与B的并集：6模糊集合运算的性质第5章非经典逻辑

运算的性质(1)交换律：A∪B=B∪A，A∩B=B∩A(2)幂等律：A∪A=A∩A=A(3)分配律：A∪(B∩C)=(A∪B)∩(A∪C) A∩(B∪C)=(A∩B)∪(A∩C)(4)狄摩根律：～(A∪B)=～A∩～B

～(A∩B)=～A∪～B(5)A(B∪C)=(AB)∩(AC)A(B∩C)=(AB)∪(AC)(6)A∩BAA∪B(7)AB当且仅当A∩B=A当且仅当A∪B=B70模糊集合运算的性质第5章非经典逻辑运算的性质70例子第5章非经典逻辑

证明性质(7)作为例子。AB当且仅当A∩B=A当且仅当A∪B=B证明：由AB定义知A(x)B(x)，所以AB=min(A(x),B(x))=A(x)，即A∩B=A；同理，AB=max(A(x),B(x))=B(x)，即A∪B=B ★71例子第5章非经典逻辑证明性质(7)作为例子。AB当且仅5.5.2模糊数据的确定确定模糊数据—即隶属函数的确定如何确定隶属函数？有多种方法调查投票—根据投票统计所得的数据确定出隶属函数用概率分布函数模拟—分为3种(1)正态分布(2)戒上型函数(3)戒下型函数第7章不精确推理725.5.2模糊数据的确定确定模糊数据—即隶属函数的确定第7调查投票例子调查投票—根据投票统计所得的数据确定出隶属函数例子—古代选美：明末南京有“秦淮八艳”，要判断谁更漂亮？不同人有不同看法，现设有100人投票，可通过与其中一位比较的方法确定一种相对量度设其他7位与李香君比较(得票数少于50者被认为不如她，多者则超过她)，根据每个人所得票数可得隶属函数显然，在隶属度函数中，李香君本人应该放在0.5的位置第7章不精确推理73调查投票例子调查投票—根据投票统计所得的数据确定出隶属函数第调查投票结果表示第7章不精确推理74调查投票结果表示第7章不精确推理74概率分布函数(1)用概率分布函数来逼近隶属函数 (1)中心强、两边弱、中间对称的隶属度分布可用正态分布来逼近，如“中年”； (2)对于隶属度随某种属性值而增长的情况，可采用单调递增或非减函数，特别是当属性值足够大时隶属度恒为1的情况，可采用戒下型函数，如“老年”； (3)对于隶属度随某种属性值而减小的情况，可采用单调递减或非增函数，当属性值足够小时隶属度恒为1的情况，可采用戒上型函数，如“童年”第7章不精确推理75概率分布函数(1)用概率分布函数来逼近隶属函数第7章不精确函数分布函数(2)上述3种函数的公式为： (1)正态分布 μ(x)= (2)戒下型函数第7章不精确推理76函数分布函数(2)上述3种函数的公式为：第7章不精确推理7函数分布函数(3) (3)戒上型函数三个函数的图形如下：

0a10ab10ab1第7章不精确推理77函数分布函数(3) (3)戒上型函数第7章不精确推理775.5.3模糊关系第5章非经典逻辑

模糊关系的定义：

集合U1～Un的笛卡儿乘积U1×…×Un为基底集的任一模糊子集R称为U1×…×Un间的一个n元模糊关系(fuzzyrelation)，特别地，Un的任一模糊子集称为U上的一个n元模糊关系

模糊关系的表示：在传统的有穷二元关系的表示方法基础上加上隶属度数据(加权)，作为二元模糊关系的表示

有向图方法矩阵方法

785.5.3模糊关系第5章非经典逻辑模糊关系的定义：78模糊关系的例子第5章非经典逻辑

例子：设U={1,2,3,4,5}，U上“远小于”关系可用U2的模糊子集R<<表示，其加权有向图和关系矩阵如下图所示79模糊关系的例子第5章非经典逻辑例子：设U={1,2,5.5.4模糊关系及其投影模糊关系：模糊关系是集合的笛卡尔积的子集+对集合的隶属函数设R为A1A2...An上的一个n元模糊关系，则R中的元素表示为 ((a1,a2,…,an),(a1,a2,…,an)) 其中an∈Ai，(a1,a2,…,an)是对R的隶属度构成了n维空间超矩阵第7章不精确推理805.5.4模糊关系及其投影模糊关系：模糊关系是集合的笛卡尔模糊关系例子例1：设R模糊关系表示“天下乌鸦一般黑”定义在集合U2上，U中的每个元素是乌鸦，如俄罗斯乌鸦、美国乌鸦、科索沃乌鸦、南联盟乌鸦等等R是U2中任意2只乌鸦之间是否一样黑的程度，其隶属度如μ(美国乌鸦,科索沃乌鸦)=0.7★第7章不精确推理81模糊关系例子例1：设R模糊关系表示“天下乌鸦一般黑”第7章模糊关系的合成模糊关系的合成：设R是U×V上的模糊关系，S是V×W上的模糊关系，则R与S的合成关系Z=R°S的元素为：

Zij=[(ui,w), ]这里是[(ui,vk),µR(ui,vk)]与[(vk,wj),µS(vk,wj)]的合成，而V的元素个数为n(k=1~n组合一遍)第7章不精确推理82模糊关系的合成模糊关系的合成：设R是U×V上的模糊关系，S是模糊关系例子例1：设R模糊关系表示“天下乌鸦一般黑”定义在集合U2上，U中的每个元素是乌鸦，如俄罗斯乌鸦、美国乌鸦、科索沃乌鸦、南联盟乌鸦等等，R是U2中任意2只乌鸦之间是否一样黑的程度，其隶属度如μ(美国乌鸦,科索沃乌鸦)=0.7又设S模糊关系表示“天下乌鸦打仗一样激烈”(即任意2只乌鸦参与争斗时的激烈程度是否一致)，则对于第i只和第j只乌鸦来说，存在1只乌鸦c，c和第i只乌鸦一样黑、和第j只乌鸦打仗一样激烈的为真程度用R°S的元素RS(ij)表示 ★第7章不精确推理83模糊关系例子例1：设R模糊关系表示“天下乌鸦一般黑”定义在集模糊关系的投影模糊关系的投影：设R是A1×...×An上的一个模糊关系，则在Ak=Ai1×...×Aik上的一个k元模糊关系Rk定义为其上的投影，其中1≤k≤n，1≤i1<i2<...<ik≤n Rk={} 其中~Ak为在A1～An中去掉k个Ai1～Aik后所得n-k个Aj的笛卡尔积第7章不精确推理84模糊关系的投影模糊关系的投影：设R是A1×...×An上的一定义的解释解释：上述定义的意思是投影集合(模糊子集)的个体元素(即前半部分)来自Ak(是一个k元向量)，第2个隶属度元素则是<ai1…aik>与其他n-k个Aj中的全部个体元素组合后得到的|Aj1|×…×|Aj(n-k)|个μR中取极大值的结果如果基底集合为Un，则投影共有|U|k个不同元素，每个元素从|U|n-k个不同μR中取极大值

同理，还可以定义隶属度为取极小值结果这样的投影分别称为胖投影和瘦投影，统称为柱状扩展第7章不精确推理85定义的解释解释：上述定义的意思是投影集合(模糊子集)的个体元模糊关系投影例子(1)例2：设某公司有3个部门构成集合A1={a,b,c}，新聘3位员工构成集合A2={d,e,f}，令A=A1×A2，A上的模糊关系R定义为“将新员工安排到各部门的合适人选”，这个二元模糊关系的隶属函数矩阵如下表示第7章不精确推理86模糊关系投影例子(1)例2：设某公司有3个部门构成集合A1=模糊关系投影例子(2)R在A1上的胖投影 RF(A1)={(a,0.8),(b,0.7),(c,0.9)}，表示各部门找到合适人选的乐观估计

R在A1上的瘦投影 RT(A1)={(a,0.4),(b,0.2),(c,0.3)}，表示相应的悲观估计另一方面， RF(A2)={(d,0.9),(e,0.6),(c,0.7)}，表示各人能在各部门找到合适工作的乐观估计 RF={(d,0.2),(e,0.4),(f,0.3)}为相应的悲观估计第7章不精确推理87模糊关系投影例子(2)R在A1上的胖投影第7章不精确推理8模糊关系投影例子(3)注意：这里乐观估计并不能全部实现，因为会产生冲突，如果a部门安排了合适人选d，则c部门就找不到最合适人选；同样，d在c部门找到最合适工作，则e就找不到最合适工作了★第7章不精确推理88模糊关系投影例子(3)注意：这里乐观估计并不能全部实现，因为5.6.3模糊推理的例子模糊推理A→B可看作A与B之间存在函数关系。实际应用中使用了前面给出的计算方法，即模糊推理的例子规则A=“如果气候温和并且雨量充沛则适于种柑橘”第7章不精确推理895.6.3模糊推理的例子模糊推理A→B可看作A与B之间存在模糊推理的例子(1)其中各模糊集表示为： 气候温和C={(10,0.5),(20,1),(30,0.5),(40,0.2)}，其个体元素构成的分明集记为#C={10,20,30,40}是平均摄氏温度 雨量充沛R={(100,0.1),(200,0.4),(300,0.7),(400,1)}，对应的分明集#R={100,200,300,400}是年降雨量(毫米) 适于种柑橘S={(100,0.5),(200,0.7),(300,1)}，对应的分明集#S={100,200,300}是单株产量(斤)第7章不精确推理90模糊推理的例子(1)其中各模糊集表示为：第7章不精确推理9模糊推理的例子(2)那么，模糊推理规则为C∧R→S，显然隶属函数值~v可通过如下公式求得：第7章不精确推理故可得出下页的模糊矩阵91模糊推理的例子(2)那么，模糊推理规则为C∧R→S，显然隶属模糊推理的例子(3)矩阵中每个元素值表示在一定的气候和雨量组合下(每行)不同单株产量(列)的可能性(隶属函数值) ★第7章不精确推理92模糊推理的例子(3)矩阵中每个元素值表示在一定的气候和雨量组参考书目StuartRussell/PeterNorvig:AIMA第13章/第14章陆汝钤编著:人工智能(下册)第26章田盛丰、黄厚宽，人工智能与知识工程，中国铁道出版社，1999年8月第1版，第6章JohnF.Sowa:KnowledgeRepresentation(EnglishVersion),2003年5月,机械工业出版社,第6章第7章不精确推理93参考书目StuartRussell/PeterNor作业核电站警报器问题，当温度测量仪温度超过阈值时就会报警，这个温度测量仪测量的是核反应堆核心的温度。考虑布尔变量A(报警器响）、FA（报警器出故障）、FG（测温仪出故障）和G（测温仪读数）、T（核反应堆核心的实际温度）为这个问题构造一个贝叶斯网络，假设核心温度太高时测量仪器更容易出故障。假设G和T都只有两种读数：正常/偏高；当测温仪正常工作时给出正确读数的概率为x，出现故障时给出正确读数的概率为y，给出与G相关联的条件概率表。94作业核电站警报器问题，当温度测量仪温度超过阈值时就会报警，这3.假设报警器和测温仪都正常工作，并且报警器发出了警报声，根据网络中的各种条件概率，计算核反应堆核心温度过高的概率表达式的值。953.假设报警器和测温仪都正常工作，并且报警器发出了警报声人工智能原理

第5章不精确推理

96人工智能原理

第5章不精确推理1

本章内容

5.1不精确推理的必要性

5.2不确定性的表示

5.3贝叶斯网络

5.4可信度方法

5.5模糊推理

参考书目

附录似然比与贝叶斯概率推理第7章不精确推理97 本章内容

5.1不精确推理的必要性

5.2不5.1不精确推理的必要性

不精确推理的原因/方法第7章不精确推理985.1不精确推理的必要性

不精确推理的原因/方法第7为什么要不精确推理推理所需的信息不完备：竞争双方不知道对方信息背景知识不足：疑难病症的机理多种原因导致同一结果：疾病的诊断信息描述模糊：目击者对嫌疑犯的描述信息中含有噪声：做假帐，虚假统计报表，采集数据当中的噪声（雷达、声纳/化验）等规则是模糊的：定性描述，如“如果刑事犯罪猖獗，就应加大打击力度”等推理能力不足：天气预报的计算解决方案不唯一：多个方案如何选优的问题第7章不精确推理99为什么要不精确推理推理所需的信息不完备：竞争双方不知道对方信不确定性与不精确推理从智能体角度看，他不得不在不确定的环境下行动现实的不确定性需要不精确推理：将数值计算引入推理过程继续使用逻辑联结词真假值概率化，以表示某种可靠程度在推理的前提和结论之间建立概率公式应用：专家系统中的推理网络PROSPECTOR系统MYCIN系统第7章不精确推理100不确定性与不精确推理从智能体角度看，他不得不在不确定的环境下5.2不确定性的表示

5.2.1概率及其公理

5.2.2概率推理第7章不精确推理1015.2不确定性的表示

5.2.1概率及其公理

5.2.主观Bayes主义(概率从何而来)主观Bayes主义：现实世界的一些因果关系可以形成一种信念，它并非在所有场合下都正确，可称为部分信念表示这种信念的最好方法是概率方法对概率的解释有若干种，其中一种称为主观Bayes主义/要点：概率是个人的一种合理置信度，每个人的估计(概率)虽然各不相同，但应该满足概率的基本规律和其他某些客观规律，因而是合理的第7章不精确推理102主观Bayes主义(概率从何而来)主观Bayes主义：第7章5.2.1概率及其公理随机变量布尔随机变量—定义域=<T,F>离散随机变量—定义域=可数域连续随机变量—定义域=实数集合原子事件—世界的所有随机变量的特定赋值组合/构成无法确定的世界状态的完整详细描述如X的世界由weather=<sunny,rainy,cloudy,snow>和今天是否喝酒drink_today=<T,F>组成则有4*2种不同原子事件第7章不精确推理1035.2.1概率及其公理随机变量第7章不精确推理8原子事件的性质(1)原子事件是互斥的：sunny∧drink_today和sunny∧¬dringk_today不能同时成立(2)由所有原子事件组成的集合是穷尽的—至少有一个原子事件一定成立/所有原子事件的逻辑析取=T(3)任何特定的原子事件与每个命题(简单或者复合命题)的真或假一一对应—任何一个表示所在世界状态的命题都可以用原子事件的逻辑联结表示，任何一个命题逻辑上都等价于所有蕴涵该命题真值的原子事件的析取sunny等价于sunny∧drink_today∨sunny∧¬drink_today第7章不精确推理104原子事件的性质(1)原子事件是互斥的：sunny∧drink先验概率的表示先验概率：没有任何其它信息存在情况下关于某个命题的信度用向量表示随机变量的先验概率分布P(weather)=<0.7,0.2,0.08,0.02>对于组成世界的离散随机变量全集，使用诸如：P(weather,drink_today)来表示涵盖全集的随机变量集的值的全部组合的概率：全联合概率分布第7章不精确推理105先验概率的表示先验概率：没有任何其它信息存在情况下关于某个命先验概率的表示全联合概率分布用概率表表示P<weather,drink_today>用4*2表格表示第7章不精确推理sunnyrainycloudysnowDrinkT0.20.150.040.015DrinkF0.50.050.040.005106先验概率的表示全联合概率分布用概率表表示第7章不精确推理s条件概率的表示条件概率定义由此有乘法定理P(a∧b)=P(a|b)P(b)=P(b|a)P(a)如果a和b相互独立，则

P(a|b)=P(a) P(b|a)=P(b) P(a∧b)=P(a)P(b)第7章不精确推理107条件概率的表示条件概率定义第7章不精确推理12概率公理Bayes概率服从如下公理(Kolmogorov公理)：(1)0≤P(a)≤1(2)P(T)=1/P(F)=0(3)P(a∨b)=P(a)+P(b)-P(a∧b)当a/b互斥有P(a∨b)=P(a)+P(b)此为加法定理互斥性也就是独立性这样的概率公理是不能违反的第7章不精确推理108概率公理Bayes概率服从如下公理(Kolmogorov公理全概率公式原子事件的性质：任何命题a等价于所有a在其中成立的原子事件的析取—事件集合记为e(a)由所有原子事件是互斥的，得到如下全联合概率分布一个命题的概率等于所有它在其中成立的原子事件的概率和/满足独立性和完全性第7章不精确推理109全概率公式原子事件的性质：任何命题a等价于所有a在其中成立的5.2.2使用全联合概率分布进行推理全联合概率分布是知识库，从中可得到所有概率的计算—命题在其中成立的所有原子事件的概率和P(cavity∨toothache)=0.108+0.012+0.072+0.008+0.016+0.064=0.28P(catch)=0.108+0.016+0.072+0.144=0.34第7章不精确推理toothache¬toothachecatch¬catchcatch¬catchcavity0.1080.0120.0720.008¬cavity0.0160.0640.1440.5761105.2.2使用全联合概率分布进行推理全联合概率分布是知识库边缘化上述全概率公式从另一个角度可以视为通用化边缘规则：

P(A)=∑zP(A,z)=∑zP(z)P(A|z) 将某个随机变量的分布抽取出来，求和从而得到该变量的无条件概率(或称为边缘概率)/其过程称为边缘化或求和消元(summingout)用于从多个变量的全概率分布中求取某个变量的概率，进行推理第7章不精确推理111边缘化上述全概率公式从另一个角度可以视为通用化边缘规则：第7归一化大多数情况下我们对计算某个变量的条件概率感兴趣：1/P(toothache)保持不变，可把它看成是保证其所包含的概率相加为1的常数。引入归一化常数—=1/[p(a)+p(﹁a)]一般公式：P(X|e)=P(X,e)=yP(X,e,y)（根据全概率公式）解释为：e固定条件下X/Y遍历所有值，构成此时的所有原子事件第7章不精确推理112归一化大多数情况下我们对计算某个变量的条件概率感兴趣：第7章Bayes公式Bayes公式(也称逆概率公式)从条件概率公式可得

在某些场合下引入一个证据e以后，得更通用的Bayes公式

第7章不精确推理113Bayes公式Bayes公式(也称逆概率公式)第7章不精确逆概率公式的例子逆概率公式不仅是条件概率公式的一个简单变形，实际上很有用处—如果某个条件概率不便计算，则可以先计算其逆概率，而后算出所要的条件概率例子：求P(肺炎|咳嗽)可能比较困难，但统计P(咳嗽|肺炎)可能比较容易(因为要上医院)/假设P(肺炎)=1/10000，而P(咳嗽)=1/10，90%的肺炎患者都咳嗽，则

P(肺炎|咳嗽)=

第7章不精确推理114逆概率公式的例子逆概率公式不仅是条件概率公式的一个简单变形，修正因子(1)可以将前面的逆概率公式写成

这说明先验概率P(H)可以通过方括号部分(作为修正因子)修正为后验概率P(H|E)(证据E为真时H的后验概率)在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九第7章不精确推理115修正因子(1)可以将前面的逆概率公式写成第7章不精确推理2修正因子(2)将E看作证据，先验概率P(E)越小，且H为真时E的条件概率P(E|H)越大，则修正因子所起作用越大在上例中，如果P(咳嗽)=0.0001/P(咳嗽|肺炎)=0.9999/

P(肺炎)不变则P(肺炎|咳嗽)=0.9999，远远超过原来的万分之九第7章不精确推理116修正因子(2)将E看作证据，先验概率P(E)越小，且H为真时后验概率递推公式当有n个互相独立的证据，则有公式

上式可以写成递推公式形式：

上式说明：随着新证据的不断获得，从证据少时的后验概率推出证据多时的后验概率，且每一步都是把上一步的后验概率视为新证据到来时的先验概率第7章不精确推理117后验概率递推公式当有n个互相独立的证据，则有公式第7章不精独立性条件下的推理使用全联合分布表，可以进行查询(推理)/但只适用于变量少的情况N个可能证据变量，则相关条件概率的组合数达到2N条件独立性—一旦某个变量的取值确定下来，则其余变量就相互独立对于toothache/cavity/catch三者，cavity决定了其余两者，而它们彼此之间无关系P(toothache∧catch|Cavity)=P(toothache|Cavity)*P(catch|Cavity)第7章不精确推理118独立性条件下的推理使用全联合分布表，可以进行查询(推理)/条件独立性给定第3个随机变量Z后，X/Y的条件独立定义为：P(X,Y|Z)=P(X|Z)P(Y|Z)或P(X|Y,Z)=P(X|Z) P(Y|X,Z)=P(Y|Z)则牙科领域3个随机变量有：P(Toothache,Catch|Cavity)=P(Toothache|Cavity)P(Catch|Cavity)和P(Toothache,Cavity,Catch)=P(To,Cat|Cav)P(Cav)=P(To|Cav)P(Cat|Cav)P(Cav)第7章不精确推理119条件独立性给定第3个随机变量Z后，X/Y的条件独立定义为：第条件独立性的结果条件概率表(CPT)的分解原概率表有7个彼此独立的数值(23-1)新概率表有5个独立数值(2+2+1)n个变量彼此独立后，表示的规模从O(2n)变为O(n)条件独立性允许概率系统进行规模的扩展；条件独立性比绝对独立性更容易获得此结论导致了朴素贝叶斯模型P(Cause,Effect1,…,Effectn)=(∏P(Ei|C))P(C)第7章不精确推理120条件独立性的结果条件概率表(CPT)的分解第7章不精确推理5.3贝叶斯网络

5.3.1贝叶斯网络的表示

5.3.2贝叶斯网络中的精确推理

5.3.3贝叶斯网络的近似推理第7章不精确推理1215.3贝叶斯网络

5.3.1贝叶斯网络的表示

5.3.贝叶斯网络的由来

全联合概率计算复杂性十分巨大朴素贝叶斯太过简单现实需要一种自然、有效的方式来捕捉和推理——不确定性知识变量之间的独立性和条件独立性可大大减少为了定义全联合概率分布所需的概率数目122贝叶斯网络的由来全联合概率计算复杂性十分巨大27贝叶斯网络定义贝叶斯网络(Bayesiannetwork)是一个有向图，其中每个节点都标注了定量概率信息(1)一个随机变量集合组成网络节点，变量可以是离散的或者连续的(2)一个连接节点对的有向边或者箭头的集合，如果存在从节点X指向节点Y的有向边，则称X是Y的一个父节点(3)每个节点都存在一个条件概率分布P(Xi|Parent(Xi))，量化父节点对该节点的影响(4)图中不存在有向环(是有向无环图DAG)第7章不精确推理123贝叶斯网络定义贝叶斯网络(Bayesiannetwork)5.3.1贝叶斯网络的表示从一个例子(防盗网)开始第7章不精确推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BE P(A)TT .95TF .94FT .29FF .001

AP(J)T.90F.05

AP(M)T.70F.011245.3.1贝叶斯网络的表