人工智能引论课件 第四章 不确定性推理

现实世界中由于客观上存在的随机性、模糊性，反映到知识以及由观察所得到的证据上来，就分别形成了不确定性的知识及不确定性的证据。因而还必须对不确定性知识的表示及推理进行研究。这就是将要讨论的不确定性推理。下面首先讨论不确定性的表示与量化，然后着重介绍基于概率论的有关理论发展起来的不确定性推理方法，主要介绍可信度方法、证据理论，最后介绍目前在专家系统、信息处理、自动控制等领域广泛应用的依据模糊理论发展起来的模糊推理方法。第四章不确定性推理推理：从已知事实（证据）出发，通过运用相关知识逐步推出结论或者证明某个假设成立或不成立的思维过程。不确定性推理：从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。第四章不确定性推理第四章不确定性推理4.1不确定性的表示与量化4.2概率推理主要内容4.3模糊推理4.1不确定性的表示与量化4.1.1不确定性的表示4.1.2不确定性的量化44.1不确定性的表示与量化1.不确定性的表示（1）知识不确定性的表示（2）证据不确定性的表示——证据的动态强度5在专家系统中知识的不确定性一般是由领域专家给出的，通常是一个数值——知识的静态强度

用户在求解问题时提供的初始证据。在推理中用前面推出的结论作为当前推理的证据。4.1不确定性的表示与量化62.不确定性的表示（1）知识不确定性的表示

静态强度可以是相应知识在应用中成功的概率，也可以是该知识的可信程度或其他，其值的大小范围因其意义与使用方法的不同而不同。其中表示事件成立的可能性。例如，（这场球赛中国队获胜，0.5），其中0.5表示上述命题“这场球赛中国队获胜”的信度，即表示“这场球赛中国队获胜”这个命题为真的可能性为0.5。4.1不确定性的表示与量化72.不确定性的表示（1）证据不确定性的表示对于初始证据，其动态强度值通常由用户给出；对于由前序推理所得的结论作为当前推理的证据，其动态强度值由推理中不确定性的传递算法通过计算得到。其中表示规则在前提为真的情形下结论为真的程度。例如，“如果咳嗽发烧，则患了新冠肺炎（0.8）。”这里的0.8就是对应规则结论的信度。它们代替了原命题中的“很可能”和“大概”,可视为规则前提与结论之间的一种关系强度。4.1不确定性的表示与量化2.不确定性的量化

8①

能充分表达相应知识及证据不确定性的程度。②度量范围的指定便于领域专家及用户对不确定性的估计。③

便于对不确定性的传递进行计算，而且对结论算出的不确定性量度不能超出量度规定的范围。④度量的确定应当是直观的，同时应有相应的理论依据。

规则的不确定性量化证据的不确定性量化其中,表示由前提条件得到结论的确定性因子，表示由前提条件得到结论的信任增加度量，表示由前提条件得到结论的不信任增加度量。4.1不确定性的表示与量化2.不确定性的量化（1）规则的不确定性量化引入确定性因子作为规则的不确定性量化。

94.1不确定性的表示与量化实际使用时，初始证据的值经常由领域专家根据经验提供，其他证据的通过规则进行推理计算得到。4.1不确定性的表示与量化2.不确定性的量化（2）证据的不确定性量化为了描述这种不确定性的程度，引入了证据的可信度。证据的可信度用来表示，为了计算方便，规定：

114.1.2不确定性的量化

组合证据不确定性的算法：最大最小方法C(E1ANDE2)=min{C(E1),C(E2)}C(E1ORE2)=max{C(E1),C(E2)}概率方法C(E1ANDE2)=C(E1)C(E2)

C(E1ORE2)=C(E1)+C(E2)-C(E1)C(E2)有界方法C(E1ANDE2)=max{0,C(E1)+C(E2)-1}

C(E1ORE2)=min{1,

C(E1)+C(E2)}124.2概率推理4.2.1概率理论基础4.2.2Bayes网络4.2.3基于Bayes网络的概率推理4.2.4证据理论（D-Stheory）134.2概率推理4.2.1概率理论基础

4.2.2Bayes网络4.2.3基于Bayes网络的概率推理4.2.4证据理论（D-Stheory）144.2.1概率方法概率论：研究随机现象中数量规律的一门学科。随机现象：在相同的条件下重复进行某种实验，所得实验结果不一定完全相同且不可预知的现象。随机事件A的概率P（A）：A发生的可能性大小，即事件A的确定性程度。条件概率、Bayes定理可得出一个事件发生的条件下另一个事件的概率，即基于产生式规则的不确定性推理。15条件概率设与是某个随机实验中的两个事件,如果在事件发生的条件下,考虑事件发生的概率，就称它为事件的条件概率。条件概率的定义：设与为两事件且,则称为在事件已发生的条件下，事件发生的条件概率。Bayes定理设，，，…，为一些事件，，，，…，互不相交，，，且，则对于有4.2.1概率理论基础经典概率方法逆概率方法18经典概率方法

产生式规则：

E：前提条件，：结论：在证据出现的条件下，结论成立的确定性程度。19

复合条件：

：在证据出现时结论的确定程度。IFETHENHiE=E1ANDE2AND…ANDEm逆概率方法1.逆概率方法的基本思想：

20

Bayes定理：逆概率原概率

例如：：咳嗽，：支气管炎，条件概率：统计咳嗽的人中有多少是患支气管炎的。逆概率：统计患支气管炎的人中有多少人是咳嗽的。

逆概率方法2.单个证据的情况产生式规则：

Bayes公式：21结论的先验概率结论成立时前提条件所对应的证据出现的条件概率

IFETHENHi的的后验概率逆概率方法例1

：结论，：证据。已知：求：22同理可得：解：P(H2∣E)=0.26，

P(H3∣E)=0.43P(H1∣E)，P(H2∣E)，P(H3∣E)？逆概率方法

多个证据，多个结论，

且每个证据都以一定程度支持结论。

扩充后的公式：233.多个证据的情况∑1212121)()︳()︳()︳()()︳()︳()︳()︳(njjjmjjiimiimiHPHEPHEPHEPHPHEPHEPHEPEEEHP==LLL

例2

已知：

24逆概率方法

求：P(H1∣E1E2)，P(H2∣E1E2)，P(H3∣E1E2)？。逆概率方法25解：同理可得：逆概率方法优点:较强的理论背景和良好的数学特征，当证据及结论都彼此独立时计算的复杂度比较低。缺点:要求给出结论的先验概率及证据的条件概率。264.逆概率方法的优缺点4.2概率推理4.2.1概率理论基础4.2.2Bayes网络4.2.3基于Bayes网络的概率推理4.2.4证据理论（D-Stheory）274.2.2Bayes网络Bayes网络是一种帮助人们将概率统计应用于复杂领域、进行不确定性推理和数值分析的工具。▶Bayes网络是一种系统地描述随机变量之间关系的语言。▶构造Bayes网络的主要目的是进行概率推理，即计算一些事件发生的概率。▶Bayes网络把联合概率分解成一系列简单模块，从而降低难度▶Bayes网络是概率论与图论结合的产物，一方面用图论的语言直观揭示问题的结构，另一方面按概率论的原则对问题结构加以利用。▶许多经典多元概率模型都是Bayes网络的特例：隐马尔科夫模型、卡尔曼滤波器等。▶Bayes网络学习：从数据出发获得Bayes网络的过程。

▶Bayes网络是一个有向无环图，其中节点代表随机变量，节点间的边代表变量之间的直接依赖关系。每个节点都附有一个概率分布，根节点X的是它的边缘分布P(X)，而非根节点X所附的是条件概率分布。

4.2.2Bayes网络▶确定建立网络模型所需的变量及其解释。即，确定模型的目标，即确定问题相关的解释；确定与问题有关的可能观测值，并确定其中值得建立模型的子集；将这些观测值组织成互不相容的而且穷尽所有状态的变量。但是这样做的结果不是惟一的，而且没有通用的解决方案，不过可以从决策分析和统计学得到一些指导原则。▶建立一个表示条件独立的有向无环图。从原理上说,如何从个变量中找出适合条件独立关系的顺序，是一个组合爆炸问题，即要比较种变量顺序。但是，在现实问题中通常可以确定变量之间的因果关系，而且因果关系一般都对应于条件独立的断言。因此，可以从原因变量到结果变量画一个带箭头的弧来直观表示变量之间的因果关系。Bayes网络的构造

▶指派局部概率分布。其中，表示变量的父结点集。在离散的情形，需要为每一个变量的父结点集的各个状态指派一个概率分布。以上各步可能需要交叉并反复进行，不是一次简单的顺序进行就可以完成。Bayes网络的构造

Bayes网络是一种以随机变量为结点，以条件概率为结点间关系强度的有向无环图,其中图中的每个结点代表相应的随机变量，有向边描述相关结点或变量之间的某种依赖关系来刻画相关结点对该结点的影响。4.2.2Bayes网络当有向弧由结点指向结点时，则称：是的父结点；是的子结点。Bayes网络事例福尔摩斯先生居住在犯罪率高的地区，因此他安装了一个防盗警报器；他的邻居（华生医生和吉本夫人）在听到警报声时，会给他打电话告知；警报器说明书中写到，该警报器对地震很敏感，一不小心就会触发。

我们可以把这些知识表示为一个Bayes网络。0.990.80.70.54.2概率推理4.2.1概率理论基础4.2.2Bayes网络4.2.3基于Bayes网络的概率推理4.2.4证据理论（D-Stheory）341975年肖特里菲（E.H.Shortliffe）等人在确定性理论（theoryofconfirmation）的基础上，结合概率论等提出的一种不确定性推理方法。优点：直观、简单，且效果好。354.2.3基于Bayes网络的概率推理4.2.3基于Bayes网络的概率推理可信度的概念

C－F模型36可信度的概念可信度：根据经验对一个事物或现象为真的相信程度。可信度带有较大的主观性和经验性，其准确性难以把握。C－F模型：基于可信度表示的不确定性推理的基本方法。37C－F模型

产生式规则表示:

：可信度因子（certaintyfactor），反映前提条件与结论的联系强度。

381.知识不确定性的表示IF头痛AND流涕THEN感冒（0.7）

C－F模型

CF（H，E）的取值范围:[-1,1]。若由于相应证据的出现增加结论H为真的可信度，则CF（H，E）>0，证据的出现越是支持H为真，就使CF（H，E)的值越大。反之，CF（H，E）<0，证据的出现越是支持H为假，CF（H，E）的值就越小。若证据的出现与否与H无关，则CF（H，E）=0。391.知识不确定性的表示C－F模型证据E的可信度取值范围：[-1，1]。对于初始证据，若所有观察S能肯定它为真，则CF(E)=1。若肯定它为假，则

CF(E)=–1。若以某种程度为真，则0<CF(E)<1。若以某种程度为假，则－1<CF(E)<0。若未获得任何相关的观察，则CF(E)=0。40CF(E)＝0.6：E的可信度为0.62.证据不确定性的表示C－F模型

组合证据：多个单一证据的合取则组合证据：多个单一证据的析取

则

41

3.组合证据不确定性的算法E=E1ANDE2AND…ANDEnE=E1ORE2OR…OREnC－F模型C－F模型中的不确定性推理：从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。结论H

的可信度由下式计算：

424.不确定性的传递算法4.2概率推理4.2.1概率理论基础4.2.2Bayes网络4.2.3基于Bayes网络的概率推理4.2.4证据理论（D-Stheory）434.2.5证据理论

证据理论(theoryofevidence)：又称D－S理论，是德普斯特（A.P.Dempster）首先提出，沙佛（G.Shafer）进一步发展起来的一种处理不确定性的理论。

1981年巴纳特（J.A.Barnett）把该理论引入专家系统中，同年卡威（J.Garvey）等人用它实现了不确定性推理。目前，在证据理论的基础上已经发展了多种不确定性推理模型。444.2.5证据理论

概率分配函数信任函数似然函数信任函数与似然函数的关系概率分配函数的正交和（证据的组合）45概率分配函数

设D是变量x所有可能取值的集合，且D中的元素是互斥的，在任一时刻x都取且只能取D中的某一个元素为值，则称D为x的样本空间。在证据理论中，D的任何一个子集A都对应于一个关于x

的命题，称该命题为“x

的值是在A中”。

设x：所看到的颜色，D={红，黄，蓝}，则A={红}：“x是红色”；

A={红，蓝}：“x或者是红色，或者是蓝色”。46概率分配函数

设D为样本空间，领域内的命题都用D的子集表示，则概率分配函数（basicprobabilityassignmentfunction）定义如下：47定义4.1

设函数M：（对任何一个属于D的子集A，命它对应一个数M[0，1]）且满足则M:上的基本概率分配函数，M（A）:A的基本概率数。概率分配函数48几点说明：（1）设样本空间D中有n个元素，则D中子集的个数为个。：D的所有子集。（2）概率分配函数：把D的任意一个子集A都映射为[0，1]上的一个数M（A）。，时，M（A）：对相应命题A的精确信任度。（3）概率分配函数与概率不同。

例如，设

A={红}，

M（A）=0.3：命题“x是红色”的信任度是0.3。

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，

M（{蓝}）=0.1，

M（{红，黄}）=0.2，M（{红，蓝}）=0.2，M（{黄，蓝}）=0.1，M（{红，黄，蓝}）=0.1，M（Φ）=0但：M（{红}）+M（{黄}）+M（{蓝}）=0.4设D={红，黄，蓝}则其子集个数23＝8，具体为：A={红}，A={黄}，A={蓝}，A={红，黄}，A={红，蓝}，A={黄，蓝}，A={红，黄，蓝}，A={}信任函数定义4.2

命题的信任函数（belieffunction）且：对命题A为真的总的信任程度。49

由信任函数及概率分配函数的定义推出：

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，M（{红，黄}）=0.2，

似然函数

似然函数（plansibilityfunction）：不可驳斥函数或上限函数。50定义4.3

似然函数且对所有的

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，M（{红，黄}）=0.2，

-信任函数与似然函数的关系

：对A为真的信任程度。：对A为非假的信任程度。：对A信任程度的下限与上限。51

因为所以所以概率分配函数的正交和（证据的组合）定义4.4

设和是两个概率分配函数；则其正交和：其中：52

如果，则正交和M也是一个概率分配函数；如果，则不存在正交和M，即没有可能存在概率函数，称与矛盾。概率分配函数的正交和定义4.5

设是n个概率分配函数，则其正交和为其中：

53

概率分配函数的正交和设D={黑，白}，且设

54

则：

概率分配函数的正交和同理可得:组合后得到的概率分配函数:5556基于证据理论的不确定性推理

基于证据理论的不确定性推理的步骤：（1）建立问题的样本空间D。（2）由经验给出，或者由随机性规则和事实的信度度量算基本概率分配函数。（3）计算所关心的子集的信任函数值、似然函数值。（4）由信任函数值、似然函数值得出结论。57

例5

设有规则：（1）如果流鼻涕则感冒但非过敏性鼻炎（0.9）或过敏性鼻炎但非感冒（0.1）。（2）如果眼发炎则感冒但非过敏性鼻炎（0.8）或过敏性鼻炎但非感冒（0.05）。有事实：（1）小王流鼻涕（0.9）。（2）小王发眼炎（0.4）。问：小王患的什么病？基于证据理论的不确定性推理58取样本空间：表示“感冒但非过敏性鼻炎”，表示“过敏性鼻炎但非感冒”，表示“同时得了两种病”。取下面的基本概率分配函数：基于证据理论的不确定性推理59将两个概率分配函数组合：

60似然函数：

结论：小王可能是感冒了。

信任函数：

4.3模糊推理4.3模糊推理4.3.1模糊理论基础4.3.2模糊假言推理624.3.1模糊理论基础模糊逻辑的提出与发展模糊集合模糊集合的运算模糊关系与模糊关系的合成模糊推理模糊决策6364模糊逻辑的提出与发展1965年，美国L.A.Zadeh发表了“fuzzyset”的论文，首先提出了模糊理论。从1965年到20世纪80年代，在美国、欧洲、中国和日本，只有少数科学家研究模糊理论。

1974年，英国Mamdani首次将模糊理论应用于热电厂的蒸汽机控制。

1976年，Mamdani又将模糊理论应用于水泥旋转炉的控制。

模糊逻辑的提出与发展1983年日本FujiElectric公司实现了饮水处理装置的模糊控制。1987年日本Hitachi公司研制出地铁的模糊控制系统。1987年－1990年在日本申报的模糊产品专利就达319种。目前，各种模糊产品充满日本、西欧和美国市场，如模糊洗衣机、模糊吸尘器、模糊电冰箱和模糊摄像机等。

65模糊集合

论域：所讨论的全体对象，用U等表示。元素：论域中的每个对象，常用a,b,c,x,y,z表示。集合：论域中具有某种相同属性的确定的、可以彼此区别的元素的全体，常用A，B等表示。元素a和集合A的关系：a属于A或a不属于A，即只有两个真值“真”和“假”。模糊逻辑给集合中每一个元素赋予一个介于0和1之间的实数，描述其属于一个集合的强度，该实数称为元素属于一个集合的隶属度。集合中所有元素的隶属度全体构成集合的隶属函数。

661.模糊集合的定义模糊集合例如，“成年人”集合：

671.模糊集合的定义“成年人”隶属度函数图

“成年人”特征函数图

00模糊集合当论域中元素数目有限时，模糊集合的数学描述为：元素属于模糊集的隶属度，是元素的论域。682．模糊集合的表示方法模糊集合692．模糊集合的表示方法（1）Zadeh表示法（1）论域是离散且元素数目有限:或

（2）论域是连续的，或者元素数目无限：模糊集合702．模糊集合的表示方法（2）序偶表示法（3）向量表示法模糊集合3.隶属函数常见的隶属函数有正态分布、三角分布、梯形分布等。

隶属函数确定方法：（1）模糊统计法（2）专家经验法（3）二元对比排序法（4）基本概念扩充法71模糊集合的运算（1）模糊集合的包含关系若，则72（2）模糊集合的相等关系

若，则（3）模糊集合的交并补运算

①交运算(intersection)

模糊集合的运算②并运算(union)

③补运算(complement)或者

73例6设论域，A及B是论域上的两个模糊集合，已知：BABABAÈÇ、、、求模糊集合的运算解：

74模糊集合的运算（4）模糊集合的代数运算

75①代数积：②代数和：③有界和：④有界积：模糊集合的运算76

例6设论域，A

及B是论域上的两个模糊集合，已知：解：4.6.4模糊关系与模糊关系的合成771．模糊关系身高与体重的模糊关系表

从X到Y的一个模糊关系R，用模糊矩阵表示：

普通关系:两个集合中的元素之间是否有关联，模糊关系:两个模糊集合中的元素之间关联程度的多少。

例7某地区人的身高论域X={140,150,160,170,180}（单位：cm），体重论域Y={40,50,60,70,80}。模糊关系与模糊关系的合成781．模糊关系

模糊关系的定义：

A、B：模糊集合，模糊关系用叉积(cartesianproduct)表示：叉积常用最小算子运算：

A、B：离散模糊集，其隶属函数分别为：则其叉积运算：79

例8

已知输入的模糊集合A和输出的模糊集合B：

求A到B的模糊关系R。解：模糊关系与模糊关系的合成1.模糊关系0.02.05.08.00.1ooúúúúúúûùêêêêêêëé==´=BTABARmm80模糊关系与模糊关系的合成1.模糊关系模糊关系与模糊关系的合成812.模糊关系的合成

设Q：U到V的模糊关系，R：V到W的模糊关系，则Q与R的合成为U到W的一个模糊关系，其隶属函数：

设则模糊关系与模糊关系的合成822.模糊关系的合成

例9设模糊集合模糊关系与模糊关系的合成832.模糊关系的合成

解：4.3.2模糊假言推理1.模糊知识表示人类思维判断的基本形式：如果（条件）→则（结论）例如：如果压力较高且温度在慢慢上升则阀门略开84

模糊规则：从条件论域到结论论域的模糊关系矩阵R。通过条件模糊向量与模糊关系R的合成进行模糊推理，得到结论的模糊向量，然后采用“清晰化”方法将模糊结论转换为精确量。4.3.2模糊假言推理2.对IFATHENB

类型的模糊规则的推理

85

若已知输入为

A，则输出为

B

；若现在已知输入为，则输出用合成规则求取

其中模糊关系R:

控制规则库的N条规则有N个模糊关系：对于整个系统的全部控制规则所对应的模糊关系R：4.3.2模糊假言推理2.对IFATHENB类型的模糊规则的推理

86

例10已知输入的模糊集合A和输出的模糊集合B：前面已经求得模糊关系为：4.3.2模糊假言推理2.对IFATHENB类型的模糊规则的推理

87

则：

当输入：模糊决策

“模糊决策”(“模糊判决”、“解模糊”或“清晰化”）：由模糊推理得到的结论或者操作是一个模糊向量，转化为确定值的过程。88

例如，得到模糊向量：取结论：U＝5。1.最大隶属度法

例如，得到模糊向量：取结论：模糊决策2.加权平均判决法89

例如则

模糊决策90

例如用线性插值处理，即所以3.中位数法（面积等分法）

模糊控制规则91

人类思维判断的基本形式是：如果（条件）→则（结论）其中的条件和结论常常是模糊的。例如，模糊知识如果压力较高且温度在缓慢上升则阀门略开（锅炉,工况,（压力,0.80））∧（锅炉,工况,（温度,0.3））（阀门,状态,（开,0.2））模糊控制规则模糊控制是语言控制，要用语言归纳专家的手动控制策略，从而建立模糊控制规则表。条件语句的基本类型为

ifAorBandCorDthenE例