《不确定性人工智能》课程教学数学基础

1、1数 学 基 础Mathematical foundation不确定性人工智能课件之二主要内容 正态分布 幂律分布 模糊集和二型模糊集 粗糙集一 正态分布（高斯分布）正态分布是最常用的连续分布，十九世纪前即被高斯大力推广，也称高斯分布。历史悠久，应用广泛，地位崇高，难以动摇。最常用的连续分布正态分布（高斯分布）中心极限定理表明：一个变量如果是由大量的、微小的、独立的随机因素叠加的结果，那么这个变量服从或近似服从正态分布。如：测量误差、射击偏差、小麦穗长、人的身高、年降雨量、信号噪声等。正态分布的概念变量的频数或频率呈“中间大，两头小”的一种概率分布。从理论上说，若随机变量X的概率密度函数为：则

2、称X服从均值为，方差为2的正态分布。正态分布的特征两个参数：均值位置参数，方差2形状（差异度）参数。 正态分布由均值和标准差唯一确定。钟形曲线：密度函数以均值为中心，两端对称衰减，以X轴为渐近线的钟形曲线。概率密度曲线：均值决定图形的中心位置，方差决定“陡峭”程度。方差 2的大小与数据分散程度成正比 范围内的概率为68.26%2范围内的概率为95.43%3范围内的概率为99.73%正态分布的3准则对正态分布而言，取值落在：可以认为，正态分布的取值几乎全部集中在-3，+3区间内，称为正态分布的3准则。3准则表明：正态分布有一个 “特征尺度”（均值），个体在特征尺度附近变化很小（ 3 ）。如身高，

3、绝大多数中国成年男子身高都在平均值1.70米左右，会有一定变化，但低于一米“小矮人” 或高于两米的“巨人”极少。 对于另一些分布，像国家GDP或个人收入，情况则不同。个体的尺度可以在很大的范围内变化，往往跨越多个数量级。想想世界首富比尔的资产和你的个人收入就清楚了。正态分布的形成机制：中心极限定理如果随机变量由大量的相互独立的随机因素综合影响，而其中每一个别因素在总的影响中所起的作用都是微小的，则该随机变量近似服从正态分布。二 幂律分布若随机变量X的概率密度函数为：则称X服从参数为k的幂律分布，c为常数。k称为幂指数。幂律分布特性：在双对数坐标下呈直线绝大多数事件的规模很小，而只有少数事件的规

4、模相当大。物理学家则习惯于把服从幂律分布的现象称为无尺度现象 。双对数坐标正态与幂律的区别：正态：钟形幂律：长尾屋内有100个人，姚明加入进去其平均身高并不会有太大变化，而当比尔.盖茨进来，整个屋子的人将“平均”成千万富翁。相对于身高的正态分布，人的财富呈幂律分布。对幂律而言，期望是没有意义的。 幂律分布数学形式简单，在正态分布统治的世界里曾长期被忽视。对“幂律” 做出重要贡献的是Zipf，Pareto，以及Barabsi与Albert师徒。 Zipf定律：英文单词出现的频率与它的名次的常数次幂存在简单的反比关系：P(r)r(-)。（1932年） 该定律表明：中，只有极少数的英语单词被经常使用

5、，而绝大多数词很少被使用。实际上，包括汉语在内的许多国家的语言都有这种特点。 Pareto定律：个人收入X不小于某个特定值x的概率与x的常数次幂亦存在简单的反比关系：PXkx(-k)。（19世纪） 又称“二八法则”，即20%的人口占有80%的社会财富。 BA模型：1999年，Barabsi与Albert针对复杂网络中普遍存在的幂律分布现象，提出了网络动态演化的BA模型，提出增长与优先连接是网络度分布呈现幂律分布的两个根本原因。 近年来，在复杂网络研究过程中，科学家们发现了众多的幂律分布。虽然这些网络在结构及功能上千变万化，但是节点的度分布却同样满足幂律分布，且幂指数多在大于2小于3的范围。 幂

6、律分布与分形、非线性、复杂性密切相关，它支配了所有具有自相似特性的无尺度网络。 幂律分布广泛存在于物理学、地球与行星科学、计算机科学、生物学、生态学、社会科学、经济与金融学等众多领域。 幂律分布的形成机制： 增长与优先依附 自组织临界 HOT理论 渗流模型 一些随机过程 正态分布的形成机制：中心极限定理 随机变量的结果受众多相互独立的随机因素影响，每一因素的影响都是微小的，则服从正态分布幂律分布：不均匀、不平衡、巨大差异.正态分布：均匀、一致、和谐目前，幂律分布是众多学科研究的热点。其简洁优雅的形式，将许多似乎毫不相干的事物联系在一起，这种独特的魅力吸引了物理学家、生物学家、天文学家、地质学家

7、、数学家和社会学家等各领域的研究者。三 模糊集与二型模糊集天气冷热雨的大小风的强弱人的胖瘦年龄大小个子高低模糊概念、模糊现象 1965年, L. A. Zadeh第一次提出了模糊集合(Fuzzy sets), 从不同于经典数学的角度, 给出了模糊概念的定量表示方法。 经典集合： 元素被严格划分为属于或不属于该集合，不存在介于两者之间元素。模糊集合： 允许元素对集合部分隶属，可以从“不隶属”到“隶属”逐步过渡。基本概念模糊集合：设X是全集(或论域)，称映射 ：X0,1确定了一个X中的模糊集合A，(x)称为A的隶属函数，它表示x对A的隶属程度。当映射(x)只取0或1时，模糊集合A就是经典子集，而(

8、x)就是它的特征函数。可见经典集合就是模糊集合的特殊情形。113经典集合模糊集合1136例：令X = 0,100 为人类年龄的集合,模糊集合 B = “年龄在50岁左右”，则B可表示为: 模糊集合的表示(Zadeh表示法)注意:并非求和和积分符号。例如：C = 0.1/0+0.3/1+0.7/2+1.0/4+0.3/5+0.1/6/ 不是除法运算截集 交叉点核支集：支集核交叉点截集交叉点包含或子集：并（析取）交（合取）补（负）常见隶属函数1. 三角形隶属函数2. 梯形隶属函数3. 高斯形隶属函数4. 一般钟形隶属函数确定隶属函数的常用方法：统计方法领域经验专家确定Jerry M. Mendel

9、 网站：/mendel/Email: mendel 南加利福利亚大学电子工程系信号与图像处理(SIPI)研究所教授 Chairman of the Fuzzy Systems Technical Committee for the IEEE Computational Intelligence Society 二型模糊集合模糊性用隶属度表示，而隶属度本身也是一个模糊集。 二型模糊集示例图x轴表示样本，u轴表示主隶属度(primary membership)，z轴表示次隶属度(secondary membership)。二型模糊集Type-2 fuzzy sets are fuzzy sets

10、whose membership grades themselves are type-1 fuzzy sets。二型模糊集是模糊的再模糊，具体处理方法：一种是将样本的隶属度用一个均匀区间来表示，在区间内次隶属度均为1，即区间二型模糊集合。另一种是设所有样本的隶属度的隶属度（次隶属度）都符合钟型函数，构成钟型二型模糊集合。 注重样本隶属度变化的边界，进而简化和处理问题。分为：区间二型模糊集，隶属度在区间内均匀分布，其二型隶属度均为1，是目前最常用的二型模糊集 。高斯二型模糊集，将样本的隶属度用一个高斯隶属函数来表示 ，目前还很不成熟 。 一般二型模糊集，计算复杂度较高，目前没有研究。 二型模糊

11、集的类型区间型：将模糊集的隶属度用一个均匀区间来表示。钟型：不管主隶属函数是什么形态，次隶属函数都是钟型函数。主隶属函数如：x=4时，隶属度为0.6的隶属度=1。所有点的次隶属度均为钟型函数 随机性与模糊性的区别随机性事件本身具有明确含意事件是否出现具有不确定性0,1上概率分布函数描述模糊性事物的概念本身是模糊的概念外延的不确定性：模糊性0,1上的隶属函数描述 模糊集是处理含糊现象的一种方法，但它采用隶属函数来处理模糊性，而基本的隶属度是凭经验或者由领域专家给出，所以具有相当的主观性。 四 粗糙集 20世纪80年代初，波兰的Pawlak针对“边界不清”提出了粗糙集（Rough Set）他把那些

12、无法确认的个体都归属于“边界区域”， “边界区域”被定义为上近似集和下近似集之差集。由于它有确定的数学公式描述，完全由数据决定，所以更有客观性 。1991，Pawlak：Rough Sets：Theoretical Aspects of Reasoning about Data 粗糙集理论的主要优势之一是它不需要预备的或额外的有关数据信息。自提出以来，许多计算机科学家和数学家对粗糙集理论及其应用进行了坚持不懈的研究，使之在理论上日趋完善，特别是由于20世纪80年代末和90年代初在知识发现等领域得到了成功的应用而越来越受到国际上的广泛关注。粗糙集理论认为：知识是一种对对象进行分类的能力。粗糙集理

13、论建立在分类机制的基础上，是对边界区域不清晰地一种描述方法。把知识理解为对数据的划分，每一被划分的集合称为概念，利用已有的知识库，利用知识库中的已知知识近似地描述不确定或者不精确知识。粗糙集的基本定义 一个近似空间（或知识库）定义为一个关系系统（或二元组） K=(U,R) 其中U（为空集）为论域，R是U上等价关系的一个族集。 为数学处理方便，常用等价关系来代替分类： 定义1：设PR，且P ，P中所有等价关系的交集称为P上的一种不可区分关系，记作IND(P)，即 IND(P)也是等价关系且是唯一的。不可区分关系的概念是粗糙集理论的重要基础，揭示出论域知识的粒状结构。 定义2：给定近似空间K=(U

14、, R)，子集XU称为U上的一个概念。 非空子集族PR所产生的不可区分关系IND(P) 即U/IND(P)，称为基本知识，相应的等价类称为基本概念；特别地，若关系QR，则关系Q就称为初等知识，相应的等价类就称为初等概念。 根据上述定义，概念即对象的集合，概念的族集（分类）就是U上的知识，U上分类的族集可以认为是U上的一个知识库，或说知识库即是分类方法的集合。 粗糙集理论与经典集合理论有着相似之处，但是出发点完全不同。经典集合论认为，一个集合完全是由其元素所决定，一个元素要么属于这个集合，要么不属于这个集合，即它的隶属函数X(x)0,1。模糊集合对此做了拓广，它给成员赋予一个隶属度，即X(x)0

15、,1，使得模糊集能够处理一定的不确定性。但是隶属度的确定具有人为因素，这给应用带来了不便。粗糙集中，隶属关系不再是一个原始概念，无需人为给定隶属度，从而避免了主观因素的影响。概念的边界： 著名哲学家Frege认为“概念必须有明确的边界。没有明确边界的概念，将对应于一个在周围没有明确界线的区域”。粗糙集理论中的不确定性就是一种基于边界的概念，即一个不精确的概念具有模糊的不可被明确划分的边界。 知识的粒度性是造成使用已有知识不能精确地表示某些概念的原因。这就产生了不精确“边界”思想。 为刻画模糊边界，每个不精确概念由一对称为上近似与下近似的精确集合来表示。 X的下近似集：R*(X)=x:(xU)

16、(xRX ) X的上近似集：R*(X)=x:(xU) (xRX )X的边界区域：BNR(X)=R*(X)R*(X) 若BNR(X) ，则集合X就是一个粗糙概念或粗糙集合。定义3： 下近似又称正域，是由那些根据知识R判断，肯定属于X的U中元素组成的集合，如图所示黑色部分；上近似是那些根据知识R判断，可能属于X的U中元素组成的集合，如图中的黑色部分与灰色部分之和；负域是那些根据知识R判断肯定不属于X的U中元素组成的集合，如图中的白色部分；边界域是那些根据知识R既不能判断肯定属于X又不能判断肯定属于（UX）的U中元素的集合，如图中的灰色部分。 集合X的边界X的下近似X的上、下近似之差粗糙隶属关系：

17、定义4 设XU且xU,集合X的粗糙隶属函数定义为 其中R是不可区分关系，R(x)=xR=y:(yU)(yRx) 这里的隶属关系是根据已有的分类知识客观计算出来的，可以被解释为一种条件概率，能够从全域上的个体加以计算，而不是主观给定的。例： 设有一知识库K=U,p,q,r其中U=x1,x2,x3,x4,x5,x6,x7,x8且U/p=x1,x4,x5,x2,x8,x3,x6,x7U/q=x1,x3,x5,x6,x2,x4 ,x7,x8 U/r=x1,x5,x6,x2,x7,x8,x3,x4 则x1p=x1 ,x4 ,x5x1q= x1 ,x3 ,x5。若P=p,q,r则IND(P)= x1,x5

18、,x2,x8,x3,x4,x6,x7 对于U上的子集X1=x1,x4,x7可得到P* X1=x4x7=x4 ,x7P* X1=x1 ,x5x4x7=x1 ,x4 ,x5 ,x7利用上近似和下近似这两个精确集合，粗糙集合也定义了粗糙关系，主要是成员关系、粗糙相等和粗糙包含。 与经典集合相比，粗糙集的成员、相等、包含关系都与不可区分关系所表示的论域的知识有关。因此，一个元素是否属于某一粗糙集合是相对的，依赖于初始的知识库，如果初始知识库中的知识粒度发生改变，那么这些关系都将改变。或者说，一个元素是否属于某个粗糙集，不是该元素客观的性质，而取决于我们对它的了解程度。同样，集合的相等和包含也没有绝对的意义，而是取决于我们对所研究的问题中的集合的了解程度。粗糙集理论主要存在的问题是：1)对原始数据本身的模糊性缺乏相应的处理能力；2)对于边界区域的刻画过于简单； 实际应用中，往往同时存在多种不确定