模糊数学在数据挖掘中应用研究VIP

模糊数学在数据挖掘中的应用研究作者：JSJ（浙江工业大学之江学院 信息与计算科学 1202）摘要：二十世纪六十年代，产生了模糊数学这门新兴学科。模糊数学作为一个新兴的数学分支，使过去那些与数学毫不相关或关系不大的学科（如生物学、心理学、语言学、社会科学等）都有可能用定量化和数学化加以描述和处理，从而显示了强大的生命力和渗透力，使数学的应用范围大大扩展。模糊数学自身的理论研究进展迅速；模糊数学目前在自动控制技术领域仍然得到最广泛的应用，并在计算机仿真技术、多媒体辨识等领域的应用取得突破性进展；模糊聚类分析理论和模糊综合评判原理等更多地被应用于经济管理、环境科学以及医药、生物、农业、文体等领域，并取得很好效果。关键词：模糊聚类分析 模糊数学 应用1.引言：模 糊 数 学 是 运 用 数 学 方 法 研 究 和 处 理 模 糊 性 现 象 的 一 门 数 学 新 分 支 。 它 以 “模 糊集 合 ”论 为 基 础 。 它 提 供 了 一 种 处 理 不 肯 定 性 和 不 精 确 性 问 题 的 新 方 法 ， 是 描 述 人 脑 思维 处 理 模 糊 信 息 的 有 力 工 具 。 模 糊 数 学 由 美 国 控 制 论 专 家 L.A.扎 德 （ L.A.Zadeh,1921-） 教 授 所 创 立 。 他 于1965 年 发 表 了 题 为 模 糊 集 合 论 （ FuzzySets ） 的 论 文 ， 从 而 宣 告 模 糊 数 学 的诞 生 。 L.A.扎 德 教 授 提 出 了 “模 糊 集 合 论 ”。 在 此 基 础 上 ， 现 在 已 形 成 一 个 模 糊 数 学体 系 。 模 糊 数 学 产 生 的 直 接 动 力 ， 与 系 统 科 学 的 发 展 有 着 密 切 的 关 系 。 在 多 变 量 、 非线 性 、 时 变 的 大 系 统 中 ， 复 杂 性 与 精 确 性 形 成 了 尖 锐 的 矛 盾 ， 它 给 描 述 模 糊 系 统 提 供 了有 力 的 工 具 。 L.A.扎 德 教 授 于 1975 年 所 发 表 的 长 篇 连 载 论 著 语 言 变 量 的 概 念 及 其在 近 似 推 理 中 的 应 用 ， 提 出 了 语 言 变 量 的 概 念 并 探 索 了 它 的 含 义 。 模 糊 语 言 的 概 念是 模 糊 集 合 理 论 中 最 重 要 的 发 展 之 一 ， 语 言 变 量 的 概 念 是 模 糊 语 言 理 论 的 重 要 方 面 。 语言 概 率 及 其 计 算 、 模 糊 逻 辑 及 近 似 推 理 则 可 以 当 作 语 言 变 量 的 应 用 来 处 理 。 人 类 语 言 表达 主 客 观 模 糊 性 的 能 力 特 别 引 人 注 目 ， 或 许 从 研 究 模 糊 语 言 入 手 就 能 把 握 住 主 客 观 的 模糊 性 、 找 出 处 理 这 些 模 糊 性 的 方 法 。 有 人 预 言 ， 这 一 理 论 和 方 法 将 对 控 制 理 论 、 人 工 智能 等 作 出 重 要 贡 献 。模 糊 数 学 诞 生 至 今 仅 有 22 年 历 史 ， 然 而 它 发 展 迅 速 、 应 用 广 泛 。 它 涉 及 纯 粹 数 学 、应 用 数 学 、 自 然 科 学 、 人 文 科 学 和 管 理 科 学 等 方 面 。 在 图 象 识 别 、 人 工 智 能 、 自 动 控 制 、信 息 处 理 、 经 济 学 、 心 理 学 、 社 会 学 、 生 态 学 、 语 言 学 、 管 理 科 学 、 医 疗 诊 断 、 哲 学 研究 等 领 域 中 ， 都 得 到 广 泛 应 用 。 把 模 糊 数 学 理 论 应 用 于 决 策 研 究 ， 形 成 了 模 糊 决 策 技 术 。只 要 经 过 仔 细 深 入 研 究 就 会 发 现 ， 在 多 数 情 况 下 ， 决 策 目 标 与 约 束 条 件 均 带 有 一 定 的 模糊 性 ， 对 复 杂 大 系 统 的 决 策 过 程 尤 其 是 如 此 。 在 这 种 情 况 下 ， 运 用 模 糊 决 策 技 术 ， 会 显得 更 加 自 然 ， 也 将 会 获 得 更 加 良 好 的 效 果 。 2.理论基础：一、模糊数学基本概念：1. 模糊集（Fuzzy set ）定义 1 （1）设 X 是论域，称映射 A：X0,1为 X 上的模糊集合（Fuzzy set）简称 F 集，记为 A。称 A(x)为元素 x 相对于 F 集的隶属度。称 A()为 F 集 A 的隶属函数。（2）模糊集合的运算：， ，)u(),.(,un21 )u(B),.(uBn21并集： ，A,B211 交集： ，)u(BA),.u(B),u(ABnn2211 补集： ，., nc 2. 幂集定义 2 称论域 X 上的 F 集的全体集合 为 X 上的 F-幂集。1,0:|F(X)3. 模糊集的 -截集定义 3 已知 U 上模糊子集 对 ，则称)Uu)(A,10: 1,0为模糊集 的 -截集；称 为模糊集)u(A, (的 -强截集； 称为 、 的置信水平或阈值。4. 三角范数、反三角范数定义 4 称二元函数 T：0,1*0,10,1为三角模或三角范数，简称 T-范数，满足以下条件：若 a，b，c，d0,1，有：交换律：T(a，b)=T(b，a)结合律：T(T(a，b)，c)=T(a，T(b，c)单调性：ac，bd 时，T(a，b) T(c，d)边界条件：T(a，1)=a，T(0，a)=0二、模糊数学的基本定理：1. 模糊截积定义 5 已知 U 上模糊子集 ，对 ， 也)Uu)(A,10: 1,0A是 U 上模糊集，其隶属函数为： ；称为 为 与 的模)u(糊截积。2. 分解定理 1 已知模糊子集 ，则 。)U(FA1,0推论 1：对 。,uu,)(3. 分解定理 2 已知模糊子集 ，则 。)(A1,0推论 2：对 。,Uuu,)(A三、模糊关系：1. 模糊关系与模糊关系的合成（1）模糊关系定义 6 从 U 到 V 上的一个模糊关系： ， 表示 具1,0VU:R)v,u(Rji ji与有的关系程度， 。 （ 满足 01）称为 U 到 V 上的一Vv,UujinmijaA与ijija个模糊关系的模糊矩阵。模糊关系性质：xU，有 R(x, x) = 0，则 R 满足反自反性；x,yU，xy，有 R(x, y)= R(y, x)，则 R 具有对称性；x,yU，有 R(x, y)=R(y, x) = 0，则 R 具有反对称性；(x,y),(x,z),(y,z) UV，有 R(x, z)(R(x,y) R(y, z)，则 R 满足传递性。1）F 相似关系：设 R 是论域 UV 上的模糊关系，若 R 满足自反性和对称性，称 R 为模糊相似关系。2）F 等价关系：若 R 满足自反性、对称性和传递性，称 R 为模糊等价关系。（2 ）F 集的内积与外积定义 7 设论域为 X，A,B F(X)，称 为 F 集 A 与 B 的内积；)x(A(BXxo称 为 F 集 A 与 B 的外积。)x(A(Bxo（3 ）格贴近度定义 8 设论域为 X，A,B F(X)，称(AB) ( ) ( )为格贴近度。oBo2. 模糊等价矩阵及其 矩阵定义 9 设方阵 为以模糊矩阵，若 满足 = 则称 为模糊等价矩阵。AAA模糊等价矩阵可以反映模糊分类关系的传递性，即描述诸如“甲像乙，乙像丙，则甲像丙”这样的关系。设 为一个模糊等价阵，0 1 为一个给定的数，令 nij)a(ij)(ija,01a与则称矩阵 为 的 截阵。,.21j,in)(ijaA例如， 为一个模糊等价阵，取 0.4 ,则14.06. 6.0= ；若取 ，则 = 。A10.A13.模糊聚类分析的在数据挖掘的应用实例：一.问题的提出：设某地区设置有 11 个雨量站，其分布图见图 5-1，10 年来各雨量站所测得的年降雨量列入表 5-1 中。现因经费问题，希望撤销几个雨量站，问撤销那些雨量站，而不会太多的减少降雨信息？2x7x145x106x81x39x图 5-1表 5-1 年降雨量列入年序号 1x23x45x67x89x101x1 276 324 159 413 292 258 311 303 175 243 3202 251 287 349 344 310 454 285 451 402 307 4703 192 433 290 563 479 502 221 220 320 411 2324 246 232 243 281 267 310 273 315 285 327 3525 291 311 502 388 330 410 352 267 603 290 2926 466 158 224 178 164 203 502 320 240 278 3507 258 327 432 401 361 381 301 413 402 199 4218 453 365 357 452 384 420 482 228 360 316 2529 158 271 410 308 283 410 201 179 430 342 18510 324 406 235 520 442 520 358 343 251 282 371应该撤销那些雨量站，涉及雨量站的分布，地形，地貌，人员，设备等众多因素。我们仅考虑尽可能地减少降雨信息问题。一个自然的想法是就 10 年来各雨量站所获得的降雨信息之间的相似性，对全部雨量站进行分类，撤去“同类” （所获降雨信息十分相似）的雨量站中“多余”的站。二.问题求解 ：假设为使问题简化，特作如下假设（1）每个观测站具有同等规模及仪器设备；（2）每个观测站的经费开支均等；具有相同的被裁可能性。分析：对上述撤销观测站的问题用基于模糊等价矩阵的模糊聚类方法进行分析，原始数据如上。三.求解步骤：1. 利用相关系数法，构造模糊相似关系矩阵 ，其中1)r(ijr 21n1kn1kjj2ii jjkiik)x()x( |其中 ， 1，2，,11， ， 1，2，,11。ix10ki jxn1kj用 C#语言编程计算出模糊相似关系矩阵 ，得到模糊相似矩阵 。)r(RR= 1.0 680.45 9.71 05.84 670.5 2.71 763943 . . . .2 . . 946 0.1 58.4 01. 70.8 6.571 08.9 67692 . .2 .3 2. . . 394 0.58 4. 051.7 0.58 61. 05.8 7699239 .12 . . 2. 4. .对这个模糊相似矩阵用平方法作传递闭包运算，求 即 t（ ） =2R: 4R。注： 是对称矩阵，故只写出它的下三角矩阵。*R 168.097.7109.71.069.710 6888 .2. 1.061.970.9458612.97.0186.R*取 ，则=96.0R 10000100011 00001故第二行（列） ，第四行（列）完全一致，故 同属一类，所以此时可以将观测站42x,分为 9 类 ， , ， ， , , ， ， , 42x,513x678910x这表明，若只裁减一个观测站，可以裁 中的一个。若要裁掉更多的观测站，则42,要降低置信水平 ，对不同的 作同样分析，得到0.995 时，可分为 8 类，即 ， , , ， , , ， ，42x,561x378x9, ；10x=0.994 时，可分为 7 类 ， , , , ， , ， ， ,42,561738910；1=0.962 时，可分为 6 类 ， , , , ， ， , ， ,42x,561x739x810x；1x0.719 时，可分为 5 类 ， , , , ， ， , ， , ；42,5617398101 01094.062.7190图 5-2 聚类谱系图再具体分析图 5-1，我们可以看到 虽然和 ， 分为一类，但 和 ，6x42,5x6x42,观测点相距较远，撤去 是不太合适的，保留 而撤去 ， 就更不合适了。因5x6642,5此还是将其分为 6 类，即 , , , , ， ， , ， , ,依42561739810据每类最少保留一个站的原则，最多可撤去 5 个站。实际应该撤去哪几个站就应该依据其他条件来确定了。由本例可以看出，当需要比较聚类的数据较多时，一般采用模糊聚类法进行分析，在分析过程中，复杂的数据运算都可以在计算机上实现，从而减少繁琐的手工操作。4.模糊聚类分析的优缺点：优点：聚类分析模型的优点就是直观，结论形式简明。缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。5.总 结：本文主要介绍了模糊数学的基本概念和模糊聚类的一些基础知识方法，并给出了实例分析，体现了模糊数学思想在数据挖掘领域的重要角色。 通过学习模糊数学这门课程，掌握了模糊数学的基本知识和思想，获益匪浅。模糊数学的思想和自己所修方向（信计与计算科学）的结合，不失为一种解决该领域的难题的行之有效的方法。如果我在研究的领域遇见相关的问题，我们便可以结合模糊的