（农业机械化工程专业论文）基于粗糙集理论的农业数据库知识发现研究.pdf

摘要 随着计算机数据采集7 具以及数据库技术的发展，日 前我国各个行业己存储了人 士 动勺 数 据， 尤在农业、气象、医疗等行业最为突出。传统的数 据分析手段由于只能提供对数据的杳 询、检索、统计等表层信息，无法获得数据属性的内 在关系和隐含信 息，使得数据片中 蕴涵 的丰富知识得不到充分挖掘和利用，造成了资源的极大浪费。为了使消耗人狱财力， j 物力所 收集与整理的宝贵数据资源得以 充分利用.有效地解决 数据丰富性及知识贫 乏性的矛 盾，需 要 新 的 技 术 智 能、白 动 地 分 析 处 理 原 始 数 据， 从 而 促 使了 数 据 库知 识 发 现 ( k d d , k n o w l e d g e d i s c o v e r y i n d a t a b a s e ) 研究的出 现。 数据库知识发现通过综合运用统计学、粗糙集、 模糊数学、机器学习和专 家系 统等多种 技术从各种数据库中 提炼出先前未知的、平凡的、 具有潜在应用价值的信息或模式，从而揭 示出蕴涵在这些数据背后的内在联系和本质规律， 指导人们有效地利用数据库中的数据月为 正确决策提供依据。 1 9 8 2 年波兰华沙理工大学的 z - p a w la k 教授提出了一种刻画不完整性和不确定 性知识的形 式化方法一 粗糙集理论( r o u g h s e t s t h e o r y ) 。由于 粗糙集理论的 使用不需要先 验知识的介入 相比较其他知识发现方法， 它给应用带来更大的便利。 本文围 绕如何根据农业领域的数据特性实现其知识发 现，展开研究和讨论， 提出了 草于 粗糙集理论的农业数据库知识发现方案。 首先， 通过对粗糙集理论的深入研究，阐明粗糙集理 论是一个适用于不完整和不确定系 统 ! _ 程知识发现的数学工具，尤其适用于农业领域数据的知识发现。 其次，讨论和分析了 农业数据处 理阶段属性值的 范化问 题。 第三，在前两步 匕 作的基础上重点探讨了 粗糙集的 属性约简方法， 对多种算 法进行分析 比较、指出各自 的性能和适应范围，并针对农 业数据特点提出了一种改善农业数据属性约简 速度的新型算法。 最后， 针对农业领域的数据特性和挖掘的具体任务， 结合前儿步的研究结梁 提出了 种 基 于粗糙集理论的农业数据库知识发现系统模型口 数据库中的知识发现研究 仍然处于起步阶 段，它在农业领域中还有许多问 题值得探讨 木文所提出的 基于 粗糙集理论的农业数据库知识发现方案试图为我国 农业数据库的知识 发现 领域提供一种新的认识和尝试性方法。 关键词:知识发现 粗糙集理论 属性约简 属性值的范化 abs tract d u e t o t h e w i d e a p p li c a t i o n o f m o d e r n c o m p u t e r a l i z e d d a t a c o ll e c t i o n a n d d a t a b a s e t e c h n o lo g y o v e r p a s t y e a r s , m a n y , d i ff e r e n t i n d u s t r ie s p a r t ic u l a r l y in t h e f i e l d s o f a g r i c u lt u r e , m e t e o r o l o g ic a l o b s e r v a t i o n a n d me d i c a l r e s e a r c h h a v e a l r e a d y c o l le c t e d h u g e a m o u n t o f d a t a . a s t r a d i t io n a l d a ta a n a l y z e m e t h o d s o n l y p r o v id e a f e w s i m p l e s e r v i c e s s u c h a s s e a r c h i n g , i n d e x i n g a n d c a lc u l a t i n g , w h i c h r a t h e r i s h a r d l y t o d i s c o v e r t h e in h e r i t o r i m p l i c it i n f o r m a t i o n . k n o w l e d g e d is c o v e r y i n d a ta b a s e ( k d d) a s a n e w r e s e a r c h a p p r o a c h t o a n a l y z e a n d i d e n t i f y d a t a i n a n i n te l li g e n t a n d a u t o m a t i c s c i e n c e w a y i s f o r w a r d e d . k n o w l e d g e d is c o v e ry i n d a ta b a s e w h i c h w i d e ly a p p l i e s s t a t is t i c s t h e o r y , r o u g h s e ts t h e o r y , f u z z y t h e o ry , ma c h in e l e a r n i n g a s w e l l a s e x p e rt s y s t e m s a n d o t h e r s c i e n t i f i c w a y s i s e s s e n t i a l l y t h e n o n t r i v i a l p r o c e s s o f id e n t i f y i n g v a li d , n o v e l , p o te n t ia l l y u s e f u l a n d u l t i m a t e ly u n d e r s t a n d a b l e p a tt e r n s i n d a t a . a s o n e o f te c h n o l o g y t h e o r ie s a p p ly i n g f o r k n o w l e d g e d is c o v e r y i n d a t a b a s e , r o u g h s e t s t h e o r y w h i c h m a i n ly t a r g e t s t o i d e n t i f y i n c o m p le t e a n d u n c e rt a i n d a t a w a s f o r w a r d e d b y z p a w la k in 1 9 8 2 . s i n c e it s d e p l o y m e n t s d o n o t n e e d m u c h p r e e x p e r ie n c e d k n o w l e d g e , c o m p a r e d w it h o t h e r k d d m e t h o d s r o u g h s e t s t h e o r y c a n b r i n g m o r e c o n v i n c e t o a p p l ic a t i o n fi e l d s . t h e t h e s i s c o n c e n t r a t e s o n h o w t o d e p lo y k n o w l e d g e d is c o v e r y i n d a t a b a s e o f a g r ic u l t u r e f i e ld t o d o r e s e a r c h , a n d p r o v i d e s a n in - d e p t h a n a ly s i s a n d s o l u t i o n o n k n o w l e d g e d i s c o v e r y in a g r ic u l t u r e d a t a b a s e b a s e d o n r o u g h s e t s t h e o ry . f i r s t l y , i t s h e d l ig h t o n t h e f a c t t h a t r o u g h s e t t h e o ry i s a n e f f ic i e n t s c i e n t i f ic w a y t o i d e n t i f y i n c o m p l e t e a n d u n c e rt a i n d a t a a n d e s p e c ia l ly t i t s f o r k n o wle d g e dis c o v e r y in a g r i c u l t u r e d a t a b a s e . a n d t h e n i t f u rt h e r d i s c u s s e d h o w t o s o lv e a t t r i b u t e s g e n e r a t i o n p r o b l e m . a s o n e o f m o s t i m p o rt a n t a s p e c t o f k n o w l e d g e d i s c o v e r y i n a g r ic u l t u r e d a ta b a s e , a t t r i b u t e s r e d u c t i o n a f h o r i s m s w e r e p u t i n t o e ff o rt s t o b e a n a l y z e d a n d a n e w r e d u c t i o n a lt h o r i s m t h a t w a s p r o v e d t o b e a b le t o in c r e a s e r e d u c t i o n e f f i c i e n c y w a s e v e n t u a l l y f o r w a r d e d . i n th e e n d ， t h e t h e s is p r o p o s e d a s y s te m m o d e l f o r k n o w l e d g e d is c o v e ry i n a g r ic u lt u r e d a t a b a s e b a s e d o n r o u g h s e t s t h e o r y . s i n c e t h e r e s e a r c h o f k n o w l e d g e d i s c o v e ry i n a g r i c u lt u r e d a ta b a s e i s s t i l l i n t h e e a r l y d e v e l o p m e n t , t h e w h o l e s o lu t i o n p r o p o s e d i n t h is th e s i s is e x c e p te d t o p r o v id e c e rt a in c o g n it i o n a n d , s a m p l e m e t h o d f o r c u r r e n t k n o w l e d g e d is c o v e r y i n a g r i c u l t u r e d a t a b a s e r e s e a r c h ke y wor d s : k n o w l e d g e d i s c o v e ry in d a t a b a s e , r o u g h s e t s t h e o r y , a t t r i b u t e s r e d u c t i o n . at t r i b u t e s ge n e r a t io n 1 1 第 1 章 文献综述 问题的提出 在信息现代化和经济全球化的当 代社会， 农业信息技术的发展已受到世界 各国的高度重 视。 白 从6 0 年代中 后期计 算机技 术引 入到农业 领域， 我国先后开展了数据库与信息管理系 统、 遥感、 专家系 统、决策支持系统、地理信息系统应用于农业生产、 资源环境和灾害预防等方面的研 究， 取得了一批重要成果。 虽然我国 农业信息化建设取得了 很大进展、但总体上与国际先进水平相比仍然 存在 较大差 距。目前我国农业信息技术应用面临的一个主要问题在于几十年来我国农业科研、管理以及基 层部门积累的大量数据、 实例和知 识经验大多只是 利用数据库、知识库或文件进行保存，数据 之中蕴涵的大量知识无法被发现从而获得充分应用。如我国国家品种资源研究所目前已建成了 拥有 1 8 0种作物、3 5万份种质信息、将近 2 g字节数据记录的中国作物种质资源信息系统 ( c g r i s ) 1 。 但目 前 这 二 大型 的 农 作 物 种质 资 源 数 据 库 仅 仅 只 是 用 于查 询 、 检 索， 大 量 数 据 中 所 隐藏的丰富知识内容 仍然有待 于通 过有效的方法和工具去发现。 如何从农业领域大v数据库数 据中获取隐含的知识内 容，为 相关 部门的信息决策 提供依据，已 成为农业信息技术研究的重要 课题. 1 9 8 9 年8 月在美国 底特律召 开的 第 1 1 界国际 人1智能联合会议的专题讨论会 上， 针对人 们 迫切需要新的技术和工具以便 从大量数据中智能地、自 动地抽取有价值的知识 或信息， 科学家 们 提出 了 数 据 库知 识 发 现 ( k n o w l e d g e d i s c o v e ry i n d a t a b a s e k d d ) e 十几年来， 应用领域的需求一直推动着k d d的 发展。 从 数据库中发现出来的知识己 经在 信 息管理、查询响应、决 策支持、 过程控制等许多 领域得到应用。 如何将 k d d相关技术应 用于 农 业信息化建设、发现潜在的知识， 解决知识获取的困难，正 是本文研究的出发点 2数据库知识发现概述 2 . 1数据库知识发现的产生 据估 计， 全世 界 的 信 息 每 2 0 个 月 翻 一 翻 12 1 ， 数 据 库 的 规 模 和 数 量 增长 得 更 快. 现 代 社 会儿 乎 一切人类活动的领域都在朝着 信息化、自 动化的方向发展，由 此产生的 信息洪流汇成) 偏 l 的 信 息海洋，大大超过了 人们的 人工分析能力。 信息以数据的形式存储于各式各样的数据库中， 如 何 分析、理解这些数 据， 总结、 抽象出隐藏在大量数据中的有用信息，使 之真止成为可以 利用 的 宝贵资源，成为一 个迫切需 要解决的问 题。人们寄予厚望的数据库技术在一定 程度上帮 助人 们有效利用了信息， 但数据库基本 上是一个检索丁具，只能完成诸如汇总、统计、 检索之类的 操作， 远远谈不上对数据的理解和概括。打个比方:目 前的数据库技术就象文具 盒一样。 作为 一个容器， 它能回答如 “ 盒中有几支 铅笔” 、 “ 有儿块橡皮” 之类的问 题， 但无法得到 橡皮要与 错笔 直血 包七 蟹濒 醚绮 述渔 泛 一 一一 一 配合使用这一类的问 题。 尽管利用统 计学原理发展的 数据分析技术已出现多年， 但能 够分析发 现多种模式的智能技术还远不成熟。 1 9 8 9 年8 月在美国 底特律召开的 第1 1 界国际人工智能联合会议的 专题讨论 会上， 针对人 们 迫切需要新的 技术和工 具以便从大量数据中智能 地、自 动地抽取有价值的知识或信息， 科学 家 们 提 出 了 数 据 库中 的 知 识发 现 ( k n o w l e d g e d i s c o v e ry i n d a t a b a s e k d d ) 13 1 . 2 . 2数据 库知识发现定义 尽 管 到目 前， 针 对数 据 知识 发现的 定 义有 多 种。 但 得到 公认 的是 1 9 9 6 年由f a y y a d . p i a t e t s k y - s h a p i r o r 和a m y th 所 提 出 的 b a ( 3 ) 采掘分类规则 分 类规则主要是把数据集中的数据项映射到某个给定的类上。最为典型的分类方法是基于 决策 树的分类方法以 及粗糙 集理论。 ( 4 ) 采掘聚类规则 即 用算法通z u付 变量的比 较把具有相似 特征的数据归为一 类。 因此通过聚类后，数据集就 转 化为类集， 在类集中同一类中数 据具有相似的 变量值 ， 不同 类之间数据的变量值不具有相 似性。值 得注意的是 这些类不是事先定 义好的，而是通过聚类算法 采用全自 动方式获得的。 通常， 聚类 法大至上可分为两种类型。 分层聚类 分层聚类是基于数学的标 准， 对数据进行细分或聚合， 适用于数值数 据。 概念聚类 概念聚类是基于数据的非数值属性，对数据进行细分或聚合，适用于非数值数据。 ( 5 ) 采掘 序列规则 序列规则与关联规则相仿， 差别在于数据间序 列规则与 时间 联系 起来， 即不仅需知道事件是 否发生，而且需确定事件发生的时问。 1 . 4数据库知识发现方法 18 1 ( 1 ) 统计 方 法 统计方法是从事物的外在数量 卜 的表现去推断该事物可能的规律性。它主要完成总结知识 和关联知识挖掘时对关系表中多 个属性进行统计分析， 找到它们之间存在的关系。 互窿犁些逻皿上题过这一一 一一一 一 ( z )粗糙集理论 粗糙集理论是 近年来才兴起的研究不精确，不确定知识的表达、学 习、归纳等的方法。 粗糙集理论 模拟人类的抽象逻辑思维，以 各类更接近人们对事物的描 述方式的定性，定量或 者混合信息为 输入，输入空间与输出空间的映射关系通过简单的决策表简 化得到。知识表达空间 的简化基于不 可分辨关系的思想和知识简化的方法，它通过考察知识表 达不同 属性的重要性来确 定哪些知 识是冗余的，嘟些是有用的。总 体上， 粗糙集理论基于一个 机构 关于一些现实的大量数 据信息，以 对观察 和测量所得数据进行分 类的能力为 基础，从中发现、推 理和分 辨系统特点、 过 程和对象。 ( 3 )决策树 决策树利用信息论中的互信息( 信息 增益) 寻找数据库中具有最大信息量的 字段， 建立决策树 的一个结点， 再 根据字段的 不同 取值建立树的分支; 在每个分支子集中 ， 重复建立树的下层结点 和 分支的过 程， 即可建立决策树。国 际上最有影响 和最早的决策树方法是由伽1 u l a n研制的 i d 3 方 法 。 ( 幻 神经网络 人工神经网络从结构上模仿生物神经网络，以求达到模拟人类的形象直觉思维的目标。它是 在生物神经网络研究的基础上根据生物神经元和神经网络的特点。通过简化、归纳、提炼总结出 来的一类并行处理网络。人工神经网络技术利用其非线性映射的思想和并行处理的方法，用神经 网络本身结构表达输入与输出的关联知识。它通过不断学习、调整网络结构，最后以特定的网络 结构来表达输入空间与输出空间的映射关系， 是一种通过训练来学习的 非线性预 测模型、可以 完 成分类、聚类、特征挖掘等训练任务。 ( 5 )遗传算法 遗传算法起源于达尔文的进化论，是一种模拟生物进化过程的算法， 由策殖( 选择) 、交叉( 重 组) 、 变异( 突变) 三个基本算子组成。 他们通过 “ 繁殖”或组合已有的最好算法产生更好的算法， 利用 “ 适者生存”的概念将较差的 算法淘汰掉， 从而提高繁殖的结 果。 遗传算法已 在优化计算、 分类、机器学习等方面发挥了显著作用 (6 ) 模糊论方法 利用模糊 集合理论， 对实际问题进行模糊判断、 模糊决策、模糊模式识别、模糊簇分 析。 ( 7 )数据可视化 可视化 技术基于“ 一幅图画胜过千言万语”这一事实，利用空间和 非空间的属性( 如: 大小、 颜色等) 。 采用直观的图形方式将信息 模式、 数据关联或趋势等呈现给 用户。 用户可以 通过可视化 技术交互地 观察 数据、分析数据关系， 进而在一个相当高的层次上找出数据间可能的关系。 近来， 随着i n t e r n e t 的爆炸式成长， 商业和政府机构的普遍计算机化， 以 及数据仓库的 发展， 可视化技 术成为众多商业和技术领域的基本工具。 1 . 5数据库知识发现相关 研究领域、 研究动向 1 .5 . 1数据库知识发现研究领域 数据库知识发 现研究领域目 前集中在机器学习、 统计、 数据库、 模式识别、人 _ 智 能、 知 识获取、数据可视化、 智能数据分析、 神经网络等。这些技术运用到数据库知识发现中能提高 整个数据挖掘的使用价值。 1 . 5 . 2数据库知识发现研究 动向 1 . 5 . 2 . 1 数据库知识发 现研究 现状 数据库知识发 现 ( k n o w le d g e d is c o v e ry in d a ta b a s e k d d ) 一词首次出现在1 9 8 9 年8 月举 行的第1 1 届国 际联合人工 智能 学术会议上。 迄今为止 ， 由 美国 人 1 1 智能 协会主办的k d d国 际研 讨会已 经召开了6 次， 规 模由 原来的 专题讨论 会发展 到国际 学术大会， 人数由 二二十 人到七八百 人 ， 论文收 录比例从2 : 1 到 1 6 : 1 ，研究 重点 开始注重多种 发现策略 和技术的集 成， 以及多种 学科之间的 相互渗 透。 19 ) 其他内容的专题会议也把其知识发现列为议题之一， 知识发 现已 成为当 前计算机科 学界的一大热点。 一 批 k d d系统目 前也已 被开发出来， 在商业、 经济、 金 融、 管理等 领域取得了 应用性的成 果。如国际知识发现研究知名学者加拿大 s i m o n f r a s t e : 大学的ha n 7 ia w e i 教授领导的课题 ii 已 开 发了 一个 数 据挖 掘 原 型 系 统d b m in e r l l 。 这 是一 个 交 互 式 、 多 层 次 挖 掘 系 统 ， 可 以 从 数 据 库 中 挖掘不同层次知识， 包括一系列的挖掘功能: 概括、 特征、 分类、 预测。 i b m公 司a lm a d e n 研 究中心的r . a g r a w a l 等 人研究开发的多 任务数据挖 掘系统q u e s t 是一个面向人j ? 数据库的系统 17 1 : 包括关联规则、分类规则、序列 模式和相似序列等。 与国外相比，国内k d d的 研究较晚。南 京大学的 徐洁 磐、 陈栋等人开 发了 一个原r i ? 系 统: k n i g 耐 1 0 1 。 可用 于 处 理 不同 领 域 的 知 识 发 现 任 务， 主 要 有聚 类 分 析、 特征 知 识 发 现 、 分 类 规 则 发 现、关联规则发现、函 数依赖发现及基于查询的 知识发现等:中 科院软件 所史 忠植研究员 领导 的 课题组在k d d技术的研究上也有大量成果， 发表了 若千论文; 北京大 学也在开展对数据立方 体代数的研究:华中科技大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉 林大学等单位相继开展了对关联规则开采算法的 优化和改造等 l 作:中山大 学、 四川人学 和上 海 交 通 人 学等 单 位 也 探 讨、 研 究 了 非 结 构 化 数 据的 知 识 发 现 以 及w e b 数 据 挖 掘 但 总 体 来 说 ， 国 内k d d 研 究与 国 外 相比 还 有 较 大 差 距。 15 1 5 . 2 . 2数据库知识发现研究面临的主要困难 目前kdd研究面临的主要困难存在于以下儿个方而: ( i )超大数据量 西南农业人学硕l 学位论文_ _第1 章 献 ta 数据库中数 据的迅速增长 是数据挖掘得以发展的原因 之一。 枚举法、 经验分析方法在数兆 字 竹 、数吉 字s .数太字节的数据面前显得无能为力。此时数据挖掘系统必须采用 一 定的数据 汇集方法，根据用户定义发现任务，选择有关的域空间，采取随机抽样的方法，对样本进行分 析 。 c 2 ) 动态变化的 数据 数据的动态变化是大多数数据库的一个主要 特点，一个联机系统必须应能够保证数据的变 化不会导致错误的发生。 ( 3 )噪声 由于 人为因素的影响，如数据的手工录入以及主观选取数据等引 起的错误数据，使得数据 具有噪声。带噪声的数据会影响抽取的 模式的 准确性，可造成最终结果的不确定性。 ( 4 ) 数据不 完整 数据库中某些记录及其属性域可能存在空值现象，这造成了数据的 不完整， 给发现、评估 和解释一些重要的模式带来困难. 5 )冗余信息 数据库中同一信息有时存储在多个地方。函数依赖就是一个通常的冗余形式，兀余信息可 能造成错误的知识发现，至少有些发现是用户完全不感兴趣的。 ( 6 )数据稀疏 数据库相 对于可能的巨大发现空间，它实际 数据记录的密度是非 常稀疏的。 总之，目 前知识发现技术仍然处于 发展之中， 它涉及到数理统计、 模糊理论、神经网 络和 人_ 智能等多种技术，技术含量较高，实 现难度也较大。 1 . 5 . 2 . 3 数据库知识发现的发展方向s ( 1 ) 基础理论研究 目 前数据库知识发现领域相关文献不少， 可用技术曾出不穷， 但显得很零乱。这是因为数据 库知识发现还没有形成一个独立完整的学科.有关专家提出 要加强基础理论研究，使其成为一 种主流技术。 ( 2 ) 挖掘技术和 算法的研究 包括新技术在挖掘中的 应用、算法的改 进和优化、数据噪音的 处理等。 ( 3 )应用领域的扩展 这是推动数据库知识发现发展的根本动力之一。 一方面数据库知识发现需要向多方面应 用领域结合， 如本文 研究相结合的 农业 领域， 另一 方面需 要开发更多数据 库知识发现的系统和 产品.建立行业内的数据标准和通用平台。 1 . 6 粗糙集理论 6 ， t粗糙集理论的提出 人类社会已 进入了 信息社会，人们在享受由此带来的 方便的同时，在信息处理和分析方面 也面临着两个新的问题。 一方面，由 于信息获取 手段、传播手段和存储手段的方便，人 们获 取信息越来越容易。但 大量未经处理的信息涌现在人们面前时， 人们就不得 不面对“ 信息 爆炸” 的问 题。 对此， 人们往往 采取两种态 度: 要么“ 穷于应付” ， 要么“ 置 之不理” 。 在需要对大量数据进行分析才能做出决策 时， 这一问题表现得尤为 突出。如何对原始数据进行精简， 删除其中的 冗余，无用信息，并从中提 取出对实际上 作有指导意义的 规则和知识，己 成为 摆在知识发 现1作者面前的一个重要课题。 另一方面， 在自 然科学、社会科学和工 程技术等 很多 领域中，从实际 应用中采集到的数据 常常包括噪声，数据不够精确甚至 不够完整的 情况 经常出 现。在 对这些数据进行知识发现的过 程中如果采用纯数学上的 假设来消 除或避免 这种 不确定性，效果 往往很 不理想。反之，正视它， 对这些信息进行合适的处理，常常有助于问题的解决。多年来，研究人员一直在努力寻找科学 地处理不完整、不确定数据的有效s具。模糊集、基于概率的证据理论是处理不确定数据的 两 种方法，己应用于一些领域。但这些方法需要一些附加信息或先验知识:如隶属函数、基本概 率指派函 数和有关统 计函数分布等， 而这些信息有时并不容易得到。 粗糙集理论正是为解决 这两个问 题的需 要而产生的。上世纪8 0 年代 初波兰数学家p o l a k 和 波兰科学院、 波兰华沙大学的逻辑学家们一起从 事信息系统逻辑特性的研究，在此基础上 1 9 8 2 年 p o l a k 发 表了经典论文“ r o u g h s e t s , 宣告了粗糙集 理论的 诞生。 1 9 9 1 年p o l a k 又发表了 其经典 著作 r o u g h s e ts : t h e o re t i c a l a s p e c t s o f r e a s o n i n g a b o u t d a ta ) ， 对8 0 年 代至9 0 年 代 这一 时 期 理论和实践工作的 研究成果进行了 总结，极大地 推动了粗糙 集理论的发展。与此同时，越来越 多的数学家、 逻辑学 家和计算机研究人员 加入到 粗糙集理论 和应用的研究工作中，目 前粗糙集 理论研究领域已成为数据库知识发现一个重要的学术热点。 1 . 6 . 2粗糙集理论的基本原理 1 9 9 1 p a w l a k 教授出版了 专著， 对粗糙集理论做了 详尽的阐述。他将 数据库中的行元素看成 对 象， 将 列 元 素 看 成 属 性 ， 设 r 为 等 价 关 系 ， 定 义 为 不同 对 象在 某 个 ( 或 儿 个 ) 属 性1 = 取 值相 同 ， 那些满足等价关系的对象构成集合， 称为该 等价关系 r 的 等价类。 设e 为条件属性上的 等价类， 设y 为决策属性上的等价类， 则e和y 存在3 种 情况: y 包含e 称为 下近似; y 与 e 的交非空，称为 上近似; y 与e 的交 为空， 称为无关。 对下近似建 立确定性 规则， 对上近似建立不 确定规则( 含可 信 度 )，对无 关 情 况 则 不 存 在 规 则。 ( i i i 1 . 6 . 3粗糙集理论的科学应用及与其它知识发现理论的联系 6 . 3 . 1 粗糙集理论的科学应用 粗糙集理论作为一门实用性很强的学科， 经过多年的 发展， 在不少科学领域得到应用，取得 了 显著的 成果， 如近似推理、决策支持、 数据库知识发现、 数字 逻辑分析和化 简、建立预测模型、 控制算法获取等。以下介绍几个主要的领域:1 1 2 1 ( 1 ) 人工神经网络训练的样本约 简 人 1二 神经网 络具有并行处理、高 度容错和泛化能力强的 特点， 适合于 预测、复杂对象建模 和控制等场合。但是当神经网络规模较大，样本较多时，训练时间十分漫长，这是制约神经网 络应用的一个重要因素。 利用粗糙集理论对神经网络训练的样本进行预处理， 可以 删除训练样本中的冗余和 无用的 信息，使训练样本得以简化，提高神经网络的训练数据。特别是，通过粗糙集理论的属性约简， 可以 删除训练样本中多余的 属性， 减少神经网络输入层节点的个数， 使神经网络的拓扑结构得 以简化。 ( 2 ) 决策 支持系统 面对大量的信息和各种不确定的因 素， 要傲出 科学、合理的决 策是 非常困难的。决 策支持 系统是一组协作指定决策的t . 具， 其重要特征就是能够执行i f . - t h e n 二规则进行判断分析。粗 糙 集 理 论能 够 在大 量 经 验 数据 的 基础 上找 到 这 些 规 则， 而 且 基 于 祖 糙集 理 论 的 决策 支 持系 统弥 补了常规决策方法的不足:它允许决策对象存在一些不太明确、不太完整的属性，并经过推理 得到基本上肯定的结论。 ( 3 ) 数据库知识发现 现代社会中随着信息的迅速发展，大量来 自农业、金融、医疗、科研等领域的数据被存入 数据库中。 这些海量数据隐含许多有价值但少为人知的知识。由 于数据库的庞大，人工处理这 些数据库是不 可能的，因此出现了一 个新的 研究方向一数据库知识 发现 ( k d d ) e 粗糙集理论是 其中一个重要的研究 方法， 它采用的决策表和关系数据库中的关系数据模型很相似，便于粗糙 集理论的算法嵌入进数据库管理系统中。 6 . 3 . 2粗糙 集理论与其它知识发现 理论的 联系 粗糙集理论是一种软计算方法。 软计算方法的指导原则是利用所允 许的 不精确性、不完整性 和部分真实性去得到易于处理、成本较低的 解决方案，以便更好地与 现实系统相协调。 除了 粗 糙集理论，软计算的 主要工具还包括模糊集、神经网络、概率推理、 遗传算法及其它进化、优 化算法等 1 1 3 1这些具中与粗糙集理论联系比 较密切的有模糊集、神经网络。 rm v 达生b y ; l : 泌工乙一一一一一一 ( ! )粗糙集理论与模糊集 传统集合论认为， 一个集合完全由它的元 素决定， 一个对象要么在集 合内， 要么 在集合外， 即 它的 成员 函 蜘 . ( x ) 。 ， 1 1 0 模 糊 理 论 是 传 统 集 合 理 论的 扩 展 ， 它 给 成 员 赋予 一 个 隶 属 度 即 k x ( x ) 钊。 ， 1 , 使 得 模 糊集 合 能 够处 理 一 定的 摸 糊 和不 确 定 的 数 据。 但 模 糊 隶 属 度需 要 人 为给定，这给它的应用带来了 不便。传 统集合论和模糊理论都是 把成员关系作为初始概念来处 理，集合的并和交都建立在其元素的隶属度的m a x 和m i x 操作上，因 此隶属度必须事先给定。 而 粗 糙 集 理论 认 为 知 识 就 是 将 对 象 进 行 分 类的 能力 1 1 3 1假 定 我 们 起 初 对 全 域 里的 元 素 对 象)具有必要的信息或 知识， 通过这些知识 就能够 将其划分为不同的类别。若我们对两元素具 有相同的 信息，则创门 是不可区分的。不可区分关系是粗糙集理论中最基本的概念，在此基础 上又引 入了成员关系、 上近似和下近似等概念来刻画不精确性与模糊性。 在粗糙集理论中， 成 员关系 不再是 一个初始 概念，因此我们 无需人为 指定隶属度，从而避免了 主观因素的影响。 尽管如此，粗糙集理论和模糊集合理论并不是互相竞争的关系， 而是基于不同目 标的 数学 方法:粗糙集理论基于 知识的不可区分 性， 模糊集合则侧重于知 识的 模糊 性。不可区 分性和 模 糊性实际上是不完全知识的两个不同 侧面，但可以相 互补充。 ( 2 )粗糙集理论与神经网络 粗糙集理论与 神经网 络都是进行分类、模式识 别的重要工具. 但两者仍然存在着较大的不 同:首先，两者对知识的 表达方式不同。 粗糙集理论将所获得的知识表示成i f . . . t h e n 形式， 而神经网 络中 所获得的知识表示为神经网络中所获 得的连接节点的权值， 显然粗糙集理论的表 示形式更容易 理解和应用。其次， 两者获取知识的方式不同。粗糙集理论主要是利用对论域中 的数据进行属性约简和规则提取获取知识，而神经网络主要是通过对样本进行训练，不断调整 节点间的权值来获取知识。 这种训练带 有很大的不确定性，当网络 规模较大， 训练样本 较多时， 训练时间将十分漫长 . 再次，日 前粗 糙集理论的知 识获取方法仍然是一种确定性的方法，即一 旦确定粗糙集理论的知 识获取方法，则从 粗糙 集理 论中获取的知识和规则就是确定的。反之， 神经网络是一种不确定的算法，神经网络学习的过程中存在着大量的不确定因素.运行相同的 神经网络算法可能得到完全不同的运行结果 6 . 4粗糙集理论的研究现状 1 . 6 . 4i粗糙集理论的理论研究 粗糙集理论是建 立在完善的 数学基础之上，作为处理含糊性和不确定 性问 题的一种数学: l 具。 它可以 和概率统计、模糊数学、证据理论、人工神经网络、 遗传算法等理论结合应用， 是一种应用于人1智能分支的有效方法。 目 前粗糙集理论的理论研究主 要集中在属性约简算法的获取和分 类上p 4 1虽然己有一些 西南农业人学硕 l 学位论文_ _ _ _ _ -第 i义献综述 相关 研究成果， 但寻求快速的约简算法及其增量版本仍然是土要的研究课题之一。本文试图在 己有算法的基础上通过对多种算法进行分析比较、指出各自的性能和适应范围，井针对农业数 据特点提出一种改进属性约简速度的新算法。 1 . 6 . 4 . 2粗糙集理论的实际 应用 祖糙集理论经过十多年的研究发展，目前在医学， 药学，i _ 业，_ _ 程，控制系统， 社会科 学， 地球科学，图像处理等领域都有应用。尤其适合于数据约简、 数据依赖性发现、 数据相关 发现、数据中 类似与差异发 现、决策算法生成、近似分类等。 在过去的儿年中，部分基于粗糙集理论的k d d 系统也已 相继建立。其中最具代表性的有 k d d - r , l e r s 、 和 r o u g h d a s 实地测量和仪器误差所导致的 数据粗糙:农业数据量人， 涉 及的 属性多等 特点使得农业领域数据库知识发现研究一直较为困难。 过去的一段时间，尽管一些科技工作者从模糊集理论、 遗传算法等角度进行了 农业领 域 数 据 库 知 识 发 现的 研究 1 6 1 1 1 7 1 ， 但由 于 这 些 技 术 在 得 到 决 策规 则 和 推 理 过 程中 都 需 要 数 据 先 验 知识的介入， 而且获取的结果也并不特别易于评价和解释， 很容易造成知识获取的“ 瓶颈 问题。 粗糙集理 论 ( r o u g h s e t s t h e o ry )的出 现为问 题的解决提供了一条新的途径。 它以对 观察 和测 量所得数据进行分类的能力为基础，以集合论为数学i : 具， 在不需要任何先验知识的情 况下 完成对知识的处 理。 本文在接下来的部分针对农业领域数 据特点展开基于粗糙集理论的 农业数据库知识发现研究和讨论。 亚曳 a 螃组 -r 应 2120 x122i x 51 2 00 在信息系统中， 对象由 一组属性集表示.如 果某些对象在考虑的 属性集上取值完全相同， 则这些对象在这一组属性上不能互相区分，也就是具有不可分辩关系。 对于 这 个 例 子， 由 属 性 集( a , b 划 分的 所 有 等 价 类 为: u a n d ( a ,b ) )二 x , , x 2 , x 3 ) , x 6 , x 5 ) ) ，即x 2 和 x 3 基于 a , b ) 是不可分辩的; 、和 x 5 基 于 a ,b ) 是 不 可 分 辩的 。 表 2 表示了这样的等价类，其中e 1 = x , , e 2 = x 2 . x , , e 3 = d x , . x ; 表2等价类 等价类 a b e110 e 22i e 3i2 3 . 2 粗糙集理论的特征描述 3 . 2 . 1 近似精度 由 等 价 关 系r 定 义的 集 合x的 近 似精 度 为 p 叹 a r m 司 r x m r x !显 然 ，, 0 a r ( x ) c 1 a r 闪反 映 了 利 用 知 识r 近 似表 示x 的 完 全 程 度。 当a r ( x ) = 1 时 ， x是r 精确 集， 其边 界 域 为 空 集; 当。 d e s ( x 1 ) :即( a l = p ， 。 ) a ( a 2 = ii ， ) 一 ( a 4 = u 动 r 2 1 : d e s ( e z ) 一 d e s ( x 2 ) :即( a 1 = p ， 。 )a ( a 2 = u : :) 一 ( a 4 = u . ) r 3 1 : d e s ( e 3 ) 一 d e s ( x 1 ) ; 即( a 1 = p 】 ， )八( a 2 = p ，) 一 ( a 4 = p . ) r 4 1 : d e s ( e 4 卜 d e s ( x 1 ) : 即 ( a l = p 。 : )h ( a 2 = p ,) 一 ( a 4 = i t . ) r 5 1 不存在:根据e 判断r 中，记录属于x 1 类的精确度为0 . 5 4 , 西南农业大学硕士学位 论文第3 章姐糙集理 论体系研究 ( 2 )当e 为前提， x 2 为结论，可得 到如下规则: r