aai知识发现和数据挖掘高级人工智能史忠植

1、第九章 知识发现和数据挖掘 数据挖掘工具MSMiner 中科院计算所 2021/5/281 主要内容 研究背景 MSMiner体系结构 元数据 数据仓库平台 数据采掘集成工具 2021/5/282 典型的知识发现系统(3) SAS公司的SAS Enterprise Miner IBM公司的Intelligent Miner Solution公司的Clementine DataEngine DBMiner 中科院计算技术研究所的MSMiner 2021/5/283 知识发现工具SAS(1) SAS公司的SAS Enterprise Miner是一种通用的 数据挖掘工具。通过收集分析各种统计资料和

2、客 户购买模式，SAS Enterprise Miner可以帮助您 发现业务的趋势，解释已知的事实，预测未来的 结果，并识别出完成任务所需的关键因素，以实 现增加收入、降低成本。 2021/5/284 知识发现工具SAS(2) SAS Enterprise Miner提供抽样-探索-转换-建 模-评估(SEMMA)的处理流程。数据挖掘算法有： 聚类分析，SOM/KOHONEN神经网络分类算法 关联模式/序列模式分析 多元回归模型 决策树模型(C45, CHAID, CART) 神经网络模型(MLP, RBF) SAS/STAT，SAS/ETS等模块提供的统计分析模 型和时间序列分析模型也可嵌入

3、其中。 2021/5/285 知识发现工具Intelligent Miner IBM公司的Intelligent Miner具有典型数据 集自动生成、关联发现、序列规律发现、 概念性分类和可视化显示等功能。它可以 自动实现数据选择、数据转换、数据发掘 和结果显示。若有必要，对结果数据集还 可以重复这一过程，直至得到满意结果为 止。 2021/5/286 知识发现工具Clementine Solution公司的Clementine 提供了一个可视化 的快速建立模型的环境。它由数据获取（Data Access）、探查（Investigate）、整理 （Manipulation）、建模（Modeli

4、ng）和报告 （Reporting）等部分组成。都使用一些有效、易 用的按钮表示，用户只需用鼠标将这些组件连接 起来建立一个数据流，可视化的界面使得数据挖 掘更加直观交互，从而可以将用户的商业知识在 每一步中更好的利用。 2021/5/287 数据挖掘工具: 公用系统 MLC+ Matlab Brute 2021/5/288 知识发现工具MSMiner 中科院计算技术研究所智能信息处理开放实验室开 发的MSMiner是一种多策略知识发现平台，能够提供 快捷有效的数据挖掘解决方案，提供多种知识发现方 法。 MSMiner具有下列特点： 提出了一种面向对象的元数据结构， 设计实现了一种简单但有效的

5、数据仓库平台 提出了一种面向对象的数据挖掘任务模型 设计了一种可扩展算法库 2021/5/289 数据仓库: 特征 面向主题 集成性 稳定性 随时间变化 2021/5/2810 9、 人的价值，在招收诱惑的一瞬间被决定。21.6.2121.6.21Monday, June 21, 2021 10、低头要有勇气，抬头要有低气。20:23:0620:23:0620:236/21/2021 8:23:06 PM 11、人总是珍惜为得到。21.6.2120:23:0620:23Jun-2121-Jun-21 12、人乱于心，不宽余请。20:23:0620:23:0620:23Monday, June

6、21, 2021 13、生气是拿别人做错的事来惩罚自己。21.6.2121.6.2120:23:0620:23:06June 21, 2021 14、抱最大的希望，作最大的努力。2021年6月21日星期一下午8时23分6秒20:23:0621.6.21 15、一个人炫耀什么，说明他内心缺少什么。2021年6月下午8时23分21.6.2120:23June 21, 2021 16、业余生活要有意义，不要越轨。2021年6月21日星期一20时23分6秒20:23:0621 June 2021 17、一个人即使已登上顶峰，也仍要自强不息。下午8时23分6秒下午8时23分20:23:0621.6.21

7、 9、 人的价值，在招收诱惑的一瞬间被决定。21.6.2121.6.21Monday, June 21, 2021 10、低头要有勇气，抬头要有低气。20:23:0620:23:0620:236/21/2021 8:23:06 PM 11、人总是珍惜为得到。21.6.2120:23:0620:23Jun-2121-Jun-21 12、人乱于心，不宽余请。20:23:0620:23:0620:23Monday, June 21, 2021 13、生气是拿别人做错的事来惩罚自己。21.6.2121.6.2120:23:0620:23:06June 21, 2021 14、抱最大的希望，作最大的努力

8、。2021年6月21日星期一下午8时23分6秒20:23:0621.6.21 15、一个人炫耀什么，说明他内心缺少什么。2021年6月下午8时23分21.6.2120:23June 21, 2021 16、业余生活要有意义，不要越轨。2021年6月21日星期一20时23分6秒20:23:0621 June 2021 17、一个人即使已登上顶峰，也仍要自强不息。下午8时23分6秒下午8时23分20:23:0621.6.21 数据仓库: OLAP MOLAP ROLAP 2021/5/2813 数据挖掘和数据仓库的结合 数据仓库为数据挖掘提供经良好处理的 数据源 数据挖掘为数据仓库提供深层数据分析

9、 手段 2021/5/2814 MSMiner体系结构 设计目标： 提供快捷有效的数据挖掘解决方案。 设计要求： 开放性 可扩展性 效率 易用性 2021/5/2815 MSMiner体系结构 MSMiner体系结构示意图 客户端服务器端 元数据模块 执行数据采掘任务 编辑数据采掘任务 数据采掘集成工具 数据抽取和集成 主题组织 OLAP可视化 数据仓库管理器 数据仓库 OLE DB for ODBC 2021/5/2816 元数据的内容 关于外部数据源的 关于内部数据的（包括数据库、表、字段的信息） 关于数据仓库的（包括事实表、维表、立方以及 其它的中间表） 关于用户信息的 数据采掘算法（包

10、括算法的参数信息） 关于采掘任务的（包括采掘步骤、每个步骤的所 用的参数） 2021/5/2817 元数据：元数据库 2021/5/2818 元数据：元数据对象模型 设计思路 一致性 完备性 易维护性 2021/5/2819 元数据是 层次的 嵌套的 封装的 互相联系的 采用面向对象的方法 60多个类 元数据的结构 2021/5/2820 数据仓库平台：结构 MSMiner数据仓库结构示意图 外部数据 数据仓库 元 数 据 数据抽取、清洗、聚集、转换 主题2主题1主题n OLAP及可视化工具 数据采掘集成工具 . 2021/5/2821 数据仓库平台：数据抽取和集成 数据的简单抽取和集成 数据

11、的复杂处理 面向数据挖掘的数据预处理 2021/5/2822 数据抽取和集成: MSETL MSETL系统作为本实验室数据处理软件系列的 一个重要组成部分，主要完成从业务数据源到 分析数据源的转换功能。具体包括从异质业务 数据源中抽取需要的数据，对这些数据进行多 种预处理，把经过处理后的数据装载入指定数 据仓库/数据库 2021/5/2823 数据抽取和集成: MSETL 用户界面 （ETL转换函数和ETL任务）逻辑处理 元数据管理 数据库服务器 2021/5/2824 数据抽取和集成: MSETL 支持多种数据源和目的数据库 良好的可扩充性 高效率的调度执行功能 增量更新功能 2021/5/

12、2825 数据抽取和集成: MSETL 2021/5/2826 数据抽取和集成: MSETL 2021/5/2827 数据仓库平台：数据仓库建模 产品号 产品名称 产品目录 产品表 订单号 订货日期 订货表 客户号 客户名称 客户地址 客户表 产品号 客户号 订单号 时间标识 地区名称 产品数量 总价 事实表 时间标识 月 季度 年 时间表 地区名称 省别 地区表 星型模型 2021/5/2828 OLAP MOLAP, ROLAP, HOLAP OLAP 的操作 Slice Dice Roll up Drill down Pivot OLAP方案 对小规模数据: ActiveX OCX 对大

13、规模数据: 前台工具 + MS OLAP Server 2021/5/2829 数据立方 2021/5/2830 OLAP MOLAP, ROLAP, HOLAP OLAP 的操作 Slice Dice Roll up Drill down Pivot OLAP方案 对小规模数据: ActiveX OCX 对大规模数据: 前台工具 + MS OLAP Server 2021/5/2831 数据立方 2021/5/2832 数据仓库平台：OLAP的实现 2021/5/2833 元数据的内容 关于外部数据源的 关于内部数据的（包括数据库、表、字段的信息） 关于数据仓库的（包括事实表、维表、立方以及

14、 其它的中间表） 关于用户信息的 关于算法（包括算法的参数信息） 关于采掘任务的（包括采掘步骤、每个步骤的所 用的参数） 2021/5/2834 数据挖掘集成工具：结构 数据挖掘集成工具结构示意图 数据仓库平台 任务编辑任务规划 和执行 算法库 算法管理元数据 任务模型库、算法描述 2021/5/2835 数据挖掘集成工具：数据挖掘任务模型 Step1Step2 Step4 Step3 Step5 DMTask = (V, R) V = x | x StepObjects R = | P(x, y) x, yV 2021/5/2836 数据挖掘集成工具：数据挖掘任务模型 步骤对象BNF语法定义

15、： := ; := |; := , := |; := , := | := | := * 2021/5/2837 数据挖掘集成工具：编辑任务模型 任务向导 2021/5/2838 数据挖掘集成工具：编辑任务模型 任务编辑图板 2021/5/2839 数据挖掘集成工具：处理任务模型 人机界面 主控模块规划器解释器 缓存函数库黑板 任务模型库 数据采掘任务处理引擎的结构 2021/5/2840 数据挖掘集成工具：处理任务模型 任务规划和解释执行 S1 S3 S2S4 S5 S1 - S2 - S3 - S4 - S5 2021/5/2841 数据挖掘集成工具：DML语言 DML函数 n人机交互和控制

16、台输入/输出 n数值计算 n字符串处理 n图形、图表展示 n文件操作 n数据库访问 n网络通讯 n对象访问 n消息处理和流程控制 n黑板操作 n外部功能调用 n其它辅助功能 2021/5/2842 数据挖掘集成工具：内嵌 决策树 SOM神经网络 粗糙集 关联规则 2021/5/2843 决策树 2021/5/2844 知识约简 知识约简在保持知识库的分类或决策能力 不变的条件下，删除其中不相关或不重要知识 冗余知识 资源的浪费；干扰人们作出正确而简洁的决策 Rough Set把那些无法确认的个体都归属 于边界线区域，而这种边界线区域被定义为上 近似集和下近似集之差集（Z.Pawlak ） 知识

17、约简是粗糙集的核心内容之一 2021/5/2845 Rough Set约简 2021/5/2846 数据挖掘集成工具：外联 BP神经网络 统计分析 模糊聚类 超曲面分类 SVM 贝叶斯网络 基于范例推理(CBR) 隐马尔科夫模型(HMM) 2021/5/2847 BP用于预测 2021/5/2848 统计工具 线性回归模型 一元线性回归、多元线性回归、逐步回归 非线性回归模型二次曲线、三次曲线、指数曲线、 幂指数曲线、生产函数等模型 确定型时间序列模型指数平滑法、趋势移动平均 法（水平趋势、线性趋势和二次曲线趋势）、成长曲 线模型（Compertz曲线、Logistic曲线和修正指数曲 线 ）、季节指数法 随机型时间序列模型（自回归移动平均模型ARMA） 相关分析 2021/5/2849 自回归动平均( ARMA) 2021/5/2850 模糊聚类 基于传递闭包的模糊聚类 计算模糊相似矩阵的传递闭包， 从而获得传递闭包法的模糊聚类 基于摄动的模糊聚类 参数系 相似矩阵的最优模糊等价阵及其等价标 准型获得失真最小