MSMiner课程项目介绍

1、MSMiner课程项目介绍中科院计算所智能信息处理重点实验室智能科学组多策略数据挖掘平台软件MSMinerMSMiner( Multi-Strategies Data Miner)是一个针对决策支持的以数据仓库为基础的通用数据挖掘平台软件，同时提供了一个轻量级的数据仓库解决方案。MSMiner是什么?数据仓库的设计、建模 第三方工具如PowerDeginer数据转换与集成 MSETL数据存储与管理 第三方工具 如 Oracle, SQLServer等数据分析和展现 MSOLAP 采用第三方查询、报表工具 如BO。数据仓库的维护和管理 MSMetaData一个数据仓库解决方案主要包括：统计分析或

2、数据挖掘工具 MSDM背景介绍MSMiner由中科院计算所智能信息处理重点实验室从1999年开始设计和实现，经历了早期的VB版本，后来又用VC重新实现，目前正在开发3.0版本。MSMiner体系架构 MSMiner体系结构外部事务型数据库数据仓库元 数 据 管 理数据抽取、转换、装载(Extract Transform Load)主题2主题1主题nOLAP及可视化工具数据挖掘模块.MSMiner的数据仓库以功能强大的元数据管理MetaServer为调度中心 数据仓库管理工具 MSMetaDataETL（数据抽取、装载、转换）工具 MSETLOLAP（联机分析处理）工具MSOLAP 数据挖掘(D

3、ata Mining)工具 MSDMMSMiner功能特点MSMiner的若干特点：1）通过ODBC接口将数据存储在第三方关系数据库(如Oracle、Sybase、SQL Server、Informix和IBM DB2等），支持多种不同的数据源； 2）采用DLL形式封装数据挖掘算法，从而可以灵活扩充，这样就提供了丰富的挖掘策略。3）以对话框向导引导用户建立ETL和数据挖掘任务，以面向对象的方式来组织和执行ETL和数据挖掘任务4）在挖掘任务执行引擎中，提供了任务调度功能，可以定时定期地执行挖掘任务，同时采用多线程技术并发地执行挖掘任务和任务中的步骤。 MSMiner启动时欢迎界面MSMiner登

4、录界面MSMiner控制台MSMiner数据仓库管理子系统MSMetaDataMSMiner ETL子系统MSETLMSMiner联机分析处理子系统MSOLAPMSMiner数据挖掘子系统MSDM课程项目内容要求对MSMiner数据挖掘子系统进行扩展开发，选择实现下列某种算法：1聚类算法：k-means、k-harmonic2分类算法：C4.5、SVM、GA3关联规则：Apriori、FP-tree4神经网络提交要求和项目流程提交要求和项目流程如下：1）可以两至三人为一小组工程实现；2）实现结果为符合MSMiner数据挖掘子系统挖掘算法DLL接口规范要求的DLL文件。3）开发完毕，在机房MSM

5、iner环境下进行测试。4）最后提交程序源码和实验报告，在实验报告中要写清算法步骤、说明以及心得体会等，源码要求有清晰明确的注释。课程项目预备知识以下为完成此项目的预备知识：深刻掌握一种或几种数据挖掘算法，如聚类、分类、关联规则、神经网络算法等，能够用 C/C+ 编程实现。 熟悉 VC+6.0 IDE 编程环境，掌握 MFC 编程机制及其用法。 了解组件编程技术，能够开发简单的 DLL 程序。 数据库基础知识、熟悉 SQL 语句。课程项目提供的资源可供参考的资源:(/shizz/AAI-project.html)1）MSMiner数据挖掘 子系统挖掘算法DLL的 接口详细说明2）两个算法DLL

6、开发示例 (BP算法、SOM算法)3）算法DLL公共代码框架 (一组工程文件，工程名为AssocALG) 4）训练数据与测试数据5）书：史忠植 著 . 知识发现 . 清华大学出版社 .2002. P295326，可帮助了解 MSMiner 体系设计、编程架构等背景知识。常见问题解答几个常见问题的说明：1）Q：为什么要实现DLL程序，可以实现成可执行程序吗？A：因为本次实验要开发算法DLL程序，目的正是用于封装数据挖掘算法，并最终由MSMiner数据挖掘子系统所调用。所以不能实现成可执行程序。2）Q：算法DLL接口规范是否很复杂，难以在短时期内实现？A：我们已经提供了算法DLL接口规范文档，接口

7、函数只有四个，其中只有两个要自己实现，其余两个可直接使用示例代码。开发人员要做的就是将算法功能实现和封装，使得可以通过两个接口函数MSMiner之MSDM就能所用该算法的功能。3）Q：我注意到接口规范中提供算法DLL的公用函数类CPublicFunc，它有什么用？DLL算法程序1MSMiner数据挖掘子系统MSDMDLL算法程序2DLL算法程序3DLL算法程序n元数据管理MetaServer. 在每个算法的具体实现中，不可避免的要实现数据的输入输出及相关参数的存储。 而在整个MSMiner平台中，数据的输入输出等由元数据管理模块统一管理。 因此，DLL程序要与元数据管理模块打交道。与元数据管理模块交互用到时了COM技术，为了降低开发负担，我们提供了CPublicFunc公共函数类，该类提供了一些成员函数，封装调用了元数据管理模块MetaServer的很多功能。开发人员可生成实例对象，直接调用其成员函数与元数据管理组件服务程序交互，避免去了解COM技术。4）Q：算法的数据输入输出及参数设置界面是统一的吗？A：算法肯定要涉及到数据输入输出及参数设置