clementine数据挖掘基础培训

1、Clementine基础培训基础培训第一部分第一部分介绍介绍Clementine数据挖掘软件的基本操作和环境，学习如数据挖掘软件的基本操作和环境，学习如何使用何使用Clementine读取、处理数据读取、处理数据 2006 SPSS Inc.2培训内容培训内容 第一章第一章 Clementine简介第二章第二章 读取数据文件第三章第三章 数据质量第四章第四章 数据处理第五章第五章 寻找数据之间的关系第一章第一章 Clementine简介简介 2006 SPSS Inc.419681968成立成立1993,Nasdaq1993,Nasdaq上市上市总部总部: Chicago : Chicago

2、遍布全球遍布全球6060多个国家多个国家2000 2000 多名员工多名员工超过超过250,000 250,000 家企业使用家企业使用SPSSSPSS2 2百多万名授权用户百多万名授权用户SPSS SPSS 世界级软件公司世界级软件公司ChicagoChicago 2006 SPSS Inc.5SPSS 银行业用户银行业用户The World Bank Group 2006 SPSS Inc.6SPSS 保险业用户保险业用户 2006 SPSS Inc.7SPSS 电信业用户电信业用户 2006 SPSS Inc.8Clementine系统结构图系统结构图 2006 SPSS Inc.9 C

3、lementine 简介简介实用的数据挖掘方法论CRISPDM 图形化的操作环境，提高了易用性、减低了入门要求和学习时间 率先引入可视化建模思想和数据展现概念 Client/Server的结构提高了处理大数据量的能力Data Preparation 的优越功能 多种（Telecom、Fraud、CRM）Clementine应用模板（CATs) 有多家合作伙伴开发行业应用方案，Siebel、Sybase等公司已选用Clementine作为其CRM和BI方案的数据挖掘平台。 2006 SPSS Inc.10Clementine 特点特点支持图形化界面、菜单驱动、拖拉式的操作 提供丰富的数据挖掘模型

4、和灵活算法 具有多模型的整合能力，使得生成的模型稳定和高效 数据挖掘流程易于管理、可再利用、可充分共享 提供模型评估方法 数据挖掘的结果可以集成于其它的应用中 满足大数据量的处理要求 能够对挖掘的过程进行监控，及时处理异常情况具有并行处理能力 支持访问异构数据库 提供丰富的接口函数，便于二次开发 挖掘结果能够转化为主流格式的适当图形 2006 SPSS Inc.11 Clementine操作简介操作简介l内容熟悉 Clementine 中的工具和面板介绍可视化编程的思想l目的初步了解 Clementine 的功能l数据课程配有相应的虚拟的数据文件 2006 SPSS Inc.12Clement

5、ine用户界面用户界面数据流区域工具栏 菜单栏 选项板区节点数据流，输出和模型管理器项目窗口 2006 SPSS Inc.13可视化编程可视化编程l节点一个图标代表在 Clementine 中进行的一个操作l工作流一系列连接在一起的节点l选项板包含一系列不同功能的图标 2006 SPSS Inc.14选项板选项板源节点用来将数据读入 Clementine 中记录选项节点在记录上进行操作一条记录是一种“情形”或一“行”数据字段选项节点在字段上进行操作一个字段是一个变量图形节点在建模之前和之后用来可视化数据建模节点代表有效建模算法注意：建模算法产生生成的模型 2006 SPSS Inc.15在下面

6、一部分在下面一部分举例：举例：增加一个节点移动一个节点编辑一个节点重新命名一个节点复制一个节点删除一个节点注释一个节点保存一个节点重新载入一个节点连接节点删除节点连接获得帮助 2006 SPSS Inc.16增加一个节点增加一个节点在选项板上双击节点，自动放置节点到数据流区域注意：它会自动地连接到“中心”节点将节点从选项板拖放到数据流区域中在选项板上点击一个节点，然后在数据流区域中点击一下未选未选择择选择选择当节点在选项板中被选中后，会变成淡蓝色 2006 SPSS Inc.17编辑一个节点编辑一个节点在节点上右击，展开一个节点点击 “编辑”在菜单上还可以选择连接、断开连接、重命名、注释、复制

7、、删除、载入、保存等操作 2006 SPSS Inc.18连接节点连接节点使用鼠标中键来连接节点在数据流区域上，把一个节点连接到另一个上，可以通过鼠标中间键点击和拖放来完成（如果您的鼠标没有中间键，可以通过按住“Alt”键来模拟这个过程）通过双击来连接节点双击选项板上的节点，自动把新节点连接到数据流区域中的“中心”节点上使用鼠标中键使用鼠标中键未选中的节点（灰白色）未选中的节点（灰白色）被选中的节点被选中的节点（淡蓝色）（淡蓝色） 2006 SPSS Inc.19删除节点之间的连接删除节点之间的连接在连接箭头的头部按住鼠标右键选择“删除连接” 2006 SPSS Inc.20关于连接节点：关于

8、连接节点：源节点源节点源节点是连接到初始数据源的节点源节点只能发送数据不能连接到一个源节点 2006 SPSS Inc.21关于连接节点：关于连接节点：终端节点终端节点终端节点是生成输出、图形、表格和模型的节点不能从终端节点连接到任何节点 2006 SPSS Inc.22设置目录设置目录为了方便地存取数据文件或流,您可以将目录设定为自己文件的位置只在本次操作中起作用通过选择菜单“文件”中 “设置目录”选项，然后输入或选择工作目录 2006 SPSS Inc.23Clementine 客户端和服务器端客户端和服务器端Clementine 可以运行在 客户端和服务器端两种模式下默认的模式是客户端在

9、菜单 “工具” 中选择 “服务器登录”注意 Clementine 客户端和服务器端版本必须匹配 2006 SPSS Inc.24帮助菜单帮助菜单帮助主题CRISP-DM 帮助教程软件使用辅助选项帮助键盘代替鼠标操作 这是什么第二章第二章 读取数据文件读取数据文件 2006 SPSS Inc.26课程简介课程简介l内容Clementine 中可以读取的数据格式读取文本数据文件读取 SPSS 数据文件使用 ODBC 读取数据库查看数据Clementine 中的数据类型和字段方向保存 Clementine 数据流l目的介绍数据读入 Clementine 的一些方法 2006 SPSS Inc.27C

10、lementine 中读取数据格式中读取数据格式文本文件SPSS 数据文件ODBC 兼容的数据库SAS 数据文件用户输入文件 2006 SPSS Inc.28文本文件文本文件自由字段文本文件是包含分隔符（逗号、制表符、空格或一些其它字符）的数据文件，可以使用变项文件节点读取数据如果数据是列界定的（字段未被分隔，但是始于相同的位置并有固定长度），应该使用固定文本文件导入固定文件节点读取文件SmallSampleComma.txtSmallSampleFixed.txt 2006 SPSS Inc.29读取自由字段文本文件读取自由字段文本文件添加变量文件节点到数据流区域编辑节点指向文件 Small

11、SampleComma.txt通过选择“类型”条目检查结果 2006 SPSS Inc.30读取固定字段文本文件读取固定字段文本文件移动一个固定文件节点到数据流区域编辑这个节点指向文件 SmallSampleFixed.txt构造 4 个新字段，列出变量名和字段长度交互式手动输入 2006 SPSS Inc.31读取读取 SPSS 数据文件数据文件添加 SPSS 文件节点到数据流区域编辑节点，指向文件 SmallSample.savSPSS 数据文件有特殊的“标签”：变量标签描述字段数值标签附上解释数值的编码 2006 SPSS Inc.32数据库节点数据库节点使用数据库节点前必须配置 ODB

12、C 驱动去指定数据库的位置“控制面板-管理工具” 选择 ODBC选择 “添加” 2006 SPSS Inc.33添加添加 ODBC 数据源数据源选择合适的 ODBC 驱动，该驱动应该匹配数据库的名称和版本数据源 Holidays数据库文件custandhol.mdb 2006 SPSS Inc.34使用数据库节点使用数据库节点添加并编辑数据库节点：选择数据库节点连接数据源选择“添加新的数据库连接”在数据源列表中选择需要连接的数据源，点击连接选择需要读取的表格 2006 SPSS Inc.35定义字段类型定义字段类型类型节点指定字段的一系列重要属性指定字段类型、方向和缺失值Clementine

13、可以自动设置变量类型，用户也可以强制指定类型为建立模型，指定字段的方向指定缺失值以及如何处理缺失值变量值检查保证字段值满足一定的设置 2006 SPSS Inc.36定义字段类型定义字段类型字段类型帮助您理解正在使用的数据，是一些数据准备和所有建模程序所必需的字段类型：连续型 用于描述数值，如0-100 或者0.75-1.25 内的连续值一个连续值可以是整数、实数或日期/时间离散型用于当一个具体值的精确数量未知时描述字符串，一旦数据被读取，其类型就会是标记、集合或者无类型集合型 用于描述带有多个具体值的数据（黄、绿、蓝）标记型 用于只取两个具体值的数据（真、假）无类型 用于不符合上述任一种类型

14、的数据或者含有太多元素的集合类型数据 2006 SPSS Inc.37字段实例化字段实例化在读取值前数据称为未实例化，字段设置为连续或离散型通过读取值后数据完全实例化，字段的取值和类型都是可知的通过类型节点或数据源节点上的类型条目可以指定数据类型 2006 SPSS Inc.38字段实例化字段实例化何时在源节点实例化数据集不太大不打算以后在流中增加字段何时在类型节点实例化数据集较大，而且流在类型节点前就过滤了子集数据在流中被过滤数据在流中被合并或追加在处理过程中导出新的数据字段 2006 SPSS Inc.39字段类型字段类型用变项文件节点读取SmallSampleComma.txt字段实例化

15、将ID字段的类型修改为无类型 2006 SPSS Inc.40字段方向字段方向输入：输入或者预测字段输出：输出或者被预测字段字段两者：既是输入又是输出，只在关联规则中用到无：建模过程中不使用该字段分区：将数据拆分为训练、测试（验证）部分字段方向设置只有在建模时才起作用第三章第三章 数据质量数据质量 2006 SPSS Inc.42课程计划课程计划l内容缺失数据定义介绍质量节点使用数据审核节点检查所有字段的分布l目的熟悉Clementine 中的一些用来发现数据的准确性、完整性和数据整体分布的方法 2006 SPSS Inc.43缺失数据类型缺失数据类型系统缺失值，也被称作 nulls，这些值在

16、数据库中被留为空格，而且在类型节点上它们并不被明确设置为“缺失”系统缺失值在 Clementine中显示为 $null$用户自定义缺失值，也被称作空白 blanks，这些值在类型节点上被明确地定义为缺失确定为空白的数据值被标记为特殊对待，而且在大多数计算中被剔除 2006 SPSS Inc.44SmallSampleMissing.txt 2006 SPSS Inc.45自动定义缺失值自动定义缺失值在类型条目对话框中：右击菜单中选中“全选”再右击选中设置“缺失”选择“开” 2006 SPSS Inc.46数据审核数据审核打开数据流：数据稽查.str使用制表节点输出表格：共有 4117 条记录使

17、用数据审核节点连接类型节点检查数据整体的分布抽样条目选择抽样当记录数多于 5000 ，这样可以检查所有的记录执行数据审核节点输出检查结果 2006 SPSS Inc.47输出检查结果输出检查结果点击小图看完整的分布图或直方图第四章第四章 数据处理介绍数据处理介绍 2006 SPSS Inc.49课程计划课程计划l内容介绍选择节点处理记录介绍几个字段处理节点：过滤、字段重排、导出和重新分类介绍如何自动生成字段和记录处理节点l目的学会使用Clementine中 一些可用的数据处理技术，并使用这些技术清洗和精炼数据 2006 SPSS Inc.50数据处理技术数据处理技术CLEM（ Clementi

18、ne Language for Expression Manipulation ）是一种功能强大的语言，用来分析操作 Clementine 中使用的数据用在导出、选择、过滤、平衡和报告等节点这些函数可以导出新的值、根据条件选择记录、比较和评估数据、插入数据注意：为了将错误减少到最小，当使用注意：为了将错误减少到最小，当使用 CLEM时经常需要为字段名加上单引号时经常需要为字段名加上单引号 2006 SPSS Inc.51表达式构造器表达式构造器l尽量不要手动输入CLEM 表达式 2006 SPSS Inc.52选择节点选择节点打开数据流：选择节点.str使用选择节点连接类型节点选择符合条件“I

19、NCOME 20000”的记录选择模式“包含”使用分布节点分别连接类型节点和选择节点生成字段 RISK 的分布比较选择前后的分布 2006 SPSS Inc.53两个分布的比较两个分布的比较选择前选择后 2006 SPSS Inc.54过滤节点过滤节点打开数据流：过滤节点.str使用过滤节点连接类型节点改变字段名 STORECAR 为 STORECARDS 移除字段 ID使用制表节点输出表格查看结果 2006 SPSS Inc.55字段重排节点字段重排节点使用字段重排节点连接过滤节点重新排列字段顺序点击“选择字段”按钮选择字段 ：NUMKIDS，NUMCARDS和 RISK 点击“移动选定字段

20、到顶部”选项将字段 Risk 移到顶部使用制表节点输出表格查看结果 2006 SPSS Inc.56导出节点导出节点使用导出节点连接过滤节点导出新字段导出节点四种形式：导出规则导出标记导出集合导出条件 2006 SPSS Inc.57重新分类节点重新分类节点使用重新分类节点连接最后一个导出节点选择单一模式重分类 Risk 字段为新字段 RISKCATbad loss，bad profit 新值badgood risk 新值 good使用制表节点输出表格通过表格比较两个字段 2006 SPSS Inc.58CLEM 建议建议大小写敏感性在字符值和所有变量（字段）名上加引号当涉及数值时使用小数点（

21、 0.0） 标准 CLEM 函数全部是小写字母任何以 开头的 CLEM 函数都是大写字母 2006 SPSS Inc.59自动生成节点自动生成节点大部分输出都包含“生成”菜单项，可以自动生成一个节点 2006 SPSS Inc.60自动生成导出节点自动生成导出节点使用直方图节点连接最后一个导出节点直方图节点中选择字段INCOME 生成直方图在生成的直方图上数值 20000、30000、40000 处点击自动生成导出节点导出集合第五章第五章 寻找数据之间的关系寻找数据之间的关系 2006 SPSS Inc.62课程计划课程计划l内容介绍网络图节点和矩阵节点研究符号字段之间关系使用相关系数来研究数值字段之间关系l目的探索一些在Clementine中研究字段之间关系的途径 2006 SPSS Inc.63在数据中寻找关系在数据中寻找关系矩阵节点生成符号数据交叉列联表网络图节点可视化表现符号数据之间的关系统计量节点计算数值字段之间的相关系数散点图节点和直方图节点可视化表现数值数据（交叠符号字段） 2006 SPSS Inc.64矩阵节点：关联两个符号字段矩阵节点：关联两个符号字段打开数据流：Riskdef.str使用矩阵节点连接类型节点生成列联表RISK