数据挖掘与Clementine使用培训(电信)

数据挖掘与Clementine使用培训(电信)2一、数据挖掘概述什么是数据挖掘数据挖掘的实现路线和流程数据挖掘方法论——CRISP-DM3为什么进行数据挖掘？商业观点业务中产生了大量的数据，这些数据存储在业务系统中却不能创造价值客户信息数据客户交易行为数据客户反馈数据网络数据……计算机变得越来越便宜、功能却越来越强大商业竞争越来越激烈，对客户了解越多就意味着机会越大4为什么进行数据挖掘？技术观点业务中的数据量呈现指数增长（GB/小时）传统技术难以从这些大量数据中发现有价值的规律数据挖掘可以帮助我们从大量数据中发现有价值的规律TheDataGapTotalnewdisk(TB)since1995NumberofanalystsFrom:R.Grossman,C.Kamath,V.Kumar,“DataMiningforScientificandEngineeringApplications”5一个市场营销的例子在数据中发现有价值的规则或者模式女性对市场活动做出回应，男性对市场活动不做出回应，和年龄无关6一个市场营销的例子数据变的复杂会如何？女性对市场活动做出回应，老年男性也可能对市场活动做出回应7一个市场营销的例子数据挖掘可以从异常复杂的数据中发现规律通过数据挖掘发现回应的5条规则：1、如果收入大于29622，有孩子，并且孩子的数量小于等于2，那么对市场活动会回应……通过数据挖掘发现不回应的5条规则：1、如果收入小于12640.3，并且有一个孩子，那么对市场活动不会回应……8数据挖掘收益分析向60%的客户发信，得到了90%的收益数据挖掘的意义9利润分析图10数据挖掘效果模拟分析数据挖掘以前数据挖掘以后差别发信的数量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)响应的数量10,0009,000(1,000)每个响应的收入$125$125$0总收入$1,250,000$1,125,000($125,000)净利润$250,000$375,000$125,000建模的费用040,000$40,000最终的利润$250,000$335,000$85,000目的：发现新客户(使响应率从1%提高到1.2%)11什么是数据挖掘？不同的定义从大量数据中发现非平凡的、先前不知道的、有价值的规律的过程从大量数据中自动化（或者半自动化）的发现有价值规律的过程数据挖掘的其他名称数据库内知识发现（KDD-Knowledgediscoveryindatabases）数据/模式分析商业智能人工智能……12数据挖掘的起源来源于机器学习/人工智能、模式识别、统计学和数据库传统技术的局限性巨量的数据高维数据数据分布不理想机器学习/模式识别统计学数据挖掘数据库系统13数据挖掘面临的挑战海量数据高维数据数据复杂性数据质量问题数据所有权和分布隐私问题14数据挖掘方法论—项目顺利实施的保证商业理解数据理解数据准备建立模型模型评估模型发布15商业理解商业理解数据理解数据准备建立模型模型评估结果发布确定商业目标形势评估确定数据挖掘目标制定项目计划背景商业目标成功标准拥有资源需求、假定和限制风险和偶然性专业术语成本和收益数据挖掘目标数据挖掘成功标准项目计划工具和方法评估16数据理解商业理解

数据理解数据准备建立模型模型评估结果发布收集原始数据数据描述数据探索性分析数据质量描述数据收集报告数据描述报告探索性数据分析报告数据质量报告17数据准备商业理解数据理解数据准备建立模型模型评估结果发布选择数据确定分析包含/剔除数据数据集数据集描述数据清理数据清理报告数据重构生成新的变量（字段）生成新的记录整合数据合并相关数据格式化数据改变数据格式，适应分析18建立模型商业理解数据理解数据准备建立模型模型评估结果发布选择建模技术产生检验设计建立模型评价模型模型技术模型假设检验设计参数设定建模模型评价参数设定的修订模型描述19模型评估商业理解数据理解数据准备建立模型模型评估结果发布结果评估数据挖掘过程回顾确定下一步的工作评估数据挖掘结果被认可的模型数据挖掘过程的回顾列出可能的行动决策20结果发布商业理解数据理解数据准备建立模型模型评估结果发布发布结果计划监测和维护模型计划生成最终数据挖掘报告项目回顾结果发布计划监测和维护模型计划最终数据挖掘报告数据挖掘报告展现项目检验总结21数据挖掘模型的分类数据描述和汇总(Datadescriptionandsummarization)细分(Segmentation)概念描述(Conceptdescriptions)分类(Classification)预测(Prediction)相关分析(Dependencyanalysis)22数据挖掘技术的分类数据挖掘描述预测统计回归关联规则决策树可视化聚类顺序关联汇总神经网络分类时间序列预测23数据挖掘的典型结果——金融问题描述：预测信用水平是好还是差，银行据此决定是否向客户发放贷款，发放多少结果描述:(决策树）收入大于5万元/年是否有无储蓄帐户是否房主否是是否批准不批准批准24数据挖掘的典型结果——电信问题描述：根据客户信息，预测客户流失可能性结果描述:(神经网络）输入流失概率（0.87)输出男293000元/月套餐A130元/月…………25数据挖掘的典型结果——零售问题描述：如何决定超市中商品的摆放来增加销售额结果描述:(Web图）26数据挖掘的典型结果——制造业

问题描述：如何对市场进行细分，使产品满足最有价值客户结果描述:(Koholen聚类）27数据挖掘的典型结果——政府问题描述：如何从众多申请经费或者纳税中发现欺诈结果描述:(回归、神经网络）28检验的形式方法层面的检验

训练集和检验集不同方法的互相印证和比较模型准确性的检验:商业层面上的检验利润率的检验模型结果可操作性的检验其他检验29关注那些错误的预测30数据挖掘不成功的几种可能性糟糕的数据组织抵制结果没有被有效的发布得到了无用的结果31模型发布的形式书面报告数据库更新针对特定主题的应用系统32数据挖掘的体系结构用户界面SPSSDataAccessPackClementineSolutionsPublisherRuntimeC/S结构或B/S结构发布数据挖掘模型C/S结构建立数据挖掘模型数据库模型库分析员ClementineSPSSDataAccessPack3334三、数据理解：数据的可视化和报告数据组织形式数据图形展现数据表格展现35数据挖掘要求的数据格式变量1变量2变量3记录1………………记录2………………记录3………………………………………………

变量记录(行代表记录，列代表变量)36数据尺度根据数据的不同，可以把变量分为以下一些类型定类变量例如：客户编号、性别、邮编等不能比较大小定序变量产品等级、信用级别、客户收入水平分类等可以比较大小、不能进行加减运算定距变量出生日期、温度等可以进行加减运算、不能进行乘除运算定比变量收入、长度等可以进行乘除运算37各类变量尺度比较变量尺度描述例子可进行的运算定类定类变量是离散变量，为了反映一个事物区别于其他事物的特征。只能进行等于或者不等于的比较。邮编、客户编号、性别众数、列联相关、

2

检验定序定序变量是离散变量，可以比较大小。客户等级、信用级别、收入水平分类中位数、累计百分比、秩相关、游程检验定距定距变量是连续变量，可以比较大小，并且进行加减运算。日期、利润平均值、标准差、皮尔逊相关、t检验和F检验定比定比变量是连续变量，可以进行加减乘除各类运算。年龄、收入、长度几何平均数、比例指标38描述性统计量描述统计量（summarystatistic），也称汇总统计量或概括统计量用少量数字概括大量数据的技术39离散变量的描述性统计频数累计频数频率累计频率（累计必须是定序变量）40连续变量的描述指标反映数据平均趋势和位置的指标反映数据离散趋势的指标反映数据分布状况的指标41反映连续数据平均趋势的指标平均数算术平均数几何平均数截尾算术平均数:比较稳健有效地描述平均值中位数：（代表群体基本的趋势，集中的趋势）众数（多用于离散变量）四分位数（25%，50%，75%）百分位数42平均数与中位数的结合使用异常值下侧10分位点下侧四分位数上侧四分位数中位数上侧10分位点对5个数值表示的内容说法有些不同含义与左图不同含义与左图不同43反映连续数据离散趋势的指标极差（全距）range=max-min内距50%的差距方差：更适合离散趋势的描述（趋势放大）标准差变异系数：标准差/均值，值越大，则离散程度越大。44平均数与标准差的应用

切比雪夫定理在任何一个数据集中，至少有(1-1/z2)的数据项与平均数的距离在z个标准差之内，其中z是任意大于1的值。

切比雪夫定理含义1.至少75%的数据项与平均数的距离在2个标准差之内；2.至少89%的数据项与平均数的距离在3个标准差之内；（6西格玛质量管理应用）3.至少94%的数据项与平均数的距离在4个标准差之内。45连续变量的经验法则正态分布是一种最常用的连续型分布关于正态分布的经验法则1.约68%的数据项与平均数的距离在1个标准差之内；2.约95%的数据项与平均数的距离在2个标准差之内；3.几乎全部数据项（99.97%）与平均数的距离在3个标准差之内。46切比雪夫和经验法则的应用问题某单位有100个人，他们的平均身高是170cm,标准差为5cm,那么有多少人的身高是落在160cm-180cm这个区间里的呢？经验法则的应用

根据切比雪夫定理，该单位至少有75%的人身高在160cm—180cm这个区间里根据正态分布经验法则，该单位大约有95%的人身高在160cm—180cm这个区间里47反映连续数据分布状况的指标

偏度

峰度48图形展现数据49图形技术的应用图形可以用来直观的展示数据的分布特征和取值情况常见的描述离散变量的图形有条形图饼形图常见的描述连续变量的图形有直方图常见的描述两个离散变量之间关系的图形有Web图条形图常见的描述两个连续变量之间关系的图形有散点图常见的描述一个离散变量和一个连续变量之间关系的图形是条形图50通过图形可以表现多个变量之间的关系51Chapter2Clementine简介52Chapter2Clementine简介目的：初步了解Clementine软件内容：2.1SPSSClementineC/S2.2SPSSClementine面板2.3SPSSClementine可视化程序使用基础节点SPSSfile节点Table节点532.1ClementineC/S启动：Start..Programs..Clementine8.1…ClementineandClementineServerTools…ServerLogin54把很多操作放在数据库层面上执行2.不能在数据库中执行的操作放在强有力的Server上执行3.客户端只用于观察结果和发出分析挖掘指令4.数据不必在网络上进行大量无效的传输.Clementine的结构示意图552.2Clementine面板流区域Streamcanvas菜单栏工具栏面板区pallete节点区node流、结果、模型管理区项目管理区56第二讲：数据简单准备与理解数据准备之读入数据数据理解之数据质量数据理解之数据分布57Chapter3读取数据文件58Chapter3读取数据文件目的掌握Clementine如何读取文本格式数据了解Clementine可以读取的数据格式掌握Clementine中的字段类型和方向数据S59Chapter3读取数据文件内容及节点：3.1Clementine可以读取的数据格式3.2读取文本数据与查看数据3.3读取SPSS数据3.4读取数据库数据（专用spss配置的链接）3.5Clementine中的字段类型3.6Clementine中的字段方向3.7保存Clementine流603.1Clementine可以读取的数据格式文本格式数据SPSS/SAS数据Excel，Access，dBase，Foxpro，Oracle，SQLServer，DB2等数据库（每次只能读一个表）用户输入数据613.2读取文本数据与查看数据623.2读取文本数据与查看数据633.2读取文本数据与查看数据643.2读取文本数据与查看数据653.2读取文本数据与查看数据663.3读取SPSS数据变量标签值标签673.4读取数据库数据ODBC设置数据库----表683.5Clementine中的字段类型离散型二分eg：sex：m/f多分eg：等级：好/中/差离散eg：连续型整数实数日期、时间其它693.6Clementine中的字段方向703.7读取其它格式的数据SasFixedtextfile：同一字段在各行的同一列71Chapter4数据理解之数据质量72Chapter4数据理解之数据质量目的：掌握如何应用Clementine发现数据的准确性、完整性熟悉用于数据质量分析的几个节点内容：4.1数据理解4.2缺失值定义4.3Quality节点介绍4.4Distribution节点----初步理解字符型字段的分布4.5Histogram/Statistics节点----初步理解数值型字段的分布数据：Smallsamplemissing.txtRisk.txt73数据理解的内容对数据质量进行评价对数据进行初步的描述对数据之间的关系进行探索性分析744.1数据理解在数据挖掘之前，理解数据的取值范围及数值分布是非常重要的Histogram/StatisticsDistribution数据质量越高，挖掘结果准确性越高Quality754.2缺失值定义Missingvaluesarevaluesinthedatasetthatareunknown,uncollected,orincorrectlyentered.Theyareinvalidfortheirfields.缺失值的定义：type节点系统默认缺失值----onNull----数值型字段----空值----“”----“$Null”EmptyString----字符型字段----空值----“”WhiteSpace----字符型字段----空值以及空格值----“”或“”----包括EmptyString指定缺失值----BlankValue系统默认缺失值指定特殊缺失值----“99”缺失值的检查：quality节点764.2缺失值定义774.2缺失值定义数据缺失情况数据量的大小包含缺失值的字段的数量缺失值的数量缺失值的处理方法忽略含缺失值的字段忽略含缺失值的记录默认值代替缺失值根据一定规则填充缺失值784.3Quality节点介绍查看缺失值情况查看各类型缺失值的分布情况BlankValue的指定794.3Quality节点介绍Quality结果804.4Distribution节点----初步理解字符型字段的分布单个字段的值分布例：人群中各种风险等级人数及百分比与其它分类字段合并例：分性别显示各种风险等级人数及百分比例：各种风险等级中男性女性各占比例814.5Histogram/Statistics节点----初步理解数值型字段的分布单个字段的值分布例：人群收入水平与其它分类字段合并例：显示各种风险等级的收入水平例：显示各收入水平的各风险等级比例82Chapter5简单数据整理83Chapter5简单数据整理目的：掌握Clementine中的数据整理技术熟悉用于数据整理的几个节点内容5.1Clem语言简介5.2Select节点介绍5.3Filter节点介绍5.4Derive节点介绍5.5自动生成操作节点数据Risk.txtSmallSampleMissing.txt845.1Clem语言简介ClementineLanguageofExpressionManipulation应用节点：Derive导出,Select选择,Filter过滤构建材料：函数、符号、数字、字段记录敏感：对每条记录返回值（整数、实数、布尔值、字符值、日期、时间）或评估是否满足条件两种表达式：条件表达式与计算表达式855.2Select节点介绍用于根据一定条件选择或丢弃某些记录CLEM构建865.3Filter节点介绍对某些字段进行重命名或丢弃某些无意义的字段无意义字段缺失值占大比例所有记录有相同值中间过程生成的中间变量875.4Derive节点介绍根据原有字段值生成新字段值按公式生成字段生成二分型字段生成多分型字段对所有记录按同样标准生成新字段对不同记录按不同标准生成新字段对多个字段进行同一转换885.4Derive节点介绍可以利用导出把连续数据离散化（导出为标志及集合），以进一步分析895.5自动生成操作节点自动生成“Select”自动生成“Filter”90第三讲主要内容数据理解之数据关系探测基本建模方法简要介绍91Chapter6数据理解之数据间简单关系92Chapter6数据理解之数据间简单关系目的：掌握如何理解字段间关系熟悉用于字段关系理解的几个节点内容6.1Matrix节点----研究字符型字段间关系6.2Web节点----研究字符型字段间关系6.3Statistics节点----研究连续型字段间线性相关关系6.4Plot节点----研究连续型字段间关系6.5Histogram节点----研究连续型字段与字符型字段的关系数据Risk.txt 93Chapter6数据理解之数据间简单关系解决问题风险等级是否与收入有关风险等级是否与性别有关如果一个人的信用卡数量较多，是否意味着它欺诈的可能性也大946.1Matrix节点----研究字符型字段间关系解决问题月付款的人是否比周付款的人风险程度更高男性是否比女性风险程序更高Matrix节点：交叉表（列联表）来显示字符型数据间关系行字段与列字段的选择显示百分比956.1Matrix节点----研究字符型字段间关系966.2Web节点----研究字符型字段间关系例：婚姻状态、抵押贷款等是否与风险等级有关几个小概念：人数总数百分比大类百分比小类百分比强、中、弱相关关系结果解读976.2Web节点----研究字符型字段间关系986.3Statistics节点----研究连续型字段间线性相关关系例：收入是否随年龄呈线性增长Statistics节点设置结果解读注意：线性相关关系而非相关关系(线形相关是相关关系的一种，其他相关关系最终需要转化为线形相关来研究)996.3Statistics节点----研究连续型字段间线性相关关系1006.4Plot节点----研究连续型字段间关系例：显示孩子数目与贷款数目的关系用点的大小来反映其代表记录的多少用点的密度来反映其代表记录的多少用不同颜色的点来反映不同类别的记录1016.4Plot节点----研究连续型字段间关系1026.5Histogram节点----研究连续型字段与字符型字段的关系例：不同风险等级的人的收入情况显示某收入水平的各风险等级人数显示某收入水平----各风险等级在该收入水平所占的比例103表格展现数据104表格的元素构成统计量行变量层变量列变量汇总行105表格类型

在SPSS里实现堆叠表(Stacking)嵌套表(Nesting)交叉表(Crosstabulation)分层表(Layers)106堆叠表107嵌套表108交叉表109分层表110把层去掉以后的效果111枢轴表技术（PivotTables）行、列、层可自由互换，达到从各个角度观察数据的目的层行列112Clementine表格113114Chapter7建模技术概览115Chapter7Clementine中的建模技术目的：了解Clementine中提供的各种建模技术内容7.1Clementine提供的模型技术7.2NeuralNetworks（神经网络）7.3规则归纳模型7.4统计模型7.5聚类模型7.6关联规则模型7.7Sequence模型7.8总述116DataMiningModelSupervisedModel（监督模型，预测模型，有目标的，关注风险状况）(PredictiveModel)UnsupervisedModelDataReduction（数据整理）NeuralNetworksC5.0C&RT(CART)RegressionLogisticregression（分类变量预测）KohonenK-meansTwo-StepPCA(PrincipalComponentAnalysis)主成分分析Factor因子分析Clementine提供模型概述Clustering（聚类）APRIORIGRI（多维关联）SequenceAssociations（关联）1177.1Clementine提供的模型技术几种技术：预测、聚类、关联规则预测技术：InputsOutput六种方法：NeuralNetworks规则归纳：C5.0，C&RT与时间或顺序有关的关联规则：Sequence(Capri)统计学：回归、Logistic回归1187.1Clementine提供的模型技术聚类技术无Output无监督的学习三种方法：Kohonen统计学：K-means、TwoStep关联规则BothInputandOutput三种方法GRI，AprioriSequence(Capri)1197.2NeuralNetworks模仿人脑Input/Output可以是Num，也可以是SymbolicMLP与RBFN劣势：黑匣子1207.3规则归纳模型是决策树算法与NeuralNet相比的优势结果好解释自动删除无意义的Input字段主要是根据结果变量值对数据按Input进行细分有两种结果形式：决策树形式或规则集形式1217.4统计模型之线性回归统计模型与NeuralNet相比：严格的假设（如误差正态分布）用简单方程表达模型，便于解释可自动选择字段无法捕捉Inputs字段间的交互作用统计模型：线性回归Logistic回归主成分分析1227.4统计模型之回归线性回归：方程：Y=a+b1x1+b2x2++bnxn原理：寻找使误差平方和最小的系数Output字段----Numeric输出必须是连续型Input字段----Numeric/SymbolicLogistic回归：方程原理：寻找使误差平方和最小的系数回归系数随结果值而改变，与NN，RI相比，不适合复杂数据Output字段----Symbolic输出必须是离散性Input字段----Numeric/Symbolic1237.4统计模型之主成分分析数据降维技术：用少量不相关数据（主成分）来代替大量相关数据（原始数据）作分析主成分是原始数据的线性组合更可能与统计分析方法合并使用（相对于机器学习），尤其是在多个等级分类字段可用于预测模型或聚类分析之前1247.5聚类模型发现有相似值记录的群体多用于市场（细分客户）和其它商业应用与主成分分析相似，多用于预测模型之前无监督学习（无output）三种聚类分析方法：KohonenK-meansTwoStep1257.5聚类模型Kohonen聚类是一种实施无监督学习的神经网络算法一维或二维网格，各神经元相互连接K-means聚类又称为快速聚类,（速度快，适合大量数据）用户指定类别数与记录顺序有关（小数据量与记录顺序无关，大数据需要先执行一定程序找出数据各类别中心）TwoStep聚类用户指定范围，模型根据统计学标准自动选择类数消耗机器资源少能给出一个较好的结果1267.6关联规则模型寻找数据中一起发生的事情与Web相似，但以极快的速度发掘更复杂的模式与规则归纳不同之处每个规则的Output字段可能各不相同规则可用于查看，但非预测可生成同一output字段的规则，用于预测与规则归纳相比，运行较慢，可增加限制条件从而提高速度两种算法：Apriori，GRI（广义规则探测）1277.7Sequence模型与关联规则不同之处在于寻找与时间/顺序有关的规则应用领域：零售、网络日志、过程改进用于字符型字段，数值被当作是字符用CARMA算法1287.8综述如果要预测某个字段----有监督的机器学习和其中一种统计方法（依结果字段而定）如果想发现有相似行为（许多字段）的个体----聚类关联规则不能直接用于预测，但它是一种用于理解数据内模式的有用工具如果对顺序、时间有兴趣，可用Sequence算法1297.8综述如果想进一步选择具体的预测技术，依赖于目的字段，output字段与input字段间关系有一定经验规律，但不是规则Clementine的优势之处在于建模的简单Clementine只能发现数据内存在的关系，如果数据本身不相关联，不可能提取出一个模型数据挖掘是一个迭代、重复的过程130第四讲：预测建模技术神经网络模型技术决策树模型技术回归分析技术模型间评估技术131预测的重要性

在当今充满竞争的社会里,一个企业如果能准确地预知其未来,那么其生存机会将大大增加,预测科学就是处理对未来的预测等问题的学科。人们对未知的恐惧预测的重要性由来已久132预测相关注意事项预测对象所在的环境常常处于动态变化之中,一些不可知事件会对预测结果造成很大影响;被用来进行预测的数据常常是不稳定、不确定和不完全的,由其来源和收集的方式所决定;不同的时间区域常常需要不同的预测方法,形式上难以统一;因为不同的预测方法在复杂性、数据要求以及准确程度上均不同,因此选择一个合适的预测方法是很困难的。133Chapter8NeuralNetworks134Chpater8NeuralNetworks目的：掌握如何在Clementine中进行NeuralNetwork模型的构建和解读掌握NeuralNetwork节点数据：Risktrain.txt135Chpater8NeuralNetworks内容8.1NeuralNet节点介绍8.2构建NeuralNetwork8.3模型管理区介绍8.4结果查看和结果解释8.5模型预测值生成8.6模型评价8.7理解预测原因8.8模型总结136神经网络模型预测技术基本概念：神经元三层结构1378.1NeuralNet节点介绍字段方向----Type节点或表In----X字段----自变量字段Out----Y字段----结果字段----聚类、主成分分析除外Both----自变量和结果字段----关联规则或顺序算法None----不用字段ID----typeless----None五种NeuralNet方法，默认Quick过度训练（长时间接触同一个数据源，并用同样特征去描述其他数据集，结果往往错误）停止规则（避免过度训练）字段的相对重要性分析138避免过度训练问题

选择测试集错误较低，或者两集错误交叉点1398.2构建NeuralNetwork例：用age、sex、income等来预测客户的风险等级1408.3模型管理区介绍浏览模型结果导出模型代码将模型载入数据流将模型导入项目管理区保存、清除、装载模型管理区1418.4结果查看和结果解释结果的浏览：Rightclickgenerated“model”模型准确性输入字段或层输出字段或层各输入字段的相对重要性1428.5模型预测值生成将模型装入数据流$N-Risk是NeuralNet对该记录风险等级的预测值$NC-Risk是$N-Risk的置信度（confidence）1438.6模型评价----预测值与实际值的比较利用Matrix比较,通常关注的不是整体，例如欠费用户群而不是整个用户群。1448.6模型评价EvaluationNode----评估比较模型，以选择最优模型Evaluation的原理：将数据按预测值和置信度从高到低排序，将数据拆分为多个集合，每集合包含相同的记录数，然后作图。关注值：flag变量的真值，set变量的第一个值五种图形：收益图、功效图、响应图、投资回报图、利润图1458.6模型评价收益图功效图1468.7理解预测原因Web节点--SymbolicInput&SymbolicOutputDistribuiton节点—SymbolicInput&SymbolicOutputHistogram节点--NumericInput&SymbolicOutput1478.8模型总结预测风险中最重要因素是婚姻状态和收入离异、单身、鳏寡人士可能是坏客户神经网络模型，高收入人群是好客户，但这一点并不与实际相符，如此预测，可能会给银行带来损失题外话：可用验证数据集，利用分析节点、评估节点、Matrix节点对模型进行评估148Chapter9规则归纳模型决策树技术149Chapter9规则归纳模型目的：掌握如何在Clementine中进行规则归纳模型的构建和解读掌握C5.0节点数据Risktrain.txt150Chapter9规则归纳模型内容9.1C5.0、C&RT介绍9.2构建C5.0模型9.3C5.0决策树型结果浏览和解释9.4C5.0规则集型结果浏览和解释9.5模型预测值生成9.6模型评价9.7模型总结1519.1C5.0、C&RT介绍C5.0与C&RT的相似之处：构建决策树，按照自变量与结果变量的关系将数据拆分成各子群C5.0与C&RT的不同之处：

C5.0C&RTOutput字段SymSymorNumOutput决策树—一条记录只有一个预测结果规则归纳—一条记录可能有多个规则可用决策树决策树拆分可一分多只能一分二算法标准信息收益比离散测量修剪准则不同规定最小分支记录数1529.2构建C5.0模型模型的准确性与一般性模型的验证方法交叉验证（分散数据集，不断用新数据去验证）模型结果字段值的减少（输入变量最终并非全部进入模型）建立多个模型：耗时长难以解释结果1539.2构建C5.0模型1549.3C5.0决策树型结果浏览和解释结果：决策树、模型形式可分支的子根众数显示例数与置信度继承性1559.4C5.0规则集型结果浏览和解释1569.5模型预测值生成1579.6模型评价----预测值与实际值的比较利用Matrix来比较预测值与实际值1589.6模型评价----不同值的收益图GainsChartfortheGoodRiskCategory

GainsChartfortheBadLossCategory

1599.7模型总结C5.0使模型可以不用Web、Histogram等即可有效地理解模型与NeuralNet不同，没有SensitivityAnalysis，但同样可以辨别字段的重要性160决策树的优点可以生成可以理解的规则计算量相对来说不是很大可以处理连续和种类字段决策树可以清晰的显示哪些字段比较重要161决策树的缺点对连续性的字段比较难预测对有时间顺序的数据，需要很多预处理的工作当类别太多时，错误可能就会增加的比较快（对分类变量重新划分，二分或者数据降维，spss聚类分析法）一般的算法分类的时候，只是根据一个字段来分类（假设各字段间相关度不是很高）162Chapter10模型比较163Chpater10模型比较目的掌握如何利用Analysis节点进行模型的评估掌握如何利用验证数据集比较不同模型内容10.1Analysis节点用于比较模型10.2Evaluation节点用于比较模型10.3利用验证数据集进行模型比较数据Risktrain.txtRiskvalidation.txt16410.1Analysis节点用于比较模型16510.1Analysis节点用于比较模型评估多个模型评估各模型结果的一致性TrainValidation16610.2Evaluation节点用于比较模型16710.2Evaluation节点用于比较模型评估多个模型评估各模型结果的一致性TrainValidation16810.3利用验证数据集进行模型比较169第五讲主要内容聚类分析模型技术关联规则模型技术序列探测模型技术170Chapter11KohonenNetworks171Chpater11KohonenNetworks目的掌握Kohonen神经网络的建立、结果解释掌握Kohonen节点内容11.1Kohonen节点介绍11.2构建KohonenNetworks11.3结果解释11.4为每条记录产生类别字段11.5结果理解数据Shopping.txt172Kohonen网络结构输入数据被展示在输入层中，其数据值被传送到输出层。然后每个输出层神经元都做出回应。回应最强烈的输出层神经元称为嬴家，它的回应就做为输入数据的结果。17311.1Kohonen节点介绍聚类分析发现数据的总体结构及相互关系类间差别，类内相似17411.2构建KohonenNetworksKohonen节点字段方向设置：购买产品与否----In其它----None/Out/Both反馈图：红色越深，记录越多指定类别数：长*宽17511.3结果解释Kohonen结果X-轴Y-轴17611.4为每条记录产生类别字段＄KX----Kohonen＄KY----KohonenCluster=＄KX----Kohonen><＄KY----Kohonen17711.5结果理解各Cluster人群多少----条图各Cluster人群的一般特征年龄----条图性别----条图购买产品----Web图孩子婚姻状态工作状态各Cluster人群总述178各种聚类方法比较179聚类分析之我见聚类分析的优势在于：它能够在我们对数据了解很少时，提供一种了解数据的方法。发现个体与变量间的综合关系。例如：根据各省市的各种经济指数将所有的省市分为几个等级。例如：根据各种指数的取值范围，将模式相近的指数的聚为一类。聚类分析的缺陷在于：各类之间均值等可能有差别，但每个个体划归哪类更多地依赖于数字，解释起来比较困难。180Chapter12关联规则181Chpater12关联规则目的掌握关联规则在Clementine中的建立、结果解释掌握Apriori节点无监督的探索性模型内容12.1关联规则简介12.2Apriori节点及结果解释12.3产生特定结果的规则集12.4特定结果规则集应用于各记录数据Shopping.txt18212.1关联规则简介解决问题考虑的是关联，得到的是规则，处理变量之间的相关，而非客户之间）买香烟的人是否倾向于也买巧克力或啤酒高血脂的人是否也常伴有高血压买车险的人是否也倾向于买房险节点GRI----Numeric字段可作为输入字段，可用于连续型变量Apriori----只接受Symbolic字段（只能用字符型输入）作为输入字段特殊之处：产生的模型不能直接加入数据流18312.2Apriori节点及结果解释Apriori节点设置字段类型及方向：无主次先后之分Content1----flag----bothContent2----flag----bothContent3----flag----bothContentn----flag----both结果：有多少人购买了香烟？占总人数的百分比其中，有多少人购买了巧克力？占多少百分比Instances（满足记录数）SupportConfidenceConsequentAntecedent1Antecedent2205115.071.0巧克力香烟18412.2Apriori节点及结果解释18512.3产生特定结果的规则集GeneratemenuRulesetView18612.4特定结果规则集应用于各记录187Chapter13序列检测188Chpater13序列检测目的掌握Clementine如何对与时间序列有关的数据进行建模熟悉Sequence节点也会存在规则的重复内容13.1序列检测简介13.2序列检测所要求的数据结构13.3序列检测模型13.4Sequence节点及结果解释13.5Sequence结果用于各条数据数据Telrepair.txt18913.1序列检测简介解决的问题：与顺序有关的关联规则Antecedent1

Antecedent2Consequent可用节点：Sequence、Capri19013.2序列检测所要求的数据结构数据结构1一个客户一次购买多个产品算一条记录数据结构2一个客户一次购买多个产品算多条记录19113.3序列检测模型Sequence与Capri二者各有优势二者使用不同的算法均可指定顺序检测标准对于“A1”

”A2”

”C”，Capri可以不包含下列“A1”

”A2””A2”

”C”“A1”

”C”19213.4Sequence节点及结果解释Sequence节点设置：字段类型及方向IDfield----Numeric/Symbolic----AnyTimefield----Range----InContentfields----Set----In/out/both----多个一致19313.4Sequence节点及结果解释结果：在先买了A1，又买了A2的客户中，60%的人后来买了C；12%的客户（48例）是先买了A1，又买了A2，最后又买了C可对规则进行重新排序19413.4Sequence节点及结果解释19513.5Sequence结果用于各条数据196总结业务问题是关键历史数据是支撑业务思路、数据分析思路的转变数据分析的常态与技巧如何使用数据分析应用结果是业务思路的延伸方法永远是方法，工具永远是工具197五、Clementine组合模型技巧1.离散变量预测问题;2.离散变量模型的检验；3.组合模型概述；4.二值预测问题的组合模型。198Clementine中提供的模型概述DataMiningModelSupervisedModel(PredictiveModel)UnsupervisedModelDataReductionNeuralNetworksC5.0C&RT(CART)RegressionLogisticregressionKohonenK-meansTwo-StepPCA(PrincipalComponentAnalysis)FactorClusteringAPRIORIGRISequenceAssociations199离散变量预测问题是最重要的一类问题离散变量预测问题也就是分类问题在Clementine（8.1）中有很多模型可以做分类问题NeuralNetC5.0C&RTLogistic连续变量预测问题可以通过某种形式转化为离散变量预测问题多值变量问题可以转化为两值预测问题200离散值预测模型的几个重要检验指标1.准确率2.命中率3.覆盖率201离散值预测模型的几个重要检验图形1.收益图（Gains）2.响应图（Response）3.功效图（Lift）4.利润图（Profit）5.投资回报图（ROI）202离散值预测模型的几个重要检验图形203什么是组合模型在数据挖掘模型中，每种模型都有各自的优点和缺陷，为了更好的利用模型的优点，在Clementine中可以把不同模型通过一定的方式组合在一起以解决特定的问题为了提高模型的精确度，我们可以把多个模型通过某种方式组合在一起204组合模型类型为了提高模型的可解释性，可以应用C5.0对预测或者聚类结果进行解释为了得到各指标对模型影响的重要程度，可以应用神经网络对指标重要性进行分析可以通过模型的特定组合提高模型的准确性——下面以数据挖掘模型中最常用的二值预测来说明组合模型如何能够提供模型的准确性205二值预测是数据挖掘中重要问题二值预测问题是个非常常见的数据挖掘问题流失、客户获得、欠费、欺诈……多值预测可以转化为二值预测问题连续预测问题可以转化为多值预测问题206二值预测结果的可能表达方式TorF，我们称为预测值；预测值为T，预测准确率为P；或者预测值为F，预测准确率为P；T的概率为p，称为预测评分(scoring)。和置信度区分例：以预测流失为例预测客户A流失；预测客户B不流失，把握程度为0.8；预测客户C的流失概率为0.792。207多值（set）问题向二值问题的转化（flag）多值集合变量向几个二值变量的转化（设为标志）由Clementine中神经网络算法想起的……1、多个输出变量；2、如果把二值变量问题再转化成多值变量问题。208连续预测问题向多值预测问题的转化从C&RT算法想到的……用分级节点把连续预测问题转化为多值预测问题209二值预测的结果表述TorF评分(scoring)T－>1.0F－>0.0二值预测结果的评价（1）总体准确率（2）命中率（3）覆盖率NoYes覆盖率命中率210Clementine中预测二值问题NeuralNet（$N-outcome,$NC-outcome)C5.0($C-outcome,$CC-outcome)C&RT($R-outcome,$RC-outcome)得到这Logistic($L-outcome,$LP-outcome)得到概率$N-outcome，$C-outcome，$R-outcome，$L-outcome为预测T或F，得到置信度；$NC-outcome，$CC-outcome，$RC-outcome，$LP为前者预测的把握程度。211由预测值和预测把握程度向预测评分的转化由Clementine中神经网络算法说起|0.5–RawOutput|*2例如，神经网络的rawoutput取置信度，概率为预测为真的概率，置信度为无论预测真假的可信程度。在Clementine中生成的预测模型（神经网络、决策树或Logistic回归）后接一个Derive节点，生成新字段——预测评分：Type: Conditional

If ‘$N-Outcome’

Then 0.5+(‘$NC-Outcome/2.0)

Else 0.5-(‘$NC-Outcome/2.0)

212练习1对数据集data1.csv建立二值预测模型，实现以下目标

深圳电信/组合模型）应用C5.0模型得出预测模型，对模型的准确率（总体准确率、命中率、覆盖率）作出描述；应用神经网络模型建立预测模型，练习把离散问题连续化的方法；(提示：flag->range，T->1.0)应用C5.0模型建立scoring型的预测模型（提示：$C，$CC的组合）213组合模型解决二值预测的几种思路投票法(Voting)——少数服从多数，小概率服从大概率原则，主要目的在于提高命中率修正法——根据预测结果与实际结果比较调整预测（多个训练集，一个检验集）214投票法之一——多个模型一致对于同一问题建立不同模型，会得出不同的结果，多个模型同时预测同一结果时，往往这个结果更加可信方法的优点和缺点：优点：提高模型预测精度缺点：会有一些记录没有预测结果215投票法之二——建立奇数个模型建立奇数个预测模型遵循少数服从多数原则Derivenode(type:Conditional)If‘$N-Outcome’==‘$C-Outcome’

or‘$N-Outcome’==‘$R-Outcome’

then‘$N-Outcome’

else‘$C-Outcome’带$的变量需要加引号216投票法之三——更高把握程度原则应用那些具有更多把握程度的模型进行预测If ‘$CC-Outcome’>‘$NC-Outcome’Then ‘$C-Outcome’Else ‘$N-Outcome’217投票法之四——根据把握程度汇总进行投票建立不同模型的评分（scoring）模型对不同模型得到评分（score）进行平均转化为二值预测问题Converting:Ifall_score>0.5then‘T’else‘F’Convertingtheconfidenceback

If all_score>0.5

Then (all_score–0.5)*2

Else (0.5-all_score)*2218练习2应用data2分别应用神经网络模型、C5.0模型和C&RT模型建立二值预测模型，再按照以上4中思路建立预测模型。对于test数据完成下表：模型名称总体准确率模型命中率模型覆盖率把握程度与实际结果比较图神经网络C5.0C&RT思路一思路二思路三思路四219修正法之一——模型堆叠(stacking)把模型的预测输出作为另外模型的输入220修正法之二——找出错误预测的规律（errormodelling）对于一个预测模型，我们能够发现错误预测的规律吗？挑出那些错误的，建立模型（常常需要平衡数据）缺点：有些记录会没有预测221修正法之三——多个模型一致（agreementmodelling）

处理投票法一中的不确定值多个模型预测一致的作为预测对那些不一致的重新建立模型进行预测Selectnode

‘$N-Outcome’/==‘$C-Outcome’Derivenode(type:conditional)

If ‘$N-Outcome’==‘$C-Outcome’

Then ‘$N-Outcome’

Else ‘$N1-Outcome’222修正法之四——对模型建模

（speciallistmodelling）建立关于何时规则模型或神经网络模型预测准确的模型，得出模型的适用条件（数据情况）根据数据情况选择使用不同的模型223练习3对于数据集data1todata5按照修正法思路1－思路4建立模型，对于数据集test完成下表：模型名称总体准确率模型命中率模型覆盖率修正法思路一修正法思路二修正法思路三修正法思路四224总结——提高二值预测效果的几种思路离散问题向打分（scoring）问题的转化投票法之一——多个模型一致投票法之二——建立奇数个模型投票法之三——更高把握程度原则投票法之四——根据把握程度汇总进行投票修正法之一——模型堆叠(stacking)修正法之二——找出错误预测的规律修正法之三——多个模型一致修正法之四——对模型建模225多寻思！建立模型的思路万万千！！！我们怎么才能发现？226六、数据挖掘技术在电信行业中的应用数据挖掘技术在电信行业中的应用案例1：流失分析案例2：流失症状与营销预演案例3：交叉销售（套餐分析）227客户生命周期理论—客户分析的基础时间收入利润损失销售商品或服务客户关系结束认知

更少损失更加有效的认知利润

更多的利润更加多的销售额更加有效的认知MOREPROFIT利润甚至更多利润更长的客户关系更加多的销售额时间利润案例一电信行业的流失分析229电信行业流失分析的数据挖掘模型商业理解文档发布“D”流Clementine

Solutions

Publisher数据理解“E”流数据探索数据准备“P”流建模和评估“M”流230客户流失分析之商业理解移动通信业是一个竞争异常激烈的行业，对于移动通信运营商来说，如何对其客户进行有效的管理，尽可能的减少客户的流失和跳网是一个紧迫的问题。在这里我们将介绍数据挖掘在移动通信业关于客户流失研究中的应用。数据挖掘技术将提供功能强大的模型，可以回答“哪些客户最可能流失？”和“为什么这些客户会流失？”等问题。231客户流失分析之商业理解什么是流失，流失如何定义连续欠费不交？号码长期不用？二分标记变量？流失和哪些因素相关顾客年龄？性别？收入？行业？话费水平？话务质量？确定数据挖掘目标（1）对客户进行聚类分析，寻找那些流失量比较大的客户群（2）建立规则，描述那些易于流失的客户群的特征（3）建立打分模型，对客户流失可能性（概率）进行评价232客户流失分析之数据理解字段名称字段含义指标解释Customer_ID顾客IDGender性别Age年龄Connect_Date入网时间顾客生命周期的开始,日期型L_O_S服务时间服务顾客时间长Dropped_Calls掉线次数在6个月内电话掉线次数PayMethod支付方式话费支付方式——预交还是后付tariff话费类型Churn是否流失二分标记变量，是或否Handset手机品牌顾客信息资料(共31769条记录，10个变量)233客户流失分析之数据理解字段名称字段含义指标解释Customer_ID顾客IDPeak_calls高峰时期电话数Peak_mins高峰时期电话时长OffPeak_calls低谷时期电话数OffPeak_mins_Sum低谷时期电话时长Weekend_calls周末时期电话数Weekend_mins周末时期电话时长International_mins国际电话时长Nat_call_cost_Sum国内电话花费=高峰+低谷+周末花费month月份CDR数据资料（190，614条记录，10个变量）234客户流失分析之数据理解字段名称字段含义指标解释tariff资费种类fixed_cost固定费用该种资费类型每月需支付固定费用Free_mins免费时长该种资费类型每月提供免费（国内）时长peak_rate高峰时期话费该种资费类型在高峰时期每分钟话费（超过免费时长部分）OffPeak_rate低谷时期话费该种资费类型在低谷时期每分钟话费（超过免费时长部分）Weekend_rate周末时期话费该种资费类型在周末时期每分钟话费（超过免费时长部分）International_rate国际长途话费该种资费类型国际长途电话每分钟话费Voicemail语音信箱语信信箱收费（未用）SMS短信服务短信服务收费（未用）资费数据资料（共5条记录，9个变量）235客户流失分析之数据准备把CDR月度数据汇总成6个月的总体数据根据CDR数据生成各种不同的平均数据和组合数据归并客户信息数据、CDR数据与话费数据对客户现在付费类型的合理性进行简单分析236客户流失分析之建立模型和模型评估对客户进行聚类分析，并比较不同客户群流失可能性建立规则，描述那些易于流失的客户群的特征建立打分模型，对客户流失可能性（概率）进行评价237客户流失分析之模型发布对每个特定客户的流失可能性进行打分评估写回数据库238客户流失分析之建模图