决策树模型 ----QUEST.ppt

决策树模型 QUEST 报告人 李福娟指导教师 谢邦昌时间 2007年11月20日 Clementine的决策树模型 决策树 DecisionTree 模型 也称规则推理模型通过对训练样本的学习 建立分类规则依据分类规则 实现对新样本的分类属于有指导 监督 式的学习方法 有两类变量 目标变量 输出变量 属性变量 输入变量 决策树模型与一般统计分类模型的主要区别决策树的分类是基于逻辑的 一般统计分类模型是基于非逻辑的基于逻辑是指通过对属性变量值的布尔比较来实现分类判断 Clementine的决策树模型 决策树模型的特点优势 推理过程容易理解 决策推理过程可以表示成IF THEN的形式推理过程完全依据属性变量的取值特点可自动忽略对目标变量没有贡献的属性变量 也为判断属性变量的重要性 减少变量数目提供参考 Clementine的决策树模型 决策树模型的主要算法 C RTC5 0CHAIDQUEST QUEST算法 QUEST QuickUnbiasedEfficientStatisticalTree它是Loh和Shih1997年提出的建立决策树的一种二元分类方法 QUEST算法也主要涉及分支变量和分割值的确定问题 但它将分支变量选择和分割点选择以不同的策略进行处理它的运算过程比C R更简单有效 要求 属性变量 输入变量 分类型变量 数值型变量目标变量 输出变量 必须是二值分类型变量 如果是多值的转化成二值的 建立二叉树模型中涉及到的顺序变量必须存储为数值型该模型中不可以应用权数变量 确定分支变量 分别检验各属性变量对目标变量的独立性 如果属性变量为定类的 则采用卡方检验如果属性变量为定距 则采用F检验选择P 值最小且小于显著性水平 的属性变量作为当前的最佳分支变量 确定分支变量 如果最小的P 值尚未小于显著性水平 在F检验检验中 意味着在 水平下目标变量不同分类下属性变量的均值不存在显著 此时 应利用Levene F检验其方差 选择方差齐性最不显著的变量可作为当前的分支变量否则 该树节点无法再分支 当前分支变量是定距的如果目标变量有两个以上的分类水平 则应首先将其合并为两个超类 目标变量的预处理 分别计算目标变量不同分类下当前分支变量的均值如果各均值没有显著差异 则将权重最大 该组包含的样本个数最多 组所对应的属性变量值作为一组 其余为另一组如果各均值存在显著差异 则利用2 Means聚类将样本聚成2类 初始类中心为两个极均值 从而使将目标变量值合并成两类 多分类问题转换为二分类问题 确定分割值 确定分割值 当前分支变量是定类的先将定类分支变量转化为定矩变量 将该分支变量转换为哑变量组 依据目标变量 建立若干个判别函数 并取第一个典型判别函数 特征根最大 计算各样本在第一个判别函数坐标上的值 作为 值再依据前述定距分支变量的方法处理 Clementine11 0中的应用 市场研究案例一个有限电视公司做了一项市场调查以了解哪些用户会订阅某种交互式的新闻服务 选择的变量有 年龄 age 性别 gender 受教育程度 educate 收入水平 inc 每天看电视时间 tvday 家庭拥有孩子个数 childs NewsChan sav Clementine11 0中的应用 Clementine11 0中的应用 可以通过连接并执行输出节点Table查看数据源数据 Clementine11 0中的应用 设置变量类型 输入变量 输出变量 Clementine11 0中的应用 建立QUEST决策树模型 Modeling QUEST 建立一个QUEST结点与源数据相连 然后右击对QUEST结点进行编辑 Clementine11 0中的应用 QUEST节点的Model选项分割数据集训练样本检验样本模式Generatemodel直接给出最终模型 LaunchInteractivesession可以逐层建立 修改和删除节点 Usetreedirectives指定任意层节点的分割方式或子节点数最大树深自定义判别树的最大层数 Clementine11 0中的应用 QUEST节点的高级 expert 选项框最大替代数 当某记录有缺失值时 QUEST会根据与其相似的记录所归入节点的取值进行替代分裂的显著性水平 设定分裂标准 越小 则树的分叉越少终止条件修剪树 usestandarderrorrule删除分类不纯的节点先验概率 Clementine11 0中的应用 分类回归树节点终止选项终止法则决定何时终止分割树的具体分支设置最小分支数目以避免分割出过小的子群使用百分数 按照占整个训练集的百分比来指定大小使用绝对值 用绝对记录数来指定大小 Clementine11 0中的应用 先验概率 priors 选项在根本不知道预测值前对每个可能的目标域值所做的概率估计 Basedontrainingdata先验概率基于各类在训练集中的相对次数Equalforallclasses各类的先验概率指定为1 k k为目标类数Custom自定义 要求 所有类的先验概率总和为1 Clementine11 0中的应用 QUEST节点的成本 cost 选项错误归类矩阵显示预测类和实际类每一个可能组合的损失 所有预设为1选择Usemisclassificationcosts可以自定义损失值 Clementine11 0中的应用 执行QUEST节点 Clementine11 0中的应用 决策树的生长和修剪 显示标签值 生长并修剪树 Clementine11 0中的应用 通过统计检验确定的分支变量根据Adj Prob确定最佳分支变量 概率值越小 则根据该分支变量所确定两个类的异质性越强 分支越有效 Clementine11 0中的应用 确定的最佳分支变量为年龄节点2在年龄大于44 142的人群中 确定一个人订阅的概率已经达到67 143 Clementine11 0中的应用 Clementine11 0中的应用 Gains选项卡选择Targetcategory 1 0索引值大于100 的节点所确定的人群接受的概率明显大于随机选择的人群 Clementine11 0中的应用 Chart横坐标通常为分位点纵坐标是累计Lift值理想的Lift图应在较高的累计Lift上保持较长一段 然后迅速下降到1 Clementine11 0中的应用 生成模型 GenerateModel 根据建立的决策树可以生成或输出决策结果 Clementine11 0中的应用 风险 risk 选项在某些情况下 特定类型的错误比其他类错误所引起的损失更大 例如 把高风险信用卡申请者归入低风险信用类 一种错误 比把低风险信用卡申请者归入高风险类 另一种错误 损失要大 错误归类代价提供用户在识别不同的预测误差的相对重要性 Clementine11 0中的应用 Clementine11 0中的应用 生成的模型显示在流编辑窗口 与Type节点连接 然后