决策树模型ppt课件.ppt

决策树模型 决策树模型是一种以决策树这种数据结构为基础的分类 预测模 一个类似于流程图的树结构 目的 分类 布尔型 预测定义 一种逼近离散值目标函数的方法 年龄 月收入 性别 月收入 性别 买 不买 买 不买 不买 不买 买 15到30 35到60 大于60 男 女 男 女 大于5000 小于等于5000 大于5000 小于等于5000 客户分类决策树 根节点 属性 节点 类节点 信息论中的一个度量标准熵 Entropy 刻画任意样例集合的纯度或者是刻画系统的混乱程度 熵越大 系统越混乱 1 熵的计算 给定一个样例集合的S P为类别占S的比例 两类 Entropy S P log2P P log2P 多类 Entropy S Pi log2Pi例 设S有个样例集 其中九个正类 五个负类即 9 5 Entropy S 9 14log2 9 14 5 14 log2 5 14 0 9402 信息增益 informationgain 衡量一个属性分类实例的能力 Gain S A Entropy S Sv S Entropy Sv Sv是属性A可能的取值 名校研究生入学时导师需要根据一些列因素确定是否招收一个学生 S 9 7 Entropy S 0 988691 调剂 调 不调S调 6 3 S不调 3 4 Entropy S调 0 91829Entropy S不调 0 985226Gain S 调剂 0 04112 本科学历 好 不好S好 3 5 S不好 6 2 Entropy S好 095442Entropy S不好 08112Gain S 本科学历 0 10593 计算得Gain S 是否本校 0 2694 计算得Gain S 入学成绩 0 03589 由于属性是否本校的信息增益均是大于其他属性的信息增益 故而选择其作为根节点属性 是否本校 yes 否 不知 是 6 7 8 9 11 15 2 3 4 10 14 16 Entropy S是 0 91829Gain S是 调剂 0 91829 2 6 1 4 6 0 8112 0 044Gain S是 本科学历 0 91829Gain S是 入学成绩 0 459 S是中本科学历 相对于其他属性信息增益更大Entropy S否 1Gain S是 调剂 1Gain S是 本科学历 0Gain S是 入学成绩 0 S否中调剂 相对于其他属性信息增益更大 是否本校 本科学历 调剂 yes 否 不知 是 6 7 8 9 11 15 2 3 4 10 14 16 no no yes yes 不调 调 不好 好 构建决策树模型的过程 1 哪一个属性放在根节点测试 2 根据根节点属性可能的所有值产生对应的分支 3 把训练样例排列到属性之下的分支节点 4 重复整个过程 直到构造出的决策树能完美的分类样例或所有属性已被使用 模型具体的应用 决策树模型在客户关系管理系统中的应用 客户分类 例 某公司某年客户数据资料350条作为实验数据 并选取记录中的5个属性 年龄 月收入 住址 销售网点距离 性别 购买行为周期性 作为决策属性 最终生成的决策树模型示意图如下 利用剩下的50条数据记录对该决策树的分类准确率做分析 于是可以得到混淆矩阵如下 分类准确度为 30 16 50 92 可以通过优化决策树模型 和使用更大规模训练数据的使用 可以进一步得到更令人满意 更高准确度的决策树模型 销售网点距离 月输入 性别 性别 性别 年龄 年龄 购买行为周期性 月收入 月收入 0 0 0 1 1 0 0 0 0 0 0 0 5km 5km 10km 10km 0 0 60 35 60 15 35 60 15 60 15 30 男 女 男 女 男 女 5000 5000 5000 5000 5000 5000 其他应用 决策树模型的商业