[管理学]数据挖掘建模.ppt

数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编 邓 松 李文敬 刘海涛 编著 电子工业出版社 Date * * 2 2 16.4小结 16.3数据挖掘建模原理 16.3.1建模要求 16.3.2建模原则 16.3.3简化模型 16.3.4建模步骤 16.3.5建模素质 16.1数据挖掘建模概述 16.1.2原型与模型 16.1.3模式与模型 16.1.4知识层次理论 16.1.5模型与数据 16.1.6知识结构与框架 16.1.7决策 16.2数据挖掘建模基础 16.2.1数据挖掘建模 16.2.2建模与挖掘的结合 16.2.3模型分类 16.2.4建模行为 内容 Date 16.1数据挖掘建模概述 16.1.1原型与模型 原型指的是人们在现实世界里关心、研究、 或者从事生产、管理的实际对象。本章所述 的现实对象、研究对象、实际问题等均指原 型。 模型则是为了某个特定目的将原型的某部分 简缩、提炼而构造的原型替代物。 Date 16.1.2模式与模型 模式（Pattern）其实就是解决某一类问题的方 法论，把解决某类问题的方法总结归纳到理论 高度，就是模式。 模型（Model）就是封装数据和所有基于对这些 数据的操作，是对现实世界中过程的抽象描述 。 Date 16.1.3知识层次理论 知识是从数据到智慧划分为不同层次的，并且 所有模型都是基于数据的，理解模型也要把握 数据、信息和知识的结构。 Date * * 7 7 16.1.4模型与数据 从某种意义上而言，模型就是知识，模型联接着 数据和知识，它们对于数据提供解释具有一定的 意义，把出现在数据中的信息封装到特定框架中 模型如何表述数据集内的信息，亦即实际中运用 何种形式或机制去表述模型中的信息内容。 Date 从可操作性上而言，一 个完整的模型通常必须包 含信息表述结构和解释机 制。一般模型的简化形式 可以用图162的数据与 模型的构成部分来表示。 Date 16.1.5知识结构与框架 知识结构是指知识领域内事实、概念、观念、公理、定理、定律 等的组合方式。一般可分为以下三类结构： 学科知识结构，是各种学科内容的有机组合。 个体知识结构，为个体头脑中知识的构成状况，表现为各种门类 、各种层次知识的比例及相互关系。 群体知识结构，为一个组织中成员所具有的各种不同知识的集体 组合。 概括地说，知识结构可以表示成由对象间的互联以及定义连接的 交互网络。 Date 框架（Framework）其实就是某种应用的半成 品，就是一组组件，供使用者选用来完成自己 的系统。使用框架，简单地说就是使用别人搭 好的舞台，进行表演。 对于数据挖掘和建模来说，重要的是找到一个 描述和使用知识的一般方式的过程，他们就是 在这样的框架中工作的。建模者的所有工作都 是在模型结构的框架中完成的。 Date 16.1.6决策 决策是决定采取某种行动，这种行动的目 的在于使当事人所面临的事件呈现令人满 意的状态。此处当事人称为该行动的受益 者。凡是根据预定目标做出行动的决定， 均可称为决策。 Date 16.1.6.1决策的特征和种类 决策具有三个主要特征： （1）决策是为了实现特定目标的活动，没有 目标就无从决策，目标已经实现，也就无需决 策； （2）决策的目的在于付诸实施，不准备实施 的决策是多余的、无用的； （3）决策具有选择性，只有一个方案，就无 从优化，而不追求优化的决策是无价值的。 Date 决策的种类 选择性决策 在选择性决策中，决策者面对着两个或者更多离散的、特殊的备 选项，必须从这个集合中选出一个子集或者仅选出一个选项。 接受/拒绝性决策 在接受/拒绝性决策中，决策者面对的仅是一个决策，必须接受这 个决策或者拒绝它。 评价性决策 在评价性决策中，决策者必须基于对某实体价值的评估而进行一 系列的活动 建设性决策 在建设性决策中，决策者必须依照特定的限制使用可用资源来恰 当地组织各个可选的主题。 Date 16.1.6.2决策步骤 一般决策过程都大致包括如图163决策步骤流 程图所示的八个基本步骤： Date 16.1.6.3决策分析方法 科学决策的前提是运用科学的决策分析方法，决策分析是研究 不确定性问题的一种系统分析方法。其目的是改进决策过程， 从一系列备选方案中找出一个能满足一定目标的合适方法。 对于不同的情形会有不同的决策方法。 确定性情形不确定性情形 随机性情形多目标情形多人决策情形 Date 16.1.6.4决策与建模 在管理应用中，决策常常依赖于模型来进行，模型是决 策的有力助手，模型在提高效率方面产生了极其深远的 意义。 建模是建立模型的过程的简称，又称为模型化。凡是用 模型描述问题的因果关系或相互关系的过程都属于建模 。 建模的目的是用可量化的决策变量来帮助管理者进行决 策，模型的目标函数表达了根据决策变量做出的相应的 绩效度量，模型的约束条件表示对决策变量可能取值的 限制。 建模是为了解决问题，建模者只有依据存在的确定问题 才可以建模。 Date 16.2数据挖掘建模基础 16.2.1数据挖掘建模 数据挖掘中的建模是由数据驱动的，它通常不是由任 何潜在机制或“事实”驱动的，而是为了捕捉数据中存 在的关系。 因此，数据挖掘建模是数据驱动型建模的一种。 由于数据挖掘是数据驱动的，根据数据得到的模型本 无精确模型与非精确模型之分，所以不应该认为数据 与模型的发现存在某种因果关系。 Date 16.2.1.1数据建模 数据建模是建立数据驱动型模型的简称，是指 用更具体、更明确的函数表达形式(函数类型) 来描述由输入变量到输出变量之间的映射，并 根据有限的采样数据计算模型参数的建模活动 过程。 Date 16.2.1.2实体/数据驱动型模型的建模过程 Date 16.2.1.3实体模型与数据驱动型模型的比较 我们可以看到，虽然实体模型和数据驱动型 模型都用于描述某个对象，但是，这两种模 型的含义有着本质的区别，具体内容请详见 表161实体模型与数据驱动型模型对比表 。 * * 2121 Date 16.2.1.4数据挖掘建模 建构模型是数据挖掘技术的重要内容，正是通过建模，数据挖掘 工具才可以准确地告诉用户那些隐藏在数据库深处的重要信息，同 时又对未来做出预测。 那么，何为建模？简单而言，就是综合运用数学思想方法和IT技 术建立一个适合当前问题的模型，用以解释之前发生的事情并预测 未来发生的事情。 Date 数据挖掘建模是指针对现实世界中要解决问题的特定对 象，为特定的数据挖掘目的，做出一些重要的简化和 假设，运用适当的数据挖掘工具和其他科学工具获得 的模型，然后利用该模型来解释特定现象的现实形态 ，预测对象的未来状况，提供处理对象的优化决策和 控制，设计满足某种需要的产品等的过程。数据挖掘 建模实际上就是为采用数据挖掘工具解决实际问题， 而进行建立数据挖掘模型的活动过程。 Date 16.2.1.5建模与数据挖掘工具 算法和建模作为数据挖掘工具的核心技术从它诞生之日起就在得 到不断完善。对各种算法的支持程度是衡量数据挖掘工具的一大 标准。目前的算法技术已经相当成熟，而主流数据挖掘工具也基 本上都提供了对主流算法的支持。 数据挖掘中的建模主要采用数据建模和算法建模，其中更侧重于 算法建模。 数据挖掘的过程就是一个不断探索数据特征、建立和检验模型， 利用适合的模型来解决实际问题的过程。 目前，数据挖掘建模业界探讨较多的技术内容主要有自动建模和 模型转换两点 。 Date 16.2.2建模与挖掘的结合 所有的挖掘和建模活动都想达到一些解决识别问题的 目标。如果在战略性的层次上，挖掘和建模可以探究 和阐明一个完整的问题域，问题或者问题域就是根据 挖掘结果和建模框架所做出的决策来解决的。 假说(Hypothesis)经常被用来表示似乎并未在数据中被 真正发现，然而直觉上却感觉是正确的猜想。 当然，数据挖掘的任务就是要估计得越精确越好。对 于建模和挖掘而言，在建立解决问题方案的系统中， 输入越精确，输出就越精确，如果所输入的资料有重 大错误，结果也必然是错误的。 Date 16.2.3模型分类 在实际建立模型时，我们要依据建模目的，重点考虑对象的数 学特征和数学方法。需要注意的是对同一事物由于对问题的认 识程度或建模目的的不同，经常可以构造出不同的模型。 我们可以从不同的途径来描述模型，下面主要阐述常用的基本 的数据挖掘模型，利用基本模型经过修改、融合、创新成为需 要的模型。 这些常用的基本模型是：推理预测模型,关联系统模型,静态 动态模型,定量定性模型,比较交互模型 建模者在挖掘环境中所用到的挖掘框架，包含了所有的这些常 用模型，框架包含的模型越充分，选择的恰当性就越好。 Date 16.3数据挖掘建模原理 16.3.1建模要求 建模需要熟练的数学技巧、丰富的想象力和敏锐的洞察力，需要大量的调查 研究、借鉴已有模型，尤其要建模者亲自“实践”、自己动手、亲自体验。建 模一般具有以下要求： 模型要有足够的精 度，即把本质的关 系和规律反映出来 ，去掉非本质的内 容。 模型要简单实用 、便于处理。 建模依据要充分， 即要依据科学规律 、经济规律等来建 模。 对于模型和建模尽 量借鉴标准形式。 模型要表示的系统 要能操纵和控制， 便于检验和修改。 Date 16.3.2建模原则 在数据挖掘建模的过程中，一般遵守以下基本原则： （1）简单性 （2）清晰性 （3）相关性 （4）准确性 （5）识别性 （6）集成性 Date 16.3.3简化模型 常用简化模型的方法： 除去一些变量 改变变量的性质 合并一些变量 改变变量间的函 数关系 模型结构的转换 改变约束关系 Date 16.3.4建模步骤 图165数据挖掘建模步骤流程图 Date 16.3.5建模素质 建模是一种积极的思维活动，从认识论的角度来 看，是一种极为复杂且应变能力极强的心理活动 。其中，既有逻辑思维亦有非逻辑思维，因此没 有统一的模式和固定的方法。 但是，建模过程大多要经过分析与综合、抽象与 概括、比较与类比、系统化与具体化的阶段，其 中分析与综合是基础，抽象与概括是关键。从逻 辑思维而言，抽象、归纳、演绎、类比等形式逻 辑的思维方法被大量采用，熟悉这些基本方法对 建模会有很大帮助。 Date 从系统模型的要求、建模过程和建模步骤来看， 要建好模型，应该具备下列几方面的能力： 分析综合能力,抽象概括能力,联想洞察能力,运 用相关工具的能力,通过实践验证模型的能力 Date 称职的建模者应该具备以下几方面的能力： (1)对客观事物或过程能够透过现象抓住本质，使得对 问题有一个深刻的理解、清晰的图景、清楚的层次和 明确的轮廓。 (2)在数学方面应有基本训练，要有一定的数学修养， 并且掌握一套数学思路和方法。 (3)具有把实际问题与数学联系起来的能力，善于把各 种现象中的表面差异撇去，而把本质的共性提炼出来 。 同时，建模者应该注意需要避免的四种倾向是：懒、 馋、贪、变。 Date 16.4小结 本章作为数据挖掘的另一个