商务智能与决策支持绪论

商务智能与决策支持绪论山东大学管理学院2山东大学管理学院主要内容一、商务智能概述二、数据仓库概述三、数据挖掘概述3山东大学管理学院一、商务智能概述1、商务智能的定义2、商务智能的核心技术及其架构3、商务智能的三个层次4、商务智能可以发挥的作用5、商务智能能为企业带来效益吗?6、商务智能的应用现状7、商务智能软件厂商4山东大学管理学院1、商务智能的定义：商务智能的定义：众说纷纭。高级管理人员信息系统（EIS）？管理信息系统（MIS）？决策支持系统（DSS）？数据库技术？数据仓库？数据集市？数据整合与清洗工具？查询和报告工具？在线分析处理工具？数据挖掘？统计分析？分析性ERP？分析性CRM？……

56目前，学术界对商务智能的定义并不统一。商务智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。

山东大学管理学院7而商务智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商务智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。山东大学管理学院8商务智能的概念于1996年最早由加特纳集团（GartnerGroup）提出，加特纳集团将商务智能定义为：商务智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商务智能提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。山东大学管理学院9商务智能的定义

商务智能（BusinessIntelligence）是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力。山东大学管理学院10山东大学管理学院2、商务智能的核心技术及其架构BI不是一种技术而是多种技术综合起来的解决方案。商务智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。•DW—DataWarehousing•OLAP—On-LineAnalyticalProcessing•DM—DataMining11商务智智能的的关键键是从从许多多来自自不同同的企企业运运作系系统的的数据据中提提取出出有用用的数数据并并进行行清理理，以以保证证数据据的正正确性性，然然后经经过抽抽取（（Extraction）、转转换（（Transformation）和装装载（（Load），即即ETL过程，，合并并到一一个企企业级级的数数据仓仓库里里，从从而得得到企企业数数据的的一个个全局局视图图，在在此基基础上上利用用合适适的查查询和和分析析工具具、数数据挖挖掘工工具、、OLAP工具等等对其其进行行分析析和处处理（（这时时信息息变为为辅助助决策策的知知识）），最最后将将知识识呈现现给管管理者者，为为管理理者的的决策策过程程提供供支持持。山东大大学管管理学学院12山东大大学管管理学学院ArchitectureofBusinessIntelligenceSystem13ETL（Extraction-Transformation-Loading）是数据据抽取取（Extract）、转转换（（Transform）、清清洗（（Cleansing）、装装载（（Load）的过过程。。是构构建数数据仓仓库的的重要要一环环，用用户从从数据据源抽抽取出出所需需的数数据，，经过过数据据清洗洗，最最终按按照预预先定定义好好的数数据仓仓库模模型，，将数数据加加载到到数据据仓库库中去去。ETL负责将将分布布的、、异构构数据据源中中的数数据如如关系系数据据、平平面数数据文文件等等抽取取到临临时中中间层层后进进行清清洗、、转换换、集集成，，最后后加载载到数数据仓仓库或或数据据集市市中，，成为为联机机分析析处理理、数数据挖挖掘的的基础础。山东东大大学学管管理理学学院院14ETL是数数据据仓仓库库中中的的非非常常重重要要的的一一环环。。它它是是承承前前启启后后的的必必要要的的一一步步。。相对对于于关关系系数数据据库库，，数数据据仓仓库库技技术术没没有有严严格格的的数数学学理理论论基基础础，，它它更更面面向向实实际际工工程程应应用用。。所所以以从从工工程程应应用用的的角角度度来来考考虑虑，，按按着着物物理理数数据据模模型型的的要要求求加加载载数数据据并并对对数数据据进进行行一一些些系系列列处处理理，，处处理理过过程程与与经经验验直直接接相相关关，，同同时时这这部部分分的的工工作作直直接接关关系系数数据据仓仓库库中中数数据据的的质质量量，，从从而而影影响响到到联联机机分分析析处处理理和和数数据据挖挖掘掘的的结结果果的的质质量量。。山东东大大学学管管理理学学院院15多维维联联机机分分析析处处理理（multidimensionalonlineanalyticalprocessing）是是一一个个直直接接编编入入多多维维数数据据库库的的联联机机分分析析处处理理（（OLAP）。。一般般来来说说，，一一个个OLAP应用用程程序序以以多多维维方方式式处处理理数数据据。。用用户户可可以以观观察察数数据据集集合合体体的的不不同同方方面面，，例例如如销销售售时时间间，，地地点点和和产产品品模模型型。。如如果果数数据据贮贮存存在在相相关关的的数数据据库库里里，，那那么么它它能能被被多多维维的的观观察察，，但但是是只只能能用用连连续续的的访访问问和和处处理理数数据据集集合合体体的的一一个个方方面面的的表表格格的的方方式式。。MOLAP处理理已已经经存存贮贮在在多多维维列列表表里里的的数数据据，，在在列列表表里里数数据据可可能能的的结结合合都都被被考考虑虑，，每每个个数数据据都都在在一一个个能能够够直直接接访访问问的的单单元元里里。。MOLAP常常常用用作作数数据据仓仓库库应应用用程程序序的的一一部部分分。。山东东大大学学管管理理学学院院16八维维以以上上的的数数据据分分析析如果果说说OLTP侧重重于于对对数数据据库库进进行行增增加加、、修修改改、、删删除除等等日日常常事事务务操操作作，，OLAP（OnlineAnalyticsProcess，在在线线分分析析系系统统））则则侧侧重重于于针针对对宏宏观观问问题题，，全全面面分分析析数数据据，，获获得得有有价价值值的的信信息息。。为了了达达到到OLAP的目目的的，，传传统统的的关关系系型型数数据据库库已已经经不不够够了了，，需需要要一一种种新新的的技技术术叫叫做做多多维维数数据据库库。。山东东大大学学管管理理学学院院17多维维数数据据库库的的概概念念并并不不复复杂杂。。举举一一个个例例子子，，我我们们想想描描述述2009年8月份份可可乐乐在在北北部部地地区区销销售售额额10万元元时时，，牵牵扯扯到到几几个个角角度度：：时时间间、、产产品品、、地地区区。。这这些些叫叫做做维度度。至至于于销销售售额额，，叫叫做做度量量值值。当当然然，，还还有有成成本本、、利利润润等等。。除了了时时间间、、产产品品和和地地区区，，我我们们还还可可以以有有很很多多维维度度，，例例如如客客户户的的性性别别、、职职业业、、销销售售部部门门、、促促销销方方式式等等等等。。实实际际上上，，使使用用中中的的多多维维数数据据库库可可能能是是一一个个8维或或者者15维的的立立方方体体。。虽然然结结构构上上15维的的立立方方体体很很复复杂杂，，但但是是概概念念上上非非常常简简单单。。山东东大大学学管管理理学学院院18KPI（KeyPerformanceIndication）即关键键业业绩绩指指标标，是是通通过过对对组组织织内内部部某某一一流流程程的的输输入入端端、、输输出出端端的的关关键键参参数数进进行行设设置置、、取取样样、、计计算算、、分分析析，，衡衡量量流流程程绩绩效效的的一一种种目目标标式式量量化化管管理理指指标标，，是是把把企企业业的的战战略略目目标标分分解解为为可可运运作作的的远远景景目目标标的的工工具具，，是是企企业业绩绩效效管管理理系系统统的的基基础础。。KPI是现现代代企企业业中中受受到到普普遍遍重重视视的的业业绩绩考考评评方方法法。。KPI可以以使使部部门门主主管管明明确确部部门门的的主主要要责责任任，，并并以以此此为为基基础础，，明明确确部部门门人人员员的的业业绩绩衡衡量量指指标标，，使使业业绩绩考考评评建建立立在在量量化化的的基基础础之之上上。。建建立立明明确确的的切切实实可可行行的的KPI指标标体体系系是是做做好好绩绩效效管管理理的的关关键键。。山东大学学管理学学院19KPI法符合一一个重要要的管理理原理——“二八原理理”：在一个企企业的价价值创造造过程中中，存在在着“20/80”的规律，，即20%的骨干人人员创造造企业80%的价值；；而且在在每一位位员工身身上“二二八原理理”同样样适用，，即80%的工作任任务是由由20%的关键行行为完成成的。因此，必必须抓住住20%的关键行行为，对对之进行行分析和和衡量，，这样就就能抓住住业绩评评价的重重心。山东大学学管理学学院203、商务智智能的三三个层次次低端：报报表系统统中端：数数据分析析高端：数数据挖掘掘山东大学学管理学学院21经过几年年的积累累，大部部分大中中型的企企事业单单位已经经建立了了比较完完善的CRM、ERP、OA等基础信信息化系系统。这些系统统的统一一特点都都是：通通过业务务人员或或者用户户的操作作，最终终对数据据库进行行增加、、修改、、删除等等操作。。上述系统统可统一一称为OLTP(OnlineTransactionProcess，在线事事务处理理)，指的就就是系统统运行了了一段时时间以后后，必然然帮助企企事业单单位收集集大量的的历史数数据。山东大学学管理学学院22但是，在在数据库库中分散散、独立立存在的的大量数数据对于于业务人人员来说说，只是是一些无无法看懂懂的天书书。业务人员员所需要要的是信信息，是是他们能能够看懂懂、理解解并从中中受益的的抽象信信息。此此时，如如何把数数据转化化为信息息，使得得业务人人员(包括管理理者)能够充分分掌握、、利用这这些信息息，并且且辅助决决策，就就是商务务智能主主要解决决的问题题。如何把数数据库中中存在的的数据转转变为业业务人员员需要的的信息？？大部分的的答案是是报表系系统。简简单说，，报表系系统已经经可以称称作是BI了，它是是BI的低端实现现。山东大学学管理学学院23现在国外外的企业业，大部部分已经经进入了了中端BI，叫做数据分析析。有一些些企业已已经开始始进入高高端BI，叫做数据挖掘掘。而我国国的企业业，目前前大部分分还停留留在报表表阶段。。传传统的报报表系统统技术上上已经相相当成熟熟，大家家熟悉的的Excel、ReportingService等都已经经被广泛泛使用。。但是，，随着数数据的增增多，需需求的提提高，传传统报表表系统面面临的挑挑战也越越来越多多。山东大学学管理学学院24数据太多多，信息息太少密密麻麻麻的表格格堆砌了了大量数数据，到到底有多多少业务务人员仔仔细看每每一个数数据？到到底这些些数据代代表了什什么信息息、什么么趋势？？级别越高高的领导导，越需需要简明明的信息息。董事事长可能能只需要要一句话话：目前前我们的的情况是是好、中中还是差差？山东大学学管理学学院25难以交互互分析、、了解各各种组合合定制好的的报表过过于死板板。例如如，我们们可以在在一张表表中列出出不同地地区、不不同产品品的销量量，另一一张表中中列出不不同地区区、不同同年龄段段顾客的的销量。。但是，这这两张表表无法回回答诸如如“华北北地区中中青年顾顾客购买买数码相相机类型型产品的的情况””等问题题。业务问题题经常需需要多个个角度的的交互分分析。山东大学学管理学学院26难以挖掘掘出潜在在的规则则报表系统统列出的的往往是是表面上上的数据据信息，，但是海海量数据据深处潜潜在含有有哪些规规则呢？？什么客客户对我我们价值值最大？？产品之之间相互互关联的的程度如如何？越是深层层的规则则，对于于决策支支持的价价值越大大，但是是，也越越难挖掘掘出来。。山东大学学管理学学院27难以追溯溯历史，，数据形形成孤岛岛业务系统统很多，，数据存存在于不不同地方方。太旧旧的数据据(例如一年年前的数数据)往往被业业务系统统备份出出去，导导致宏观观分析、、长期历历史分析析难度很很大。因此，随随着时代代的发展展，传统统报表系系统已经经不能满满足日益益增长的的业务需需求了，，企业期期待着新新的技术术。数据据分析和和数据挖挖掘的时时代正在在来临。。山东大学学管理学学院28山东大学学管理学学院4、商务智智能可以以发挥的的作用-决策/管管理（Decision/ManagementProcesses）-客户服务务（CustomerServices）-竞争优势势（AheadofCompetition）-合作策略略（CorporateStrategy））-运作成本本（CostsofOperations）-客户保持持（CustomerRetention））-新客户/市场（（NewCustomers/Markets））-投资回报报率（ROI/MarketingInvestments）295.商务智能能能为企企业带来来效益吗吗?商务智能能帮助企企业的管管理层进进行快速速，准确确的决策策，迅速速的发现现企业中中的问题题，提示示管理人人员加以以解决。。但商商务智能能软件系系统不能能代替管管理人员员进行决决策，不不能自动动处理企企业运行行过程中中遇到的的问题。。因此商商务智能能系统并并不能为为企业带带来直接接的经济济效益。。但必须看看到，商商务智能能为企业业带来的的是一种种经过科科学武装装的管理理思维，，给整个个企业带带来的是是决策的的快速性性和准确确性，发发现问题题的及时时性，以以及发现现那些对对手未发发现的潜潜在的知知识和规规律，而而这些信信息是企企业产生生经济效效益的基基础。山东大学学管理学学院30山东大学学管理学学院6、商务智智能的应应用现状状-IDC的一项研研究表明明北美企企业纷纷纷转向商商务智能能工具的的开发和和应用。。商业智智能软件件市场方方兴未艾艾，为低低迷的IT产业带来来一束曙曙光。-根据弗瑞瑞斯特研研究中心心的调查查发现，，去年底底有44％的的企业表表示，计计划短期期购买BI软件。-另外，据据IDC提供的数数据，在在五年之之内，商商业智能能市场规规模将从从现在的的55亿美元元扩大到到157亿美美元。-正是看到到了BI市场的巨巨大“钱钱途””，一一些IT服务提供供商纷纷纷推出出自己的的BI软件，如如Oracle、微软、、IBM公司，国国内的一一些公司司等均大大力开发发和推广广BI软件。与与此同时时，一些些商业企企业、制制造企业业也在积积极应用用BI软件，为为其决策策提供有有价值的的服务。。-报告预测测，到2010年，中中国BI市场规模模会超过过50亿亿元。317.商务智能能软件厂厂商目前主要要商务智智能软件件厂商有有：IBMORACLESAPSASSybaseAnalyzer微软菲奈特和勤山东大学学管理学学院32山东大学学管理学学院二、数据据仓库概概述1、数据据库技术术的发展展2、OLTP与OLAP3、数据据仓库的的产生4、数据据仓库的的定义5、数据仓库库的发展展6、数据仓库库与数据据挖掘的的关系33山东大学学管理学学院二、数据据仓库概概述1、数据据库技术术的发展展（1）1970~1980s早期-关系数据据模型,关系系数据库库管理系系统(RDBMS)的出现（2）1980s晚期~-各种高级级数据库库系统(扩展的的关系数数据库，，面向对对象数据据库)-面向应用用的数据据库系统统(空空间数据据库，时时序数据据库）（3）1990s~-数据挖掘掘,数数据仓库库,多多媒体数数据库和和网络数数据库（4）2000s~-流数据管管理和挖挖掘-基于各种种应用的的数据挖挖掘-XML数据库和和整合的的信息系系统34山东大学学管理学学院2、OLTP与OLAP（1）OLTP（On-lineTransactionProcessing）即在线操操作处理理，是指指对数据据库的联联机操作作处理。。事务型型处理是是用来协协助企业业对响应应事件或或事务的的日常商商务活动动进行处处理。它是事件驱动动、面向应用用的，通常是是对一个或一一组记录的增增、删、改以以及简单查询询等。事务型型处理的应用用程序和数据据是紧紧围绕绕着所管理的的事件来构造造的。35山东大学管理理学院二、数据仓库库概述2、OLTP与OLAP（2）OLAP（On-LineAnalyticalProcessing）即在线分析处处理，用于管管理人员的决决策分析，例例如DSS、EIS、和多维分析等等。它帮助决决策者分析数数据以此察看看趋向、判断断问题。分析型处理经经常要访问大大量的历史数数据，支持复复杂的查询。。在分析型处处理中，并不不是对从事务务型处理环境境中得到的细细节数据进行行分析。细节节数据量太大大，会严重影影响分析的效效率，而且太太多的细节数数据不利于分分析人员将注注意力集中于于有用的信息息。36山东大学管理理学院二、数据仓库库概述2、OLTP与OLAP37山东大学管理理学院二、数据仓库库概述3、数据仓库库的产生：为什么要创建建数据仓库？？传统数据库的的处理方式和和决策分析中中的数据需求求不相称，主主要表现在：：（1）决策处理的的系统响应问问题在日常事务处处理中，用户户对系统和数数据库的要求求是数据存取取频率要高，，操作时间要要短；而在决决策分析中，，有的决策问问题请求可能能导致长达数数小时的运行行，有的决策策分析问题的的解决需要遍遍历数据库中中大部分数据据，这些是日日常事务处理理系统所无法法承担的。因因此操作型数数据和决策型型数据应该分分离。38（2）决策数据需需求的问题在进行决策时时，需要有全全面的、正确确的集成数据据。如果将数数据集成问题题交给决策分分析程序解决决，将大大增增加决策分析析系统的负担担，并且没必必要在每次进进行决策分析析时都进行数数据集成。对在不同的应应用系统中，，存在的同一一实体属性具具有不同数据据类型、不同同字段名称以以及不同格式式等，在决策策数据集成时时需要进行转转换。决策数据需要要动态更新，，并且往往需需要一些经过过汇总、概括括的数据。山东大学管理理学院二、数据仓库库概述39（3）决策数据据操作的问题题从对数据的操操作方式上讲讲，日常事务务处理系统远远远不能满足足决策人员的的需要，决策策分析人员希希望以专业用用户的身份使使用各种工具具对数据进行行多种形式的的操作，对数数据操作结果果以商业智能能的方式表达达出来，现有有系统很难达达到此要求。。山东大学管理理学院二、数据仓库库概述40由于系统响应问题题、决策数据问题题和决策数据操作作问题的存在，导致致企业无法使使用现有的业业务处理来满满足决策分析析的需要，因因此决策分析析需要一个能能够不受传统统事务处理的的约束、高效效率处理决策策分析数据的的支持环境，，这就是数据据仓库存在的的价值。山东大学管理理学院二、数据仓库库概述41山东大学管理理学院二、数据仓库库概述3、数据仓库库的产生-1988年IBM爱尔兰公司第第一次提出了了“信息仓库”的概念。-90年代初数数据仓库的基基本原理、框框架架构，分分析系统的主主要原则都已已经确定，主主要的技术已已具备，一些些公司开始建建立数据仓库库。-1992年美国著名的的信息工程学学家WilliamH.Inmon在《BuildingtheDataWarehouse》（《建立数据仓库库》）一书中首先系系统的阐述了了数据仓库的的思想、理论论。被人们尊尊称为“数据仓库之父父”。42山东大学管理理学院二、数据仓库库概述4、数据仓库库的定义数据仓库用来来保存从多个个数据库或其其它信息源选选取的数据,并为上层层应用提供统统一用户接接口，完成数数据查询和分分析。数据仓库是作作为DSS服务基础的分分析型DB，用来存放大容容量的只读数数据，为制定定决策提供所所需要的信息息。数据仓库是与与操作型系统统相分离的、、带有时间属属性的、面向向主题及不可可更新的数据据集合。在1992最最先提出了数数据仓库的概概念。按照Inmon的定义，数据仓库是面面向主题的、、集成的、不不可更新的（（稳定的）、、随时间不断断变化（不同同时间）的数数据集合，用用于支持经营营管理中的决决策制定过程程。43山东大学管理理学院二、数据仓库库概述4、数据仓库库的定义数据集市（DataMart）也可叫做“小数据仓库”。如果说数据据仓库是建立立在企业级的的数据模型之之上的话。那那么数据集市市就是企业级级数据仓库的的一个子集，，他主要面向向部门级业务务，并且只面面向某个特定定的主题。44山东大学管理理学院二、数据仓库库概述4、数据仓库库的定义45山东大学管理理学院二、数据仓库库概述5、数据仓库的发发展-NCR公司为WalMart建立了第一个个数据仓库。。-1996年，，加拿大的IDC公司调查了62家实现了了数据仓库的的欧美企业，，结果表明：：数据仓库为为企业提供了了巨大的收益益。-IBM：在其DB2发布一年后的的1998年年9月发布5.2版，并并于1998年12月推推向中国市场场，除了用于于OLAP（联机分析处理理）的后台服服务器DB2OLAPServer外，IBM还提供了一系系列相关的数数据仓库产品品，包括前端端工具，形成成一整套解决决方案。-Informix：在其动态服服务器IDS（InformixDynamicServer）中提供一系列列相关选件，，如高级决策策支持选件（（AdvancedDecisionSupportOption）、OLAP选件（MetaCubeROLAPOption）、扩展并行选件件（ExtendedParallelOption）等，其中数据据仓库和数据据库查询的SQL语句的一致性性使得用户开开发更加简便便。46山东大学管理理学院二、数据仓库库概述5、数据仓库的发发展-微软公司：在在其SQLServer7.0以及SQLServer2000中集成了OLAP服务器。SQLServer2005集成了数据挖挖掘组件。-Sybase：提供了专门的的OLAP服务器SybaseIQ，并将其与数据据仓库相关工工具打包成WarehouseStudio。-Oracle：推出从数据仓仓库构建、OLAP到数据集市管管理等一系列列产品包（如如OracleWarehouseBuilder、OracleExpress、DataMartSuit等）。47山东大学管理理学院二、数据仓库库概述5、数据仓库的发发展我国数据仓库库的发展现状状：数据仓库的概概念已经被国国内用户接受受多年，但在在应用方面的的收效仍很有有限。原因：-尚不存在可靠靠的、完善的的、被广泛接接受的数据仓仓库标准；-现有的数据库库系统不健全全，数据积累累还不够，无无法提出决策策支持需求；；-缺乏能够担负负规划、设计计、构建和维维护数据仓库库的重任的复复合型人才；；-缺乏数据仓库库前端工具（（如OLAP工具、数据挖挖掘工具等））；-由于国内外文文化的差异，，一些用于构构建数据仓库库的知名产品品无法处理一些难以预料料的问题，使使得建立数据据仓库的困难难加大。48山东大学管理理学院二、数据仓库库概述5、数据仓库的发发展我国数据仓库库的发展前景景：随着计算机技技术的发展，，尤其是分布布式技术的发发展，特别别是思想观念念的进步，数数据仓库在我我国有着广阔阔的发展空间间和良好的发发展前景。-由于银行商业业化的步伐正正在加大和外外资银行的不不断进入，各各大中型银行行开始重新考考虑自身的业业务，特别是是信贷风险管管理方面特别别注意，因而而有关信贷风风险管理和风风险规章的基基于数据仓库库的决策支持持系统的需求求逐渐增多；；-由于电子商务务的迅速发展展，越来越多多的电子商务务网站，开始始考虑如何将将数据仓库应应用于商品销销售分析、顾顾客的诚信度度分析等，为为客户提供更更进一步的个个性化服务；；-移动通信等各各种大型企业业也开始考虑虑着手进行决决策支持以及及数据仓库规规划。49山东大学管理理学院二、数据仓库库概述6、数据仓库与数数据挖掘的关关系-数据仓库系统统的数据可以以作为数据挖挖掘的数据源源数据仓库系统统能够满足数数据挖掘技术术对数据环境境的要求，可可以直接作为为数据挖掘的的数据源。-数据挖掘的数数据源不一定定必须是数据据仓库系统数据挖掘的数数据源可以是是任何数据文文件或格式，，但必须事先先进行数据预预处理，处理理成适合数据据挖掘的数据据。50山东大学管理理学院三、数据挖掘掘概述1、数据挖掘的产产生2、数据挖掘的定定义3、数据挖掘与知知识发现4、在何种数数据上进行数数据挖掘5、数据挖掘掘的功能6、数据挖掘掘系统的分类类7、数据挖掘掘常用技术8、数据挖掘掘的过程9、数据挖掘掘应用领域10、数据挖挖掘的发展趋趋势51山东大学管理理学院三、数据挖掘掘概述什么是数据挖挖掘？数据挖掘就是是从大量的数数据中提取或或挖掘知识，，就像从矿石石中采金52山东大学管理理学院三、数据挖掘掘概述摩尔定律微处理器的性性能每隔18个月提高一倍倍，而价格不变。网络化时代互联网用户数数网络经济飞速速发展电子商务市场场交易额信息社会结果？53山东大学管管理学院三、数据挖挖掘概述结果之一：：信息量过过大，难以以消化结果之二：：信息真假假难以辨别别结果之三：：信息安全全难以保证证结果之四：：信息形式式不一致，，难以统一一处理HowTodealwithit?54山东大学管管理学院三、数据挖挖掘概述数据库越来越大数据挖掘有价值的知知识可怕的数据据55山东大学管管理学院三、数据挖挖掘概述啤酒与尿布布的故事全球连锁零零售巨头沃沃尔玛公司司NCR公司Teradata（（数据仓库））事业部，，提供数据据仓库系统统56山东大学管管理学院三、数据挖挖掘概述市场需求是是技术发展展的源动力力“我们花了了20多年年的时间将将数据放入入数据库，，如今是该该将它们拿拿出来的时时候了。””——著名的的数据挖掘掘专家RalphKimball57山东大学管管理学院三、数据挖挖掘概述1、数据挖掘的的产生数据爆炸——自动数据收收集工具和和成熟的数数据库技术术使得大量量的数据被被收集，存存储在数据据库、数据据仓库或其其他信息库库中以待分分析。知识饥饿——我们拥有丰丰富的数据据，但却缺缺乏有用的的信息。问题的解决决——从大量数据据中找出隐隐藏在其中中的、有用用的信息和和规律；计计算机技术术和信息技技术的发展展使其有能能力处理这这样大量的的数据。58山东大学管管理学院三、数据挖挖掘概述1、数据挖掘的的产生进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机、磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库（RDBMS），结构化查询语言（SQL），ODBCOracle、Sybase、Informix、IBM、Microsoft提供历史性的、动态数据信息数据仓库(90年代)“新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）、多维数据库、数据仓库Pilot、Comshare、Arbor、Cognos、Microstrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法、多处理器计算机、海量数据库SAS、SPSS、IBM、微软、其他初创公司提供预测性的信息59山东大学管管理学院三、数据挖挖掘概述1、数据挖掘的的产生并非所有的的东西都是是数据挖掘掘-基于数据仓仓库的OLAPOLAP专注于数据据的汇总，，而数据挖挖掘系统可可以对数据据进行多种种复杂的处处理。-机器学习系系统，数据据统计分析析系统这些系统所所处理的数数据容量往往往很有限限。-信息系统专注于数据据的查询处处理。相比于上述述系统，数数据挖掘系系统关注更更广的范围围，是一个个多学科的的融合。60山东大学管管理学院三、数据挖挖掘概述1、数据挖掘的的产生数据挖掘技技术是一门门综合性的的技术领域域，主要涉涉及数据库库、人工智智能和数理理统计等技技术领域。。可广泛地应应用于科学研究、、市场营销销、金融分分析、体育育比赛等许多方面面。61山东大学管管理学院三、数据挖挖掘概述1、数据挖掘的的产生查询驱动的的OLAP可以按要求求将数据展展示在决策策者面前，，却无法自自动发现潜潜藏在数据据中的有用用信息，大大大降低了了数据的使使用价值。。为实现对对潜藏信息息的自动发发掘，90年代中期期出现了数数据挖掘技技术（DataMining）。。-八十年代人工智智能（AI）研究项目失失败后，转转入实际应应用时提出出。-1989年国际上第第一次关于于数据挖掘掘与知识发发现的研讨讨会在美国国的底特律律召开，在在此次会议议上第一次次提出了知知识发现一一词。-1995年年，在加拿拿大召开了了第一届KDD和DM国际学术会会议。会议议对KDD和DM做了确切的的定义。。62山东大学管管理学院三、数据挖挖掘概述2、数据挖掘的的定义技术上的定定义：数据挖掘（（DataMining）就是从大量量的、不完完全的、有有噪声的、、模糊的、、随机的实实际应用数数据中，提提取隐含在在其中的、、人们事先先不知道的的、但又是是潜在有用用的信息和和知识的过过程。-原始数据可可以是结构化的；也可以以是半结构化的。-数据源必须须是真实的的、大量的的、含噪声声的；-发现的是用用户感兴趣趣的知识；；-发现的知识识要可接受受、可理解解、可应用用；-并不要求发发现放之四四海而皆准准的普遍规规律，仅支支持特定的的发现问题题。63山东大学管管理学院三、数据挖挖掘概述结构化数据据：存储在数据据库里，可可以用二维维表结构来来逻辑表达达实现的数数据叫结构构化数据。非结结构构化化数数据据：不方方便便用用数数据据库库二二维维逻逻辑辑表表来来表表现现的的数数据据即即称称为为非非结结构构化化数数据据，，包包括括所所有有格格式式的的办办公公文文档档、、文文本本、、图图片片、、Web页、、各各类类报报表表、、图图像像和和音音频频/视频频信信息息等等等等。。半结结构构化化数数据据：介于于两两者者之之间间，，具具有有隐隐含含模模式式、、信信息息结结构构不不规规则则、、无无严严格格类类型型约约束束等等特特点点。。字字段段可可根根据据需需要要扩扩充充，，即即字字段段数数目目不不定定，，例例如如Exchange存储储的的数数据据。。64山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述2、、数据据挖挖掘掘的的定定义义商业业角角度度的的定定义义：：数据据挖挖掘掘是是一一种种新新的的商商业业信信息息处处理理技技术术，，其其主主要要特特点点是是对对商商业业数数据据库库中中的的大大量量业业务务数数据据进进行行抽抽取取、、转转换换、、分分析析和和其其他他模模型型化化处处理理，，从从中中得得到到辅辅助助商商业业决决策策的的关关键键数数据据。。企业业数数据据量量非非常常大大，，而而其其中中真真正正有有价价值值的的信信息息却却很很少少，，因因此此从从大大量量的的数数据据中中经经过过深深层层分分析析，，获获得得有有利利于于商商业业运运作作、、提提高高竞竞争争力力的的信信息息，，就就像像从从矿矿石石中中淘淘金金一一样样，，数数据据挖挖掘掘也也因因此此而而得得名名。。65山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述2、、数据据挖挖掘掘的的定定义义数据据挖挖掘掘与与传传统统分分析析方方法法的的区区别别数据据挖挖掘掘与与传传统统分分析析方方法法（（如如查查询询、、报报表表、、联联机机应应用用分分析析等等））的的本本质质区区别别是是：：数据据挖挖掘掘是是在在没没有有明明确确假假设设的的前前提提下下去去挖挖掘掘信信息息、、发发现现知知识识。。数数据据挖挖掘掘所所得得到到的的信信息息应应具具有有先前前未未知知、有效效和可实实用用三个个特特征征。。66山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述3、、数据据挖挖掘掘与与知知识识发发现现与数数据据挖挖掘掘相相近近的的词词有有知识识发发现现、数据据融融合合、数据据分分析析和决策策支支持持等。。67山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述68山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述4、、在在何何种种数数据据上上进进行行数数据据挖挖掘掘-空间间数数据据库库空间间数数据据库库是是指指在在关关系系型型数数据据库库（（DBMS））内部部对对地地理理信信息息进进行行物物理理存存储储。。空空间间数数据据库库中中存存储储的的海海量量数数据据包包括括对对象象的的空空间间拓拓扑扑特特征征、、非非空空间间属属性性特特征征以以及及对对象象在在时时间间上上的的状状态态变变化化。。常见见的的空空间间数数据据库库数数据据类类型型地理理信信息息系系统统(GIS)遥感感图图像像数数据据医学学图图像像数数据据数据据挖挖掘掘技技术术的的应应用用：：通通过过空空间间分分类类和和空空间间趋趋势势分分析析，，引引入入机机器器学学习习算算法法，，对对有有用用模模式式进进行行智智能能检检索索69山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述4、、在在何何种种数数据据上上进进行行数数据据挖挖掘掘-时间间数数据据库库和和时时间间序序列列数数据据库库时间间数数据据库库和和时时序序数数据据库库都都存存放放与与时时间间有有关关的的数数据据。。时时间间数数据据库库通通常常存存放放包包含含时时间间相相关关属属性性的的数数据据。。时时序序数数据据库库存存放放随随时时间间变变化化的的值值序序列列。。对时时间间数数据据库库和和时时序序数数据据库库的的数数据据挖挖掘掘,可可以以通通过过研研究究事事物物发发生生发发展展的的过过程程，，有有助助于于揭揭示示事事物物发发展展的的本本质质规规律律，，可可以以发发现现数数据据对对象象的的演演变变特特征征或或对对象象变变化化趋趋势势。。70山东东大大学学管管理理学学院院三、、数数据据挖挖掘掘概概述述4、、在在何何种种数数据据上上进进行行数数据据挖挖掘掘-流数数据据与传传统统的的数数据据库库技技术术中中的的静静态态数数据据不不同同，，流流数数据据是是连连续续的的、、有有序序的的、、变变化化的的、、快快速速的的、、大大量量的的数数据据输输入入的的数数据据。。主要要应应用用场场合合网络络监监控控网页页点点击击流流股票票市市场场流媒体……等等与传统数数据库技技术相比比，流数数据在存存储、查查询、访访问、实实时性的的要求等等方面都都有很大大区别。。71山东大学学管理学学院三、数据据挖掘概概述4、在何何种数据据上进行行数据挖挖掘-多媒体数数据库多媒体数数据库实实现用计计算机管管理庞大大复杂的的多媒体体数据，，主要包包括包括括图形(graphics)、、图象(image)、、声音(audio)、、视频(video)等等，现现代数据据库技术术一般将将这些多多媒体数数据以二二进制大大对象的的形式进进行存储储。对于多媒媒体数据据库的数数据挖掘掘，需要要将存储储和检索索技术相相结合。。目前的的主要方方法包括括构造多多媒体数数据立方方体、多多媒体数数据库的的多特征征提取和和基于相相似性的的模式匹匹配。72山东大学学管理学学院三、数据据挖掘概概述4、在何何种数据据上进行行数据挖挖掘-面向对象象数据库库和对象象-关系系数据库库面向对象象数据库库是面向向对象技技术和数数据库技技术结合合的产物物，该技技术对数数据以对对象的形形式进行行存储，，并在这这个基础础上实现现了传统统数据库库的功能能，包括括持久性性、并发发控制、、可恢复复性、一一致性和和查询数数据库的的能力等等。对象－关关系数据据库基于于对象－－关系模模型构造造，该模模型通过过处理复复杂对象象的丰富富数据类类型和对对象定位位等功能能，扩充充关系模模型。面向对象象数据库库和对象象－关系系数据库库中的数数据挖掘掘会涉及及一些新新的技术术，比如如处理复复杂对象象结构、、复杂数数据类型型、类和和子类层层次结构构、构造造继承以以及方法法和过程程等等。。73山东大学学管理学学院三、数据据挖掘概概述74山东大学学管理学学院三、数据据挖掘概概述5、数据据挖掘的的功能通常，用用户并不不知道在在数据中中能挖掘掘出什么么东西，，对此我我们会在在数据挖挖掘中应应用一些些常用的的数据挖挖掘功能能，挖掘掘出一些些常用的的模式，，包括：概念描述述:特特征性描描述和区区别性描描述关联分析析分类与预预测聚类分析析趋势分析析孤立点分分析偏差分析析总体上可可以分为为两类：：Predication用历史预预测未来来Description了解数据据中潜在在的规律律75山东大学学管理学学院三、数据据挖掘概概述5、数据据挖掘的的功能（1）概念描述述对某类对对象的内内涵进行行描述，，并概括括这类对对象的有有关特征征。-特征性描描述：描描述某类类对象的的共同特特征。例：对某某公司的的“大客客户”（（年消费费额￥5000以上））的特征征性描述述为40－－50岁岁，有固固定职业业，信誉誉良好，，等等。。-区别性描描述：描描述不同同类对象象之间的的区别。。例：76山东大学学管理学学院三、数据据挖掘概概述5、数据据挖掘的的功能（2）关联分析析若两个或或多个变变量间存存在着某某种规律律性，就就称为关关联。关关联分析析的目的的就是找找出数据据中隐藏藏的规律律。广泛泛的用于于购物篮篮或事务务数据分分析。例：77山东大学学管理学学院三、数据据挖掘概概述5、数据据挖掘的的功能（3）分类与预预测分类：依照所所分析对对象的属属性分门门别类、、加以定定义、建建立类组组。例：根根据给给定的的分类类规则则可以以将信信用卡卡申请请人可可分为为低、、中、、高风风险群群。预测：利用用历史史数据据建立立模型型，再再运用用最新新数据据作为为输入入值，，获得得未来来变化化的趋趋势或或者评评估给给定样样本可可能具具有的的属性性值或或值的的范围围。例：根根据已已有客客户数数据模模型，，可以以预测测将来来客户户的消消费行行为。。78山东大大学管管理学学院三、数数据挖挖掘概概述5、数数据挖挖掘的的功能能（4））聚类分分析客观的的按被被处理理对象象的特特征分分类，，将有有相同同特征征的对对象归归为一一类。。也就就是，，将物物理或或抽象象对象象的集集合分分组成成为由由类似似的对对象组组成的的多个个类的的过程程。例：对在一一个商商场购购买力力较大大的顾顾客居居住地地进行行聚类类分析析，以以帮助助商场场针对相相应顾顾客群群采取取有针针对性性的营营销策策略。。最大化化类内内的相相似性性和最最小化化类间间的相相似性性分类与与聚类类的区区别：：分类中中分类类规则则需要要预先先定义义类别别和训训练样样本，，而聚聚类分分析直直接面面向源源数据据，所所有记记录根根据彼彼此相相似程程度来来归类类。79山东大大学管管理学学院三、数数据挖挖掘概概述5、数数据挖挖掘的的功能能（5））趋势分分析趋势分分析又又称为为时间间序列列分析析，是是从相相当长长的时时间的的发展展中发发现规规律和和趋势势。例：根根据过过去几几年的的股票票市场场（时时间序序列））数据据，用用趋势势分析析可以以发现现整个个股票票市场场或某某支股股票的的变化化规律律。如如：它它可以以导出出类似似“若若AT&T股票连连续上上涨两两天且且DEC股票不不下跌跌，则则第三三天IBM股票上上涨的的可能能性为为75%””的数数据关关系。。80山东大大学管管理学学院三、数数据挖挖掘概概述5、数数据挖挖掘的的功能能（6））孤立点点分析析孤立点点：数据据库中中包含含的一一些与与数据据的一一般行行为或或模型型不一一致的的数据据。通常孤孤立点点被作作为““噪音音”或或异常常被丢丢弃，，但在在欺骗骗检测测中却却可以以通过过对罕罕见事事件进进行孤孤立点点分析析而得得到结结论。。应用：：信用卡卡欺诈诈检测测移动电电话欺欺诈检检测客户划划分医疗分分析（（异常常）81山东大大学管管理学学院三、数数据挖挖掘概概述5、数数据挖挖掘的的功能能（7））偏差分分析偏差分分析又又称为为比较较分析析，是是对差差异和和极端端特例例的描描述，，揭示示事物物偏离离常规规的异异常现现象。。偏差包包括很很多潜潜在的的知识识，如如分类类中的的反常常实例例、不不满足足规则则的特特例、、观测测结果果与模模型预预测值值的偏偏差量量值随随时间间的变变化等等。82山东大大学管管理学学院三、数数据挖挖掘概概述83山东大大学管管理学学院三、数数据挖挖掘概概述6、数数据挖挖掘系系统的的分类类（2）根据挖挖掘的的知识识类型型特征分分析，，关联联分析析，分分类聚聚类，，孤立立点分分析，，趋势势分析析，偏偏差分分析等等等。。（3））根据挖挖掘所所用的的技术术面向数数据库库的挖挖掘、、数据据仓库库、、OLAP、、机器学学习、、统计计学、、可视视化等等。（4））根据应应用分分类金融，，电信信，银银行，，欺诈诈分析析，DNA分析，，股票票市场场，Web挖掘等等等。。84山东大大学管管理学学院三、数数据挖挖掘概概述7、数据挖挖掘常常用技技术（1）数据挖挖掘算算法是是数据据挖掘掘技术术的一一部分分。（2）数据据挖掘掘技术术用于于执行行数据据挖掘掘功能能。（3）一个特特定的的数据据挖掘掘功能能只适适用于于给定定的领领域。。按照上上述思思想，，数据据挖掘掘技术术主要要包含含以下下几种种：85山东大大学管管理学学院三、数数据挖挖掘概概述7、数数据挖挖掘常常用技技术（1））聚类检检测方方法聚类检检测也也称为为无指指导的的知识识发现现或无无监督督学习习，聚聚类生生成的的组叫叫簇，，簇是是数据据对象象的集集合。。聚类类检测测就是是使同一一个簇簇内的的任意意两个个对象象之间间具有有较高高的相相似性性，不不同簇簇的两两个对对象之之间具具有较较高的的相异异性。。聚类检检测方方法有有：划分的