第1章商务智能基本概念

1、第1章 商务智能基本概念 信息技术的不断推广应用，将企业带入了一个信息爆炸的时代。每日、 每时、每刻都有潮水般的信息出现在管理者的面前，等待管理者去处 理、去使用。与此同时，企业的管理者在管理中面对来自不同部门的、 相互矛盾的信息无法对所要解决的决策问题提出正确的解决方案。为 此，需要一种新的信息处理技术能够使决策者们获取及时准确的信息， 以理解商务活动并做出智能化的、更有效的决策，即能从海量的数据 中提取有用的信息并转化为商务知识，从而告别“拍脑袋”决策方式。 通过本章学习，可以了解：通过本章学习，可以了解： 商务智能的发展及体系结构； 数据仓库的总体结构框架； 数据仓库的功能结构； 数据仓

2、库的环境支持结构； 数据挖掘的基本原理； 数据挖掘的应用范围和应用过程。 1.1 商务智能的基本概念商务智能的基本概念 1.1.1 商务智能的定义商务智能的定义 1989年美国加特纳公司的分析师年美国加特纳公司的分析师Howard Dresner首首 次提出次提出“商务智能商务智能” 美国IBM公司、Microsoft、IDC国际数据公司、 Business Objects公司、Teradata公司、美国Micro Strategy公司对商务智能都有相关研究。 1.1 商务智能的基本概念商务智能的基本概念 q商务智能商务智能是数据仓库、联机分析处理和数据挖掘等相是数据仓库、联机分析处理和数据挖

3、掘等相 关技术走向商业应用后形成的一种应用技术。关技术走向商业应用后形成的一种应用技术。 q该技术收集、汇总了与商务活动有关的各种数据，将该技术收集、汇总了与商务活动有关的各种数据，将 其集成到数据仓库中。其集成到数据仓库中。 q采用联机分析技术对商务活动进行实时的监控、分析，采用联机分析技术对商务活动进行实时的监控、分析， 便于及时采取有效的商务决策，提升商务活动的绩效。便于及时采取有效的商务决策，提升商务活动的绩效。 q应用数据挖掘技术对描述商务活动的数据进行挖掘，应用数据挖掘技术对描述商务活动的数据进行挖掘， 以获取有效的商务信息，从中提取商务知识，为企业以获取有效的商务信息，从中提取商

4、务知识，为企业 商业发展寻找新的机遇。商业发展寻找新的机遇。 1.1 商务智能的基本概念商务智能的基本概念 1.1.2 商务智能的发展与应用商务智能的发展与应用 1商务智能的发展商务智能的发展 从从20世纪世纪60年代计算机用于管理信息处理开始，年代计算机用于管理信息处理开始， 经过经过40多年的发展，信息处理技术的发展经历了多年的发展，信息处理技术的发展经历了 电子数据处理系统（电子数据处理系统（EDPS，Electronic Data Processing System）、管理信息系统）、管理信息系统(MIS， Management Information System)和决策支持和决策支

5、持 系统系统(DSS, Decision Supporting System)等阶等阶 段。段。 1.1 商务智能的基本概念商务智能的基本概念 2商务智能的作用商务智能的作用 主要体现在理解、改善、衡量和创造四个方主要体现在理解、改善、衡量和创造四个方 面。面。 3商务智能的作用域商务智能的作用域 战略管理、营销管理、市场管理、客户关系战略管理、营销管理、市场管理、客户关系 管理和风险管理等。管理和风险管理等。 1.1 商务智能的基本概念商务智能的基本概念 1.1.3 商务智能的体系结构商务智能的体系结构 商务智能体系架构主要有：商务智能体系架构主要有： 比尔比尔恩门的信息工厂，恩门的信息工厂

6、， 扎克曼的企业体系结构，扎克曼的企业体系结构， 美国数据仓库研究院的商务智能体系结构美国数据仓库研究院的商务智能体系结构 加特纳公司的商务智能体系结构等。加特纳公司的商务智能体系结构等。 这些体系结构中均包含了商务分析、这些体系结构中均包含了商务分析、OLAP、数、数 据挖掘和数据仓库四大部分（图据挖掘和数据仓库四大部分（图1.1）。）。 1.1 商务智能的基本概念商务智能的基本概念 图1.1 商务智能体系结构 商务分析：绩效管理、客户管理、供应链管理 OLAP、数据挖掘 数据仓库 1.2 数据仓库的发展与展望数据仓库的发展与展望 1.2.1 从传统数据库到数据仓库从传统数据库到数据仓库 1

7、.决策处理的系统响应问题决策处理的系统响应问题 2.决策数据需求的问题决策数据需求的问题 3.决策数据操作的问题决策数据操作的问题 4.数据仓库与传统数据库的对比数据仓库与传统数据库的对比 1.2 数据仓库的发展与展望数据仓库的发展与展望 表1-1 数据仓库与数据库对比表 对比内容数据库数据仓库 数据内容当前值历史的、存档的、归纳的、计算 的数据 数据目标面向业务操作程序、重复 处理 面向主题域、管理决策分析应用 数据特性动态变化、按字段更新静态、不能直接更新、只定时添 加 数据结构高度结构化、复杂、适合 操作计算 简单、适合分析 使用频率高中到低 数据访问量每个事务只访问少量记录有的事务可能

8、要访问大量记录 对响应时间 的要求 以秒为单位计量以秒、分钟、甚至小时为计量单 位 1.2 数据仓库的发展与展望数据仓库的发展与展望 1.2.2 数据仓库的定义与基本特性数据仓库的定义与基本特性 William H.Inmon在在1993年所写的论著年所写的论著 Building the Data Warehouse则首先系统则首先系统 性地阐述了关于数据仓库的思想、理论，为数据性地阐述了关于数据仓库的思想、理论，为数据 仓库的发展奠定了历史基石。在文中，将数据仓仓库的发展奠定了历史基石。在文中，将数据仓 库定义为：库定义为： “一个面向主题的、集成的、随时间变化的、非一个面向主题的、集成的、

9、随时间变化的、非 易失性数据的集合，用于支持管理层的决策过易失性数据的集合，用于支持管理层的决策过 程程”。 1.2 数据仓库的发展与展望数据仓库的发展与展望 1.面向主题性面向主题性 面向主题性表示了数据仓库中数据组织的基本原则，数面向主题性表示了数据仓库中数据组织的基本原则，数 据仓库中的所有数据都是围绕着某一主题组织的。据仓库中的所有数据都是围绕着某一主题组织的。 n确定主题以后，需要确定主题应该包含的数据。 n不同的主题之间可能会出现相互重叠的信息。 n主题在数据仓库中可以用多维数据库方式进行存储。 n主题的划分中，必须保证每一个主题的独立性。 1.2 数据仓库的发展与展望数据仓库的发

10、展与展望 2.数据集成性数据集成性 根据决策分析的要求，将分散于各处的源数据进 行抽取、筛选、清理、综合等工作，最终集成到 数据仓库中。 3.数据的时变性数据的时变性 数据应该随着时间的推移而发生变化。不断地生 成主题的新快照 4.数据的非易失性数据的非易失性 数据不进行更新处理 1.2 数据仓库的发展与展望数据仓库的发展与展望 5.数据的集合性数据的集合性 按照主题，按照主题， q以多维数据库方式进行存储的多维模式以多维数据库方式进行存储的多维模式 q以关系数据库方式进行存储的关系模式以关系数据库方式进行存储的关系模式 q以两者相结合的方式进行存储的混合模式以两者相结合的方式进行存储的混合模

11、式 6.支持决策作用支持决策作用 1.2 数据仓库的发展与展望数据仓库的发展与展望 1.2.3 数据仓库的发展数据仓库的发展 1.基于关系对象数据库的数据仓库基于关系对象数据库的数据仓库 2.网络的影响网络的影响 3.操作型动态数据仓库操作型动态数据仓库 4.Web应用中的多智体技术应用中的多智体技术 1.3 数据仓库的体系结构数据仓库的体系结构 1.3.1 数据仓库的概念结构数据仓库的概念结构 数据源、数据准备区、数据仓库数据库、数据集数据源、数据准备区、数据仓库数据库、数据集 市市/知识挖掘库以及各种管理工具和应用工具（图知识挖掘库以及各种管理工具和应用工具（图 1.2）。）。 1.3 数

12、据仓库的体系结构数据仓库的体系结构 数据源 业务系 统 外部 数据 源 数 据 准 备 区 数 据 仓 库 数 据 库 应用工 具 管理工具 数据 集市 /知 识挖 掘库 应用工 具 数据 集市 /知 识挖 掘库 图1.2 数据仓库的概念结构 1.3 数据仓库的体系结构数据仓库的体系结构 1.3.2 虚拟数据仓库结构虚拟数据仓库结构 不需要从业务系统中抽取数据到新的数据存储位不需要从业务系统中抽取数据到新的数据存储位 置置数据仓库中数据仓库中 用户 数据仓库 查询管理 服务器 业务系统 数据库 1.3 数据仓库的体系结构数据仓库的体系结构 1.3.3 数据集市结构数据集市结构 用户 数据仓库

13、查询管理 服务器 业务系统数 据库 主题1 主题2 1.3 数据仓库的体系结构数据仓库的体系结构 1.3.4 单一数据仓库结构单一数据仓库结构 用户 数据仓库 查询管理 服务器 业务 系统 数据 库 数据 仓库 数据 集市 1 数据 集市 2 1.3 数据仓库的体系结构数据仓库的体系结构 1.3.5 分布式数据仓库结构分布式数据仓库结构 站点A 站点B 站点C 站点D 局部数 据仓库 全局数 据仓库 局部数 据仓库 局部数 据仓库 局部数 据仓库 总部 1.4 数据仓库的参照结构数据仓库的参照结构 q数据仓库的基本功能层包含：数据抽取，数据筛选、数据仓库的基本功能层包含：数据抽取，数据筛选、

14、清理，清理后的数据加载，设立数据集市，完成数据清理，清理后的数据加载，设立数据集市，完成数据 仓库的查询、决策分析和知识的挖掘等操作。仓库的查询、决策分析和知识的挖掘等操作。 q数据仓库的管理层：分成数据管理与元数据管理两部数据仓库的管理层：分成数据管理与元数据管理两部 分，主要负责对数据仓库中的数据抽取、清理、加载、分，主要负责对数据仓库中的数据抽取、清理、加载、 更新等操作进行管理。更新等操作进行管理。 q数据仓库环境支持层：包含数据传输和数据仓库基础数据仓库环境支持层：包含数据传输和数据仓库基础 两部分。两部分。 数据仓库基本功能层 数据仓库管理层 数据仓库环境支持层 1.4 数据仓库的

15、参照结构数据仓库的参照结构 1.4.1 数据仓库基本功能层数据仓库基本功能层 1.数据仓库的数据源数据仓库的数据源 业务数据、历史数据、办公数据、业务数据、历史数据、办公数据、Web数据、外部数数据、外部数 据以及数据源元数据据以及数据源元数据 数据源数据准备区数据仓库结 构 数据集市/ 知识挖掘库 存取与使用 1.4 数据仓库的参照结构数据仓库的参照结构 2.数据准备区功能结构数据准备区功能结构 数据准备区 标准化元数据抽取 与创建 过滤与匹配 净化 标明时间戳的数据源 确认数据质量 1.4 数据仓库的参照结构数据仓库的参照结构 3.数据仓库功能结构数据仓库功能结构 数据重整数据仓库创建元数

16、据管 理 集成与分解建模元数据浏 览与导航 概括与聚集概括 预算与推导聚集元数据创 建 翻译与格式化调整与确认 转换与映像建立结构化查询创建词汇 表 1.4 数据仓库的参照结构数据仓库的参照结构 4.数据集市数据集市/知识挖掘库结构知识挖掘库结构 求精与重整数据集市/知识挖掘库创建元数据管理 过滤与匹配建立模型元数据浏览与 导航 集成与分割概括 概括与聚集聚集元数据的抽取 与创建 预测与推导调整与确认 标明时间维的数据源建立结构化查询创建词汇表 1.4 数据仓库的参照结构数据仓库的参照结构 5.数据仓库的数据存取与使用结构数据仓库的数据存取与使用结构 数据仓库存取与检索数据仓库分析与报告元数据

17、管理 数据仓库直接存取报表工具元数据管理 与报表 数据集市存取分析工具 数据集市重整分析建模工具元数据抽取 与创建 转换为多维结构数据挖掘工具 创建局部存储图形工具 1.4 数据仓库的参照结构数据仓库的参照结构 1.4.2 数据仓库的管理层数据仓库的管理层 1.数据仓库的数据管理层数据仓库的数据管理层 数据抽取与新 数据需求与查 询管理 数据加载、存 储、刷新和更 新系统 安全性与用户 授权管理系统 数据归档、恢 复及净化系统 1.4 数据仓库的参照结构数据仓库的参照结构 2.数据仓库的元数据管理层数据仓库的元数据管理层 数据仓库、 数据集市 和词汇表 管理 元数据抽 取、创建、 存储和更 新

18、管理 预定义的 查询、报 表和索引 管理 刷新与 复制管 理 登录、归 档、恢复 与净化管 理 1.4 数据仓库的参照结构数据仓库的参照结构 1.4.3 数据仓库的环境支持层数据仓库的环境支持层 1) 数据仓库的数据传输层数据仓库的数据传输层 数据传输和 传输网络 客户/服务 器代理和中 间件 复制系统安全和保障 系统 1.4 数据仓库的参照结构数据仓库的参照结构 2)数据仓库的基础层数据仓库的基础层 系统管理工作流程管 理 存储系统处理系统 1.5 数据挖掘技术概述数据挖掘技术概述 1.5.1 数据挖掘的发展数据挖掘的发展 发展原因主要有：发展原因主要有： q超大规模数据库的出现超大规模数据

19、库的出现 q先进的计算机技术先进的计算机技术 q经营管理的实际需要经营管理的实际需要 q数据的精深计算能力数据的精深计算能力 1.5 数据挖掘技术概述数据挖掘技术概述 1.5.2 数据挖掘的定义数据挖掘的定义 1.数据挖掘的技术定义数据挖掘的技术定义 数据挖掘数据挖掘是从大量的、不完全的、有噪声的、模糊的、是从大量的、不完全的、有噪声的、模糊的、 随机的实际数据中，提取隐含在其中的、人们所不知道随机的实际数据中，提取隐含在其中的、人们所不知道 的、但又是潜在有用的信息和知识的过程。的、但又是潜在有用的信息和知识的过程。 2.数据挖掘的商业定义数据挖掘的商业定义 一种崭新的商业信息处理技术，其主

20、要特点是对商业数一种崭新的商业信息处理技术，其主要特点是对商业数 据库中的大量业务数据进行抽取、转化、分析和模式化据库中的大量业务数据进行抽取、转化、分析和模式化 处理，从中提取辅助商业决策的关键知识处理，从中提取辅助商业决策的关键知识 1.5 数据挖掘技术概述数据挖掘技术概述 传统数据分析工具(DSS/EIS)数据挖掘工具 工具特点回顾型的、验证型的预测型的、发现型的 分析重点已经发生了什么预测未来的情况、解释发生的原 因 分析目的从最近的销售文件中列出最大客 户 锁定未来的可能客户，以减少未 来的销售成本 数据集大小数据维、维中属性数、维中数据 均是少量的 数据维、维中属性数、维中数据 均

21、是庞大的 启动方式企业管理人员、系统分析员、管 理顾问启动与控制 数据与系统启动，少量的人员指 导 技术状况成熟统计分析工具已成熟，其他工具 正在发展中 1.6 数据挖掘技术与工具数据挖掘技术与工具 1.6.1 常用数据挖掘技术常用数据挖掘技术 1.传统分析类传统分析类 线性分析和非线性分析、回归分析、逻辑回归分析、单线性分析和非线性分析、回归分析、逻辑回归分析、单 变量分析、多变量分析、时间序列分析、最近邻算法和变量分析、多变量分析、时间序列分析、最近邻算法和 聚类分析等技术。聚类分析等技术。 2.知识发现类知识发现类 人工神经网络、决策树、遗传算法、粗糙集、规则发现、人工神经网络、决策树、

22、遗传算法、粗糙集、规则发现、 关联顺序等。关联顺序等。 3.数据挖掘技术的发展数据挖掘技术的发展 文本数据挖掘、Web数据挖掘、可视化系统、空间数据 挖掘和分布式数据挖掘技术等。 1.6 数据挖掘技术与工具数据挖掘技术与工具 1.6.2 常用数据挖掘工具常用数据挖掘工具 1.按使用方式分类的数据挖掘工具按使用方式分类的数据挖掘工具 决策方案生成工具、商业分析工具和研究分析工具三大决策方案生成工具、商业分析工具和研究分析工具三大 类。类。 2.按数据挖掘技术分类的数据挖掘工具按数据挖掘技术分类的数据挖掘工具 基于神经网络的工具、基于规则和决策树的工具、基于基于神经网络的工具、基于规则和决策树的工

23、具、基于 模糊逻辑的工具和综合性数据挖掘工具等。模糊逻辑的工具和综合性数据挖掘工具等。 3.按应用范围分类的数据挖掘工具按应用范围分类的数据挖掘工具 专用型数据挖掘工具和通用型数据挖掘工具。 1.6 数据挖掘技术与工具数据挖掘技术与工具 1.6.3 数据挖掘工具的评价标准数据挖掘工具的评价标准 1.模式种类的数量模式种类的数量 2.解决复杂问题的能力解决复杂问题的能力 3.操作性能操作性能 4.数据获取能力数据获取能力 5.挖掘结果的输出挖掘结果的输出 6.噪声数据的处理及挖掘工具的鲁棒性噪声数据的处理及挖掘工具的鲁棒性 1.6 数据挖掘技术与工具数据挖掘技术与工具 1.6.4 常用数据挖掘工具选择常用数据