第1章商务智能导言.ppt

商务智能方法与应用 minmin516 第一章导言Lecture1 Introduction 思维导图上课内容 whattorememberinclass whattounderstandinclass whattoexerciseafterclass whattowidenyoursights whattogodeepintoresearch 主要内容 1 1商务智能的基本概念1 2商务智能的过程1 3商务智能的系统构成1 4商务智能的发展历史 1 1商务智能的基本概念 商务智能数据信息和知识 商务智能 商务智能 Businessintelligence 1996年GartnerGroupHowardDresner数据仓库 或数据集市 查询报表 数据分析 数据挖掘 数据备份和恢复等部分组成的 以辅助企业决策为目的一类技术及其应用 商务智能 商务智能 Businessintelligence 工业界商务智能可以被看作是一类技术或工具 利用它们可以对大量的数据进行收集 管理 分析和挖掘 以改善业务决策水平 增强企业的竞争力学术界商务智能是一套理论 方法和应用 通过它们可以快速地发现海量数据中隐含的各种知识 有效地解决企业面临的管理和决策问题 支持企业的战略实施 商务智能的概念 商务智能指收集 转换 分析和发布数据的过程 目的是为了更好的决策 商务智能是指将数据转化为知识的过程 它包括捕获和分析信息 交流信息 以及利用这些信息开发市场 商务智能是企业利用现代信息技术收集 管理和分析结构化和非结构化的商务数据和信息 创造和累计商务知识和见解 改善商务决策水平 采取有效的商务行动 完善各种商务流程 提升商务绩效 增强综合竞争力的智慧和能力 BusinessIntelligenceisaprocessofturningdataintoknowledgeandknowledgeintoactionforbusinessgain DataWarehouseInstitute 商务智能是融合了先进信息技术与创新管理理念的结合体 集成企业内外数据 进行加工并从中提取能够创造商业价值的知识 面向企业战略并服务于管理层 业务层 指导企业经营决策 提升企业竞争力 商务智能的概念 商务智能的概念 数据ETL 数据仓库 数据挖掘 可视化 OLAP 数据 知识 决策 商务智能在行业的应用 银行客户利润分析分支行利润分析交叉销售信用风险管理新产品推销收费策略 保险欺诈管理收费策略目标市场活动客户挽留客户利润分析 零售地区 商店各种货物 品牌 分类等 销售业绩定价和减价市场篮子关系市场需求预测仓储规划 通讯客户忠实客户流失模式客户利润分析竞争分析欺诈管理 各行业电子商务网站 算法层 商业逻辑层 行业应用层 商业应用 商业模型 挖掘算法 相关行业 商务应用需求的推动 神经网络 决策树 回归分析 粗集 遗传算法 商务智能应用领域 银行美国银行家协会 ABA 预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14 9 分析客户使用分销渠道的情况和分销渠道的容量 建立利润评测模型 客户关系优化 风险控制等电子商务网上商品推荐 个性化网页 自适应网站 生物制药 基因研究DNA序列查询和匹配 识别基因序列的共发生性 电信欺诈甄别 客户流失 保险 零售 政府部门 教育机构 医疗机构和公用事业等 利用商务智能的企业现在已越来越多 遍及各行各业 商务智能对企业的作用和价值 不同层次的商务智能应用 以前发生了什么 为什么发生了 现在发生着什么 将来会发生什么 业务活动管理 不同层次的商务智能应用 商务智能用户 数据 data 数据是对事物描述的符号 在计算机科学中 数据是数字 文字 图像 声音等可以输入到计算机被识别的符号企业运营离不开数据 企业运营的各个环节每天都在积累数据 如供应商 客户的数据 销售 生产以及库存数据等 用户生成数据 usergenerateddata UGD 社会化媒体 智能化手机等使得全世界不计其数的个体也在不断产生数据 结构化数据 structureddata 通常二维表格的形式存储在关系数据库中交易细节表 非结构化数据 unstructureddata 文本数据 iphone4s 目前最大的问题 感觉还是电量 充满一次 用两天 不过 我还没怎么玩游戏 都是开浏览器之类的应用 和听歌 但是想想 毕竟手机的电池和ipad的还是没法比 信息 information 通过一定的技术和方法 对数据进行集成 分析 挖掘其潜在的规律和内涵 得到的结果是信息 信息是具有商务意义的数据例如 通过对零售信息的集成和分析发现 某超市的客户群根据其消费行为可以分为若干个群体 每个群体具有一些明显的特征 例如 其中一个群体是单身女性 喜欢经常购买化妆品 消费金额高 知识 knowledge 当信息用于商务决策 并基于决策开展相应的商务活动时 信息就上升为知识信息转化为知识的过程不仅需要信息 而且需要结合决策者的经验和能力 用以解决实际的问题 例如 某连锁超市的经理发现 近期化妆品的销售业绩下降了 为了解决该问题 决定采取促销措施 根据对数据的分析得到的客户分群的信息 销售经理锁定了促销的目标客户群 最终开展了为这部分客户邮寄优惠券的促销活动 1 2商务智能过程 1 2 1知识发现知识发现的特征知识模式是使用一种形式化语言来进行的表达 表达描述了事实集合的子集中的一种显著的事实 通过某种知识发现方法得到一个顾客细分的结果子集为 41岁顾客 42岁顾客 48岁顾客 43岁顾客 64岁顾客 可以归纳为 40岁之上的顾客 或者 中年以上的顾客 等 知识发现强调模式的有效性 新颖性 潜在有用性以及最终能被理解 1 2商务智能过程 1 2 2知识发现过程1 理解所要进行研究的领域 与之相关的以前的知识 以及用户的目标 2 创建 选择目标数据集合 3 数据清理和预处理 4 数据缩减和投影 5 选定数据挖掘任务 6 选择数据挖掘算法 7 数据挖掘过程 8 对挖掘出来的模式进行解释 9 完善和巩固所发现的知识 1 2 2知识发现过程 7个步骤如下 1 数据清理 消除噪声或不一致2 数据集成 多种数据源组合在一起3 数据选择 从数据库中检索与分析任务相关的数据 4 数据变换 数据变换或统一成适合挖掘的形式 如汇总或聚集操作5 数据挖掘 使用智能方法提取数据模式6 模式评估 根据某种兴趣度量 识别表示知识的真正有趣的模式7 知识表示 使用可视化和知识表示技术 向用户提供挖掘的知识 1 2商务智能过程 知识发现过程7个步骤如下 数据清理 数据集成 数据库 数据仓库 知识 任务相关的数据 选择与转换 数据挖掘 模式评估与知识表示 1 2商务智能过程 商务智能流程 1 3商务智能的系统构成 六个主要组成部分数据源数据仓库在线分析处理数据探查数据挖掘业务性能管理 数据源 企业内部的操作型系统 即支持各业务部分日常运营的信息系统企业的外部 如人口统计信息 竞争对手信息等 数据仓库 datawarehouse 各种数据源的数据经过抽取 转换之后需要放到一个供分析使用的环境 以便对数据进行管理 这就是数据仓库数据集市 datamart 通常针对单个部门的数据仓库 区别于企业范围内的数据仓库 数据仓库可以将分析数据与实现业务处理的操作型数据隔离 一方面不影响业务处理系统的性能 另一方面为数据的分析提供了一个综合的 集成的 统一的数据管理平台 详细信息在第8章介绍 在线分析处理 onlineanalyticalprocessing 在线分析处理 业务性能度量可以通过多个维度 多个层次进行多种聚集汇总 通过交互的方式发现业务运行的关键性能指标的异常之处 多维数据可以进行多种操作如切片 切块 下钻 上卷等详细信息在第9章介绍 数据探查 exploration 包括灵活的查询 即时报表以及统计方法等该类方法属于被动分析方法探查数据的方法可以借助统计上的中心性 发散性以及相关性的统计量分析 多变量分析时也可以借助可视化技术 详细信息在第7 10章介绍 数据挖掘 datamining 数据挖掘是从大量数据中自动发现隐含的信息和知识的过程 属于主动分析方法 不需要分析者的先验假设 可以发现未知的知识常用的分析方法包括分类 聚类 关联分析 数值预测 序列分析 社会网络分析等 数据挖掘 分类 分类 classification 是通过对具有类别的对象的数据集进行学习 概括其主要特征 构建分类模型 根据该模型预测对象的类别的一种数据挖掘和机器学习技术 例如 电信公司的客户可以分为两类 一类是忠诚的 一类是流失的 根据这两类客户的个人特征方面的数据以及在公司的消费方面的数据 利用分类技术可以构建分类模型 数据挖掘 聚类 聚类 clustering 是依据物以类聚的原理 将没有类别的对象根据对象的特征自动聚集成不同簇的过程 使得属于同一个簇的对象之间非常相似 属于不同簇的对象之间不相似 其典型应用是客户分群 数据挖掘 关联分析 关联分析最早用于分析超市中顾客一次购买的物品之间的关联性例如 发现关联规则 associationrule 尿不湿 啤酒 0 5 60 其含义为 0 5 的交易中会同时购买尿不湿和啤酒 且买尿不湿的交易中有60 会同时买啤酒 数据挖掘 数值预测 数值预测用于预测连续变量的取值 常用的预测方法是回归分析例如 可以根据客户个人特征 如年龄 工作类型 受教育程度 婚姻状况等 来预测其每月的消费额度 数据挖掘 序列分析 序列分析是对序列数据库进行分析 从中挖掘出有意义模式的技术 序列模式 sequentialpattern 的发现属于序列分析 它是从序列数据库中发现的一种有序模式例如 赤壁 鸿门宴 见龙卸甲 意味着 看了赤壁之后会接着看鸿门宴 过段时间会看见龙卸甲 数据挖掘 社会网络分析 社会网络 socialnetwork 是由个人或组织及其之间的关系构成的网络社会网络分析 socialnetworkanalysis 是对社会网络的结构和属性进行分析 以发现其中的局部或全局特点 发现其中有影响力的个人或组织 发现网络的动态变化规律等 业务绩效管理 业务绩效管理 businessperformancemanagement 简称BPM 又称为企业绩效管理 corporateperformancemanagement 是对企业的关键性能指标 如销售 成本 利润以及可盈利性等 进行度量 监控和比较的方法和工具 这些信息通常通过可视化的工具如平衡积分卡和仪表盘等进行展示 相关内容见第10章 1 4商务智能的发展 管理信息系统决策支持系统主管信息系统数据仓库 数据挖掘和在线分析处理 管理信息系统 managementinformationsystem 简称MIS 产生于二十世纪七十年代为企业提供企业管理的全方位信息 为管理人员提供管理决策信息的信息系统其目的主要是提供信息以实现对企业或组织的快速有效管理 决策支持系统 decisionsupportsystem 简称DSS 开始于二十世纪七十年代 发展于八十年代决策支持系统是基于计算机的用于支持业务或组织决策的信息系统 通常 决策支持系统基于数据库和模型库 用于解决半结构化和非结构化的决策问题 辅助管理人员做出快速 正确的决策 主管信息系统 Executiveinformationsystem 简称EIS 又称为经理信息系统 出现于二十世纪八十年代是针对企业内的高级管理人员的决策支持系统 这种系统提