数据挖掘与商务智能.ppt

商务智能概述 第一章 数据挖掘与商务智能 主要内容 数据时代需要BI什么是BIBI给我们带来了什么BI系统架构主流商务智能产品介绍商务智能应用及发展趋势 数据时代需要BI 1 计算时代实验室里的大量计算不重视数据的存储普及时代个人 企业广泛使用出现数据 存储的需求应用系统时代开始出现数据积累互联网时代更加海量的网上数据数据时代 数据 数据 数据 数据 数据 大话 计算机数十年来的发展 数据时代需要BI 2 案例一 BehaviorTargeting用户行为 网络用户 实际用户 目标销售 email 网络广告 短信 电话促销 用户的归类 预测 数据告诉我们什么 3 案例二 SEM SearchEngineMarketing 搜索引擎营销MSNBing Google Yahoo和Baidu四大全球搜索引擎KSP KeywordServicesPlatform AdSage 艾德思奇 第三方SEM服务商 BusinessIntelligenceisaprocessofturningdataintoinformationandknowledgeintoactionforbusinessgain DataWarehouseInstitute 什么是商务智能 1 数据可以记录 通信和能识别的符号可以是文本 图片 声音等多种形式信息有用的数据就是信息 信息是对数据的解释信息是经过加工后的数据一个人的垃圾 数据 是另一个人的财富 信息 知识是对信息内容进行提炼 比较 挖掘 分析 概括 判断和推论事实性知识和经验知识 显性和隐性 HowareYou 什么是商务智能 2 商务智能是企业利用现代信息技术收集 管理和分析结构化和非结构化的商务数据和信息 创造和累计商务知识和见解 改善商务决策水平 采取有效的商务行动 完善各种商务流程 提升各方面商务绩效 增强综合竞争力的智慧和能力 王茁专著 三位一体的商务智能 共性没有数据就没有商务智能数据之间往往存在一定的规律采用一定的信息技术手段 BI给我们带来了什么 1 BI给我们带来了什么 2 丰富的报表 查询功能 发生了什么 BI给我们带来了什么 3 图4 5Cognos的钻取操作 IBMCognos的钻取操作 为什么发生 BI给我们带来了什么 4 预测 将来会发生什么 销售分析仪表盘 BI给我们带来了什么 5 仿真分析 希望发生什么 BI系统架构 1 添加 修改 删除 查询 统计 归档 存储 集群 备份 迁移 数据仓库 ETL BI系统架构 2 数据源企业内部数据各种应用系统 订单系统 销售系统 OLTP OnlineTransactionProcessing 外部数据 市场信息 竞争对手数据存在问题异构环境数据主题不明确对业务系统的影响 BI系统架构 3 数据仓库 DataWarehouse DW 面向主题的 集成的 稳定的 随时间不断变化的数据库系统ETL数据抽取 Extraction 数据转换 Transformation 数据加载 Loading BI系统架构 4 OLAP On LineAnalyticalProcessing 商务智能的直接数据来源 OLTP 数据仓库 多维数据集 什么是多维数据集 多维数据集是一种结构 包含了一个或多个度量 这些度量用于所有维度的成员的每个唯一组合 BI系统架构 5 OLAP On LineAnalyticalProcessing OLAP系统能够让用户快捷地从数据中检索信息 通常作为分析工具用在数据集市中 OLAP系统通过度量 维度 层次结构和多维数据集等来展示数据 Microsoft BI系统架构 6 数据挖掘 啤酒与尿布的故事 在一家超市里 有一个有趣的现象 尿布和啤酒赫然摆在一起出售 但是这个奇怪的举措却使尿布和啤酒的销量双双增加了 原来 美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布 而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒 因此啤酒和尿布在一起购买的机会还是很多的 BI的三个层次 添加 修改 删除 查询 统计 归档 存储 集群 备份 迁移 数据仓库 ETL BI的三个层次 用户数增加 报表分析 OLAP DM 复杂度增加 我知道它现在是怎样的 我知道它为什么是这样 我知道它以后会是怎样 主流商务智能产品介绍 1 主流商务智能产品介绍 2 商务智能应用 1 商务智能行业应用 商务智能应用 2 各行业电子商务网站 算法层 商业逻辑层 行业应用层 商业应用 商业模型 挖掘算法 相关行业 商务应用需求的推动 神经网络 决策树 回归分析 粗集 遗传算法 金融行业应用 美国汇丰银行使用SPSS成功案例 公司背景美国汇丰银行是HSBC集团成员之一 通过位于纽约的380个分支机构为140多万银行客户提供核算 投资 借贷和其它金融服务 美国汇丰银行资产为350亿美元 面临问题同一地区可能有多家银行设有分支机构 从而引起持续的竞争来吸引和保持附近的潜在客户 为保持高水平的客户获取和保持率 并维持可赢利性 银行经常要实现以下目标 扩展和现有客户的关系控制营销费用以维持利润用新的智能快速转移市场 金融行业应用 美国汇丰银行使用SPSS成功案例 解决方案 SPSS客户细分 采用实时的预测分析技术 分析来自各种不同数据源 ATM 交易网站 呼叫中心及相关分支机构 的客户数据 发现潜在价值客户流失 找出最有价值的客户 理解他们的行为 在客户群中找出尽可能多的潜在流失者 进行有效的保留活动并降低成本交叉销售 从客户的交易数据和客户的自然属性中寻找 选择最有可能捆绑在一起销售的产品和服务 发现有价值的产品和服务组合 从而有效地向客户提供额外的服务 提高活期收入并提升客户的收益率 金融行业应用 美国汇丰银行使用SPSS成功案例 应用结果揭示特定客户的需求 销售增加50 营销费用减少30 提高了建立和开展适时营销战略的能力 Somma说 OLAP对了解数据特征来说是一个不错的工具 但我无法从中发现联系的力度 也不能做出预测模型 而那正是我最需要的 Somma说 OLAP是好的报告工具 但没有统计引擎 它只能告诉过去我在哪里 而不能说出我需要去哪里 BI在电信行业应用 精细化营销客户细分 找准客户范围 全面了解客户地市分公司数据集市建设评估分析套餐资费预演功能套餐分析资费营销案活动管理降低成本重入网现象日趋严重利用呼叫指纹和IMEI技术 架构新的重入网模型 BI在零售业应用 1 零售业特点顾客数量庞大 消费水平层次不齐销售品种多 销售方式多样供应商信息庞大顾客已从 感觉消费 向 感情消费 迈进企业经营开始从降低成本向提高顾客满意度迈进 CRM CRM 客户关系管理 指在合适的时间 以合适的价格 将合适的产品或服务提供给合适的客户 以满足他们的需要 BI在零售业应用 2 BI在零售业的应用价值了解销售全局商品分组布局降低库存成本市场和趋势分析有效的商品促销 BI在电子商务行业的应用 1 BI在电子商务行业的应用 2 Web挖掘就是利用数据挖掘技术 从Web文档以及服务中发现信息 知识的过程数据来源于Web文档 Web服务器日志 用户Cookies主要处理文本 图形 图像等半结构化数据主要应用网站结构优化智能搜索引擎个性化推荐顾客分类 交叉销售垃圾邮件过滤 BI在电子商务行业的应用 3 Web挖掘分类 BI在电子商务行业的应用 4 Web文本挖掘Web文本挖掘应用搜索引擎优化垃圾邮件过滤 BI在电子商务行业的应用 4 Web结构挖掘通过分析页面链接的数量和对象 从而建立Web的链接结构模式相关算法PageRank算法 网页的质量和重要性可以通过其他网页对其链接的数量进行衡量HITS算法 权威页面 表达某一主题的页面Hub页面 把权威页面链接到一起的页面应用信息检索 根据Web重要性进行排名社区识别 识别基于某个特定主题的相关Web页面网站优化 重新定位网页链接 BI在电子商务行业的应用 5 Web日志挖掘指从用户访问日志中获取有价值的信息 包括访问者的兴趣爱好 访问模式 满意度应用顾客分类 开展有针对性的营销活动交叉销售 识别商品间的关联程度个性化推荐 在适合的时间 以适合的方式 将适合的产品 推荐到适合的人手中 BI在电子商务行业的应用 6 服装电子商务个性化推荐系统关键技术研究 课题 虚拟与现实存在一定的差距 传统的服装电子商务网站不适合 一看二摸三试衣 的购物流程 存在海量的商品信息查找困难 失去购物兴趣搜索结果界面相同缺乏个性化 颜色 款式 服装个性化搭配问题服装展示 二维图片 文字说明为主用户购衣后衣服不合体衣服质感存在较大差异 BI在电子商务行业的应用 7 服装款式个性化推荐技术用户聚类Web数据挖掘协同过滤推荐不确定性服装搭配预测模型研究虚拟试衣三维人体建模技术三维人体模型与三维服装CAD结合虚拟试衣技术 商务智能进展 1 技术发展20世纪90年代初期 信息仓库90年代中期 数据仓库90年代后期 数据挖掘 多维分析与展现技术BI市场竞争Gartner公司的调查表明 2000年到2004年之间 安全是企业IT投资排在第一位的主题 而商务智能项目的投资在2000年时仅排在第14位 2007年却突飞猛进 排到了第一位BI公司的收购 Oracle收购Hyperion