数据挖掘与商务智能-1_商务智能概述-

1、1商务智能概述商务智能概述第一第一章章数据挖掘与商务智能主要内容主要内容数据时代需要数据时代需要BI什么是什么是BIBI给我们带来了什么给我们带来了什么BI系统架构系统架构主流商务智能产品介绍主流商务智能产品介绍商务智能应用及发展趋势商务智能应用及发展趋势数据时代需要数据时代需要BI-1计算时代计算时代实验室里的大量计算实验室里的大量计算不重视数据的存储不重视数据的存储普及时代普及时代个人、企业广泛使用个人、企业广泛使用出现数据、存储的需求出现数据、存储的需求应用系统时代应用系统时代开始出现数据积累开始出现数据积累互联网时代互联网时代更加海量的网上数据更加海量的网上数据数据时代？数据时代？数据

2、、数据、数据、数据、数据数据、数据、数据、数据、数据.“大话大话”计算机数十年来的发展计算机数十年来的发展数据时代需要数据时代需要BI-2案例一：案例一：Behavior Targeting用户行为（网络用户，实际用户）用户行为（网络用户，实际用户）目标销售（目标销售（email，网络广告，短信，电话促销，网络广告，短信，电话促销）用户的归类、预测用户的归类、预测数据告诉我们什么数据告诉我们什么-3案例二：案例二：SEM（Search Engine Marketing）搜索引擎营销搜索引擎营销MSN Bing 、 Google、Yahoo和和Baidu四大全球搜索引擎四大全球搜索引擎KSP（K

3、eyword Services Platform ）AdSage（艾德思奇）（艾德思奇）:第三方第三方SEM服务商服务商“Business Intelligence is a process of turning data into information and knowledge into action for business gain。”Data Warehouse Institute. 什么是商务智能什么是商务智能-1数据数据可以记录、通信和能识别的符号可以是文本、图片、声音等多种形式信息信息有用的数据就是信息，信息是对数据的解释信息是经过加工后的数据一个人的垃圾（数据）是另一个人的

4、财富（信息）知识知识是对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论事实性知识和经验知识（显性和隐性）How are You?什么是商务智能什么是商务智能-2n商务智能是企业利用现代信息技术收集、管理和分析结构商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力力-王茁专著王茁专

5、著三位一体的商务智能三位一体的商务智能.共性共性没有数据就没有商务智能没有数据就没有商务智能数据之间往往存在一定的规律数据之间往往存在一定的规律采用一定的信息技术手段采用一定的信息技术手段BI给我们带来了什么给我们带来了什么-1BI给我们带来了什么给我们带来了什么-2 丰富的报表、查询功能丰富的报表、查询功能发生了什么发生了什么BI给我们带来了什么给我们带来了什么-3图4.5 Cognos的钻取操作 IBM Cognos的钻取操作的钻取操作为什么发生为什么发生BI给我们带来了什么给我们带来了什么-4 预测预测将来会发生什么将来会发生什么销售分析仪表盘销售分析仪表盘BI给我们带来了什么给我们带来

6、了什么-5 仿真分析仿真分析希望发生什么希望发生什么BI 系统架构系统架构-1数据库业务数据库添加、修改、删除；查询、统计、归档；存储、集群、备份、迁移数据仓库数据仓库ETL数据挖掘模型多维分析模型分析展现挖掘展现门户集成BI 系统架构系统架构-2数据源数据源企业内部数据企业内部数据 各种应用系统：订单系统、销售系统、 OLTP（Online Transaction Processing）外部数据：市场信息、竞争对手数据外部数据：市场信息、竞争对手数据存在问题存在问题 异构环境数据 主题不明确 对业务系统的影响BI 系统架构系统架构-3数据仓库（数据仓库（Data Warehouse，DW）面

7、向主题的、集成的、稳定的、随时间不断变化的数据库系统面向主题的、集成的、稳定的、随时间不断变化的数据库系统ETL 数据抽取（数据抽取（Extraction） 数据转换（数据转换（Transformation） 数据加载（数据加载（Loading）BI 系统架构系统架构-4OLAP（On-Line Analytical Processing）商务智能的直接数据来源？商务智能的直接数据来源？ OLTP? 数据仓库？ 多维数据集?什么是多维数据集？什么是多维数据集？“多维数据集是一种结构，包含了一个或多个度量多维数据集是一种结构，包含了一个或多个度量。这些度量用于所有维度的成员的每个唯一组合。”BI

8、 系统架构系统架构-5OLAP（On-Line Analytical Processing）“OLAP系统能够让用户快捷地从数据中检索信息，通常作为分析工具用在数据集市中，OLAP系统通过度量、维度、层次结构和多维数据集等来展示数据。” MicrosoftBI 系统架构系统架构-6数据挖掘数据挖掘啤酒与尿布的故事： 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。 原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。BI的三个层次的三

9、个层次数据库业务数据库添加、修改、删除；查询、统计、归档；存储、集群、备份、迁移数据仓库数据仓库ETL数据挖掘模型多维分析模型分析展现挖掘展现门户集成BI的三个层次的三个层次用户数增加报表分析OLAPDM复杂度增加我知道它现在是怎样的我知道它现在是怎样的我知道它为什么是这样我知道它为什么是这样我知道它以后会是怎样我知道它以后会是怎样主流商务智能产品介绍主流商务智能产品介绍-1厂商厂商产品及简介产品及简介IBMDB2以及Cognos、SPSS、DataStage，覆盖BI全部领域OracleOracle、Hyperion(海波龙 )，覆盖BI全部领域，数据挖掘领域有待加强MicrosoftSQL

10、Server，覆盖BI全部领域，适合中小型企业，性价比高InformaticaInformatica，主要是数据集成领域TeradataTeradata，主要是数据仓库领域SybaseSybaseIQ，主要是数据仓库领域SAPBusinessObjects、CrystalReports，主要是OLAP和报表领域SASSAS，数据挖掘领域领先奥威智动Power-BI，主要是OLAP和报表领域，行业解决方案尚南BlueQuery，主要是OLAP和报表领域（已被用友华表收购）润乾润乾报表，主要是OLAP和报表领域探智Trinity，主要是数据集成领域主流商务智能产品介绍主流商务智能产品介绍-2商务智

11、能应用商务智能应用-1商务智能行业应用商务智能行业应用商务智能应用商务智能应用-2各行业电子商务网站各行业电子商务网站算法算法层层商商业业逻逻辑辑层层行行业业应应用用层层商业应用商业模型挖掘算法CRM产品推荐产品推荐客户细分客户细分客户流失客户流失客户利润客户利润客户响应客户响应关联规则、序列模式、分类、聚集、偏差分析关联规则、序列模式、分类、聚集、偏差分析WEB挖掘挖掘网站结构优化网站结构优化网页推荐网页推荐商品推荐商品推荐基因挖掘基因挖掘基因表达路径分析基因表达路径分析基因表达相似性分析基因表达相似性分析基因表达共发生分析基因表达共发生分析银行银行电信电信零售零售保险保险制药制药生物信息生

12、物信息科学研究科学研究相关行业商务应用需求的推动商务应用需求的推动神经网络、决策树、回归分析、粗集、遗传算法神经网络、决策树、回归分析、粗集、遗传算法金融行业应用金融行业应用美国汇丰银行使用美国汇丰银行使用SPSS成功案例成功案例公司背景公司背景 美国汇丰银行是HSBC集团成员之一，通过位于纽约的 380 个分支机构为 140 多万银行客户提供核算、投资、借贷和其它金融服务。美国汇丰银行资产为350亿美元。 面临问题面临问题 同一地区可能有多家银行设有分支机构，从而引起持续的竞争来吸引和保持附近的潜在客户。为保持高水平的客户获取和保持率，并维持可赢利性，银行经常要实现以下目标：u扩展和现有客户

13、的关系u控制营销费用以维持利润u用新的智能快速转移市场 金融行业应用金融行业应用美国汇丰银行使用美国汇丰银行使用SPSS成功案例成功案例解决方案解决方案SPSS 客户细分：采用实时的预测分析技术，分析来自各种不同数据源客户细分：采用实时的预测分析技术，分析来自各种不同数据源（ATM、交易网站、呼叫中心及相关分支机构）的客户数据、交易网站、呼叫中心及相关分支机构）的客户数据,发现发现潜在价值潜在价值客户流失：找出最有价值的客户，理解他们的行为。在客户群中客户流失：找出最有价值的客户，理解他们的行为。在客户群中找出尽可能多的潜在流失者，进行有效的保留活动并降低成本找出尽可能多的潜在流失者，进行有效

14、的保留活动并降低成本交叉销售交叉销售:从客户的交易数据和客户的自然属性中寻找、选择最有从客户的交易数据和客户的自然属性中寻找、选择最有可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组合，从而有效地向客户提供额外的服务，提高活期收入并提升客合，从而有效地向客户提供额外的服务，提高活期收入并提升客户的收益率户的收益率金融行业应用金融行业应用美国汇丰银行使用美国汇丰银行使用SPSS成功案例成功案例应用结果应用结果 揭示特定客户的需求，销售增加揭示特定客户的需求，销售增加50%营销费用减少营销费用减少30% 提高了建立和开展适时营销战略的

15、能力提高了建立和开展适时营销战略的能力 Somma说， OLAP对了解数据特征来说是一个不错的工具，但我无法从中发现联系的力度，也不能做出预测模型，而那正是我最需要的。“Somma说，OLAP是好的报告工具，但没有统计引擎，它只能告诉过去我在哪里，而不能说出我需要去哪里。 BI在电信行业应用在电信行业应用精细化营销精细化营销 客户细分，找准客户范围，全面了解客户客户细分，找准客户范围，全面了解客户 地市分公司数据集市建设地市分公司数据集市建设评估分析套餐评估分析套餐资费预演功能资费预演功能 套餐分析套餐分析 资费营销案活动管理资费营销案活动管理 降低成本降低成本重入网现象日趋严重重入网现象日趋

16、严重 利用呼叫指纹和利用呼叫指纹和IMEI技术，架构新的重入网模型技术，架构新的重入网模型 BI在零售业应用在零售业应用-1零售业特点零售业特点顾客数量庞大，消费水平层次不齐顾客数量庞大，消费水平层次不齐 销售品种多，销售方式多样销售品种多，销售方式多样供应商信息庞大供应商信息庞大顾客顾客已已从从“感觉消费感觉消费”向向“感情消费感情消费”迈进迈进企业经营企业经营开始开始从降低成本向提高顾客满意度迈进（从降低成本向提高顾客满意度迈进（CRM） CRM（客户关系管理）指在合适的时间、以合适的价格、（客户关系管理）指在合适的时间、以合适的价格、将合适的产品或服务提供给合适的客户，以满足他们的需将合

17、适的产品或服务提供给合适的客户，以满足他们的需要。要。BI在零售业应用在零售业应用-2BI在零售业的应用价值在零售业的应用价值了解销售全局了解销售全局 商品分组布局商品分组布局 降低库存成本降低库存成本 市场和趋势分析市场和趋势分析 有效的商品促销有效的商品促销 BI在电子商务行业的应用在电子商务行业的应用-1BI在电子商务行业的应用在电子商务行业的应用-2Web挖掘挖掘就是利用数据挖掘技术，从就是利用数据挖掘技术，从Web文档以及服务中发现信息、知识文档以及服务中发现信息、知识的过程的过程数据来源于数据来源于Web文档、文档、 Web服务器日志服务器日志、用户、用户Cookies主要处理文本

18、、图形、图像等半结构化数据主要处理文本、图形、图像等半结构化数据主要应用主要应用 网站结构优化 智能搜索引擎 个性化推荐 顾客分类，交叉销售 垃圾邮件过滤BI在电子商务行业的应用在电子商务行业的应用-3Web挖掘分类挖掘分类Web挖掘 Web结构挖掘 Web使用挖掘 Web内容挖掘 文本挖掘 多媒体挖掘 内、外部结构挖掘 URL挖掘 个性化访问模式追踪 一般访问模式追踪BI在电子商务行业的应用在电子商务行业的应用-4Web文本挖掘文本挖掘Web文本挖掘应用文本挖掘应用搜索引擎优化搜索引擎优化垃圾邮件过滤垃圾邮件过滤Web文本Internet采集特征库提取结果挖掘输出评价BI在电子商务行业的应用

19、在电子商务行业的应用-4Web结构挖掘结构挖掘通过分析页面链接的数量和对象，从而建立通过分析页面链接的数量和对象，从而建立Web的链接结构模式的链接结构模式 相关算法相关算法PageRank算法：网页的质量和重要性可以通过其他网页对其链算法：网页的质量和重要性可以通过其他网页对其链接的数量进行衡量接的数量进行衡量 HITS算法：算法： 权威页面：表达某一主题的页面 Hub页面：把权威页面链接到一起的页面应用应用信息检索：根据信息检索：根据Web重要性进行排名重要性进行排名社区识别：识别基于某个特定主题的相关社区识别：识别基于某个特定主题的相关Web页面页面网站优化：重新定位网页链接网站优化：重

20、新定位网页链接BI在电子商务行业的应用在电子商务行业的应用-5Web日志挖掘日志挖掘指从用户访问日志中获取有价值的信息指从用户访问日志中获取有价值的信息 ，包括访问者的兴趣爱好、，包括访问者的兴趣爱好、访问模式、满意度访问模式、满意度 应用应用顾客分类：开展有针对性的营销活动顾客分类：开展有针对性的营销活动交叉销售：识别商品间的关联程度交叉销售：识别商品间的关联程度个性化推荐：在适合的时间，以适合的方式，将适合的产品，推个性化推荐：在适合的时间，以适合的方式，将适合的产品，推荐到适合的人手中。荐到适合的人手中。BI在电子商务行业的应用在电子商务行业的应用-6服装电子商务个性化推荐系统关键技术研究服装电子商务个性化推荐系统关键技术研究 课题课题虚拟与现实存在一定的差距，传统的服装电子商虚拟与现实存在一定的差距，传统的服装电子商务网站不适合务网站不适合“一看二摸三试衣一看二摸三试衣”的购物流程的购物流程存在海量的商品信息存在海量的商品信息 查找困难，失去购物兴趣搜索结果界面相同搜索结果界面相同 缺乏个性化（颜色、款式） 服装个性化搭配问题服装展示：二维图片服装展示：二维图片+文字说明为主文字说明为主 用户购衣后衣服不合体衣服质感存在较大差异BI在电子商务行业的应用在电子商务行业的应用-7服装款式个性化推荐技术 用户聚类 Web数据挖掘 协同过滤推荐 不确定性服装搭配预测模型研