大数据时代的数据挖掘与商务智能(二).ppt

大数据时代的数据挖掘与商务智能,大纲,大数据的时代背景商务智能与数据科学基于统计的传统数据分析技术数据管理系统与联机分析处理数据挖掘与知识发现技术典型应用及案例分析,第二部分商务智能与数据科学,商务智能概论,什么是商务智能？数据、信息、知识管理、信息与决策决策支持系统,什么是商务智能？,商务智能(BI)定义众说纷纭。高级管理人员信息系统（EIS)管理信息系统（MIS），决策支持系统（DSS）数据库技术，数据仓库(数据集市)数据整合与清洗工具查询和报告工具,在线分析处理工具(OLAP)统计数据分析，数据挖掘分析性ERP、CRM、SCM。企业绩效管理，平衡记分卡,商业智能Gartner,商业智能的概念于1996年最早由加特纳集团（GartnerGroup）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。,什么是商务智能？,商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力。,企业,企业这里用“组织机构”或“实体”会显得更完整，因为所有的组织机构和实体（不只是企业）都可以而且应该利用商务智能；之所以仍用“企业”是为保持与“商务”的一致性。各行各业，包括非企业性机构，比如政府部门、教育机构、医疗机构和公用事业等，都应该而且能够利用商务智能。,现代信息技术,利用现代信息技术这是这一定义中的关键之一，IT的发展产生了信息经济和信息社会，在这一新型的经济和社会形态中，信息的爆炸式激增又产生了对能够处理和控制信息的新技术的强烈需求；商务智能就是新的IT在商务分析中的有效利用。BI过程中所涉及的IT主要有：从不同的数据源收集的数据中提取有用的数据，对数据进行清理以保证数据的质量，将数据经转换、重构后存入数据仓库或数据集市（这时数据变为信息），然后寻找合适的查询、报告和分析工具和数据挖掘工具对信息进行处理（这时信息变为辅助决策的知识），最后将知识呈现于用户面前，转变为决策。,收集数据,收集收集数据是管理和分析数据的前提，数据收集工作是十分重要的，必须引起企业的充分重视，在这方面中国企业与世界上发达国家中的先进企业之间的差距非常大，这是商务智能在中国还不能很快成熟起来的重要原因之一，这应了中国的一句俗话：“巧妇难为无米之炊”。数据和信息的收集主要是通过各种交易系统进行的，比如ERP、CRM、SCM和E-Business等系统。随着中国企业在这些方面的进步，数据和信息的数量会快速增长的。另外，信息，特别是非结构化的信息，来自公司各个部门和各个员工创造和收集的、没有放在上述交易系统中的内容。第三方也是企业收集数据和信息的一个重要来源，这样的外部数据和信息包括市场调研报告、人口统计报告、顾客信用报告等。,管理和分析数据,管理这里的“管理”主要是指对数据的储存、提取、清洗、转换、装载、整合等工作，其目的主要是为了提高数据的质量和安全性。分析“分析”是一个广泛的概念，这里包括数据查询、数据报告、多维分析、数据挖掘、高级统计分析等。大多数人理解的商务智能都集中在这些分析工具上。,结构化与非结构化数据,结构化结构化的数据主要是指储存于各个交易系统背后的关系型数据库中的数据，通常都是以表格的形式存在和展现的。传统的商务智能概念只包括这种结构化的、可定量的数据。非结构化的非结构化的数据和信息主要是上面的提到的各个部门和各个员工创造和收集的、没有放在各种交易系统中的内容，通常是以零散的文件形式存在和展现的；新的商务智能概念纳入了非结构化内容的分析，但是非机构化的内容的管理仍然主要是通过文件管理和内容管理（DocumentManagement不能制定合适的决策!,数据,知识,决策,应用需求,科学领域生物医学数据&DNA数据分析空间数据分析(GIS,GPS,遥感系统)商业领域经济&金融数据分析零售业数据分析电信业数据分析WWW数据分析,Necessityisthemotherofinvention（Plato）,现代数据分析的特点,最大的特点：海量数据集（大数据）美国零售商沃尔玛每天大约2千万笔的交易，一年的客户交易数据库容量超过11TBAT&T公司，1亿电话用户，每天3亿次的呼叫特征数据美国宇航局NASA的地球观测系统每小时生成几个GB的原始数据人类基因工程中超过3.3109个核苷酸的数据库其它特点：较高维度，有噪声，属性值缺失,技术驱动,更大,更便宜的存储器-磁盘密度以Mooreslaw增长“每18个月增长一倍”-存储器价格飞快下降下降更快,更便宜的信息处理器-分析更多的数据-适应更多复杂的模型-引起更多查询技术-激起更强的可视化技术数据处理与分析技术-数据库与数据仓库-统计学-人工智能-机器学习,智能数据分析（1）,Intelligentdataanalysishasitsoriginsinvariousdisciplines.Ststisticsandmachinelearningisthemostimportanttwodisciplines.（2003）,智能数据分析（2）,智能数据分析是指利用人工智能的方法对数据进行分析，力图从海量数据中挖掘出有用的信息，获取所需的知识。（2007）,智能数据分析（3）,智能数据分析技术是多种学科