大数据时代下的商业智能课件.ppt

大数据时代下的商业智能,大数据时代下的商业智能,目录,BI行业的发展前景BI的历史、现在和未来主要BI厂商传统商业智能和未来商业智能的区别大数据与商业智能的结合,大数据时代下的商业智能,从全球范围来看，商业智能(BI)已经成为最具有前景的IT领域。2010年中国大陆地区的BI市场份额约为46亿元人民币，同比2009年增长27%BI的人才目前在IT行业并不是很多,BI人员发展的机遇很大。,BI行业的发展前景,大数据时代下的商业智能,BI从业人员的关注点,设计、开发,架构、咨询,数据仓库模型设计,ETL设计、开发,报表设计和开发,对业务的理解,数据架构的思想,案例,关注点,关注点,数据仓库模型设计,ETL设计、开发,对业务的理解,数据仓库的环境,难点,难点,大数据时代下的商业智能,商业智能是从许多来自不同系统的数据中提取出有用的数据,并进行清理，以保证数据的正确性，然后经过抽取、转换和装载的过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图。在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理，最后将知识呈现给管理者，为管理者的决策过程提供支持。,商业智能的概念,数据,信息,知识,企业的利润,大数据时代下的商业智能,追本溯源，学界已公认，赫伯特西蒙对决策支持系统的研究，是现代商业智能概念最早的源头和起点。1970年，IBM的研究员埃德加科德(EdgarCodd)发明了关系型数据库。1979年，一家以决策支持系统为已任，致力于构建单独的数据存储结构的公司Teradata诞生。1983年，该公司利用并行处理技术为美国富国银行建立了第一个决策支持系统。1988年，为解决企业集成问题，IBM公司的研究员BarryDevlin和PaulMurphy创造性地提出一个新的术语：数据仓库(DataWarehouse)1992年，比尔.恩门（BillInmon)出版了如何构建数据仓库一书，他主张由顶至底的构建方法，强调数据的一致性，拉开了数据仓库真正得以大规模应用的序幕。1993年，拉尔夫.金博尔出版了数据仓库的工具一书，他主张务实的数据仓库应该由下往上，从部门到企业，并把部门的数据仓库叫做“数据集市”。,BI的历史,大数据时代下的商业智能,经历一轮并购潮之后，BI厂商分为两类，一类是综合性BI提供商。例如IBM、Oracle、SAP和Microsoft等。另一类是专业化BI提供商，例如Teradata和SAS。IBM在BI领域有许多发展，先后并购了Datastage,Cognos和SPSS，最近又提出了业务分析（BA)。Oracle收购海波龙(Hyperion)之后，Oracle的BI排名大大提升，而BEA的中间件更是加强了Oracle的BI战略。SAP收购BusinessObjects之后，在BI产品的易用性上下足功夫。Teradata精于数据仓库技术，而SAS在数据挖掘分析方面见长。,BI的现在,大数据时代下的商业智能,IBM-DB2、DataStage、Cognos、SPSS，覆盖BI全部领域Oracle-Oracle、BIEE/Hyperion，覆盖BI全部领域，数据挖掘有待加强Microsoft-SQLServer，覆盖BI全部领域，适合中小型企业，性价比高SAP-BusinessObjects、CrystalReports，主要是OLAP和报表领域Informatica-Informatica，主要是数据集成领域Teradata-Teradata，主要是数据仓库领域Sybase-SybaseIQ，主要是数据仓库领域SAS-SAS，数据挖掘领域领先,主要BI厂商,大数据时代下的商业智能,BI工具在中国遇到的挑战,报表格式复杂中国是世界上报表最复杂的国家。中国的报表设计思想与西方不同，西方报表倾向于仅用一张报表说明一个问题，而中国的报表倾向于将尽可能多的问题集中在一张报表中，这种思路直接导致了中国报表的复杂格式数据量大中国是世界上人口最多的国家。以中国移动公司为例，仅我国一个省的用户数量，就相当于欧洲一个中等国家的人口，是真正的海量数据！我国很多BI系统的架构和设计也不如外国，所以在性能上存在较大的差距。在外国，可能一个客户分析应用一两分钟就能出结果，但是在中国，可能就是要一两个小时了。数据回写中国是世界上对BI系统要求最奇特的国家。本来BI系统是以真实再现源数据为原则，但这个原则在中国遇到了难题，许多领导都提出了数据修改的需求，“报表里数字不好看，就要能改啊，这样上级领导看着就好嘛！”目前Microsoft,OracleBIEE就是能满足这样要求的BI产品,大数据时代下的商业智能,传统商业智能和未来商业智能的区别,有一种观点：,预测未来,分析历史,未来商业智能,传统商业智能,大数据时代下的商业智能,传统商业智能的使用情况,固定报表：目前中国市场上的商业智能应用停留在这个层面，主要过程是通过ETL工具，将业务系统源数据抽取到数据仓库中，在装载到数据集市，建立模型，利用前端工具将数据展现出来。OLAP分析：生成OLAP多维模型，实现多指标分析。数据挖掘：通过分析具体数据，发现潜在的、有价值的信息，例如啤酒和尿布。分析应用：与业务信息系统相结合。例如企业绩效管理。,大数据时代下的商业智能,第一阶段：查询。第二阶段：报表。第三阶段：多维分析和统计分析。第四个阶段：数据挖掘。,传统商业智能的几个阶段：,未来商业智能的方向：,建立实时动态数据仓库。传统数据仓库是基于历史数据分析，动态数据仓库支持前端应用，利用分析结果发起业务流程。(2)增加对非结构化数据的处理。(3)缩短响应时间。,大数据时代下的商业智能,传统商业智能和未来商业智能的区别BI传统的过滤、上钻、下钻、比较等功能也难于满足一些特殊企业用户的分析要求。如何来保证外部数据的准确性、实时性和有效性是个重大问题。.在多媒体、智能手机和社交网站获取的信息，我们正面临着比以往任何时候都更多的数据，传统数据仓库的性能已无法应付庞大的信息，只有通过大数据（BigData）技术使我们能够访问和使用这些宝贵的、大规模数据集，以应对越来越复杂的数据分析和更好的商业决策制定。,大数据时代下的商业智能,操作型商业智能。BI用户群也会相应地从现在的后台管理决策层向前端业务操作型用户延伸。2.交互式商业智能。预测、分摊、假设模拟、数据挖掘等技术应用将会越来越普遍。3.可视化商业智能。越来越多的用户不再满足于传统的图像展现，而要求数据的进一步可视化。4.实时商业智能。由于BI应用将向操作型发展的特点，也导致了用户对BI应用的实时性需求。5.移动商业智能。将原来人们依赖于电脑的商业智能搬到了手机或者黑莓上。6.SaaS商业智能。商业智能作为云计算，作为服务来使用。,未来商业智能的发展,大数据时代下的商业智能,为了满足未来商业智能的发展，应该将大数据技术和商业智能技术结合起来,大数据(BigData)是对你在数据仓库技术中现有投资的补充,主要的商业智能（BI）供应商都宣布对大数据技术的支持，或在解决方案中使用大数据技术,数据海洋中的大数据要做的事不仅要对大规模的信息运行分析而且也成为数据仓库的一种来源,大数据有益于大型分析以及长期的战略方向,大数据是传统数据库、数据仓库、BI概念外延的扩展，手段的扩充，不存在取代的关系，也并不是互斥的关系,大数据时代下的商业智能,大数据与商业智能的结合,例如，某位信用卡用户月均刷卡10次，月均刷卡300元，每年平均打5次客服电话，但是从未投诉。那么按照这些信息，该客户是一命满意度较高，流失率很低的客户。,利用商业智能得出的结论,真实情况,该客户多次打客服电话都没有接通，客户多次在微博和博客上进行抱怨还款不方便，客户服务不好，所以该客户的流失风险很高。,大数据时代下的商业智能,大数据概念的提出,最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。2011年，麦肯锡出版了研究报告大数据：创新、竞争和生产力的下一个新领域，产学研界对“大数据”的关注达到历史性新高度。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。越来越大、越来越快、越来越复杂，数据特性的演变和发展，催生了一个全新的概念大数据。,大数据时代下的商业智能,结构化数据：存在于关系数据库中，多年来一直主导着IT应用；半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础，这也是谷歌和百度存在的理由；非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。,大数据是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即数量（Volume）、多样性（Variety）、速度（Velocity）及数据的准确性（Veracity）。,2019/12/16,19,可编辑,2019/12/16,20,可编辑,大数据时代下的商业智能,数据规模TB至PB级数据,数据的多种形式结构化、非结构化、文本、多媒体,数据的运动分析流数据，在不到一秒内做出决策,数据的不确定性管理数据的可靠性和可预测性，尽管原生数据内生性的不精确,多样性（Variety）,精确性（Veracity）,速度（Velocity）,数量（Volume）,大数据时代下的商业智能,大数据和商业智能结合已应用于各行各业,能源与公用事业智能电表分析资产管理,零售全渠道营销实时促销,司法执法多点监测网络安全检测,交通运输物流优化缓解交通拥堵,金融服务业欺诈检测360客户视图,数字媒体实时广告定位属性分析,健康与生命科学病历分析疾病监测,通讯客户资料货币化网络分析&优化,大数据时代下的商业智能,在大数据领域，不能充分形成大数据使用能力的竞争者将被淘汰,大数据时代下的商业智能,大数据的使用情况,大数据时代下的商业智能,4、大数据的应用不仅仅是精准营销,通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景,消费行业,金融服务,食品安全,医疗卫生,军事,交通环保,电子商务,气象,大数据时代下的商业智能,大数据涉及的关键技术,需求大数据涉及的关键技术,描述,技术,海量数据存储技术,分布式文件系统,实时数据处理技术,StreamingData,流计算引擎,数据分析技术,TextAnalyticsEngineVisualDataModeling,自然语言处理、文本情感分析、机器学习、聚类关联、数据模型,数据高速传输技术,服务器/存储间高速通信,InfiniBand,Hadoop，x86/MPPMapReduce,搜索技术,文本检索、智能搜索、实时搜索,EnterpriseSearch,大数据时代下的商业智能,建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）,非结构化数据,数据获取,结构化数据,分析应用,数据集市,数据集市,EDW,结构化元数据,Hadoop,建立非结构化信息的标签、摘要、索引、日志、内容等,提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合,ODS,SQL,大数据下的商业智能架构,大数据时代下的商业智能,大数据BI系统的底层技术体系,分布式计算内存计算实质上就是CPU直接从内存而非硬盘上读取数据，并对数据进行计算、分析。此项技术是对传统数据处理方式的一种加速，是实现商务智能中海量数据分析和实施数据分析的关键应用技术列存储,大数据时代下的商业智能,大数据BI系统的演变过程,第一阶段OLTP&OLAP第二阶段MaterializedView（物化视图）,Stage、ODS、DWD（细节数据层）、DWA（衍生汇总层）第三阶段一体机，MPP(大规模并行处理)DW，MPP(大规模并行处理)DM,大数据时代下的商业智能,大数据下的BI系统不仅仅是数据展现,1能够掌握情况，分析问题，找到答案。2前端系统的交互和