BI基础知识课件

1、BI基础知识第1页，共31页。 BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第2页，共31页。各种概念之间的关系Data WarehouseArtificialIntelligenceData MartOLAPDecision Support SystemData MiningOperation DatabaseBusiness Intelligent SystemDatabase System第3页，共31页。 BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第4页，共31页。BI 是将数据转换成信息的过程，

2、然后通过发现将信息转化为知识。 Gartner Group BI 是将数据转换成知识并将知识应用到商业行为上的一个过程。 Data Warehouse Institute商业智能领域：DSS、OLAP、数据仓库、ETL、数据集市、数据挖掘、商业建模.为提高企业运营性能而采用的一系列方法、技术和软件的总和商业智能Business Intelligence第5页，共31页。 BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第6页，共31页。企业数据仓库EDW企业数据仓库定义：详细交易及相关业务数据的集合包含必要的内部与外部信息来自于多个数据源/业务操作系统保

3、存一定的时间周期按照企业内业务规则所决定的模型来存储企业数据仓库作用：基于数据/信息来回答相关的业务问题和提供决策支持，并确保：一致、集成的数据存储任意的数据粒度在整个企业的业务范围保持企业内一致的信息视图企业内一致的信息视图（Single Version of the Truth）集成的企业信息（Integrated corporate information）不针对特定应用（Application neutral）无冗余（Non redundant）用于报表和决策支持（Reporting and decision making）最详细的数据和信息（Detailed Data）任何时候，针对

4、任意数据，提出任意业务问题（Ask any question, any data, any time）第7页，共31页。数据仓库的特点第8页，共31页。数据仓库领域的两位大师Bill Inmon数据仓库之父，数据仓库概念的创始人理论： Corporate Information Factory(CIF) 主要著作：数据仓库、企业信息工厂主要著作：数据仓库工具箱维度建模的完全指南、 数据仓库生命周期工具箱 设计、开发和部署数据仓库的专家方法Ralph Kimball数据仓库方面的知名学者理论：Mutildimensional Architecture(MD) 第9页，共31页。企业信息工厂第10

5、页，共31页。数据仓库总线 第11页，共31页。企业总线第12页，共31页。总线架构矩阵第13页，共31页。数据架构形态第14页，共31页。各数据架构比较第15页，共31页。Inmon vs KimballInmonKimballOverall approach Top-down Bottom-upComplexity of the method Quite complexFairly simpleData Orientation Data derivedProcess orientedPrimary audienceIT audience End userTool3NFDimensional

6、 ModelingArchitectural structureEnterprise wide ,Data warehouse feeds department databasesData mart model a single business process Enterprise consistency achieved through bus第16页，共31页。 BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第17页，共31页。OLTP与OLAP 针对特定问题的联机数据访问和数据分析技术 满足对数据进行多角度、快速、一致、交互、深入观察 使用预定

7、义的多维数据视图对数据进行分析处理，支持对数据的切片、切块、钻取。 多维数据库是一种以多维数据存储形式来组织数据的数据管理系统，在使用时需要将数据从关系数据库中转载到多维数据库中方可访问。 也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time)，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。OLTP 数据库

8、旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。On-Line Analytical ProcessingOn-Line Transaction Processing第18页，共31页。OLTP与OLAPOLTPOLAP用户操作人员,低层管理人员决策人员,高级管理人员功能日常操作处理分析决策DB 设计面向应用面向主题数据当前的, 最新的细节的, 二维的历史的, 聚集的, 多维的集成的, 统一的存取读/写数十条记录读上百万条记录工作单位简单的事务复杂的查询用户数上千个上百个DB 大小100MB-GB100GB-TBROLAP表示基于关系数据库的OLAP实现（Relational OLA

9、P）MOLAP表示基于多维数据组织的OLAP实现（Multidimensional OLAP）第19页，共31页。ROLAPMOLAP沿用现有关系数据库技术专用技术响应速度相对molap要慢性能好，响应速度快数据转载计算速度快数据转载速度慢存储空间耗费小，维数没有限制需要进行预计算，可能导致数据爆炸，维数有限，无法支持维的动态变化借助rdbms对数据存储，无文件大小限制受操作系统平台文件大小限制，难以达到tb级可以通过sql语句实现详细数据和概要数据的存储缺乏数据模型和数据访问的标准不支持预计算的读写操作无法完成维之间的运算无法完成多行计算支持高性能的决策支持计算复杂的跨维计算多用户读写操作行

10、级计算ROLAP vs MOLAP第20页，共31页。 BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第21页，共31页。DSS产品产品名称产品内容方法论 数据仓库项目组织步骤、人员角色、建设放方案等一系列方法的集合，指导方针数据仓库数据模型的建模方法；统一的概念模型、逻辑模型；数据库中对应的组织（物理化）技术组件与功能ETL功能组件；前端门户组件、模版；元数据管理；用户与组织；权限组织；应用分析集合面向业务的分析；面向问题的专题；固定报表；即席查询分析；KPI；分析、互动流程数据组织过程与个性应用实现数据的加载、清洗、组织规划的过程；用户本地的需求整

11、理与实现；与开发者的经验、技能相关第22页，共31页。 BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第23页，共31页。数据挖掘改变未来世界的十大新兴技术机器与人脑的接口塑胶晶体管数据挖掘（Data Mining）数字权利管理生物测定学（Biometrics）语言识别处理微光学技术（Microphotonics）解开程序代码（Untangling Code）机器人设计微应用流体学（Microfluidics） 资料来源：Technology Review（麻省理工学院2002年1月出刊）第24页，共31页。什么是数据挖掘？定义：从海量的数据库中选择、

12、探索、识别出有效的、新颖的、具有潜在效用的乃至最终可理解的模式以获取商业利益的非平凡的过程 -Fayyad，Piatetsky-Shapiro特征：处理海量的数据；揭示企业运作中的内在规律；为企业运作提供直接决策分析，并为企业带来巨大经济效益。DataInformationKnowledgeWisdomData + contextInformation + rulesKnowledge + experience第25页，共31页。数据挖掘涉及领域神经计算数据库知识发现数据挖掘统计学模式识别机器学习人工智能第26页，共31页。数据挖掘基本概念模型（Model） vs 模式（Pattern）数据挖

13、掘的根本目的就是把样本数据中隐含的结构泛化（Generalize）到总体（Population）上去模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的所有点，例如聚类分析模式：对数据集的一种局部性的有限特征的描述或概括，适用于数据空间的一个子集，例如关联分析算法（Algorithm）：一个定义完备（well-defined）的过程，它以数据作为输入并产生模型或模式形式的输出描述型挖掘（Descriptive） vs 预测型挖掘（Predictive）描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征预测型挖掘：根据观察到的对象特征值来预测它的其他特征值描述型挖掘可以是

14、目的，也可以是手段第27页，共31页。几类基本的挖掘算法关联规则（模式、描述型）发现数据集中的频繁模式例如：buy(x,”diapers”) buy(x,”beers”) 0.5%, 60%分类与预测（模型、预测型）发现能够区分或预测目标变量（唯一的）的规则或者函数分类的目标变量一般是范畴型的，而预测则是数量型的，并不必然带有任何时间延续型的暗示例如：股票市值的预测，病人病情的判断聚类（模型、描述型）对数据分组以形成新类，类标记是未知的例如：市场细分孤立点探测（Outlier Detection）（模式、预测型）分析异常或噪声数据的行为模式例如：欺诈检测第28页，共31页。 BI各概念关系 商

15、业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具主题第29页，共31页。工具分类 建模工具：Powerdesigner、Erwin ETL工具：用于数据的集成和处理Datastage、Infomatic、Automation 数据质量工具：一般集成在ETL工具中 分析工具：报表工具：BO、COGNOS、OBIEE、MicroStrategyOLAP工具：COGNOS、BO、OBIEE (Hyperion) BI分析门户：一般集成在分析工具中 数据挖掘工具：SAS Enterprise Miner、SPSS Clementine 元数据管理工具：metacenter、CA、In

16、fomatic第30页，共31页。1、不是井里没有水，而是你挖的不够深。不是成功来得慢，而是你努力的不够多。2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋斗出一个绝地反击的故事，所以有什么理由不努力!4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!25、你不能拼爹的时候，你就只能去拼命

17、！26、如果人生的旅程上没有障碍，人还有什么可做的呢。27、我们无法选择自己的出身，可是我们的未来是自己去改变的。励志名言：比别人多一点执着，你就会创造奇迹28、伟人之所以伟大，是因为他与别人共处逆境时，别人失去了信心，他却下决心实现自己的目标。29、人生就像一道漫长的阶梯，任何人也无法逆向而行，只能在急促而繁忙的进程中，偶尔转过头来，回望自己留下的蹒跚脚印。30、时间，带不走真正的朋友；岁月，留不住虚幻的拥有。时光转换，体会到缘分善变；平淡无语，感受了人情冷暖。有心的人，不管你在与不在，都会惦念；无心的情，无论你好与不好，只是漠然。走过一段路，总能有一次领悟；经历一些事，才能看清一些人。31

18、、我们无法选择自己的出身，可是我们的未来是自己去改变的。32、命好不如习惯好。养成好习惯，一辈子受用不尽。33、比别人多一点执着，你就会创造奇迹。50、想像力比知识更重要。不是无知，而是对无知的无知，才是知的死亡。51、对于最有能力的领航人风浪总是格外的汹涌。52、思想如钻子，必须集中在一点钻下去才有力量。53、年少时，梦想在心中激扬迸进，势不可挡，只是我们还没学会去战斗。经过一番努力，我们终于学会了战斗，却已没有了拼搏的勇气。因此，我们转向自身，攻击自己，成为自己最大的敌人。54、最伟大的思想和行动往往需要最微不足道的开始。55、不积小流无以成江海，不积跬步无以至千里。56、远大抱负始于高中

19、，辉煌人生起于今日。57、理想的路总是为有信心的人预备着。58、抱最大的希望，为最大的努力，做最坏的打算。59、世上除了生死，都是小事。从今天开始，每天微笑吧。60、一勤天下无难事，一懒天下皆难事。61、在清醒中孤独，总好过于在喧嚣人群中寂寞。62、心里的感觉总会是这样，你越期待的会越行越远，你越在乎的对你的伤害越大。63、彩虹风雨后，成功细节中。64、有些事你是绕不过去的，你现在逃避，你以后就会话十倍的精力去面对。65、只要有信心，就能在信念中行走。66、每天告诉自己一次，我真的很不错。67、心中有理想 再累也快乐68、发光并非太阳的专利，你也可以发光。69、任何山都可以移动，只要把沙土一卡

20、车一卡车运走即可。70、当你的希望一个个落空，你也要坚定，要沉着！71、生命太过短暂，今天放弃了明天不一定能得到。72、只要路是对的，就不怕路远。73、如果一个人爱你、特别在乎你，有一个表现是他还是有点怕你。74、先知三日，富贵十年。付诸行动，你就会得到力量。75、爱的力量大到可以使人忘记一切，却又小到连一粒嫉妒的沙石也不能容纳。1、这世上，没有谁活得比谁容易，只是有人在呼天抢地，有人在默默努力。2、当热诚变成习惯，恐惧和忧虑即无处容身。缺乏热诚的人也没有明确的目标。热诚使想象的轮子转动。一个人缺乏热诚就象汽车没有汽油。善于安排玩乐和工作，两者保持热诚，就是最快乐的人。热诚使平凡的话题变得生动

21、。3、起点低怕什么，大不了加倍努力。人生就像一场马拉松比赛，拼的不是起点，而是坚持的耐力和成长的速度。只要努力不止，进步也会不止。4、如果你不相信努力和时光，那么时光第一个就会辜负你。不要去否定你的过去，也不要用你的过去牵扯你的未来。不是因为有希望才去努力，而是努力了，才能看到希望。5、人生每天都要笑，生活的下一秒发生什么，我们谁也不知道。所以，放下心里的纠结，放下脑中的烦恼，放下生活的不愉快，活在当下。人生喜怒哀乐，百般形态，不如在心里全部淡然处之，轻轻一笑，让心更自在，生命更恒久。积极者相信只有推动自己才能推动世界，只要推动自己就能推动世界。6、人性本善，纯如清溪流水凝露莹烁。欲望与情绪如

22、风沙袭扰，把原本如天空旷蔚蓝的心蒙蔽。但我知道，每个人的心灵深处，不管乌云密布还是阴淤苍茫，但依然有一道彩虹，亮丽于心中某处。7、每个人的心里，都藏着一个了不起的自己，只要你不颓废，不消极，一直悄悄酝酿着乐观，培养着豁达，坚持着善良，只要在路上，就没有到达不了的远方！8、不要活在别人眼中，更不要活在别人嘴中。世界不会因为你的抱怨不满而为你改变，你能做到的只有改变你自己！9、欲戴王冠，必承其重。哪有什么好命天赐，不都是一路披荆斩棘才换来的。10、放手如拔牙。牙被拔掉的那一刻，你会觉得解脱。但舌头总会不由自主地往那个空空的牙洞里舔，一天数次。不痛了不代表你能完全无视，留下的那个空缺永远都在，偶尔甚至会异常挂念。适应是需要时间的，但牙总是要拔，因为太痛，所以终归还是要放手，随它去。11、这个世界其实很公平，你想要比别人强，你就必须去做别人不想做的事，你想要过更好的生活，你就必须去承受更多的困难，承受别人不能承受的压力。12、逆境给人宝贵的磨炼机会。只有经得起环境考验的人，才能算是真正的强者。自古以来的伟人，大多