数据库与数据仓库

数据库与数据仓库第1页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库：构造企业商务智能P51商务智能关系数据库模型数据库管理系统工具数据仓库与数据挖掘企业数据资源的管理先行案例：樱桃为什么少了Ben&Jerry’s公司每天生产19万品脱冰淇淋。产品及时输入oracle数据库，并采用数据挖掘工具。每周收到的电话投诉与产品关联。在收到大量投诉某品种樱桃不足的投诉后，使用智能工具数据挖掘，排除了生产流程，进一步，找到最终问题，包装盒图片贴错了。第三章数据库与数据仓库第2页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库互联网行业BI解决方案ProClarity公司介绍：普科（ProClarity）公司总部在美国，是微软商业智能平台的全球首选搭档，其产品在BI客户端领域连续两年市场占有率（基于微软OLAP）排名世界第一。自从1995年开始，普科公司就开始为世界3000强企业提供革命性的分析解决方案。普科公司的总部位于美国BoiseIdaho，产品和服务遍及欧亚大陆。普科公司目前支持着全球1600多家大中型客户，包括AT&T，CompUSA，爱立信，通用电气，惠普，TheHomeDepot，PennzoilQuakerState，ReckittBenckiser，Roche，西门子，USDA，Verizon和富国银行等。普科公司是微软公司长期的战略伙伴。普科系列产品完全支持微软SQLServer2000分析服务的全部功能。同时也支持SQL2005Beta版，目前ProClarity最新的版本是6.0。

第3页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库产品名称：互联网行业BI解决方案。版本：V2.0

发布时间：2004年3月方案介绍用户问题——互联网行业商务智能分析，如网络游戏分析：一个游戏在初期，需要好的创意、策划、美工、程序等等，但是到了一定的阶段后，主要的挑战将会是游戏的平衡性。不论是网络游戏还是网络竞技，平衡性都是至关重要的。为什么游戏中总有玩家抱怨不平衡？为什么某些群体的玩家因为不平衡成批退出游戏？所以游戏的运营商和厂商需要时刻监控游戏中各个玩家的行为，防止玩家利用游戏Bug或舞弊来投机取巧。可以说一个游戏到了后期，平衡性是决定能否成功的关键因素之一。而怎样才能达到平衡性呢？这就需要游戏商积极地、动态地、精心地调整游戏各个参数。为了做到这些，游戏商需要时刻监控游戏的运行情况。但是随着玩家十万、百万的增长，我们怎样来监控呢？如果发现游戏中某些异常表现，某比如些个别玩家的成长、行为与绝大多数玩家有较大差异。那么其原因可能是利用游戏中的Bug或者某些游戏管理员利用个人关系舞弊，上述任何一种情况都是成功游戏的大敌。此外玩家是游戏中真正的“上帝”。玩家的行为、趋势也是游戏商最关心的。但问题的难点是如何掌握绝大多数玩家的趋势？特别是这些趋势随时都可能变化！可以说只要掌握了趋势，就可以预见未来，就可以赢得未来。方案特点：·客观分析，随时了解游戏的平衡性，使运营商和厂商进行调整。监控游戏运行情况，发现异常情况，最大限度地减少损失。·掌握绝大多数玩家的趋势，提前预测可能出现的情况。第4页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库案例演示在实际案例中，迈思奇网游数据提取器定期（例如每天）收集游戏中玩家的历史数据。把历史数据经过抽取、转换，导入数据仓库（SQLServer2000）。然后进一步导入多维数据库（AnalysisService）。我们用ProClarity（普科的商务智能工具）搭建分析平台。通过网络，游戏厂商或运营商可以随时察看分析结果，从而获得游戏平衡性的统计，监控游戏中的行为，掌握玩家动态。第5页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库SQLServer2005方案：从活跃玩家的统计情况可看出，各门派玩家的数目是不平衡的。桃花岛远远高出一些。同时，桃花岛100级以上的玩家比例较高。如何定义活跃玩家？这是游戏商可以根据自己的商务规则可以灵活定制的。例如，最近一个月上线超过3天的游戏者。第6页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库各门派级别升级速度的统计情况，首先，可以发现，各玩家的级别增长不是线性的。由入门到中层较快，由中层到高手涨速较缓。这是合理的。但是，在同一级别，往往是桃花岛的玩家先到达这个高度，可见桃花岛的玩家比较容易升级，这是游戏平衡性设计的失误，必须进行调整。第7页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库玩家级别每日增长的统计情况，并且把每日级别增长超过6级进行报警，可以看出有的玩家一天增长了194级或者89级，明显不正常，很有可能这些玩家在利用游戏中的bug，或者是某管理员的同学。企业的规模越大，越需要自动化的监控措施。因此，定义一系列的KPI(关键性能指标)非常重要。所有的KPI都是不需要任何编程，业务人员就可以定制的。第8页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库活跃玩家门派统计情况的树型结构。这种分析方法叫做分解树，可以从宏观到具体，一层层了解运营中的状况，是非常有效的新型分析手段。本解决方案除了具有上述的各种分析功能外，还有权限管理控制、各种报表导出格式、基于Internet的Thin-Client版本，以及个性化的定制、总经理仪表盘等等。用户可以在任何时间，任何地点，不需要安装任何特殊的软件，只要通过浏览器，就可以看到全部的分析结果，还可以在此基础之上进行深层分析。总而言之，迈思奇网游BI解决方案的最大特点就是：将游戏中瞬息万变的海量数据转化为每一个业务人员都需要的信息。由此带来的决策支持，风险预警等效益直接为游戏商带来商业价值。本方案基于Microsoft的主要产品及平台技术·MicrosoftSQLServer2000·MicrosoftSQLServer2000AnalysisService此外，使用了美国ProClarity公司的产品作为前端工具以及商务逻辑定制器。第9页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.1引言各个领域大量的数据（如银行每天巨额的交易数据）蕴藏着丰富信息，如何处理这些数据得到有益的信息，人们进行了探索，推动了数据库技术的发展。数据库的定义：数据是数据的集合，由具有统一形式存放在外存中，并可被应用所共享。面对潮水般的数据，人们不满足数据库查询，提出了深层次问题。能不能从数据挖掘中提取信息或知识为决策服务。数据仓库是一个综合的解决方案，主要用来帮助企业有关部门和业务人员做出更符合业务发展规律的决策。数据仓库的定义：数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用于支持管理决策过程。第10页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库第11页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.1.1商务智能商务智能商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争力的智慧和能力。数据库与数据仓库是组织处理信息及实现商务智能最常用的方法(不同点)数据库管理系统、数据仓库及数据挖掘工具是完成信息处理和商务智能的常用工具。可能涉及的技术有：MIS、DSS、数据库技术、数据仓库、数据集市、数据整合与清洗工具、查询和报告工具、在线分析处理工具、数据挖掘等。第12页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库第13页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.1.2两种信息处理类型:P521.联机事务处理(OLTP)–OLTP的基础是数据库，完成对基本数据的增删改查。2.联机分析处理(OLAP)–OLAP的基础是数据仓库，完成对数据的分析处理，用于支持决策。第14页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.2关系数据库模型P53数据库–是存储在外存上的可共享的信息集合。能够按照信息的逻辑结构对其进行组织存取.关系型数据库–采用一系列二维表或文件来存储信息.关系–实际上一个关系就是一张二维表.关系数据库由两部分组成：1.信息的逻辑结构，相当于日常填的表格。2.信息的具体内容，基本的数据，相当于表格填写的内容。第15页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库数据库是有序数据的集合学号 姓名 班级 出生年月 性别970812 王刚 8971 80年7月 男971003 刘金敏 10971 80年3月 女971005 彦芳 10971 81年5月 女971013 崔健 10971 80年5月 男971159 任维新 10971 80年7月 男学生信息第16页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库一个关系就是一个二维表格，也叫表。学号 姓名 班级出生年月性别970812 王刚 8971 80年7月 男971003 刘金敏 10971 80年3月 女971005 彦芳 10971 81年5月 女971013 崔健 10971 80年5月 男971159 任维新 10971 80年7月 男学生信息行记录列字段

第17页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库关键字是能够惟一地决定一个记录的字段或字段的集合。每个表至少有一个关键字，可以有多个。学号 姓名 班级 出生年月 性别970812 王刚 8971 80年7月 男971003 刘金敏 10971 80年3月 女971005 彦芳 10971 81年5月 女971013 崔健 10971 80年5月 男971159 任维新 10971 80年7月 男关键字

第18页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库外部关键字反映了表与表之间的关系编号 名称 专业 系别

8971 物理971 物理 物理系10971 应数971 应用数学 数学系10972 应数972 应用数学 数学系15951 电子951 应用电子学 自动化系学号 姓名 班级 出生年月 性别970812 王刚 8971 80年7月 男971003 刘金敏 10971 80年3月 女971005 彦芳 10971 81年5月 女971013 崔健 10971 80年5月 男971159 任维新 10971 80年7月 男外部关键字

第19页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库表是存放数据的对象表是记录的集合记录是一个完整的数据，由字段组成一个字段对应表的一列（字段名、字段值）学号 姓名 班级 出生年月 性别970812 王刚 8971 80年7月 男971003 刘金敏 10971 80年3月 女971005 彦芳 10971 81年5月 女971013 崔健 10971 80年5月 男971159 任维新 10971 80年7月 男记录字段第20页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.2.0数据库管理系统——从应用的观点理解P58基本组成：DBMS引擎、数据定义子系统、数据操作子系统、应用程序生成子系统、数据管理子系统3.2.1信息收集（参P54）主要收集基本的业务数据，并进行分类。为下面的建立数据库表打下良好的基础。第21页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.2.2建立数据库的基本过程（参P55~59）创建数据库表结构（还可进行修改）在建立数据库时，首先要创建数据字典.数据字典包括了信息的逻辑结构.实际上建立数据库表的结构：数据库库结构（数据库名、表名、字段名、各项的定义）其它概念：记录，为一行数据。输入有关数据（增删改查印）第22页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库文件菜单第23页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库创建空数据库使用数据库向导请选择……第24页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库设计表表向导第25页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库关键字索引插入行删除行属性生成器数据库窗口新对象工具栏按钮第26页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库格式工具表工具视图编辑工具排序工具筛选工具查找新记录删除记录记录选定器字段选定器记录定位按钮记录编号第27页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库设计视图第28页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库数据表视图第29页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.2.3信息内部的逻辑联系主键Primarykey–指能够唯一确定一个记录的字段名P55外键Foreignkey–是取自另一个文件的主键P563.2.4内在的完整性约束（参P57）完整性约束有利于保证信息的合理性.采用数据库管理系统，如MicrosoftOffice的Access数据库，建立一个本班学生通讯数据库，你认为主要步骤有几步？主要文件应该有哪些字段名，数据类型是什么？第30页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库实施参照完整性约束关系类型第31页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.3数据库管理系统工具——P57书上观点数据库管理系统可以定义数据库的逻辑结构，并对数据库中的信息进行存取和应用。数据库管理系统包括以下组成：DBMS引擎数据定义子系统数据操作子系统应用程序生成子系统数据管理子系统DBMS引擎-处理来自其它子系统的查询等请求，并将其转换为对应的物理表达。物理视图–是在存储设备中如何将信息进行物理安排、存储、应用的表现方法。逻辑视图–重点是如何安排和存取信息，以满足特定的业务需求。第32页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.3.1数据定义子系统数据定义子系统–帮助人们建立并维护数据库中的文件结构。帮助建立数据字典。信息的逻辑结构——主要在建立数据库文件结构时考虑重点：字段名、类型、宽度、小数位

行业透视用数据库技术建立客户的个性化视图如MetLife公司创建一个允许顾客通过Internet访问的数据库环境。它们的银行服务、投资服务、人寿保险和金融策划还未包含在个性化数据库中。第33页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.3.2数据操作子系统P59数据操作子系统–提供数据库中的记录增加、修改和删除功能，提供用户的操作界面。主要工具有：视图、报表生成器、查询工具和SQL查询语言。1视图–查看数据库文件的内容，对其进行必要的修改、分类等。2报表生成器–快速定义报表格式，确定要发布的信息。3查询工具QBE第34页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库单击此外增加新记录排序↓

↑，望远镜查询第35页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库查询工具(QBE)-帮助用户以图表的方式设计问题的答案。QBE格栅选择标准第36页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库4结构化查询语言(SQL)–是大多数数据库环境下使用的标准的第四代查询语言.基本语句格式：SELECT…FROM…WHERE(P92).SELECTPart.[PartNumber],Part.Cost,Employee.[Employee Name],Employee.[EmployeeNumber] FROMPart,Employee WHERE(((Part.Cost)>10));3.3.3应用程序生成系统P63应用程序生成系统是一种常用的开发工具，帮助用户建立面向对象事务的应用程序。数据输入界面DBMS定义管理公共程序编制语言第37页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.3.4数据管理子系统P63数据管理子系统-是数据库管理环境，其功能：查询优化、数据备份恢复、并发控制和更新管理.备份和恢复工具:定期将数据库保存的信息进行备份.在信息被损环的情况下重新保存和恢复.安全管理工具–提供用户存取、查询信息的权限管理.查询优化工具–提供给用户查询功能，以在最小时间内响应.重组工具–在信息存取过程中进行实时维护.并发控制工具–保证多人同时存取、修改信息的合法性.第38页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.4数据仓库和数据挖掘P643.4.1数据仓库引出：了解上月皮鞋销售总收益额，简单查询即可。但是“实际销售额与预算额比较、与过去5年同期销售比较，了解在东南和西南地区上月销售了多少双黑色的42号皮鞋”，需要更深入的设计。只利用数据库不够。数据仓库–信息的逻辑集合–来自不同的业务数据库，将创建商务智能，以便支持企业的分析活动和决策任务。数据仓库是一个综合的解决方案，主要用来帮助企业有关部门和业务人员做出更符合业务发展规律的决策。数据仓库的定义：数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用于支持管理决策过程。1数据仓库具有多维性.2数据仓库支持决策而非事务处理。仅支持在线分析处理(OLAP).第39页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.4.2数据挖掘工具P66数据挖掘工具–是用户对数据仓库进行信息查询的软件工具查询和报表工具–类似于QBE工具，SQL语言和典型的报表生成器.智能代理–运用人工智能工具以形成信息发现的信息基础，并创建商务智能。如华尔街股票分析软件，结合神经网络为股票和交易制定规则。多维分析工具(MDA)–允许人们从不同的角度观察多维信息，主要是切片和切块技术。统计工具–利用各种数据模型将信息存储到数据仓库中。数据仓库工具技术基本查询及报表前端工具在线分析处理（OLAP）数据挖掘（Datamining，DM）DSS等第40页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库3.4.3数据集市–小型的数据仓库P68数据集市是数据仓库的子集，仅聚集了部分数据仓库的数据.3.4.4数据挖掘为职业生涯创造机会P69掌握工具为自已增加竞争力。第41页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库数据仓库、数据挖掘与数据管理——补充数据仓库是以信息主题为核心，从不同功能性数据库中直接取得可用的数据源。传统的数据库适全特定和例行的数据处理需求。但数据库要同时满足例行+复杂查询处理要求。决策支持的数据库。MCI电话公司：趋势分析、估算销售成本（电影市场：20~50%销售广告成本，5000影幕，3年）、客户维持率，以选择更便宜有效的销售方式。Wal-mart：分析顾客每次采购物品、时间及摆放地点等，找出关联性，以决定每一家店的进货方式、促销战略与店面货物的最有效排列方式。美联邦住宅局：数据仓库将10年来分散于70个系统中预算及会计数据整合起来，供预算分析、支出分析、趋势分析、方案评比和政策分析之用。Visa会员银行：分析，发现欺诈的行为模式，减少16%伪造信息卡损失。思考：数据仓库与数据挖掘主要利用什么数据？解决什么问题？第42页，共47页，2023年，2月20日，星期五第三章数据库与数据仓库数据库与数据仓库比较数据库数据仓库无重复数据重复详细、少量汇总（微观）详细、少量汇总（宏观）数据处理量（数个月）数据处理量（5-10年）经常异动不常异动提供作业层管理层服务每日交易的操作（增删改查印）支持管理决策需求（查询打印）在线交易处理（OLTP）在线分析处理（OLAP）操作有效