数据库和数据仓库技术概述

,第6章数据库和数据仓库技术,6.1企业数据处理方式6.2文件组织6.3数据库系统6.4数据仓库和商业智能,6.1企业数据处理方式,以联机事务处理形式处理信息以联机分析处理形式处理信息，并利用信息进行决策在信息应用过程中管理信息,图6-1联机事务处理与联机分析处理,数据项,记录,文件,数据库,数据库,文件3,文件2,文件1,记录3,记录2,记录1,数据项3,数据项2,数据项1,6.2文件组织,6.2.1文件组织术语和概念,字段,记录,某个数据库中的一份表文件，该文件存储了选修管理信息系统课程的10级物流专业的同学名单。每列是一个字段，每行为一个记录。从数据库原理的角度来看，表中反映了“学生”这一类实体集（EntitySet），表中的每一行是该类型中的一个具体的实体，每个实体都具有学号、姓名、专业名称等属性,6.2.2数据的物理组织和逻辑组织,图6-2信息的物理组织与逻辑组织,图6-4逻辑数据元素之间的关系,6.2.3文件的组织方式,学生数据库,学生情况文件,学生成绩文件,记录,数据项,记录1,记录4,记录3,记录2,记录2,图6-5磁盘顺序文件,1顺序文件组织,2索引文件,(b)非索引顺序文件索引,(a)索引顺序文件索引,3链表文件,4倒排文件,Inquiry,CustomerTransactionProcessing,Saving,Install,DatabaseManagementSystem,Check,CustomerDatabase,ADatabaseManagementSystem(DBMS)isasetofcomputerprogramsthatcontrolsthecreation,maintenanceanduseoftheDatabaseofaorganizationanditsenduser.,6.3.2数据库管理系统,图6-8DBMS的主要功能,数据库管理,操作系统,数据库管理系统,应用程序,数据库,数据词典,DatabaseManagement,OperatingSystem,DBMS,ApplicationPrograms,*Datadevelopment*Datainterrogation,*DatabaseMaintenance*Applicationdevelopment,Database,Datadictionary,*DataDevelopment由DatabaseAdministrator(DBA)开发用DatadictionaryLanguage去开发.ADatadictionaryisacomputer-basedcatalogordirectorycontainingmetadatathatisdataaboutdata.,数据库查询Databaseinterrogationquerylanguage,reportgenerator,CorporatePayrollReportingSystem,HighlightyourselectionandpressEnter,MainMenu.EmployeeFileMaintenance,TaxReport,Printer,SQL(StructuredQueryLanguage),SELECTNAME,SSNO,DEPARTMENT,SALARYFROMEMPLOYEE,PAYROLLWHEREEMPLOYEE.SSNO=PAYROLL.SSNOANDCLASSIFICATION=“FINANCIALANALYST”,*数据库的维护在DBMS的支持下,用UTILITY等*应用开发程序用DataManipulationLanguageDML不必用通常程序设计语言，如COBOL,图6-9数据模型,6.3.3数据库系统,S1,R2,R4,R3,S6,S7,S9,S8,S5,S4,S3,S2,学号,姓名,年龄,性别,学生关系框架：,学号,姓名,年龄,性别,课程关系框架：,学号,姓名,年龄,性别,学习关系框架：,（a）网络模型,（b）层次模型,（c）关系模型,图6-10数据库的三级体系结构,用户A1,工作区,用户A2,工作区,用户B,工作区,外模式A（子模式A）,外模式B（子模式B）,子模式/概念模式映射A,子模式/概念模式映射B,概念模型（模式）,模式（内模式映射）,DBMS,OS,.,图6-11三个不同的世界,表6-7三个不同世界术语对照表,客观事物,事物类：相关性质集合,人,实体及联系,实体集合实体相关属性集合,数据库,文件记录相关数据项集合,存储结构,二进制数据集合,加工转换,加工转换,E-R模型,DBMS的数据模型,DBMS的计算机世界,现实世界,认识选择描述,信息世界,6.3.4.2数据库设计步骤,对现实世界进行需求分析了解组织机构情况，为分析信息流做准备；了解各部门业务情况，调查各部门输入和使用的数据，及处理数据的方式与算法；确定数据库的信息组成及计算机系统应实现的功能。建立信息世界中E-R（概念）模型建立分E-R图；综合分E-R图，产生总E-R图。从E-R图导出计算机世界的关系数据模型E-R图中每个实体，都相应地转换为一个关系将联系转换成一个关系,某学院“教学管理”数据库模型,设计“系和教师关系”的分E-R图设计“学生和课程关系”的分E-R图设计“教师与课程关系”的分E-R图将上述三个分综合，建立学院教学管理总E-R图将学院“教学管理E-R图”所描述的信息（概念）世界中的概念模型转化为计算机上由关系型DBMS支持的关系数据模型。,设计“系和教师关系”的分E-R图,该学院下设四个系：管理工程系、会计系、市场营销系和信息管理系。每个系有一个系主任主管该系工作。将“系”设为一个实体，该实体具有以下属性：系代号、系名称、系主任姓名、办公地点、电话。其中系代号是主关键字,该学院聘请了一定数量的专职教师。将“教师”设为一个实体，该实体具有以下属性：教师编号、教师姓名、专业特长。其中教师编号是主关键字。,学院聘请教师后，分配到各系。一个系有多个教师；一个教师只能属于一个系。“教师”实体与“系”实体之间发生一对多（1：M）的“分配”联系。,教学管理总E-R图,图6-13“教学管理”E-R图,28,业务流程调查举例教学管理,学籍处理,1,学生登记表,学生,学生档案,招生办,各院系,教务处,制定教学计划,2,教师基本信息管理,3,教室管理,4,教学计划,教师信息,教学计划,教师信息,教室信息,教师任课情况,教学秘书,人事处,统计报表处理,8,制定教学计划,5,成绩管理,7,学生选课,6,学生成绩,学生档案,统计报表,课表,教务处,学生,教师,各院系,校领导,上级主管,各院系,教务处,教务处,6.3.5数据库技术的发展趋势,数据管理方式：集中式分布式数据模型：关系数据库多媒体数据库、面向对象数据库,（a）(b)图6-14分布式数据库的结构形式,数据库的分布,左图：集中式数据库右图：分布式数据库,6.4.1数据仓库,数据仓库之父W.H.Inmon：“数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrated）、非易失的（Non-Volatile）、随时间变化的（TimeVariant）的数据集合，用于支持管理决策”。,图6-15数据仓库源于业务数据库,6.4.2联机分析处理,联机分析处理(On-LineAnalyticalProcessing，OLAP)：主要是对大量多维数据的动态综合、分析和归纳。OLAP中的一个主要操作是“多维分析”，即通过对信息的多种可能的观察形式进行快速、稳定、一致和交互性的存取，允许管理决策人员对数据进行深入分析。,图6-16多维视图示例,切片和切块(SliceandDice)钻取(Drill)旋转(Rotate)/转轴(Pivot),从OLTP到OLAP,OLAP和数据仓库,OLAP应用构建于数据仓库而非数据库之上，主要是由于以下三个技术方面的原因：计算机处理速度阶跃式增长，单位字节的存储和处理成本大幅度降低，是保证数据仓库有效运行的物理基础；决策分析理论的完善和应用使得数据仓库中的分析技术能够有效实现，使得决策人员可以直接从系统中获得需要的决策支持信息；数据仓库系统中，数据用于支持各种分析任务，并生成多角度，多层次和不同粒度上的分析结果.,OLAP中的基本概念,变量:从现实系统中抽象出来，用于描述数据的实际含义。维:人们观察数据的特定角度维的层次类别:构成一个维的独立的数据元素，是存在于层里每一个数据。,维、层和类别的关系示意图,OLAP中的基本概念,维的取值：也称为维的成员度量：企业收集和存储的用于评价业务状况的数值性数据，以监测和评估企业成效。多维数组数据单元（单元格）多维数组的取值称为数据单元,多维数据立方体,OLAP的基本操作切片（Slice）,在多维数组的某一维上选定其维成员的动作称为切片在多维数组（维1，维2，维n，度量）中选中某一维，如维i，并取其某一维成员（设为维成员Vi），所得的多维数组的子集（维1，维2，维成员Vi，维n，度量）称为在维i上的一个切片。,OLAP的基本操作切块（Dice）,数据切块就是将完整的数据立方体切取一部分数据而得到的新的数据立方体。选取多维数组（维1，维2，维n，度量）中若干维度（通常是3个维度便于图形显示）的取值范围，从而形成了多维数据的子集（维1，维2，Ai维iBi，Bj维jY的规则,商务智能应用系统,目前商务智能和数据挖掘工具分为三类：通用单任务类通用多任务类面向专门领域类,IBM商业智能解决方案,BI的数据挖掘解决方案IntelligentMiner,在sybase数据库窗口直接操作下列命令：1、创建数据表createtableperformance(codechar(8)notnull,attitudedecimal(3,1)null,abilitydecimal(3,1)null,Performancedecimal(3,1)null,notechar(24)null),6.5、SQL结构查询语言,2、其他SQL命令Select*fromperformancewherecode=001Inse