数据库、数据仓库与数据挖掘

1、第4章数据库，数据仓库，数据挖掘，本章的主要内容，4.1信息系统的数据管理4.2数据库系统的基本概念4.3数据模型4.4关系数据库4.5数据仓库4.6数据挖掘，信息技术和信息技术是管理信息系统的基础。只有将信息技术与管理相结合，管理信息系统才能真正发挥作用。信息技术是指能够扩展人类信息器官的功能，完成信息获取、传输、处理和利用功能的技术。管理离不开信息获取和信息处理。信息获取应该有有效的方法来组织信息，使人们能够方便快捷地获取信息。信息处理：需要有适当的信息处理工具，组织信息的主要工具，数据库数据仓库，处理数据库和数据仓库的软件工具，数据库管理系统，数据挖掘工具，企业如何处理信息？(1)以交易

2、处理、银行储蓄业务处理系统、发票管理系统、财务管理系统、在线交易处理(OLTP)、数据库和数据库管理系统的形式处理信息，企业如何处理信息？(2)在决策活动、在线分析处理(OLAP)、数据仓库和数据挖掘工具中使用信息进行决策，确定适当的营销策略、市场细分、客户细分，并确定新分支机构的地址。企业利用信息做什么？(3)在使用信息的过程中管理信息，选择合适的技术来组织信息，使知识工作者可以逻辑地处理信息，而不必了解信息的物理组织形式，确定用户操作信息的权限，备份信息，确定信息的存储时间和使用的存储技术。4.1信息系统的数据管理，美国学者詹姆斯马丁提出了数据环境的概念，认为只要企业的性质和目标不变，尽管

3、企业的数据处理过程是可变的。信息系统是有目的地收集、组织、处理和处理企业生产经营活动产生的原始数据，直至产生信息的系统。经理们利用信息来控制各种商业活动并做出决策。组织数据的逻辑存储结构，将逻辑存储结构转化为计算机的物理存储结构，并根据需要准确、快速地访问数据，是数据管理技术的主要研究内容。数据管理是管理活动最基本的内容，也是管理信息系统的基本功能。一般来说，它不涉及复杂的数学计算，但需要处理大量数据。因此，在管理数据时应考虑以下问题。数据如何存储在计算机中？哪种数据结构可以用来促进数据的存储和访问？使用什么方法从有组织的数据中检索数据？随着计算机软硬件技术的发展和应用的需求，数据管理技术的发

4、展经历了三个阶段：手工管理阶段(20世纪50年代中期以前)、文件系统阶段(20世纪50年代末至60年代中期)、数据库系统阶段(20世纪60年代末)和手工管理阶段。背景应用要求：科学计算硬件水平：不能直接访问存储设备(硬盘等)。)软件级：无操作系统处理模式：批量处理，手工管理阶段特点，无数据管理，完全分散模式。数据管理器：应用程序，数据不保存面向数据的对象：应用程序数据的共享程度：不共享，冗余大，数据独立：不独立，完全依赖程序，程序修改数据时必须修改。结构化数据：非结构化数据控制能力：程序员必须设计自己的数据组织。文件系统阶段，后台应用要求：科学计算，管理硬件级：磁盘和鼓软件级：文件系统处理模式

5、：在线实时处理，批处理，文件系统阶段特点，面向应用的数据管理功能数据管理器：文件系统，数据可以长期保存。面向数据的对象：应用数据的共享程度：共享性和冗余性差。大数据结构：记录结构，数据结构。整体上没有结构，文档是独立的。数据的独立性：独立性差，如果数据的逻辑结构改变，应用程序必须修改。数据控制能力：应用程序控制自身，文件系统阶段不足，数据冗余大。文件系统中的文件基本上对应于一个应用程序，数据仍然是面向应用的。当不同应用程序所需的一些数据相同时，仍然需要建立自己的数据文件，这些数据文件不能共享，并且很难维护数据和确保一致性。数据和程序的独立性仍然不高。该文件服务于特定的应用程序，并且系统不容易扩

6、展。一旦数据的逻辑结构改变，文件结构和应用程序的定义必须修改。应用程序中的更改也会影响文件的结构。因此，文件仍然不能反映现实世界事物之间的联系。数据库系统阶段，应用背景：大规模管理硬件背景：大容量磁盘软件背景：数据库管理系统处理方法：在线实时处理，分布式处理，批处理，数据库系统阶段的特点，复杂的数据结构为整个组织。数据库描述了整个组织的数据之间的关系，数据的结构由数据模型描述，没有程序定义和解释。数据冗余小。数据独立性：高度的物理独立性和一定的逻辑独立性。数据控制能力：数据库管理系统管理和控制数据安全性，保护数据完整性，检查并发性和控制数据库恢复)，4.2数据库系统的基本概念，数据库是信息的集

7、合，它可以根据其逻辑结构组织和访问信息。该数据库数据冗余小，可由多个用户共享，数据独立性高，具有安全控制机制，能保证数据的安全性和可靠性，允许数据库的并发使用，能有效及时地处理数据，并能保证数据的一致性和完整性。数据库系统结构，数据库管理系统，如甲骨文、赛贝斯、SQL Server等。数据库管理系统的功能和数据库定义的功能定义了数据库中数据的结构、数据完整性约束和安全控制条件，并将定义的内容保存在数据字典中。数据库管理功能管理数据库的内部组织，并执行用户访问控制、并发控制和数据完整性检查。数据库访问功能根据用户需求对数据库数据进行查询、添加、删除和修改；授权访问数据等。确保数据和程序的逻辑独立

8、性和物理独立性。数据视图，公共数据库管理系统，个人数据库数据库，FoxBASE，FoxPro，访问企业数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统，数据库管理系统概念模型：关注数据之间的逻辑联系。实体连接模型对象模型存储模型：更强调存储效率。层次模型层次数据库网格模型网格数据库关系模型关系数据库对象模型面向对象数据库、E-R

9、模型、E-R模型有三个基本元素，即实体、实体间的关系和属性，它们分别用矩形框、棱形框和椭圆框表示，在框中填入相应的名称以供识别，参与连接的实体用线段连接，并用连接数标记。实体之间的关系、E-R模型实例、关系模型和关系模型都有坚实的理论基础(关系代数)。关系：具有应用语义的二维表格，其中每行描述一个事物的数据或其状态的一部分，每列描述一个事物的某个特征。属性：2D表中的列是关系模式中的属性。表中的每个属性都必须是基本类型。表中每一列的所有值必须具有相同的类型和语义。属性有一系列值。表中的每一列都必须有唯一的名称，表中各列的顺序是不相关的。关系示例，关键字和外部关键字，客户关系，视频租赁关系，视频

10、关系，关键字，外部关键字，4.4关系数据库，以及表是最重要和最基本的数据存储单元。一个数据库可以由多个表组成，这些表之间有一定的关系。表对应于数据库的模式，由行(对应的记录)和列(对应的属性)组成。视图视图是用户看到的数据，它提供了数据的逻辑独立性。存储过程是一个代码块，它封装复杂的数据操作命令，提供代码共享功能，并提高数据操作的速度。触发器触发器主要用于实现复杂的业务规则或复杂的完整性约束，它是由数据操作自动触发的代码段。索引用于加速数据查询。约束约束用于确保数据的完整性，包括实体完整性、引用完整性和用户定义的完整性。目的是确保存储在数据库中的数据是正确的。数据完整性，关系完整性是指关系中的

11、数据值与它所描述的应用程序对象的实际状态一致的约束条件。实体完整性意味着关系中的主键不能为空，并且主键的值不能相同，这确保了主键可以唯一地标识关系中的每个元组。引用完整性意味着不允许引用数据库中不存在的外键数据。外键(或外键)意味着一个表中的属性是另一个表的主键。用户定义的完整性指定属性值必须是域中的值。如果性别只有男性或女性，年龄只有0150，等等。学生情况表、课程表、学生课程选择表、主要关键字、关系完整性示例、不在“学生”表中的学生编号不允许出现在课程选择表中，不在“课程”表中的课程编号也不允许出现。这可以通过定义外键来实现，即课程表中的学生编号是学生表的外键，选课表中的课程编号是课程表的

12、外键。请注意，主键值排在第一位，然后是外键值。数据库设计过程、数据库管理系统的数据模型、电子病历模型、4.5数据仓库和数据仓库是一个面向主题的、集成的、相对稳定的历史数据集合，用于支持企业的分析活动和决策任务。为什么使用数据仓库？传统数据库对企业决策的支持有限。企业的大量数据资源没有得到充分利用。“数据爆炸和知识匮乏”提高了数据存储和数据分析的效率。数据仓库，数据提取E，针对多个数据源(来自不同的设备，使用不同的数据格式)，数据清理(编码矛盾，缺失值，重复值，标准化；合并多源记录数据，清除无用的源数据等。)；数据汇总，包括初始加载，在数据仓库开始工作后，更改的数据被转换并存储在工作数据仓库中，

13、数据转换T，数据加载L，数据仓库，ETL(提取，传输，加载)，在给定时间捕获的数据，即在特定时间相关源数据的快照。(通常在初始加载期间使用)、静态数据提取、修改/添加数据提取、延迟数据提取、即时数据提取、数据提取技术，该提取是实时的，并且将在事务发生时发生在源数据库和文件中。通过事务日志捕获；从数据库触发器捕获；从源应用程序捕获。基于日期和时间戳捕获；通过文件比较捕获。、数据仓库、数据提取将来自不同来源的数据放在一起、数据转换、选择、转换和汇总、分离/合并、选择从来源系统获得的整个记录或部分记录(提取过程)、标准化、使字段可供用户使用和理解；粒度、多个系统中所选部分的合并操作以及常见转换类型的

14、格式修正；场解码；计算值和导出值；单独一个字段；信息合并；特征集的变换；计量单位转换；日期/时间转换；总结；关键重构，数据转换：根据转换规则进行转换和重构(映射)，数据仓库，数据转换将统一不同格式的数据，数据仓库结构模型，星型模型雪花模型，例如：销售主题元数据，销售数据仓库星型模型，销售数据仓库雪花模型，销售和运输数据仓库事实星座模型，三层数据仓库结构，数据属性类型，属性转换，数据仓库多维数据立方体，数据仓库多维数据立方体，什么是数据挖掘， 维基(Wiki，或KDD)中数据库知识发现过程的分析步骤的定义计算机科学的一个跨学科分支，是在大型数据集中发现模式的计算过程，涉及人工智能、机器学习、统计

15、学和数据库系统的交叉方法。 数据挖掘过程的总体目标是从数据集中提取信息，并将其转换成可理解的结构以供进一步使用。除了原始分析步骤，它还涉及数据库和数据管理方面、数据预处理、模型和推理考虑、兴趣度量、复杂性考虑、发现结构的后处理、可视化和在线更新。数据挖掘，数据挖掘，是一个在大型数据仓库中自动发现有用信息的过程。从数据仓库的角度来看，数据挖掘可以看作是OLAP的高级阶段。知识发现过程，数据挖掘是一个过程，数据清洗，数据集成，数据库，数据仓库，知识，任务相关数据，选择，数据挖掘，模式评估，有趣的模式代表知识。数据挖掘系统的结构、数据挖掘的功能、预测：根据其他属性(自变量)的值，预测特定属性(因变量和目标变量)的值。分类：用于预测离散目标变量回归：用于预测连续目标变量描述：推导出汇总数据中的潜在联系方式，通常是探索性的，往往需要后处理技术来验证和解释结果。概念/类别描述(表征和区分):黄金客户特征挖掘的频繁模式，关联分析；用于购物篮分析的聚类分析；异常客户分类/异常值检测；信用卡