计算思维与人工智能 课件 第4章-数据组织与管理

数据组织与管理4传统数据库技术丨大数据时代的数据变革01020304学习目标本章内容重点难点思考与练习目录CONTENTS01学习目标内容引入学习目标

思维导图学习目标内容引入学习目标思维导图1960年代数据库初生：层次与网状数据库时代1970年代关系数据库诞生：数据管理的革命21世纪NoSQL和大数据技术的崛起…未来展望：智能数据库与自动化管理…人工智能时代，我们能做些什么？学习目标了解数据存储与数据管理技术的发展历程01理解数据库系统的概念及重要地位02掌握关系数据库的数据结构与数据操作03理解大数据时代数据应用的重要性04内容引入学习目标思维导图学习目标内容引入学习目标思维导图02本章内容传统数据库技术大数据时代的数据变革4.1传统数据库技术4.2大数据时代的数据变革本章内容1、数据库技术的发展前关系型阶段（1960-1970）关系型阶段（1970-2008）后关系型阶段（2008-至今）这阶段的数据库主要基于网状模型和层次模型，在当时较好地解决了数据集中存储和共享的问题。1970年，IBM实验室的EdgarFrankCodd发表了一篇题为《大型共享数据库数据的关系模型》论文，为关系型数据库技术奠定了理论基础。20世纪80年代，关系型数据库进入商业化时代。进入21世纪，随着信息技术及互联网不断进步，数据量呈现爆发式增长，各行业领域对数据库技术提出了更多需求，数据模型不断丰富、一部分数据库走向分布式、多模处理、存算分离的方向演进。4.1传统数据库技术4.2大数据时代的数据变革本章内容2、数据库系统（1）数据库数据库（DataBase）是长期储存在计算机内，有组织的，可共享的大量数据的集合。它允许多个用户同时使用高度复杂的逻辑和语言，快速、安全地访问和查询数据。4.1传统数据库技术4.2大数据时代的数据变革本章内容2、数据库系统（2）数据库的特点持久化存储数据：数据库将数据进行组织并持久地存储在存储介质上，需要使用时，可随时进行访问；方便数据更新和查询：数据库提供强大的数据操纵功能，用户可以方便地对数据进行更新和查询；提供数据完整性约束：数据库提供了完整性机制来确保数据的完整性、一致性；提供统一的数据保护：数据库提供数据安全性机制，通过用户标识与鉴定、数据存取机制、视图等保证数据库中数据的安全可靠和正确有效。4.1传统数据库技术4.2大数据时代的数据变革本章内容2、数据库系统（3）数据库管理系统数据库管理系统(DBMS)是负责管理数据库的系统软件。它在数据库建立、运行及维护时对数据库进行统一控制，以保证数据的完整性、安全性，提供多用户时数据库的并发控制。（4）数据库系统数据库系统（DBS）是由数据库和数据管理系统、应用系统、数据库管理员和用户组成的系统。4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库关系数据库（RDBMS）是一种采用关系模型来组织数据的数据库，以行和列的形式存储数据。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。表中的每一行都代表一条记录，表中的列则用于存储数据的属性值。一组表组成了关系数据库。4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库（1）关系（表）关系数据库以结构化和关系（表）的方式存储数据。它将信息存储在表中，可以将其视为数据的存储容器。4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库（2）表间关系现实世界中事物之间是有联系的，关系模型不仅可以表示事物及其特性，还可以描述事物之间的联系。4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库（3）关系操作及完整性约束关系数据库不仅提供数据的结构化存储，还提供数据的查询、插入、删除和修改操作，并且要求对数据的操作必须满足关系的完整性约束。关系数据库的数据结构简单，就是单一的关系，因此关系数据操作都是集合操作，操作对象和操作结果都是集合。关系的查询操作是关系操作中的最主要的部分，关系代数是利用数学逻辑解决关系查询操作的一种方法。4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库关系代数的运算符：集合运算专门关系运算比较运算逻辑运算并∪交∩差−笛卡尔积×选择𝛿投影𝜋连接∞除÷大于，小于>，<大于(小于)等于≥，≤等于=不等于<>非¬与∧或∨4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库【例4-1】查询计算机系的读者姓名和班级关系表card中存储读者的信息，利用关系代数的选择运算可以在关系中选择满足“计算机系”查询条件的行，再利用投影运算选择需要的姓名和班级列，实现查询需求。关系代数表达式如下所示：4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库【例4-2】查询王晓同学借阅的图书的书名借阅的信息存储在borrow关系中，可以通过外码cno从card关系找到读者的姓名，通过外码bno从book中找到图书的书名，多个关系的查询需求需要利用关系代数的连接操作实现。关系代数表达式如下所示：关系操作的实质是对关系的行、列进行选择的过程，当涉及到多个关系时，通过外码利用笛卡尔积运算将多个关系连接在一起，再进行列的选择，从而产生新的关系。4.1传统数据库技术4.2大数据时代的数据变革本章内容3、关系数据库实体完整性(PrimaryKey)参照完整性(ForeignKey)用户自定义完整性(Unique、Default…)关系的完整性约束---对关系的值的约束条件4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）结构化查询语言(StructuredQueryLanguage)，简称SQL。它是一种非过程化编程语言，用于存取数据以及查询、更新和管理关系数据库系统。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）1．数据定义数据定义功能包括创建数据库、数据表、视图等。数据存储在数据库中，是按照关系模型的结构存储，因此需要首先需要定义其组织结构。数据以关系表的形式存储，一个数据库中可以存储多个数据表。数据库是数据表的容器。下面以图书借阅数据库为例，定义数据库及表结构。【例4-3】创建图书借阅数据库语句：CREATEDATABASEmybook;CREATEDATABASE语句用于创建一个数据库，mybook为图书借阅数据库的名称。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-4】创建图书表语句：CREATETABLEbook( bnointNOTNULLPRIMARYKEY, bnamechar(50), authorchar(50), pricedecimal(9,2), quantityint);CREATETABLE语句用于创建一个数据表，book为图书表的名称，小括弧内定义了5个属性列，每个属性列的定义包括列名、数据类型和数据约束。PRIMARYKEY用于说明bno列为表的主码，即惟一标识。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-5】在图书表中插入图书“水浒”的信息。语句：INSERTINTObookVALUES(1,'水浒','施耐庵',21.80,22);INSERTINTO语句用于向表中插入数据，book为插入数据的表名，VALUES括弧内表示需要插入的各个属性列的值。2．数据操纵数据操纵功能提供数据的插入、删除与修改操作。数据库中的数据是动态的，经常会对表中的数据进行更新。数据库通过SQL可以实现数据的插入、修改和删除。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-6】修改书号为1的图书的单价为21.50。语句：UPDATEbookSETprice=21.50WHEREbno=1;UPDATE语句用于修改表中的数据，book为要修改的表，根据WHERE子句的表达式，修改满足表达式要求的数据。【例4-7】删除作者为“施耐庵”的图书。语句：DELETE‌FROMbookWHEREauthor='施耐庵';DELETE语句用于删除表中的数据，FROMbook表示要删除book的数据，WHERE表示要删除满足条件的数据。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-8】查询计算机系的读者姓名和班级。语句：SELECTcname,cclassFROMcardWHEREcdeptname='计算机系';用SQL语言进行数据库操作，只要提出“做什么”，而无须指明“怎么做”。SQL的操作过程均由数据库管理系统（DBMS）完成，减轻了用户的负担，提高了数据的独立性。3．数据查询数据库查询是数据库的核心操作。SQL提供了SELECT语句进行数据的查询，它既可以完成简单的查询，也可以实现复杂的多表和统计查询。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-9】查询王晓同学借阅的图书的书名及借阅日期语句：SELECTbname,bdateFROMbook,borrow,cardWHEREbook.bno=borrow.bnoando=oandcname='王晓';此查询涉及多个关系表，查询时需要先将几个表连接，再实现查询。SQL的多表查询，只要指出表和表连接的条件，即可实现连接查询。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-10】查询统计机械系学生的借书情况，输出读者号，姓名，借阅图书册数，并按照册数降序排列。语句：SELECTo,cname,count(distinctbno)as'bns'FROMborrow,cardWHEREo=oandcdeptname='机械系'GROUPBYoORDERBY3desc;SQL还提供聚集函数、分组统计等，可对数据进行分组统计查询，实现数据的统计分析。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-11】将查询book表和修改book数据的权限授予用户anne语句：GRANTselect,updateONbookTOanne;与word、excel文件不同，数据库中的数据访问，是需要具备访问权限的，并且每个用户的访问权限可以不同。如果只给于了用户anne数据表book的查询和修改权限，则anne不能删除book表的数据。4．数据控制数据控制功能主要用于定义用户的访问权限和安全级别。SQL提供了GRANT语句向用户授予访问权限，REVORK语句收回授予的权限。通过授权机制设置用户对数据的访问。4.1传统数据库技术4.2大数据时代的数据变革本章内容4、结构化查询语言（SQL）【例4-12】收回用户anne对book表的查询和修改权限语句：REVORKselect,updateONbookFROManne;所有授予出去的权限都可以在必要时将其收回。SQL提供了非常灵活的授权机制，可以将数据库中的所有对象的所有权限根据需要进行授予和收回。这种权限控制机制也称为自主权限控制。4.1传统数据库技术4.2大数据时代的数据变革本章内容1、大数据时代麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”4.1传统数据库技术4.2大数据时代的数据变革本章内容1、大数据时代（1）大数据的级别单位数据规模举例1KB=1024B1个TXT文本文件大概几KB1MB=1024KB1个WORD文档或1个图片文件大概几M到几十M1GB=1024MB1部720P的电影大概几个G1TB=1024GB大约20万张照片的容量1PB=1024TB约21万部720P的电影1EB=1024PB阿里、百度、腾讯等互联网企业的数据存储量1ZB=1024EB全球已存储的数据总规模大约几十ZB在地球上，1辆自动驾驶汽车每天可以产生60TB的数据；1个智慧工厂每天可以产生出1PB的数据；1座智慧城市每天可以产出2.5PB的数据；谷歌搜索引擎1年的数据总规模达62PB。预计到2025年，全球数据量将达到175ZB。4.1传统数据库技术4.2大数据时代的数据变革本章内容1、大数据时代（2）大数据的来源日常行为数据大数据最活跃最直观的数据来源，就是我们每个人的日常行为数据4.1传统数据库技术4.2大数据时代的数据变革本章内容1、大数据时代（2）大数据的来源事务性数据企事业单位的运营数据；政府部门的公共数据等。4.1传统数据库技术4.2大数据时代的数据变革本章内容1、大数据时代（2）大数据的来源机器和传感器数据随着物联网技术的发展，越来越多的机器和设备被连接到互联网，持续不断地生成数据等。4.1传统数据库技术4.2大数据时代的数据变革本章内容1、大数据时代（3）大数据时代计算思维的变化020103全面而非抽样效率而非精确相关而非因果4.1传统数据库技术4.2大数据时代的数据变革本章内容2、大数据特征数据量大（Volume）数据价值密度低（Value）数据多样性（Variety）数据时效性（Velocity）4.1传统数据库技术4.2大数据时代的数据变革本章内容3、大数据的经典应用（1）大数据在各行业中的应用大数据通过对大量数据的深入分析，揭示隐藏的模式和趋势，可以帮助企业和组织做出更科学的决策。它的应用主要体现在三个方面：市场营销社会研究科学探索4.1传统数据库技术4.2