计算机与人工智能导论 课件 第7章 数据管理与大数据技术

第7章

数据管理与大数据技术AI第7章知识导图第1章计算机工具与计算机演进史第2章计算机系统组成第3章计算机中的数据表示第4章操作系统与网络基础第5章软件构建基础：语言、编译与工程第6章算法与数据结构第7章数据管理与大数据技术第8章人工智能概述第9章机器学习基础第10章深度学习基础第11章机器人学、智能体与具身智能第12章自然语言处理与大语言模型第13章AI伦理、法律、治理与未来第14章AI赋能行业典型应用第17章前沿技术与实践能力培养文件管理数据管理技术发展脉络人工管理阶段文件管理阶段数据库系统阶段关系模型与SQL语言基础数据安全与隐私保护机制大数据技术概述关系模型的基本概念SQL语言的定义与分类技术层面的保护机制管理层面的保护机制个人用户的隐私保护机制大数据的5V核心特征大数据技术体系数据伦理的核心内涵我国数据相关的核心法律法规数据管理与大数据技术SQL语言基础操作示例大数据与人工智能数据伦理与法律的实践要求数据伦理与法律法规内容导航第7章

数据管理与大数据技术7.1数据管理技术发展脉络7.2关系模型与SQL语言基础7.3数据安全与隐私保护机制7.4大数据技术概述AI7.5数据伦理与法律法规7.1数据管理技术发展脉络数据管理技术是指对数据进行收集、存储、组织、加工、检索和传输的一系列技术的总称。人工管理阶段文件系统阶段数据库系统阶段数据库管理技术的三个发展阶段7.1数据管理技术发展脉络表

7.

1

数据管理技术三个发展阶段比较

发展阶段核心特征数据存储方式数据与程序关系数据共享性数据冗余度人工管理阶段无专用设备、无管理软件随程序存于内存，不能长期存储一一绑定，不可分离无共享极高文件系统阶段有磁盘等设备，用文件管理以文件形式存储于外存

，可长期保存部分分离，按文件名访问有限共享较高数据库系统阶段数据库管理系统统一管理，结构化存储集中存在数据库，按规则组织高度分离，统一接口操作高度共享低7.1.1人工管理阶段（20世纪50年代中期以前）无专用存储设备与数据管理软件，数据由程序员直接在代码中管理。数据与程序一一绑定不可分离，程序运行结束后数据随之消失，完全无法共享。修改数据必须修改程序代码，开发效率极低，仅适用于科学计算场景。7.1.2文件系统阶段（20世纪50年代后期-20世纪60年代中期）磁盘等外存设备出现，数据以文件形式可长期保存。程序与数据实现部分分离，可通过文件名访问，但冗余度高、一致性差。文件为特定程序设计，数据共享性低。7.1.3数据库系统阶段（20世纪60年代后期至今）出现专门的数据库管理系统(DBMS)，

如Oracle、SQLServer等统一管理数据。数据集中存储并结构化组织，实现高度共享、低冗余、高一致性和高独立性。企业ERP通过数据库整合各部门数据，统一数据源，支持多用户并发访问。内容导航第7章

数据管理与大数据技术7.1数据管理技术发展脉络7.2关系模型与SQL语言基础7.3数据安全与隐私保护机制7.4大数据技术概述AI7.5数据伦理与法律法规7.2关系模型与SQL语言基础数据库系统的核心：数据库管理系统(DBMS)。用户在数据库系统中的一切操作都是通过DBMS进行。DBSDBMS核心数据定义查询更新控制等数据处理的抽象和转换过程常见的数据模型有层次模型、网状模型和关系模型。7.2.1关系模型的基本概念关系模型以二维表为核心组织数据关系模型通过关系、元组、属性、主键、外键、域等概念构建完整的数据描述体系三类约束：实体完整性、参照完整性和用户自定义完整性，确保数据的正确性与一致性关系即二维表，每个二维表由行和列组成，如图7.4所示：学生表S、课程表C、选课成绩表SC元组·属性·域二维表中的每一行称为一个元组，也叫实例二维表中的每一列称为一个属性属性的取值范围称为域7.2.1关系模型的基本概念外键一个关系中的属性或属性组合，其值引用另一个关系的主键，用于建立两个关系之间的关联，例如SC中的Sno引用S的主键Sno，Cno引用C的主键Cno。主键能唯一标识关系中每个元组的属性或属性组合，如学生表中的学号Sno，确保实体完整性。完整性约束包括：实体完整性（主键值不能为空且唯一）参照完整性（外键值必须引用主键的有效值或为空）用户自定义的完整性（根据实际业务需求制定的约束，如成绩的取值范围为0~100）7.2.2SQL语言的定义与分类SQL（StructuredQueryLanguage，结构化查询语言）：用于对关系型数据库中的数据进行定义、查询、更新和控制简洁易学、非过程化、通用性强SQL数据定义DDL创建CREATE修改ALTER删除DROP数据查询DQL查询SELECT数据操纵DML增加INSERT修改UPDATE删除DELETE数据控制DCL授权GRANT收权REVOKE7.2.2SQL语言的定义与分类DDL数据定义语言用于定义数据库、表、视图等对象，核心命令为CREATE、ALTER、DROP创建数据表时需指定列名、数据类型和约束条件，是数据库建设的第一步DQL数据查询语言核心命令SELECT，是SQL中使用最频繁的命令通过WHERE筛选、GROUPBY分组、ORDERBY排序，实现灵活的数据检索与聚合分析DML数据操纵语言用于对表中数据进行增删改操作，INSERT插入新记录、UPDATE修改已有数据、DELETE删除记录覆盖日常数据维护需求，操作前务必确认条件避免误操作DCL数据控制语言用于管理数据库访问权限，GRANT授权和REVOKE回收权限通常由数据库管理员使用，确保不同角色只能访问其权限范围内的数据7.2.2SQL语言的定义与分类举例：创建学生表CREATETABLES(SnoCHAR(5)PRIMARYKEY,SnameVARCHAR(20)NOTNULL,SsexCHAR(2),SageINT,SdeptVARCHAR(20));创建课程表CREATETABLEC(CnoCHAR(5)PRIMARYKEY,CnameVARCHAR(20)NOTNULL,CreditNUMERIC(3,1)NOTNULL,CtINTNOTNULL);创建选课成绩表CREATETABLESC(SnoCHAR(5)NOTNULL,CnoCHAR(5)NOTNULL,ScoreNUMERIC(5,1),PRIMARYKEY(Sno,Cno),FOREIGNKEY(Sno)REFERENCESS(Sno),FOREIGNKEY(Cno)REFERENCESC(Cno));7.2.2SQL语言的定义与分类举例：数据插入：向学生表插入一条记录('S1001','李红','女',18,'信息')INSERTINTOS(Sno,Sname,Ssex,Sage,Sdept)VALUES('S1001','李红','女',18,'信息');数据查询：查询所有男生的学生信息并按年龄升序排列SELECT*FROMSWHERESsex='男'ORDERBYSageASC;查询学生的姓名、课程号和对应的成绩SELECTSname,SC.Cno,ScoreFROMSINNERJOINSCONS.Sno=SC.Sno;7.2.2SQL语言的定义与分类举例：数据修改：将学号S1001的学生年龄修改为20UPDATESSETSage=20WHERESno='S1001';数据删除：删除信息系学生信息DELETEFROMSWHERESdept='信息';内容导航第7章

数据管理与大数据技术7.1数据管理技术发展脉络7.2关系模型与SQL语言基础7.3数据安全与隐私保护机制7.4大数据技术概述AI7.5数据伦理与法律法规7.3.1技术层面的保护机制技术层面的数据安全防护涵盖加密、访问控制、脱敏、备份恢复和入侵检测五大核心技术，从数据传输、存储、访问和使用四个维度构建纵深防御体系，是保障数据机密性、完整性和可用性的技术基石。加密技术通过对称加密AES和非对称加密RSA将明文转为密文，应用于数据存储和传输环节访问控制按最小权限原则限制用户操作范围，常见模型有DAC、MAC和RBAC数据脱敏对敏感信息进行掩码或替换处理，如手机号显示为138****1234，保持可用性备份与恢复通过全量、增量、差异备份三种策略防止数据丢失，保障完整性和可用性入侵检测与防御IDS/IPS实时监控网络和数据库访问行为，识别并阻止未授权访问和攻击7.3.2管理层面的保护机制数据安全需要技术与管理双管齐下：企业需建立全生命周期安全管理制度、开展员工培训、实施安全审计和应急响应机制。制定完善的数据安全管理规范，明确数据全生命周期的安全管理要求建立数据安全管理制度1234制定数据安全事件应急处理预案建立应急响应机制定期对数据的操作行为、访问记录进行审计实施数据安全审计定期对员工进行数据安全和隐私保护培训开展数据安全培训7.3.3个人用户的隐私保护机制个人用户需提升隐私保护意识，严格管控信息授权。未来开发者更应从设计源头融入隐私保护理念。内容导航第7章

数据管理与大数据技术7.1数据管理技术发展脉络7.2关系模型与SQL语言基础7.3数据安全与隐私保护机制7.4大数据技术概述AI7.5数据伦理与法律法规7.4.1大数据的5V核心特征Volume图7.5

大数据的5V特征大数据的5V特征构成完整的数据画像：海量性（Volume）是基础，高速性（Velocity）提要求，多样性（Variety）增难度，真实性（Veracity）保质量，价值性（Value）是目标。2025年中国数据生产总量达52.26ZB，占全球27.44%。7.4.2大数据技术体系大数据技术体系涵盖采集、存储、处理、分析、可视化五个核心层次，以云计算和分布式集群为基础支撑。从Flume爬虫采集到HDFS分布式存储，从MapReduce批处理到机器学习深度挖掘，再到ECharts可视化展示，形成完整的数据价值提炼链路。图7.6

大数据技术体系层级结构及核心技术7.4.3大数据与人工智能人工智能（AI）：让机器模拟人类智能，实现感知、推理、学习、决策等能力。大数据与人工智能相辅相成、协同演进：大数据为AI提供海量训练样本和实时数据流，决定模型精度与泛化能力；AI作为大数据的“智能萃取器”，自动发现隐藏规律并输出可落地决策。二者共同构成智能系统的核心技术底座。7.4.3大数据与人工智能数据规模决定模型精度深度学习和大模型高度依赖大规模标注数据，数据规模、多样性和时效性直接决定模型精度与泛化能力。高质量数据集是算法突破的基础。规模·多样·时效流式处理驱动闭环迭代流式大数据处理为在线学习和实时预测提供持续数据流，形成"数据→模型→决策→新数据"的闭环迭代，实现系统自我优化。数据→模型→决策自动发现隐藏规律自动发现海量数据中隐藏的规律、关联关系与趋势，解决大数据价值密度低的核心痛点，释放数据潜在商业价值。价值萃取智能转化赋能决策替代人工完成数据清洗、特征工程和异常检测，将数据转化为预测、推荐和控制指令，赋能业务决策，提升运营效率。预测·推荐·控制内容导航第7章

数据管理与大数据技术7.1数据管理技术发展脉络7.2关系模型与SQL语言基础7.3数据安全与隐私保护机制7.4大数据技术概述AI7.5数据伦理与法律法规7.5.1数据伦理的核心内涵数据伦理围绕“数据如何合理、正当、公平使用”展开，涵盖收集（知情同意）、使用（目的限定与公平性）、共享（最小必要）、权益（知情/访问/修改/删除权）和算法（可解释性）五个维度，是数字时代从业者的道德底线。遵循知情同意原则，明确告知目的、方式和范围并获得自愿同意，禁止未经授权的非法爬取。数据收集遵循目的限定与公平性原则，禁止将数据用于未授权场景，禁止利用算法进行歧视。数据使用遵循最小必要原则，仅共享实现目的所需的最少数据，敏感数据共享需获得再次同意。数据共享数据主体享有知情权、访问权、修改权和删除权（被遗忘权），有权要求删除不再需要的个人数据。数据权益遵循可解释性原则，禁止使用黑箱算法影响用户合法权益，需加强算法审核和监管。算法决策7.5.2我国数据相关的核心法律法规我国已形成以《网络安全法》《数据安全法》《个人信息保护法》为"三驾马车"的数据法律体系，辅以《民法典》民事救济和各类配套规章，从网络安全、数据治理、个人隐私三个层面构建全方位、多层次的法律监管框架。表7.2

我国数据领域核心法律法规及核心内容法律法规实施时间核心定位核心内容《中华人民共和国网络安全法》2017年

6月

1日网络安全基础性法律明确网络数据安全保护要求，规定网络运营者数据义务，确立个人信息保护基本原则《中华人民共和国数据安全法》2021年

9月

1日数据安全专门法律确立数据分类分级保护制度，明确数据处理者安全责任，规定数据安全审查、跨境传输制度《中华人民共和国个人信息保护法》

2021年

11月

1日个人信息保护专门法律明确个人信息