人工智能与未来 课件 3.4 数据存储与管理

Data第3章数据2035主讲：王红梅目录CONTENTS3.13.23.3数据那些事数据概述数据表示与获取3.43.5数据存储与管理数据分析与可视化3.6大数据场景描述：

某校，3万名学生的数据信息，怎样存储，才能方便管理（查询、存取等）呢？

3.4.1数据存储3.4.2数据管理

在计算机系统中，文字、图片等数据以文件的形式存在。操作系统中的文件管理系统负责管理文件。文件存储在外部存储器上。3.4.1数据存储3.4.1数据存储1.常用存储器存储器

(b)优盘(c)存储卡(e)固态硬盘(a)内存条(d)硬磁盘光盘内存

外存

磁带存储器的基本性能指标指存储器最多可以存放的数据量，以字节(B)为单位。存储容量存取速度是指每秒钟可以向存储器写入或者从存储器读出的数据量，以每秒多少字节（B/s）为单位。3.4.1数据存储越大越好越快越好1.常用存储器一个程序，没有执行时是在外部存储上存放。只有运行时，操作系统才会启动它。它才进入内存中运行。3.4.1数据存储1.常用存储器在内存？还是在外存(3)CPU中的寄存器，用于暂存数据和指令，(2)为提升CPU寄存器与内存的数据交换速度和效率，采用多级缓存（L1、L2、L3）来优化寄存器和存储器之间的数据交换(1)OS系统负责从外存读入内存

数据都是二进制，所以存储数据，就是存储0和1。

怎么存储一个二进制的0或者1呢？理论上讲，只要具有两种明显且稳定的物理状态的物质都可以用来表示0和1，都可以用来制作存储器。

3.4.1数据存储2.数据存储原理

例如人们基于电路输出电平高低或电流有无，设计制作了半导体存储器。当给电容充电时（k1闭合，k2断开），电容中就会积满电荷，没有充电时（k1断开，k2断开）电容中就没有电荷；如果电容有电荷表示1，无电荷表示0，则电容就是一个存储器。

3.4.1数据存储2.数据存储原理电容电源电流表Ak1k2

一个电容与充放电电路一起就可以组成一个实用的存储器。不过这样的存储器容量很小，只能存放1位数据。如果采用集成电路技术，把很多这样的电路单元做到一个半导体晶片上，就可以制造出大容量、高速度的半导体存储器。我们日常使用的内存条、存储卡、优盘等都是半导体存储器。

3.4.1数据存储2.数据存储原理

一个智能计算系统常用多种存储器构成存储系统来满足数据存储的大容量、高速度、低成本需求。

3.4.1数据存储3.本地存储系统位于CPU内临近CPU距CPU远寄存器高速缓存主存辅助存储器更小更快更大更慢

随着互联网发展，出现了以计算机网络为平台的网络存储和云存储。这种存储相当于是一种数据托管，数据拥有者负责数据的使用，数据的存储管理则交给专业人士去完成。数据使用方便性和安全性都得到提高，深受人们欢迎。国内互联网巨头公司阿里巴巴、腾讯、百度等，以及国外的Facebook、Google、Amazon等公司，都在多地建起了自己的大规模数据中心，提供网络存储服务。3.4.1数据存储4.网络存储与云存储WPS提供的云存储，同学们用手机号登陆后即可获得类比举例全国的仓库存着商品郑州市的仓库负责郑州地区销售产品商店里柜台上摆放的是正在销售的产品CPU执行中

缓存

内存

外存

云存储

商店所在大楼的地下室商店仓库商店里柜台后面存放的商品存储器的存储空间被分成一个一个的存储单元。1个存储单元一般对应1个字节的空间大小。1个存储单元分配1个编号，称之为单元地址。CPU根据单元地址找到存储单元，读取其中的数据。（1）数据结构化:按地址存取3.4.2数据管理

像不像快递柜的编号？或是其它的呢？对一个数据的存储要求的表述就是数据类型。换句话说，数据按类型进行存储。（类比书库和仓库等）（1）数据结构化:数据类型3.4.2数据管理根据语义，数据可以划分为1个字符1个数字1句话1张表1首歌1幅画1段视频这样的1个单位的数据存入存储器，不一定恰好占据1个存储单元，比如“zua”可以占3个存储单元。存储数据时，不仅要存数据本身，还要存数据之间的联系。（1）数据结构化:数据之间的联系3.4.2数据管理学生表系部表SnoSnameSsexSbirthSdept091001郑航飞男1990/09/18软件工程091002李志勇男1990/10/11软件工程091003肖娜女1990/12/02网络工程091004谢菲菲女1991/12/11网络工程091005王晓涵女1991/12/11网络工程SdeptPICAdress计算机科学与技术薄树奎06B207软件工程王永庆06B106网络工程赵学民06B207物联网工程金秋春06C401数据间的联系

人们使用数据时常以“文件”为一个单位。文件是计算机操作系统管理数据的单位，也是外存存取数据的基本单位。它是一个数据集合。不同类型的数据文件需要由不同的程序来打开。文件是按“名”访问。

文件名格式：主文件名·

扩展名主文件名用来区分不同文件，扩展名用来区分文件类型，如“报告.ppt”。（1）数据结构化:文件3.4.2数据管理文件名

文件类型

操作系统中文件的地址叫做文件的路径。路径为查找文件提供了方便。文件AUTORUN.INF的路径为：

D:\CyberLink-刻录机驱动

\AUTORUN.INF（具体演示）根文件夹子文件夹子文件夹文件（1）数据结构化:文件路径3.4.2数据管理讨论：你都使用过哪些类型的文件，以你手机上的各种文件为例，他们是怎么存储和管理的呢？请举例自己班的学生文件管理系统：在windows下怎样建立一个文件？怎样建立一个文件夹？通过文件夹、文件构成目录树结构数据共享设想这样的场景：学生的信息，在入校时会被采集，存储到一个文件中，由学校的学生处保存，其他学院或者部分需要时，到学生处拷贝或者通过网络传递。大学四年期间，有些学生的信息可能会发生变化，如改变家庭住址等，这样就需要学生向学生处提出修改信息，学生处再把新的数据发送给相关部门。这样，显然效率很低，有没有解决方案呢？（2）数据共享3.4.2数据管理常见的数据共享的方式数据库（教务系统）文件共享（网络或云服务，如WPS云服务）设备共享文件传输（点对点通讯如手机和手机之间的蓝牙数据传输）

就像书库是存放书的仓库一样，数据库就是存放数据的仓库。数据往往以二维表的形式组织在一起存放在数据库中，通过数据库管理系统进行统一管理，供各种应用程序所使用。（2）数据共享-数据库3.4.2数据管理计算网络互联网

计算机网络是信息网络的一种，它是指将（1）地理位置不同的具有独立功能的多台计算机及其外部设备，（2）通过通信线路连接起来，（3）在网络操作系统、网络管理软件及网络通信协议的管理和协调下，（4）实现资源共享和信息传递的复杂系统。万物互联信息网（2）数据共享-信息网络3.4.2数据管理1969年美国的APPANETINTERNET物联网讨论：如果你家里或宿舍要部署一个网络，需要哪些硬件和软件环境呢？它们又是怎么在一起协调工作的呢？请举例自己班的学生无线：无线电、卫星等有线：双绞线、光纤等计算机网络网络硬件网络软件计算机网络设备：网卡、路由器、交换机等服务器工作站传输介质网络系统软件

网络应用软件计算机网络组成（2）数据共享-信息网络3.4.2数据管理互联网的基本协议叫做TCP/IP协议。TCP是传输控制协议，负责数据传输质量。IP是网络互联协议，负责网络路由，给互联网中每一台联网设备规定一个唯一的地址。计算机通过IP地址可以找到目标设备并确定通信路线。当前的IP协议有IPv4和IPv6两个版本。

IPv4地址是32位的二进制数，常用4个十进制数来表示，例如郑州航院的IP地址是5。IPv6地址是128位的二进制数。

域名（DomainName）与IP地址有着对应关系

DNS（DomainNameServer）服务器提供主机域名和IP地址之间的转换服务

访问一个网站时既可以通过其域名进行，也可以通过其IP地址进行。

浏览网页需要浏览器（360安全浏览器、Firefox等）和超文本传输协议http。在浏览器地址栏中输入航院网址，回车即可打开郑州航院网站主页。不同用户可以用不同的电脑登录郑州航院网站，共享郑州航院服务器上的数据。你需要知道的网络有关关键词TCP/IP协议、HTTP协议等IP地址

如8（65）通信技术如5G等域名DNS如（2）数据共享-信息网络3.4.2数据管理网络协议为计算机网络中不同的设备进行数据交换而建立的规则、标准或约定的集合。为了实现不同网络之间的互连。TCP/IP起源于1969年美国国防部的科研项目，起初称为ARPANET,美国国防部于1977年到1979年间提出了TCP/IP体系结构和协议。TCP/IP是由一组具有专业用途的多个子协议组合而成的，这些子协议包括TCP、IP、UDP、ARP、ICMP等，TCP／IP协议是因特网的基础。由域名到IP地址的过程叫域名解析

数据共享必须带来数据安全问题。

数据的安全至关重要，为此，国家出台了《数据安全法》。我们每个人不但要有数据安全意识，也要掌握一些数据安全技术方法。数据安全内容包括数据不丢失、不损坏、信息不泄露、不非授权获取以及有效可用等。（3）数据安全3.4.2数据管理（3）数据安全二、数据管理常见的数据安全技术身份验证（用户名和密码、动态生成码等）授权和收权（教务系统管理员、学生和老师的权限不同）防止黑客攻击和病毒入侵等数据加密存储和传输，数据备份和恢复技术(相当于数据的多复制一份做备份）二、数据管理（3）数据安全

数据安全内容包括数据不丢失、不损坏、信息不泄露、不非授权获取以及有效可用等。

数据安全通常由三个要素组成：机密性、完整性和身份验证

常见的数据安全技术有防止病毒、数据加密、数据备份、身份认证、防止黑客等。二、数据管理（3）数据安全计算机病毒

计算机病毒是一种人为编制的、专门干扰破坏计算机正常工作的计算机程序。计算机病毒可以破坏计算机内存、可以破坏文件、可以使计算机无法正常运行。

计算机病毒的防范措施主要有：预防为主，切断传染途径;依法治毒，增强网络安全意识;安装杀毒软件并定期更新和扫描病毒。二、数据管理（3）数据安全数据备份

备份是防止数据丢失、提高数据安全性最常用的方法之一。我们的各种文件资料最好都做个备份。文件备份可以在操作系统资源管理器中通过“复制”操作进行，也可以在应用程序中把编辑好的文件另存一份。二、数据管理（3）数据安全身份认证

身份认证可以确保获取数据信息的人是合法用户。基于秘密信息的身份认证，例如“用户名+口令”，“手机号+短信验证码”。基于信任物体的身份认证，常见的信任物有智能卡、加密狗、银行盾等。基于生物特征的身份认证，例如指纹、声音