大数据基础课件 2大数据基础 数据

大数据基础2-数据本章内容数据定义数据存储数据库MySQL编程2什么是数据？3.1415926Mary小明图像音频视频3在计算机中如何存储？二进制形式…数据概念数据的类型有数值、文本、语音、图形、图像、视频、动画等。数据可以简单理解为在计算机中存储、运算、交换和管理的所有的0和1。4如何存储0和1数据在内存中以二进制方式存储，事实上是通过对小电容器的充放电来完成的。电容器，是一种能容纳电荷的容器。与普通的电池不同的是，它的充电速度很快，并且因为不会转化为化学能所以电量流失的也很快。5Whybinary(notdecimal)使用二进制是由计算机的实现原理决定的，数据在计算机中以器件的物理状态表示，高电平是用1表示，低电平用0表示。6阈值二进制的优点(1)技术实现简单，计算机是由逻辑电路组成，逻辑电路通常只有两个状态，开关的接通与断开，这两种状态正好可以用“1”和“0”表示。(2)简化运算规则：两个二进制数和、积运算组合各有三种，运算规则简单，有利于简化计算机内部结构，提高运算速度。0+0=0 0+1=1 1+0=1 1+1=100*0=0 0*1=0 1*0=0 1*1=17二进制的优点(3)适合逻辑运算：逻辑代数是逻辑运算的理论依据，二进制只有两个数码，正好与逻辑代数中的“真”和“假”相吻合。(4)易于转换，二进制与十进制数易于互相转换。(5)用二进制表示数据具有抗干扰能力强，可靠性高等优点。因为每位数据只有高低两个状态，当受到一定程度的干扰时，仍能可靠地分辨出它是高还是低。8数制数制（NumberSystem）也被称为“计数体制”，是指多位数中每一位的构成方法以及实现从低位到高位的进位规则，也叫进制。十进制、二进制、八进制、十六进制为什么要有八进制和十六进制？9十进制十进制（DecimalSystem），0－9共10个数码符号381.32=3×102+8×101+1×100+3×10-1+2×10-20,1,2,3,4,5,6,7,8,910,11……99100,101……999,1000……10数制多项式表示，权系数表示法R基数，R进制Ai，数符（码），i位数Ri，权系数，权重-m－-1，小数部分0－n-1，整数部分11R进制：逢R进1二进制二进制（BinarySystem），有0、1两个数码符号二进制的位（bit，比特），逢2进110101101.11012=1×27+0×26+1×25+0×24+1×23+1×22+0×21+1×20+1×2-1+

1×2-2+0×2-3+1×2-412八进制八进制（OctalSystem），0－7共8个数码37.218=3×81+7×80+2×8-1+1×8-213十六进制十六进制(HexadecimalSystem)，0－9，A、B、C、D、E、F，共16个数码2D.1A16=2×161+13×160+1×16-1+10×16-21415十进制二进制八进制十六进制000011112102231133410044510155611066711177810001089100111910101012A11101113B12110014C13110115D14111016E15111117F16100002010数值数据存储转换为二进制3710=10010120.7510=0.11216进制转换10→2十进制整数转换成二进制整数：除2取余，直到商为零止，倒排例：将十进制数253转换成对应二进制数1718十进制数(D)余数253└21261└

2630└

2311└

2151└

271└

231└

211└201转换结果的最高位转换结果的最低位转换结果为：(253)10=(11111101)2进制转换10→2十进制小数转换为二进制小数：乘2取整，直到小数部分为零或给定的精度为止，顺排例：将十进制数0.45转换成二进制小数（取4位）1920十进制数(D)乘2取整数部分0.45×2＝0.900.9×2＝1.810.8×2＝1.610.6×2＝1.21转换结果的最高位转换结果的最低位转换结果为：(0.45)10=(0.0111)2

取4位的近似值(0.0111)2=(0.25+0.125+0.0625)10=(0.4375)10？练习将十进制19，0.875转化为二进制19D=10011B0.875D=0.111B将十进制19.875转化为二进制19.875D=10011.111B21文本数据存储ASCII码汉字编码Unicode22ASCII码AmericanStandardCodeforInformationInterchange，美国标准信息交换码，7位二进制编码文本字符数据：英文字母、数字和常用符号23?24汉字编码如何存储中文？《说文解字》共收录9353

个汉字《康熙字典》有47035

个汉字

《新华字典》第十一版2011年7月出版发行，共收录

10998

个汉字25汉字个数汉字的数量是91251

个，但是常用字只有3000

个左右，其他都是生僻字。朗读者：汉字叔叔7’29/video/BV1yL411s7v4/26汉字编码中文系统扩展了ASCII，国家强制标准GB2312-1980：简化字6763个，总计7445个字符1993年的GBK：2.1万多个汉字GB18030编码：超大型中文编码字符集，汉字和字符7万余个可变4字节编码：常用字符字节数少27编码类型等长编码：ASCII码，7位/8位不等长编码：数据压缩28霍夫曼编码*频率相关编码（Frequency-dependentencoding）出现次数高的码较短，出现少的码较长数据的总长度变小，占用存储空间小，传输快29霍夫曼编码30ABCED56119201232250101011001011011111110A:0B:10C:110D:1111E:1110霍夫曼解码31ABCED0000111110111001001011111110BBEABABDE对比32等长码的每个字符需要3位，所需总码位为171，霍夫曼编码需要的总码位为120，与等长码相比，压缩比约为0.7171120乱码？33UnicodeUnicode统一码、单一码、万国码Unicode字符集将全球文字统一到一个表里面，包括中日韩文字、藏文、盲文、楔形文字、颜文字Apple公司发起，Unicode协会开发，表示几乎世界上所有书写语言的字符编码标准34Unicode实现多字节编码：字节顺序问题，例如字符A，单字节41（hex），双字节Unicode0041或4100UTF（UnicodeTransformationFormat），解决不同系统的编码顺序问题35图像存储-位图Bitmap图像是通过像素拼接而成的，分辨率指的就是图像像素的数量每个像素点在计算机中存储的信息是它的RGB数值，将这些RGB（红、绿、蓝，组成图像的三原色，范围是0－225）以二进制方式存储36图像存储-矢量图Vector矢量图是根据几何特性来绘制图形。矢量文件中的图形元素称为对象。每个对象都是一个实体，它具有颜色、形状、轮廓、大小和屏幕位置等属性。它的特点是放大后图像不会失真，和分辨率无关，适用于图形设计、文字设计和一些标志设计等。37音频文件由模拟声音经采样、量化和编码后得到的。音频信号是连续的模拟电信号，音频数据是离散的ADC（AnalogtoDigitalConverter，模拟数字转换）完成将模拟的信号转换为数据的功能38ADC采样Sample：以相同时间间隔测量模拟信号的幅值39ADC40量化Quantify：对采样值四舍五入取整ADC41编码：将量化值用二进制表示视频文件视觉暂留现象(persistenceofvision)

帧就是指“画面”，1幅画就叫做“1帧”，帧数就是在1秒钟时间里传输的图片的量，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps(FramesPerSecond)表示。每秒钟帧数

(fps)愈多，所显示的动作就会愈流畅。42…视频文件帧数并不是越高越好电影采用的是每秒24帧，中国的电视播放每秒25帧1080p4k高清43文件类型.TXT,.DOC.JPG,.BMP.MP3,.WAV.MP4,.AVI,.RM44文本文件举例Whatisthefilesizeoftext?45文本文件举例/Whatisthefilesizeoftextthatis200characters?TXT文件大小与字数的换算关系/p/2598100246数据管理数据管理指对数据的分类、组织、编码、存储、检索和维护的技术。47人工管理阶段文件系统阶段数据库系统阶段分布式数据库系统阶段数据管理技术的发展人工管理阶段1.硬件背景：无大容量外存2.软件背景：无操作系统3.应用背景：科学计算4.数据管理特点数据与程序不具有独立性，一组数据对应一组程序数据不长期保存系统中没有对数据进行管理的软件，由程序设计人员自负其责48文件管理阶段1.硬件背景：出现大容量外存2.软件背景：出现操作系统3.应用背景：科学计算，数据处理4.数据管理特点数据以文件形式存储，可长期存储在外存上程序和数据有一定的独立性数据冗余、程序与数据还是相互依赖、缺少数据控制手段49…数据库系统阶段1.硬件背景：大容量磁盘 2.软件背景：有数据库管理系统3.应用背景：大规模管理4.数据库管理的特点实现数据共享，减少数据冗余采用特定的数据模型具有较高的数据独立性有统一的数据控制功能50分布式数据库系统阶段…数据库Database，实际上就是一个文件集合，是一个存储数据的仓库。本质是一个文件系统，数据库是按照特定的格式把数据存储起来，用户可以对存储的数据进行增删查改等操作。51数据库简介Adatabaseisanorganizedcollectionofdata,generallystoredandaccessedelectronicallyfromacomputersystem.Wheredatabasesaremorecomplextheyareoftendevelopedusingformaldesignandmodelingtechniques.－－FromWikipedia52关系型数据库最常用的数据库模型主要是两种：关系型数据库和非关系型数据库。关系型数据库模型是把复杂的数据结构归结为简单的二元关系（即二维表格形式）。53RelationaldatabaseArelationaldatabaseisproposedbyE.F.Codd（英国计算机科学家）in1970Thismodelorganizesdataintooneormoretables(or"relations")ofcolumnsandrows,withauniquekeyidentifyingeachrow.Rowsarealsocalledrecordsortuples.Columnsarealsocalledattributes.54关系型数据库关系数据库的表采用二维表格来存储数据，是一种按行与列排列的具有相关信息的逻辑组，它类似于Excel工作表。一个数据库可以包含任意多个数据表。在用户看来，一个关系模型的逻辑结构是一张二维表，由行和列组成。这个二维表就叫关系，一个关系对应一张表。55基本概念用二维表来表示实体本身及其相互之间的联系，一个二维表table由行row与列column构成。元组tuple：表中的一行（一条记录record）属性attribute：表中的一列（字段field、数据项item）5657元组属性属性元组基本概念创建数据表时，为每个属性分配一个数据类型，定义它们的数据长度和其他属性。属性值，行和列的交叉位置表示某个属性值。域指属性的取值范围。主键，也称主码或主关键字，是表中用于唯一确定一个元组的数据。关键字用来确保表中记录的唯一性，可以是一个字段或多个字段，常用作一个表的索引字段。58数据库管理系统（DBMS）DataBaseManagementSystem：位于用户和操作系统之间的数据管理软件，负责对数据的存储、检索、修改以及安全保护等。目前流行的数据库管理系统多为关系型数据库系统，如Oracle、SQLServer、MySQL等。59SQLSQL（结构化查询语言）是用于与关系数据库通信的主要接口。SQL于1986年成为美国国家标准协会（ANSI）

的标准。流行的所有关系数据库引擎都支持标准的ANSISQL，其中一些引擎还对ANSISQL进行了扩展。SQL可用于添加、更新或删除数据行，检索事务处理和分析应用程序的数据子集，以及管理数据库的所有方面。60StructuredQueryLanguageSQLorStructuredQueryLanguageistheprimaryinterfaceusedtocommunicatewithRelationalDatabases.SQLbecameastandardoftheAmericanNationalStandardsInstitute(ANSI)in1986.ThestandardANSISQLissupportedbyallpopularrelationaldatabaseengines,andsomeoftheseenginesalsohaveextensiontoANSISQLtosupportfunctionalitywhichisspecifictothatengine.SQLisusedtoadd,updateordeleterowsofdata,retrievingsubsetsofdatafortransactionprocessingandanalyticsapplications,andtomanageallaspectsofthedatabase.61事务处理数据库事务是作为构成单个逻辑工作单元的操作序列执行的一个或多个SQL语句。事务提供了一个“全是或全否”命题，这意味着整个事务必须作为一个单元完成并写入数据库，否则事务的各个组成部分都不应执行。在关系数据库术语中，事务会导致COMMIT或ROLLBACK。每个事务以连贯和可靠的方式独立于其他事务进行处理。62…AdatabasetransactionisoneormoreSQLstatementsthatareexecutedasasequenceofoperationsthatformasinglelogicalunitofwork.Transactionsprovidean"all-or-nothing"proposition,meaningthattheentiretransactionmustcompleteasasingleunitandbewrittentothedatabaseornoneoftheindividualcomponentsofthetransactionshouldgothrough.Intherelationdatabaseterminology,atransactionresul