《大数据基础》高校理工类专业大数据课程全套教学课件

大数据基础0简介1概述2数据3数据采集与预处理4数据存储与计算5数据分析与应用6数据可视化7数据安全与保护8附录A全套可编辑PPT课件

大数据基础概论简介课程定位大数据人才的培养一个是培养掌握复杂大数据技术知识的大数据专业人才，另一个是培养具有数据素养的综合型人才。数据素养是在大数据时代的新环境下，对当代大学生提出的新要求。对大学生进行数据素养教育，有效提升大学生的数据意识、数据思维和数据能力。本课件是可编辑的正常PPT课件课程内容序号章节学时1概述42数据6(MySQL上机)3数据采集与预处理4(Excel,Python上机)4数据存储与计算4(大数据环境安装配置*)5数据分析与应用6(Python上机)6数据可视化2(Excel,Python上机)7数据安全与保护48复习考试2…本课件是可编辑的正常PPT课件考试满分100分：平时50%，期末考试50%平时成绩包括课堂参与（如回答问题、随堂练习）、点名等10分，上机实验10分，阶段测试2次共20分，综合探究10分（作业、专题论文、视频、翻译、讲解等）考试题型：选择60分（单选40分、多选20分，每题2分）、判断20分（每题1分）、问答论述20分（每题5分，包括1英文：技术或相关新闻）本课件是可编辑的正常PPT课件学习方法思考

+阅读+实验+实践Manthinks,Godlaughs.AJewishproverb,MilanKunderamadeitbefashionableworldwide.Descartes:IThinkThereforeIAm…本课件是可编辑的正常PPT课件上课要求不迟到、不早退认真听讲手机静音……学生手册中其他相关内容本课件是可编辑的正常PPT课件希望平等尊重双赢本课件是可编辑的正常PPT课件ThanksAnyquestionaboutthecourse?本课件是可编辑的正常PPT课件大数据基础1-概述本章内容大数据概念大数据的发展大数据核心技术大数据思维大数据处理流程大数据应用案例数据安全与保护相关技术：云计算、物联网、AI本课件是可编辑的正常PPT课件Bigdataisatermusedtorefertodatasetsthataretoolargeorcomplexfortraditionaldata-processingapplicationsoftwaretoadequatelydealwith.Datawithmanycases(rows)offergreaterstatisticalpower,whiledatawithhighercomplexity(moreattributesorcolumns)mayleadtoahigherfalsediscoveryrate.本课件是可编辑的正常PPT课件Bigdatachallengesincludecapturingdata,datastorage,dataanalysis,search,sharing,transfer,visualization,querying,updating,informationprivacyanddatasource.Bigdatawasoriginallyassociatedwiththreekeyconcepts:volume,variety,andvelocity.Otherconceptslaterattributedwithbigdataareveracity(i.e.,howmuchnoiseisinthedata)andvalue.－fromWikipedia本课件是可编辑的正常PPT课件大数据概念Wikipedia给的定义：大数据，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。本课件是可编辑的正常PPT课件大数据特点大量化快速化多样化价值密度低VOLUMEVALUEVELOCITYVARIETY4V…本课件是可编辑的正常PPT课件生活中的大数据BigDataEverywhere我们参与的大数据应用？本课件是可编辑的正常PPT课件生活中的大数据新冠疫情——大数据地图导航网购-猜你喜欢/购买这件商品的用户还买了个人隐私大数据杀熟…本课件是可编辑的正常PPT课件大数据由来“大数据”，在1980年[美]著名未来学家阿尔文·托夫勒AlvinToffle著的《第三次浪潮》TheThirdWave中将“大数据”称为“第三次浪潮的华彩乐章”。…本课件是可编辑的正常PPT课件大数据由来2012年[英]维克托路·迈尔-舍恩伯格ViktorMayer-Schönberger及[英]肯尼斯·路库克耶kennethCukier的《大数据时代：生活、工作与思维的大变革》BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink

出版。…本课件是可编辑的正常PPT课件大数据发展2012年7月，涂子沛《大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活》，广西师范大学出版社，中国大数据领域第一本专著。2014年5月，涂子沛《数据之巅：大数据革命，历史、现实与未来》，中信出版社。…本课件是可编辑的正常PPT课件涂子沛华中科技大学计算机系卡内基梅隆大学硕士2014年12月任阿里巴巴副总裁12/01/2012一席《数据开放与公民精神》https://yixi.tv/#/speech/detail?id=95…本课件是可编辑的正常PPT课件大数据发展2012年美国颁布了《大数据的研究和发展计划》；英国发布了《英国数据能力发展战略规划》；日本发布了《创建最尖端IT国家宣言》；韩国提出了“大数据中心战略”2013年称为中国的“大数据元年”，2015年8月国务院通过了《关于促进大数据发展的行动纲要》，2016年12月18日《大数据产业发展规划（2016－2020年）》本课件是可编辑的正常PPT课件大数据技术发展人们通常认为，大数据起源于Google的“三驾马车”：谷歌文件系统GFS、MapReduce和BigTable，这三篇论文分别发表于2003年、2004年和2007年。2007年Amazon也发表了一篇关于Dynamo系统的论文。这几篇论文奠定了大数据时代的基础。?本课件是可编辑的正常PPT课件大数据技术发展2006年1月，“大数据之父”道格·卡丁DougCutting把对GFS、MapReduce的实现，从爬虫项目Nutch里独立出来形成的Hadoop。Hadoop的主要贡献者有Yahoo、Facebook、LinkedIn、Twitter等公司。?本课件是可编辑的正常PPT课件Hadoop核心Hadoop框架最核心的设计：HDFS

和MapReduce。HDFS为海量的数据提供存储，MapReduce则为海量的数据提供计算。本课件是可编辑的正常PPT课件大数据核心技术Hadoop–isacollectionofopen-sourcesoftwareutilitiesthatfacilitateusinganetworkofmanycomputerstosolveproblemsinvolvingmassiveamountsofdataandcomputation.ItprovidesasoftwareframeworkfordistributedstorageandprocessingofbigdatausingtheMapReduceprogrammingmodel.本课件是可编辑的正常PPT课件大数据核心技术HDFS–The

Hadoop

Distributed

FileSystem,isadistributed,scalable,andportable

filesystem

writteninJavafortheHadoopframework.MapReduce–isaprogrammingmodelandanassociatedimplementationforprocessingandgeneratingbigdatasetswithaparallel,distributedalgorithmonacluster.本课件是可编辑的正常PPT课件引言：机械思维牛顿定律世界是确定的，所有的问题都有通用的解决方法，所有的规律都能用几个定理讲清楚。事物之间有固定的明确的因果关系，这种因果关系不仅可以解释所有事物发展的变化，还可以应用在各种未知的领域（可预测）。…本课件是可编辑的正常PPT课件…薛定谔的猫本课件是可编辑的正常PPT课件大数据思维全样而非抽样效率而非精确相关而非因果本课件是可编辑的正常PPT课件科学研究的范式实验、理论、计算和数据实验理论计算数据…本课件是可编辑的正常PPT课件大数据处理流程简单分为3个步骤：数据采集与预处理、数据存储与计算、数据分析与应用。采集：大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器等形式）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。…本课件是可编辑的正常PPT课件大数据处理流程预处理：采集好数据，有的是重复或是无用的数据，此时需要通过对数据进行处理，将这些数据导入到数据库，并进行简单的清洗和预处理工作。…本课件是可编辑的正常PPT课件大数据处理流程分布式存储与分布式计算数据分析：数据统计、数据挖掘应用：可视化、预测、辅助决策…本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件大数据应用案例-1SteveJobs乔布斯于2004年被确诊为胰腺癌后，花了约10万美元进行了基因检测。…本课件是可编辑的正常PPT课件大数据应用案例-2Netflix根据用户的观看信息，修改剧本，成为大数据的经典应用案例。…本课件是可编辑的正常PPT课件大数据应用案例-3BarackHusseinObama奥巴马的总统竞选通过使用社交网络的各种数据功能完成了竞选，以至于有人戏称之为Facebook之选。…本课件是可编辑的正常PPT课件大数据应用案例-4数据新闻让英国撤军…本课件是可编辑的正常PPT课件大数据如此厉害pizza店订餐TheOtherSideofBigData？…本课件是可编辑的正常PPT课件数据泄露2017年11月22日，据外媒报道称，美国五角大楼意外暴露了美国国防部的分类数据库，其中包含美国当局在全球社交媒体平台中收集到的18亿用户的个人信息。此次泄露的数据为架在亚马逊S3云存储上的数据库，由于配置错误导致三台S3服务器“可公开下载”。?本课件是可编辑的正常PPT课件数据泄露2018年6月19日，一位ID为“f666666”的用户在暗网上开始兜售圆通10亿条快递信息，数据已经经过去重处理，数据重复率低于20%，并以1比特币打包出售。并且该用户还支持用户对数据真实性进行验货，但验货费用为0.01比特币（约合431.98元），验货数据量为100万条。?本课件是可编辑的正常PPT课件数据泄漏原因人为因素系统漏洞黑客攻击…本课件是可编辑的正常PPT课件数据安全与个人隐私我们在享受着推荐算法、语音识别、图像识别、导航等智能的技术带来的便利，在数据公开的过程中，算法需要收集、使用用户数据，在这过程中数据就不可避免的暴露在外。本课件是可编辑的正常PPT课件数据安全与个人隐私第一种是公司为了学术研究和数据交流开放用户数据，学术机构或者个人可以向数据库发起查询请求，公司返回对应的数据时需要保证用户的隐私。第二种情况是公司作为服务提供商，为了提高服务质量，主动收集用户的数据，这些在客户端上收集的数据也需要保证隐私性。本课件是可编辑的正常PPT课件如何保护？欧盟的GDPR，不仅扩大了个人数据（Personaldata）的含义，并引入假名数据（Pseudonimiseddata）的概念，并就数据许可（Consent）、默认隐私保护（PrivacybyDesign,PrivacybyDefault）、彻底遗忘权（Righttobeforgotten）等权利内容作出了明确规范，同时为此规定了严厉的违规处罚，罚款范围是1000万到2000万欧元，或企业全球年营业额的2%到4%.本课件是可编辑的正常PPT课件如何保护？《中华人民共和国网络安全法》自2017年6月1日起施行，2018年3月17日国务院印发《科学数据管理办法》，2018年5月1日，《信息安全技术个人信息安全规范》也正式实施。《中华人民共和国个人信息保护法》2021年11月1日起施行。…本课件是可编辑的正常PPT课件如何保护？物理：灾害和意外、电磁干扰等人员：管理技术：系统补丁、防火墙、入侵检测、身份认证、访问控制、数据脱敏、加密技术、安全多方计算、差分隐私、联邦学习、可信执行环境、网络安全态势感知、可搜索加密和抗量子密码算法等。?本课件是可编辑的正常PPT课件我们能做的保护好自己的身份证号码、各类银行卡号、支付及取现密码、手机号码、家庭住址等等，不要轻易地将这些信息透露给别人；即使需要复印一些有关个人资料的复印件，记得在上面写上“本复印件仅用于做xxx，如有他用一律非法无效”等类似的字样。本课件是可编辑的正常PPT课件我们能做的及时清理各种纸质的银行账单、信用卡报表、基金报表、快递单等含有个人信息的文件，对文件上出现的个人信息进行清除。对自己的电脑和手机等电子产品，安装防火墙或杀毒软件等能提高安全性的软件，有效防止入侵者的攻击，当然对这些软件进行更新。本课件是可编辑的正常PPT课件我们能做的电脑及手机上各种软件的登录或支付密码使用复杂的组合，提高安全性，最好开通短信认证及短信通知；不用电脑时，一定要关机。定期对电脑和手机上的信息进行清理；从安全渠道进行软件的下载。……本课件是可编辑的正常PPT课件相关技术云计算物联网人工智能?本课件是可编辑的正常PPT课件云计算云计算概念：通过网络、以服务的方式，为用户提供非常廉价的IT资源（存储、网络资源、计算能力）云计算特点：超大规模计算、虚拟化、高可靠性和安全性、通用性、动态扩展性、按需服务、降低成本…本课件是可编辑的正常PPT课件水资源获取方式打井取水（1）初期成本高，周期长（2）后期需要自己维护（3）供水量有限自来水（1）初期零成本，瞬时可获得（2）后期免维护，使用成本低（3）在供水量方面“予取予求”本课件是可编辑的正常PPT课件IT资源获取传统方式：自建机房（1）初期成本高，周期长（2）后期需要自己维护，使用成本高（3）IT资源供应量有限云计算（1）初期零成本，瞬时可获得（2）后期免维护，使用成本低（3）在供应IT资源量方面“予取予求”本课件是可编辑的正常PPT课件云计算服务模式和类型…本课件是可编辑的正常PPT课件云计算关键技术分布式存储分布式处理虚拟化多租户本课件是可编辑的正常PPT课件虚拟化大数据实验环境VPN本课件是可编辑的正常PPT课件虚拟化被虚拟化的对象，是各种计算资源，如CPU，磁盘，内存，网络等物理资源被虚拟化成逻辑资源后，对用户隐藏了不必要的细节用户在虚拟环境中可实现物理环境中的部分或全部功能本课件是可编辑的正常PPT课件多租户云计算不是为单个用户服务云计算同时为多个用户提供服务百度云/云计算主要有私有云、社区云、公有云和混合云4种部署模式本课件是可编辑的正常PPT课件互联网Internet始于1969

年的美国ARPAnet，用于军事。1986

年将美国西南部的加利福尼亚大学洛杉矶分校、斯坦福大学研究学院、加利福尼亚大学圣巴巴拉分校和犹他大学的四台主要的计算机连接起来。…本课件是可编辑的正常PPT课件互联网1990

年11月28日钱天白教授代表中国在国际互联网络信息中心正式注册登记了顶级域名CN，从此中国的网络有了自己的身份标识。中国互联网之父1994

年4月20日，中国正式接入因特网——是一根64K的国际专线，成为国际上第77

个正式真正拥有全功能Internet的国家。一个月后，中国国家顶级域名“CN”的根服务器也“搬”回中国，结束了顶级域名服务器由国外代管的历史。这一代表中国互联网身份标识的服务器一直放在德国的卡尔斯鲁厄大学。…本课件是可编辑的正常PPT课件物联网InternetofThings物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。…本课件是可编辑的正常PPT课件物联网发展1991年英国剑桥大学“特洛伊”咖啡壶1995年，比尔盖茨《未来之路》1998年春英国工程师凯文·艾什顿（KevinAshton）在宝洁公司的一次演讲中首次提出…本课件是可编辑的正常PPT课件物联网通过感知设备，按照既定协议，连接物、人、系统和信息资源，实现对物理和虚拟世界的信息进行处理并做出反应的智能服务系统。主要技术包括识别技术，传感技术，网络与通信技术和数据挖掘与融合等。本课件是可编辑的正常PPT课件物联网关键技术识别和感知技术（二维码、RFID、传感器等）矩阵式二维码采用RFID芯片的公交卡本课件是可编辑的正常PPT课件物联网关键技术近距离无线通信如人们熟悉的WiFi、蓝牙(Bluetooth)、NFC(nearfieldcommunication)和ZigBee等远距离无线通信有LoRa(longrangeradio)、NB-IoT(narrowbandinternetofthings)等本课件是可编辑的正常PPT课件物联网应用智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。…本课件是可编辑的正常PPT课件大数据与云计算、物联网大数据：侧重对海量数据的存储、处理和分析，从数据中发现价值并服务于生活和生产云计算：本质上是整合和优化IT资源，通过网络以服务的方式提供给用户物联网：目标是实现物物相连本课件是可编辑的正常PPT课件大数据与云计算、物联网的关系本课件是可编辑的正常PPT课件人工智能人工智能（ArtificialIntelligence）是研究人类智能活动的规律并用人工方法在机器、计算机、软件、网络等一系列非生物载体中模拟、实现、替代和扩展人类智慧的一门技术科学。…?本课件是可编辑的正常PPT课件图灵测试1950年，图灵的论文《计算机械与人工智能》（ComputingMachineryandIntelligence）发表在哲学期刊《Mind》上，文章中首次提到了影响至今的“图灵测试”一个人与一台计算机分别在两个密封的房间里，房间里的人与机器要通过键盘文字努力向外界的询问者证明自己才是真正的“人”。如果机器成功地让外界的询问者相信自己是人，那么就相当于他骗过了人类，也就称它拥有了智能。…本课件是可编辑的正常PPT课件图灵“计算机科学之父”和“人工智能之父”二战期间解密Enigma，挽救2000万人ACMA.MTuringAward，是由计算机协会（ACM）于1966年设立的计算机奖项，被誉为“计算机界的诺贝尔奖”。1954年6月7日，图灵吃下含有氰化物的苹果中毒身亡，41岁。…本课件是可编辑的正常PPT课件人工智能分类分类：弱人工智能、强人工智能和超人工智能弱人工智能，ArtificialNarrowIntelligence，简称为ANI，弱人工智能是擅长于单个方面的人工智能。比如战胜围棋世界冠军的阿尔法狗，但是它只会下围棋。…本课件是可编辑的正常PPT课件强人工智能强人工智能，ArtificialGeneralIntelligence，简称AGI，这是一种类似于人类级别的人工智能。强人工智能是指在各方面都能和人类比肩的人工智能，人类能干的脑力活它都能干。创造强人工智能比创造弱人工智能难得多，我们现在还做不到。…本课件是可编辑的正常PPT课件超人工智能超人工智能，ArtificialSuperintelligence，简称ASI，科学家把超人工智能定义为在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能。超人工智能可以是各方面都比人类强一点，也可以是各方面都比人类强万亿倍的。…本课件是可编辑的正常PPT课件人工智能技术三大核心要素：数据、算法、算力通用技术：机器学习、知识图谱、类脑智能、量子智能、模式识别领域技术：自然语言处理、智能语音、计算机视觉、生物特征识别、虚拟现实/增强现实、人机交互等本课件是可编辑的正常PPT课件人工智能关键技术机器学习知识图谱自然语言处理计算机视觉生物特征识别AR/VR人机交互本课件是可编辑的正常PPT课件机器学习研究计算机怎样模拟或者实现人类的学习行为以获取新的知识和技能，重新组织已有知识结构，不断改善自身性能基于数据的机器学习从观测数据出发寻找规律，并且利用这些规律预测数据…本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件知识图谱百度百科视频：知识图谱——找关系建图谱知识图谱（KnowledgeGraph）又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。本课件是可编辑的正常PPT课件知识图谱本课件是可编辑的正常PPT课件自然语言处理自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的应用包罗万象，例如：机器翻译、手写体和印刷体字符识别、语音识别、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等。…本课件是可编辑的正常PPT课件计算机视觉计算机视觉是一门研究如何使机器“看”的科学，更进一步地说，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量的机器视觉，并进一步做图形处理，成为更适合人眼观察或传送给仪器检测的图像。人脸识别…本课件是可编辑的正常PPT课件计算机视觉…本课件是可编辑的正常PPT课件生物特征识别生物特征识别技术涉及的内容十分广泛，包括指纹、掌纹、人脸、虹膜、指静脉、声纹、步态等多种生物特征，其识别过程涉及到图像处理、计算机视觉、语音识别、机器学习等多项技术。生理特征和行为特征本课件是可编辑的正常PPT课件VR/AR虚拟现实（VR）/增强现实（AR）是以计算机为核心的新型视听技术。结合相关科学技术，在一定范围内生成与真实环境在视觉、听觉、触感等方面高度近似的数字化环境。…本课件是可编辑的正常PPT课件VR/AR利用TiltBrush在虚拟三维空间里绘画采用虚拟现实技术的虚拟弓箭…本课件是可编辑的正常PPT课件人机交互人机交互是一门研究系统与用户之间的交互关系的学科。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互方式主要包括触控交互、声控交互、动作交互、眼动交互、虚拟现实输入、多模态交互。本课件是可编辑的正常PPT课件人机交互日本：通过意念控制家用电器，头部佩戴装置，读取脑部信号变化，判断准确率70%-80%…本课件是可编辑的正常PPT课件大数据与人工智能的关系人工智能与大数据的联系人工智能需要数据来建立其智能，特别是机器学习大数据技术为人工智能提供了强大的存储能力和计算能力本课件是可编辑的正常PPT课件大数据与人工智能的关系人工智能与大数据的区别人工智能与大数据也存在着明显的区别，人工智能是一种计算形式，允许机器执行认知功能；而大数据是一种传统计算，它不会根据结果采取行动，只是寻找结果二者要达成的目标和实现目标的手段不同，人工智能是辅助代替人类完成任务做出决定；大数据是通过对比分析推出更优方案…本课件是可编辑的正常PPT课件总结了解大数据技术、案例、个人隐私与数据安全等基本概念云计算、物联网、人工智能作业：自学教材“模式识别、生物特征识别”。本课件是可编辑的正常PPT课件ThanksAnyquestionaboutthecourse?…本课件是可编辑的正常PPT课件大数据基础2-数据本章内容数据定义数据存储数据库MySQL编程本课件是可编辑的正常PPT课件什么是数据？3.1415926Mary小明图像音频视频在计算机中如何存储？二进制形式…本课件是可编辑的正常PPT课件数据概念数据的类型有数值、文本、语音、图形、图像、视频、动画等。数据可以简单理解为在计算机中存储、运算、交换和管理的所有的0和1。本课件是可编辑的正常PPT课件如何存储0和1数据在内存中以二进制方式存储，事实上是通过对小电容器的充放电来完成的。电容器，是一种能容纳电荷的容器。与普通的电池不同的是，它的充电速度很快，并且因为不会转化为化学能所以电量流失的也很快。本课件是可编辑的正常PPT课件Whybinary(notdecimal)使用二进制是由计算机的实现原理决定的，数据在计算机中以器件的物理状态表示，高电平是用1表示，低电平用0表示。阈值本课件是可编辑的正常PPT课件二进制的优点(1)技术实现简单，计算机是由逻辑电路组成，逻辑电路通常只有两个状态，开关的接通与断开，这两种状态正好可以用“1”和“0”表示。(2)简化运算规则：两个二进制数和、积运算组合各有三种，运算规则简单，有利于简化计算机内部结构，提高运算速度。0+0=0 0+1=1 1+0=1 1+1=100*0=0 0*1=0 1*0=0 1*1=1本课件是可编辑的正常PPT课件二进制的优点(3)适合逻辑运算：逻辑代数是逻辑运算的理论依据，二进制只有两个数码，正好与逻辑代数中的“真”和“假”相吻合。(4)易于转换，二进制与十进制数易于互相转换。(5)用二进制表示数据具有抗干扰能力强，可靠性高等优点。因为每位数据只有高低两个状态，当受到一定程度的干扰时，仍能可靠地分辨出它是高还是低。本课件是可编辑的正常PPT课件数制数制（NumberSystem）也被称为“计数体制”，是指多位数中每一位的构成方法以及实现从低位到高位的进位规则，也叫进制。十进制、二进制、八进制、十六进制为什么要有八进制和十六进制？本课件是可编辑的正常PPT课件十进制十进制（DecimalSystem），0－9共10个数码符号381.32=3×102+8×101+1×100+3×10-1+2×10-20,1,2,3,4,5,6,7,8,910,11……99100,101……999,1000……本课件是可编辑的正常PPT课件数制多项式表示，权系数表示法R基数，R进制Ai，数符（码），i位数Ri，权系数，权重-m－-1，小数部分0－n-1，整数部分R进制：逢R进1本课件是可编辑的正常PPT课件二进制二进制（BinarySystem），有0、1两个数码符号二进制的位（bit，比特），逢2进110101101.11012=1×27+0×26+1×25+0×24+1×23+1×22+0×21+1×20+1×2-1+

1×2-2+0×2-3+1×2-4本课件是可编辑的正常PPT课件八进制八进制（OctalSystem），0－7共8个数码37.218=3×81+7×80+2×8-1+1×8-2本课件是可编辑的正常PPT课件十六进制十六进制(HexadecimalSystem)，0－9，A、B、C、D、E、F，共16个数码2D.1A16=2×161+13×160+1×16-1+10×16-2本课件是可编辑的正常PPT课件十进制二进制八进制十六进制000011112102231133410044510155611066711177810001089100111910101012A11101113B12110014C13110115D14111016E15111117F16100002010本课件是可编辑的正常PPT课件数值数据存储转换为二进制3710=10010120.7510=0.112本课件是可编辑的正常PPT课件进制转换10→2十进制整数转换成二进制整数：除2取余，直到商为零止，倒排例：将十进制数253转换成对应二进制数本课件是可编辑的正常PPT课件十进制数(D)余数253└21261└

2630└

2311└

2151└

271└

231└

211└201转换结果的最高位转换结果的最低位转换结果为：(253)10=(11111101)2本课件是可编辑的正常PPT课件进制转换10→2十进制小数转换为二进制小数：乘2取整，直到小数部分为零或给定的精度为止，顺排例：将十进制数0.45转换成二进制小数（取4位）本课件是可编辑的正常PPT课件十进制数(D)乘2取整数部分0.45×2＝0.900.9×2＝1.810.8×2＝1.610.6×2＝1.21转换结果的最高位转换结果的最低位转换结果为：(0.45)10=(0.0111)2

取4位的近似值(0.0111)2=(0.25+0.125+0.0625)10=(0.4375)10？本课件是可编辑的正常PPT课件练习将十进制19，0.875转化为二进制19D=10011B0.875D=0.111B将十进制19.875转化为二进制19.875D=10011.111B本课件是可编辑的正常PPT课件文本数据存储ASCII码汉字编码Unicode本课件是可编辑的正常PPT课件ASCII码AmericanStandardCodeforInformationInterchange，美国标准信息交换码，7位二进制编码文本字符数据：英文字母、数字和常用符号?本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件汉字编码如何存储中文？《说文解字》共收录9353

个汉字《康熙字典》有47035

个汉字

《新华字典》第十一版2011年7月出版发行，共收录

10998

个汉字本课件是可编辑的正常PPT课件汉字个数汉字的数量是91251

个，但是常用字只有3000

个左右，其他都是生僻字。朗读者：汉字叔叔7’29/video/BV1yL411s7v4/本课件是可编辑的正常PPT课件汉字编码中文系统扩展了ASCII，国家强制标准GB2312-1980：简化字6763个，总计7445个字符1993年的GBK：2.1万多个汉字GB18030编码：超大型中文编码字符集，汉字和字符7万余个可变4字节编码：常用字符字节数少本课件是可编辑的正常PPT课件编码类型等长编码：ASCII码，7位/8位不等长编码：数据压缩本课件是可编辑的正常PPT课件霍夫曼编码*频率相关编码（Frequency-dependentencoding）出现次数高的码较短，出现少的码较长数据的总长度变小，占用存储空间小，传输快本课件是可编辑的正常PPT课件霍夫曼编码ABCED56119201232250101011001011011111110A:0B:10C:110D:1111E:1110本课件是可编辑的正常PPT课件霍夫曼解码ABCED0000111110111001001011111110BBEABABDE本课件是可编辑的正常PPT课件对比等长码的每个字符需要3位，所需总码位为171，霍夫曼编码需要的总码位为120，与等长码相比，压缩比约为0.7171120本课件是可编辑的正常PPT课件乱码？本课件是可编辑的正常PPT课件UnicodeUnicode统一码、单一码、万国码Unicode字符集将全球文字统一到一个表里面，包括中日韩文字、藏文、盲文、楔形文字、颜文字Apple公司发起，Unicode协会开发，表示几乎世界上所有书写语言的字符编码标准本课件是可编辑的正常PPT课件Unicode实现多字节编码：字节顺序问题，例如字符A，单字节41（hex），双字节Unicode0041或4100UTF（UnicodeTransformationFormat），解决不同系统的编码顺序问题本课件是可编辑的正常PPT课件图像存储-位图Bitmap图像是通过像素拼接而成的，分辨率指的就是图像像素的数量每个像素点在计算机中存储的信息是它的RGB数值，将这些RGB（红、绿、蓝，组成图像的三原色，范围是0－225）以二进制方式存储本课件是可编辑的正常PPT课件图像存储-矢量图Vector矢量图是根据几何特性来绘制图形。矢量文件中的图形元素称为对象。每个对象都是一个实体，它具有颜色、形状、轮廓、大小和屏幕位置等属性。它的特点是放大后图像不会失真，和分辨率无关，适用于图形设计、文字设计和一些标志设计等。本课件是可编辑的正常PPT课件音频文件由模拟声音经采样、量化和编码后得到的。音频信号是连续的模拟电信号，音频数据是离散的ADC（AnalogtoDigitalConverter，模拟数字转换）完成将模拟的信号转换为数据的功能本课件是可编辑的正常PPT课件ADC采样Sample：以相同时间间隔测量模拟信号的幅值本课件是可编辑的正常PPT课件ADC量化Quantify：对采样值四舍五入取整本课件是可编辑的正常PPT课件ADC编码：将量化值用二进制表示本课件是可编辑的正常PPT课件视频文件视觉暂留现象(persistenceofvision)

帧就是指“画面”，1幅画就叫做“1帧”，帧数就是在1秒钟时间里传输的图片的量，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps(FramesPerSecond)表示。每秒钟帧数

(fps)愈多，所显示的动作就会愈流畅。…本课件是可编辑的正常PPT课件视频文件帧数并不是越高越好电影采用的是每秒24帧，中国的电视播放每秒25帧1080p4k高清本课件是可编辑的正常PPT课件文件类型.TXT,.DOC.JPG,.BMP.MP3,.WAV.MP4,.AVI,.RM本课件是可编辑的正常PPT课件文本文件举例Whatisthefilesizeoftext?本课件是可编辑的正常PPT课件文本文件举例/Whatisthefilesizeoftextthatis200characters?TXT文件大小与字数的换算关系/p/25981002本课件是可编辑的正常PPT课件数据管理数据管理指对数据的分类、组织、编码、存储、检索和维护的技术。人工管理阶段文件系统阶段数据库系统阶段分布式数据库系统阶段数据管理技术的发展本课件是可编辑的正常PPT课件人工管理阶段1.硬件背景：无大容量外存2.软件背景：无操作系统3.应用背景：科学计算4.数据管理特点数据与程序不具有独立性，一组数据对应一组程序数据不长期保存系统中没有对数据进行管理的软件，由程序设计人员自负其责本课件是可编辑的正常PPT课件文件管理阶段1.硬件背景：出现大容量外存2.软件背景：出现操作系统3.应用背景：科学计算，数据处理4.数据管理特点数据以文件形式存储，可长期存储在外存上程序和数据有一定的独立性数据冗余、程序与数据还是相互依赖、缺少数据控制手段…本课件是可编辑的正常PPT课件数据库系统阶段1.硬件背景：大容量磁盘 2.软件背景：有数据库管理系统3.应用背景：大规模管理4.数据库管理的特点实现数据共享，减少数据冗余采用特定的数据模型具有较高的数据独立性有统一的数据控制功能分布式数据库系统阶段…本课件是可编辑的正常PPT课件数据库Database，实际上就是一个文件集合，是一个存储数据的仓库。本质是一个文件系统，数据库是按照特定的格式把数据存储起来，用户可以对存储的数据进行增删查改等操作。本课件是可编辑的正常PPT课件数据库简介Adatabaseisanorganizedcollectionofdata,generallystoredandaccessedelectronicallyfromacomputersystem.Wheredatabasesaremorecomplextheyareoftendevelopedusingformaldesignandmodelingtechniques.－－FromWikipedia本课件是可编辑的正常PPT课件关系型数据库最常用的数据库模型主要是两种：关系型数据库和非关系型数据库。关系型数据库模型是把复杂的数据结构归结为简单的二元关系（即二维表格形式）。本课件是可编辑的正常PPT课件RelationaldatabaseArelationaldatabaseisproposedbyE.F.Codd（英国计算机科学家）in1970Thismodelorganizesdataintooneormoretables(or"relations")ofcolumnsandrows,withauniquekeyidentifyingeachrow.Rowsarealsocalledrecordsortuples.Columnsarealsocalledattributes.本课件是可编辑的正常PPT课件关系型数据库关系数据库的表采用二维表格来存储数据，是一种按行与列排列的具有相关信息的逻辑组，它类似于Excel工作表。一个数据库可以包含任意多个数据表。在用户看来，一个关系模型的逻辑结构是一张二维表，由行和列组成。这个二维表就叫关系，一个关系对应一张表。本课件是可编辑的正常PPT课件基本概念用二维表来表示实体本身及其相互之间的联系，一个二维表table由行row与列column构成。元组tuple：表中的一行（一条记录record）属性attribute：表中的一列（字段field、数据项item）本课件是可编辑的正常PPT课件元组属性属性元组本课件是可编辑的正常PPT课件基本概念创建数据表时，为每个属性分配一个数据类型，定义它们的数据长度和其他属性。属性值，行和列的交叉位置表示某个属性值。域指属性的取值范围。主键，也称主码或主关键字，是表中用于唯一确定一个元组的数据。关键字用来确保表中记录的唯一性，可以是一个字段或多个字段，常用作一个表的索引字段。本课件是可编辑的正常PPT课件数据库管理系统（DBMS）DataBaseManagementSystem：位于用户和操作系统之间的数据管理软件，负责对数据的存储、检索、修改以及安全保护等。目前流行的数据库管理系统多为关系型数据库系统，如Oracle、SQLServer、MySQL等。本课件是可编辑的正常PPT课件SQLSQL（结构化查询语言）是用于与关系数据库通信的主要接口。SQL于1986年成为美国国家标准协会（ANSI）

的标准。流行的所有关系数据库引擎都支持标准的ANSISQL，其中一些引擎还对ANSISQL进行了扩展。SQL可用于添加、更新或删除数据行，检索事务处理和分析应用程序的数据子集，以及管理数据库的所有方面。StructuredQueryLanguage本课件是可编辑的正常PPT课件SQLorStructuredQueryLanguageistheprimaryinterfaceusedtocommunicatewithRelationalDatabases.SQLbecameastandardoftheAmericanNationalStandardsInstitute(ANSI)in1986.ThestandardANSISQLissupportedbyallpopularrelationaldatabaseengines,andsomeoftheseenginesalsohaveextensiontoANSISQLtosupportfunctionalitywhichisspecifictothatengine.SQLisusedtoadd,updateordeleterowsofdata,retrievingsubsetsofdatafortransactionprocessingandanalyticsapplications,andtomanageallaspectsofthedatabase.本课件是可编辑的正常PPT课件事务处理数据库事务是作为构成单个逻辑工作单元的操作序列执行的一个或多个SQL语句。事务提供了一个“全是或全否”命题，这意味着整个事务必须作为一个单元完成并写入数据库，否则事务的各个组成部分都不应执行。在关系数据库术语中，事务会导致COMMIT或ROLLBACK。每个事务以连贯和可靠的方式独立于其他事务进行处理。…本课件是可编辑的正常PPT课件AdatabasetransactionisoneormoreSQLstatementsthatareexecutedasasequenceofoperationsthatformasinglelogicalunitofwork.Transactionsprovidean"all-or-nothing"proposition,meaningthattheentiretransactionmustcompleteasasingleunitandbewrittentothedatabaseornoneoftheindividualcomponentsofthetransactionshouldgothrough.Intherelationdatabaseterminology,atransactionresultsinaCOMMIToraROLLBACK.Eachtransactionistreatedinacoherentandreliablewayindependentofothertransactions.本课件是可编辑的正常PPT课件MySQL数据库开源，瑞典公司MySQLAB公司开发，属于Oracle产品。DB-EnginesRanking/en/ranking本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件MySQL基本操作MySQL数据库实验步骤.doc本课件是可编辑的正常PPT课件MySQL基本操作建库mysql>createdatabasestudent;QueryOK,1rowaffected(0.02sec)mysql>usestudentDatabasechanged本课件是可编辑的正常PPT课件MySQL基本操作建表mysql>createtablescore(->idint(10),->namechar(20),->markfloat(5,2)->);QueryOK,0rowsaffected(0.05sec)本课件是可编辑的正常PPT课件MySQL基本操作增mysql>insertintoscore(id,name,mark)values->(201901,'wang',99);本课件是可编辑的正常PPT课件MySQL基本操作查mysql>select*fromscore;本课件是可编辑的正常PPT课件MySQL基本操作改mysql>select*fromscore;mysql>updatescoresetmark=77wherename='zhang';本课件是可编辑的正常PPT课件MySQL基本操作删mysql>deletefromInfowhereid='201902';本课件是可编辑的正常PPT课件本章作业预习MySQL实验本课件是可编辑的正常PPT课件ThanksAnyquestionaboutthecourse?本课件是可编辑的正常PPT课件大数据基础概论3-

数据采集与预处理本章内容数据类型数据采集数据预处理预处理案例本课件是可编辑的正常PPT课件数据类型结构化数据非结构化：文本、图片、音频和视频等类型的文件数据半结构化数据：如XML文件和JSON文件本课件是可编辑的正常PPT课件XML…本课件是可编辑的正常PPT课件JSON…本课件是可编辑的正常PPT课件数据源传感器系统日志企业业务系统数据互联网数据本课件是可编辑的正常PPT课件传感器一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号，或其它所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。压力传感器、温度传感器、流量传感器、声音传感器、电参数传感器。温度计、麦克风、DV录像、手机拍照等。本课件是可编辑的正常PPT课件…本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件思考&讨论：手机计步器原理？本课件是可编辑的正常PPT课件企业业务系统数据一些企业会使用传统的关系型数据库MySQL和Oracle

等来存储业务系统数据，除此之外，Redis

和MongoDB这样的NoSQL数据库也常用于数据的存储。企业每时每刻产生的业务数据，以数据库一行记录的形式，被直接写入到数据库中。本课件是可编辑的正常PPT课件日志文件日志文件用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和Web服务器记录的用户访问行为。通过对这些日志信息进行采集和数据分析，可以挖掘得到具有潜在价值的信息，为公司决策和公司后台服务器平台性能评估，提供可靠的数据保证。日志采集系统可以收集日志数据，提供离线和在线的实时分析使用。本课件是可编辑的正常PPT课件互联网数据

互联网数据采集是借助于网络爬虫来完成的。所谓“网络爬虫”，就是一个在网上到处或定向抓取网页数据的程序。爬虫可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集。本课件是可编辑的正常PPT课件网络爬虫按照一定的规则自动浏览、检索网页内容的程序分类使用场景，通用爬虫和聚焦爬虫爬取形式，累积式爬虫和增量式爬虫网页类型，表层爬虫和深层爬虫…本课件是可编辑的正常PPT课件爬行策略大站优先反链爬行深度优先广度优先A→B1→C1→C2→B2→B3→C3A→B1→B2→B3→C1→C2→C3本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件爬虫案例①发送请求，获取网页②解析网页，提取数据③保存数据…本课件是可编辑的正常PPT课件数据预处理数据清洗数据脱敏数据清洗是指去除原始数据中的无效数据、无关项、偶然数据和“脏”数据。本课件是可编辑的正常PPT课件原始数据含噪声的、不完整的和不一致的。噪声数据是指数据中存在着错误或异常（偏离期望值）的数据不完整数据是指数据的属性值丢失或不确定不一致性是指数据之间出现互相矛盾、不相容本课件是可编辑的正常PPT课件数据清洗本课件是可编辑的正常PPT课件数据清洗检查数据一致性，处理无效值和缺失值一致性检查是根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。本课件是可编辑的正常PPT课件数据清洗缺失值、重复值、异常值缺失值：数据删除，估算填充整例删除、变量删除和成对删除样本均值、中位数或众数进行估算重复值：删除

相似度计算异常值：偏离期望值…本课件是可编辑的正常PPT课件异常值处理

…本课件是可编辑的正常PPT课件…本课件是可编辑的正常PPT课件箱形图法n数据个数Q1的位置1*(n+1)/4=(n+1)/4Q2的位置2*(n+1)/4=(n+1)/2Q3的位置3*(n+1)/4IQR=Q3-Q1InterquartileRange四分位距

上界=上四分位数+1.5*IQR=Q3+1.5*IQR

下界=下四分位数-1.5*IQR=Q1-1.5*IQR本课件是可编辑的正常PPT课件【例3-1】11个数23、23.6、23.8、23.9、26、26.6、26.8、28、28.6、28.8、28.9，则三个四分位数的位置：Q1的位置(n+1)/4=(11+1)/4=3Q2的位置(n+1)/2=(11+1)/2=6Q3的位置3*(n+1)/4=3*(11+1)/4=9即数列中的第三个、第六个、第九个数分别为下四分位数、中位数和上四分位数。即Q1=23.8、Q2=26.6、Q3=28.6本课件是可编辑的正常PPT课件【例3-2】10个数23、23.6、23.8、23.9、26、26.6、26.8、28、28.6、28.8，则三个四分位数为：Q1的位置(n+1)/4=(10+1)/4=2.75Q2的位置(n+1)/2=(10+1)/2=5.5Q3的位置3*(n+1)/4=3*(10+1)/4=8.25即数列的第2.75项、第5.5项、第8.25项数值分别为下四分位数、中位数和上四分位数。本课件是可编辑的正常PPT课件【例3-2】使用加权计算四分位数，如下：第2.75项Q1=0.25*第二项+0.75*第三项=0.25*23.6+0.75*23.8=23.75第5.5

项Q2=0.5*第五项+0.5*第六项=0.5*26+0.5*26.6=26.3第8.25

项Q3=0.75*第八项+0.25*第九项=0.75*28+0.25*28.6=28.15本课件是可编辑的正常PPT课件数据脱敏替换无效化置乱均值化随机化…本课件是可编辑的正常PPT课件数据标准化0-1标准化Z-Score标准化本课件是可编辑的正常PPT课件上机实验缺失值、重复值、异常值Excel实现预处理Python实现预处理本课件是可编辑的正常PPT课件Excel-身份证号得到年龄和性别本课件是可编辑的正常PPT课件Excel-缺失值本课件是可编辑的正常PPT课件Excel-重复值本课件是可编辑的正常PPT课件Excel-异常值本课件是可编辑的正常PPT课件Python-缺失值本课件是可编辑的正常PPT课件Python-重复值本课件是可编辑的正常PPT课件Python-异常值本课件是可编辑的正常PPT课件ThanksAnyquestionaboutthecourse?本课件是可编辑的正常PPT课件大数据基础概论4-

数据存储与计算本章内容Hadoop简介数据存储大数据计算大数据生态本课件是可编辑的正常PPT课件引例住吃上课体检本课件是可编辑的正常PPT课件Hadoop简介Hadoop是Java编写的实现分布式存储和分布式计算的开源项目①HadoopCommon：支持其他Hadoop模块的通用工具。②HadoopHDFS：大数据分布式存储。③HadoopYARN：资源管理器④HadoopMapReduce：大数据分布式计算本课件是可编辑的正常PPT课件Hadoop架构本课件是可编辑的正常PPT课件Hadoop特性高可靠性高效性高可扩展性高容错性成本低支持多种编程语言…本课件是可编辑的正常PPT课件数据存储文件系统数据库数据仓库本课件是可编辑的正常PPT课件文件系统文件系统是操作系统用于确定存储设备（常见的是磁盘）或分区上的文件的方法和数据结构，即在存储设备上组织文件的方法。本课件是可编辑的正常PPT课件数据库数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。在数据库的发展历史上，先后出现过网状数据库、层次数据库、关系数据库、非关系型数据库等不同类型的数据库。目前比较主流的数据库是关系数据库，它采用了关系数据模型来组织和管理数据。本课件是可编辑的正常PPT课件关系数据库一个关系数据库可以看成是许多关系表的集合，每个关系可以看成一张二维表格。学号姓名性别年龄考试成绩2023001小明男21882023002小小男22982023003小红女22892023004小朵女2196本课件是可编辑的正常PPT课件数据仓库一个面向主题的、集成的、不可修改的、与时间相关的数据集合，专门用于支持管理决策传统的关系型数据库的主要应用是基本的、日常的事务处理OLTP，例如银行交易。数据仓库系统的主要应用主要是OLAP，支持复杂的分析操作，侧重决策支持，优化业务流程，并且提供直观易懂的查询结果。…本课件是可编辑的正常PPT课件为什么数据变大了？数据从哪里来？数据如何产生的？第一阶段运营式系统阶段第二阶段用户原创内容阶段第三阶段感知式系统阶段如超市银行、电信被动方式

主动方式

自动方式本课件是可编辑的正常PPT课件Howbigisbig？1Byte=8Bit(01000001A的ASCII码值)1KB=1024

Byte=210Byte1MB=1024KB=210KB1GB=1024MB=210MB1TB=1024GB=210GBPB、EB、ZB、YB、DB、NB本课件是可编辑的正常PPT课件大数据时代的技术支撑存储设备容量CPU计算能力网络带宽技术支撑…本课件是可编辑的正常PPT课件大数据存储分布式文件系统非关系型数据库NoSQL和NewSQL本课件是可编辑的正常PPT课件分布式文件系统吞吐能力、响应时间、并发能力、可伸缩性、可靠性和可用性GFS：发生故障是常态、目标是大文件、追加方式、高吞吐优先于低延迟本课件是可编辑的正常PPT课件NoSQL数据库“NotonlySQL”键值数据库(key-valuedatabase)文档数据库(document-orienteddatabase)列式数据库(column-familydatabase)图数据库(graphdatabase)本课件是可编辑的正常PPT课件键值数据库本课件是可编辑的正常PPT课件文档数据库本课件是可编辑的正常PPT课件列式数据库本课件是可编辑的正常PPT课件图数据库本课件是可编辑的正常PPT课件NewSQLNewSQL是一种新型的数据库系统，它吸收了传统关系型数据库和分布式数据库的优点，同时克服了它们的缺点。这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持SQL等特性。本课件是可编辑的正常PPT课件分布式文件系统HDFS分布式文件系统在物理结构上是由计算机集群中的多个节点构成的。节点分为两类，一类叫“主节点”MasterNode或者“名称结点”NameNode，也称元数据节点，是系统唯一的管理者。负责元数据的管理（名称空间和数据块映射信息）；配置副本策略；处理客户端请求。另一类叫“从节点”SlaveNode或者“数据节点”DataNode，DataNode存储实际的数据；执行数据块的读写；汇报存储信息给NameNode。本课件是可编辑的正常PPT课件块Block在HDFS中，每个文件都是采用的分块Block的方式存储，每个分块放在不同的DataNode上。HDFS默认一个块大小为64/128MB，一个文件被分成多个块，以块作为存储单位。本课件是可编辑的正常PPT课件块概念的好处支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量。适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性。本课件是可编辑的正常PPT课件块概念的好处简化系统设计首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据。本课件是可编辑的正常PPT课件元数据文件是什么文件被分成多少块每个块和文件如何映射每个块被存储在哪个服务器上本课件是可编辑的正常PPT课件HDFS本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件HDFS架构HDFSClientNameNodeDataNodeSecondaryNameNode本课件是可编辑的正常PPT课件ClientClient：客户端• 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储。• 与NameNode交互，获取文件的位置信息。•