浙江省高三信息技术学考总复考点突破课件常用表格数据的处理大数据处理

常用表格数据的处理、大数据处理要点导引课标梳理教材重点课标要求学业质量水平常用表格数据的处理1.能根据实际需求,对表格数据进行简单整理、计算和可视化呈现2.能采用合适的方式分析数据和可视化呈现数据,并能从中提取有用信息、形成结论2-1大数据处理1.了解大数据处理架构和基本思路2.会使用Python进行简单的数据处理,并能从中提取有用信息形成结论1-1教材研析☆数据处理的核心是数据,在数据分析、挖掘前通常先对数据进行整理。1数据整理(1)目的:数据整理的目的是检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量。(2)常见的数据问题及处理方法数据问题处理方法数据缺失问题最简单的处理办法是忽略含有缺失值的实例和属性。还可以采用平均值、中间值或概率统计值来填充缺失值数据重复问题检测数据集中的重复数据可以从字段和记录两个方面着手,检查到重复数据,在审核后可进行合并或删除等操作处理数据异常问题异常数据指数据集中不符合一般规律的数据对象,它可能是要去掉的噪声,也可能是含有重要信息的数据对象逻辑错误问题数据集中的属性值与实际值不符,或违背业务规则,或不符合逻辑格式不一致问题对于不同来源的数据中存在格式不一致的情况,可根据后续分析和挖掘的需要进行数据转换典例1下列有关数据整理的说法错误的是()A.采用平均值、中间值或概率统计值来填充缺失值B.检查到重复数据,在审核后可进行合并或删除操作C.异常数据不符合一般规律,可直接删除D.对逻辑错误的数据进行判别和剔除,格式不一致的数据可进行数据转换解析

异常数据可能是含有重要信息的数据对象,需要进行判别后再决定是否剔除。C2Excel数据计算1.常用表格数据处理和统计分析的工具:SPSS、SAS、MATLAB等,也可以通过R、Python、Java等计算机语言编程进行数据处理。2.Excel数据计算与分析常见操作:(1)公式计算步骤①选中结果单元格②输入等号“=”或者单击“插入函数”按钮

③编辑公式(公式显示在编辑栏内)④回车确认(2)公式中可以引用函数、单元格、区域、数值、字符等。结果单元格内显示计算结果,编辑栏上显示公式。(3)常用函数①SUM求和例如“=SUM(B1,D2:E5)”,对B1单元格和D2:E5区域的数据求和②AVERAGE求平均例如“=AVERAGE(B2:C6,E8)”,对B2:C6区域和E8单元格的数据求平均③MAX求最大值例如“=MAX(B1,D2:E5)”,对B1单元格和D2:E5区域的数据求最大值④MIN求最小值例如“=MIN(B2:C6,E8)”,对B2:C6区域和E8单元格的数据求最小值(4)要点:“=”是公式计算的标志,公式必须以“=”开头。没有“=”,系统认为是普通的字符输入,不予计算。(5)自动填充

相对引用&绝对引用①相对引用<1>被填充单元格和填充的样板单元格公式在形式上保持一致。<2>填充时公式中行号或列号发生递变,递变值为被填充单元格行号或列号与样板单元格行号或列号的差值。<3>系统默认在自动填充时发生相对引用②绝对引用某些情况下,自动填充时不希望行号或列号发生改变,而因为自动填充会默认发生相对引用的改变,则在不希望变化而实际上发生了变化的行号或列号前加上$锁定不让其发生改变。③总结规律<1>按列纵向填充,默认相对引用变化的是行号,若需某行号不变,则需要在样板单元格(作为样板进行自动填充的单元格)相应的行号前加绝对引用符号$进行锁定。<2>按行横向填充,默认相对引用变化的是列号,若需某列号不变,则需要在样板单元格相应的列号前加绝对引用符号$进行锁定。④以有公式计算的单元格为样板单元格对其他单元格进行自动填充,则样板单元格和被填充单元格的公式在形式上保持高度一致。⑤对有公式计算的单元格A进行“复制”操作,在别的单元格B执行“粘贴”操作,等同于A向B自动填充。3.用Excel软件进行数据计算的一般方法(1)分析表格数据(2)抽象计算模型(3)计算(4)分析计算结果,描述其含义典例2写出下图所示数据中结果单元格的公式。

(1)F2单元格赵文昊同学的总分公式

=SUM(C2:E2)(或=C2+D2+E2)(2)G2单元格赵文昊同学的平均分公式

=AVERAGE(C2:E2)(或=F2/3)(3)C18单元格语文学科最高分的公式

=MAX(C2:C16)(4)C19单元格语文学科最低分的公式

=MIN(C2:C16)(5)C20单元格的语文“学科百分比(%)”【语文学科总分÷F17单元格中所有学科的总分×100】向右自动填充得到其他两门学科的“学科百分比(%)”数据,求C20单元格的公式=C17/$F17

100解析

横向自动填充,默认发生相对引用,被填充单元格的列号相对样板单元格发生改变,而公式中的分母F17单元格不能变化,所以将分母F17单元格的列号F加上$锁定不让它发生改变。3数据图表呈现1.用Excel软件创建图标呈现数据的一般方法:分析表格数据

选择图表类型

创建图表

检查图表,表述数据特征。2.图表类型:依据数据间的关系选择相应的图表类型。(图表是用视觉形式向人们展示数据的一种方法。常见的图表类型有柱形图、折线图、饼图、雷达图、气泡图等)图表类型作用

柱形图常常用来显示一段时间内数据变化或比较各项数据之间的情况

雷达图可以用来表现一个周期内数值的变化,也可以用来表现多个对象/维度之间的关系

折线图常常用来显示随时间而变化的连续数据,因此非常适用于显示在相等时间间隔下数据的趋势

散点图用于表现2~3个变量之间的关系,以圆点的多少或疏密展示成对的数和它们所代表的趋势之间的关系

饼图常用于显示一个数据系列中各项的大小与各项总和的比例,也可以显示出整个饼图的百分比

气泡图一次比较3~4个变量,X轴、Y轴各表示1个变量,第3个变量通过气泡的面积大小表示,第4个变量通过气泡的颜色来体现4大数据处理的基本思想与架构1.大数据处理的分治思想(1)把一个复杂的问题分成两个或更多相同或相似的子问题,找到求这几个子问题的解法后,再找出合适的方法把它们组合成求整个问题的解法。(2)若这些子问题还难以解决,可以再把它们分成几个更小的子问题,以此类推,直至求出解为止。2.大数据处理类型(1)静态数据:在处理时已收集完成,在计算时不会发生改变的数据,一般采用批处理计算进行处理。(2)流数据:不间断地、持续地到达的实时数据,随着时间的流逝,流数据的价值也随之降低,可采用流计算进行实时分析。(3)图数据:现实世界中的许多数据,如社交网络、道路交通等数据,可采用图计算进行处理。大数据处理类型

3.批处理计算(1)Hadoop:一个可运行于大规模计算机集群上的分布式系统基础架构,适用于静态数据的批处理计算。(2)Hadoop计算平台的组成①Common公共库②分布式文件系统HDFS③分布式数据库HBase④分布式并行计算模型MapReduce(3)分布式文件系统HDFS①主要功能是将大规模海量数据以文件的形式、用多个副本保存在不同的存储节点中,并用分布式系统进行管理。②是一个高度容错性系统,适合部署在廉价的机器上(云盘、网盘的底层一般采用HDFS)。(4)分布式数据库HBase建立在HDFS提供的底层存储基础上,采用基于列的存储方式,主要用来存储非结构化数据和半结构化数据,可管理PB级的大数据。(5)分布式并行计算模型MapReduce①是一种分布式并行编程模型,能够处理大规模数据集的并行运算,主要由Map(映射)和Reduce(归纳)2个函数构成。②核心处理思想:将任务分解并分发到多个节点上进行处理,最后汇总输出。4.流计算:流计算系统可以简单、高效、可靠地实现实时数据的获取、传输和存储,在与数据库、Hadoop、编程语言等整合后可开发出功能强大的实时计算与分析应用。5.图计算:现实世界中的很多数据是以图的形式呈现的,或者是可以转换为图以后再进行分析的,如社交网络、网络浏览与购买行为、传染病的传播路径等。6.实时处理与批处理的整合典例3下列有关大数据处理的思想与框架的说法正确的是()A.大数据采用“分治”思想处理B.对静态数据进行实时处理C.Hadoop是对流数据进行批处理的架构D.实时处理和批处理不能并存解析

B.静态数据适合进行批处理,流数据才需要实时处理;C.Hadoop是对静态数据进行批处理的架构;D.实时处理和批处理可以并存。A典例4下列关于流数据的描述,不正确的是()A.数据必须采集完成后处理B.数据价值随着时间的流逝降低C.可以采用流计算进行实时