2024-2025学年浙教版高中信息技术一轮复习 数据处理与应用 知识清单

专题04数据处理与应用

【学习目标】

令理解数据处理的重要性：使学生能够理解数据在现代信息社会中的应用价值,

以及准确处理数据对于数据分析结果的影响。

令掌握基本的数据整理技巧:教授学生如何识别和处理数据缺失、重复、异常、

逻辑错误和格式不一致等问题，确保数据的质量和可用性。

令熟悉常用数据处理工具：介绍Excel等常用数据处理软件的基本操作，包括

公式的应用、单元格引用、算术及文本运算符的使用，以及函数的应用等。

【思维导图】

mimpy、/做事的篌■性和处理目的

/N"失

pandas—/\

1/敦雪处理的镌见向遇弋一99

ma*plo,l'bPythonaMHR«n«*Kffilfl、/

S«>«刘UrtaFramea种的*ffi方法\

/>嬉程处喇5据-

H用matploHibBH迸图展示敌!6分析结黑//\1/Z效富整理的目的和方法

\1//-3«aWH*»nSWK«H

\1//ate馥失问・及如建方法<—M框“18关联住估计嫌失侵

用£提取/使用手均0.中间（891断itfSUIJtM失信

文本内容的处电谖程、

fflg分折，/\\//7一

结果矍观/\\____________________//敢81整理<——V

\Z、，/\、、-合并*事除**改隹的票理方式

中文的拉木及1»法分类泗一,文本效擀处理-T数据处理与应用概览

/、一__________Z\\/•栓窝字段中&■性有救败盘£的网

将liMl的方法曷谆估造款的应用，1

/、、SW«a^«KT-BS）«</•KtIR8S£K>n8t

WSS-J

/1、、〜1HB”快的心,住与方法（-£*&住W杓it**住的*发

>-文本款身分析的其里应用,

情B分析—/1、-St-标*化表达不同东方相同丁住安定:

大做盘的WASH建筑求、/|x■••开*.«B.豳it.■元18引用*0通）|杨姬僦的公K种围

H对EW在大政*处理中的座用示例-A

Bt*理计口号海计身的区别:SW用场・一》大敛据处理-

。“选M的献《::

MapRe4"&«UI»S!的W押W&用tXM

K«n85ftH8Bea9S91»®r/I/，Enel中99公式便用技巧<V\

/^木运*苻m比较适复用的使用

\数客计nJy-文*廖我逅*相•4•的应用

\、*用由效的使用电注

\/•3»fii8ns«ss

、0据图表呈&<利用Ml创建S1*井边行取!8分析*示

、~险查困*的正修隹和冕S!隹

【知识梳理】

知识点一：数据整理

1.常见的数据问题及其处理方法：

(1)数据缺失：数据集中普遍存在的问题，一般可能是数据丢失或数据本身不

完整

处理方法：忽略或采用平均值、中间值或概率统计值填充。

(2)数据重复：在多数据源合并时经常出现，导致资源冗余和浪费。

处理方法：进一步审核的基础上进行合并或删除。

(3)异常数据：数据集中的某些数据不符合一般规律，例：健康系统显示体温

到达50摄氏度。

处理方法：这些有可能是要去掉的噪声，也有可能是含有重要信息的数据对象。

(4)逻辑错误：属性与实际不符，违背业务规则或逻辑，例：某人的生日为13

月40日

处理方法：对应的字段需要设置取值范围判断。

(5)格式不一致：多出现在数据来源多样的系统中

处理方法：将不同格式的数据转换成统一格式后再进行处理。

2.常用的数据处理和统计分析工具有Excel、SPSS、SAS、MATLAB等软件,

也可以通过R、Python、Java等计算机语言编程进行数据处理。

3.常见的图表类型有：柱形图、折线图、饼图、雷达图、散点图、气泡图等。

知识点二：大数据处理

L大数据处理的基本思想："分治思想"，即将一个复杂的问题拆分成两个或多

个相同或相似的子问题，找到求这几个问题的解法之后，再找出合适的方法把它

们组合成求整个问题的解法。

2.大数据处理的数据类型:

(1)静态数据：在处理时已经收集完成、在计算时不会发生改变的数据

处理方法：批处理

(2)流数据：不间断地、持续地到达的实时数据。流数据的价值会随着时间的

流逝降低。

处理方法：流计算或实时分析计算

(3)图数据：现实世界中以图形式展现的数据。如社交网络、道路交通等

处理方法：图计算

3批处理

Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构,适用于

静态数据的批量计算。Hadoop计算平台主要包括Common公共库、分布式文

件系统HDFS、分布式数据库HBase、分布式并行计算模型MapReduce等多

个模块。

(1)分布式文件系统(HDFS):将大规模海量数据以文件的形式、用多个副

本保存在不同的存A储节点中，并用分布式系统管理。HDFS是一个高度容错性

的文件系统，云盘、网盘的底层一般采用HDFS实现。

(2)分布式数据库(HBase):HBase建立在HDFS提供的底层存储基础上，

采用基于列的存储方式，主要存储韭结构化和半结构化的数据，具有良好的横向

扩展能力。

(3)分布式并行计算模型(MapReduce):MapReduce是一种分布式并行

编程模型,能够进行大规模的并行计算。其核心处理思想是将任务分解并分发到

多个节点上进行并行处理，最后汇总输出。

4.流计算

流计算主要用于处理流数据，如大型购物网络的广告推荐、社交网络的个性化推

荐等。处理流数据的软件主要有TwitterStorm,Heron,Yahoo!S4等。Storm

和S4是目前较为流行的开源分布式实时计算系统。

5.图计算

现实世界中的很多数据以图的形式呈现，或者是需要转换为图后才能分析。目前

图处理的软件主要分为两类：图数据库和并行图处理系统。

知识点三：编程处理数据

1.利用pandas模块处理数据

2.利用matplotlib模块绘图

3.利用pathon分析数据实践

知识点四：编程处理数据

L文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查

重、文本分类、

垃圾邮件过滤、机器翻译、自动应答等方面。

2.典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等。

3.中文分词方法

(1)基于词典的分词方法用词典中的词语进行比对。案例：Python中的jieba

库

(2)基于统计的分词方法：根据上下文相邻字出现的频率统计。

(3)基于规则的分词方法：根据现有资料和规律学习实现分词。

4.特征提取方法

(1)根据专家知识挑选有价值的特征。(约等于人工分析)

(2)用数学建模的方法构造评估函数自动选取特征。(目前大多采用)

5.结果呈现方式：

(1)标签云：用文字大小形式表现词语的重要性

(2)文本情感分析：根据分析颗粒度可以分为词语级、语句级、整篇文章级三

类。

知识点五：数据可视化

1,数据可视化是将数据以图形、图像等形式表示、直接呈现数据中蕴含信息的

处理过程。

2,可视化的作用：快速观察与追踪数据、实时分析数据、增强数据的解释力和

吸引力等。

3.可视化的基本方法

(1)有关时间趋势的可视化：展示随时间的推移而变化的数据，可采用柱形图、

折线图等。

(2)有关比例的可视化：展示各部分的大小及其占总体比例关系的数据，可以

采用饼图、环形图(也称面包圈图)等。

(3)有关关系的可视化：探究具有关联性数据的分布关系，可以使用散点图、

气泡图等。

(4)有关差异的可视化：包含多种变量的对象与同类之间的差异和联系，可以

采用雷达图。

(5)有关空间关系的可视化：地理数据或者基于地理数据的分析结果可以运用

不同颜色或图表

直接在地图上进行展示。

知识点六：大数据的典型应用

L大数据应用领域：随着大数据在各行业的应用，数据成为核心资产。目前，大

数据广泛应用于着

金融、交通、环境、医疗、能源、农业等领域，极大地促进了各行业的发展。

2.大数据在电子商务方面的应用；精准营销基于用户购买行为挖掘用户偏好；仓

储管理实现商品

自动补货；供应链管理实现最优配送路径；智能网站分析用户后向用户智能推荐

商品。

【题型精讲】

例L

在数据处理与应用中，数据整理的目的是什么？

A.提高数据存储量

B.检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量

C.加快数据处理速度

D.扩大数据来源

【答案】B

【讲解】数据整理的目的是为了确保数据的准确性和可用性具体包括以下几点：

检测和修正错漏的数据：在数据收集过程中，可能会出现输入错误、遗漏或其他

形式的误差，数据整理有助于发现并修正这些错误，提高数据的准确性。

整合数据资源：当数据来自不同的来源时，数据整理可以帮助合并这些数据，确

保数据的一致性和完整性，便于后续分析。

规整数据格式：不同来源的数据可能有不同的格式，数据整理可以将这些数据转

换为统一的格式，便于处理和分析。

提高数据质量：通过上述步骤，数据整理最终可以提高数据的整体质量，为后续

的数据分析和决策提供坚实的基础。

臃

在Excel软件中,如何进行数据的计算？

A.使用文本连接运算符

B.使用算术运算符如人、*、/等

C.使用函数如SUM、AVERAGE等

D.所有以上都包括

【答案】D

【讲解】在Excel软件中进行数据计算，可以使用多种方法，包括但不限于：

使用算术运算符：Excel支持使用常见的算术运算符进行基本的数学运算，如加

（+）、减（-）、乘（*）、除（/）以及乘方（人）等。

使用函数：Excel提供了大量的内置函数，如SUM用于求和、AVERAGE用于计

算平均值、MIN和MAX用于查找最小值和最大值等，这些函数可以进行更复杂

的数学和统计计算。

使用文本连接运算符"&"：虽然主要用于文本处理，但运算符也可以用来组

合文本字符串，有时在处理包含数字的文本数据时会用到。

【强化训练】

L大数据处理的分治思想主要解决什么问题？

A.数据存储空间不足

B.网络传输带宽瓶颈

C.计算资源分配不均

D.机器故障和网络故障风险

2.在智能交通系统中，哪个子系统负责实时向交通参与者提供道路交通等信息?

A.交通信息服务系统

B.交通管理系统

C.电子收费系统

D.公共交通系统

3.Python编程在数据处理中的应用示例是什么？

A.wordcount={"word":"word","frequency":"1"}

B.forwordinopen(filename,T).read():wordcount[word]+=1

C.wordcount[word]=1000M+wordcount[word]

D.wordcount={};wordcount[word]+=filename[word]

4.Tableau工具主要用于什么类型的可视化分析？

A.实时数据分析

B.静态数据批处理计算

C.流