高中信息技术必修1数据与计算知识清单：数据采集与预处理核心精讲

高中信息技术必修1数据与计算知识清单：数据采集与预处理核心精讲一、数据采集：从原始信号到分析素材的基石（一）数据采集的概念与核心原则【基础】【高频考点】数据采集，是指根据特定的目标与分析需求，采用相应的方法和工具，从现实世界或信息系统中获取原始数据的过程。它不仅是数据处理流程的起点，更是后续所有分析与决策的基础，其质量直接决定了数据分析结果的准确性与可靠性。数据采集并非盲目的堆砌，而是一个高度目标导向的工程，必须遵循“需求驱动”的核心原则。这意味着在采集任何数据之前，必须首先明确“要解决什么问题”、“需要什么数据”、“从哪里可以获得这些数据”以及“用什么方法去获取”。若此环节目标模糊，后续的数据整理与分析将如同无根之木，无源之水，极易陷入“垃圾进，垃圾出”的困境【2】【3】。（二）数据采集的主要环节【基础】【难点】一个完整的数据采集过程，通常可以解构为四个环环相扣的关键步骤，这既是科学的方法论，也是信息技术学科计算思维的具体体现。1、明确数据需求：这是采集工作的顶层设计阶段。需要深入分析研究课题或待解决的问题，将其转化为具体的数据需求。例如，若要分析“本校学生体质健康状况”，则需要明确需求为“各年级学生的身高、体重、肺活量、耐力跑成绩等数据”。此阶段应产出详细的数据采集清单，包含数据项名称、数据类型、数据精度等要求【2】【4】。2、确定数据来源：根据需求清单，寻找数据的源头。在信息化时代，数据来源极其广泛。主要可分为一手数据（直接来源）和二手数据（间接来源）。一手数据包括通过传感器、调查问卷、科学实验、观察记录等方式直接获得的数据；二手数据则包括从政府公开平台、专业统计网站、社交媒体API、企业内部数据库等渠道获取的、已经过他人初步加工的数据【3】【4】。选择来源时需考量其权威性、时效性、完整性和获取成本。3、选择采集方法：针对不同的数据来源，需匹配合适的采集技术。例如，获取天气数据可通过气象局的公开API，获取用户评论可通过网络爬虫技术，获取车间生产数据可通过物联网传感器。选择方法时，需在技术可行性、数据规模和效率之间做出权衡【2】【7】。4、实施数据采集：依据前期的规划，运用选定的工具和技术，实际执行数据获取操作，并将原始数据保存到本地或数据库中，以便后续处理。这一过程需要严格记录采集的时间、环境和可能出现的异常情况，为后续的数据清洗提供背景信息【7】。（三）数据采集的核心方法与技术工具【重要】【高频考点】随着物联网与互联网技术的普及，数据采集的手段已从传统的人工记录为主，演变为以机器自动采集为主的智能化模式。1、传感器数据采集：传感器是一种检测装置，能感受被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求【2】【6】。它是连接物理世界与数字世界的桥梁。▲常见传感器类型：温度传感器（采集环境温度）、压力传感器（采集气压、水压）、图像传感器（CMOS/CCD，采集图像视频）、红外传感器（采集人体红外信号）、声音传感器（采集音频信号）、加速度传感器（采集运动状态）等【4】【10】。★工作流程：传感器对环境中的物理量（如温度、光线）进行周期性或事件触发的感知，将其转换为模拟电信号，再通过模数转换器（ADC）转换为计算机可以处理的数字信号，最终形成结构化的数据记录【6】【8】。2、网络数据采集：这是当前获取大规模文本、图片、影评、商品信息等数据的主要途径。（1）通过网络应用程序接口（API）采集：许多网络平台（如微博、天气网、电商平台）会提供公开或付费的API接口。开发者只需按照接口规范发送请求，即可获得标准化的数据（通常为JSON或XML格式）。这是最稳定、最合规的数据采集方式【1】【6】。（2）通过网络爬虫（WebCrawler）采集：【难点】网络爬虫是一种按照一定规则，自动抓取万维网信息的程序或脚本。其基本原理是从一个或若干个初始网页的URL（统一资源定位符）开始，获取初始网页上的内容，在抓取并解析当前页面的过程中，不断发现新的URL链接放入待抓取队列，直到满足系统设定的停止条件（如抓取了一定数量的页面、爬遍了指定网站或达到特定时间）【1】【2】。★爬虫的分类：●通用网络爬虫：如搜索引擎（百度、Google）的爬虫，抓取范围广，目标是构建海量索引数据库【10】。●聚焦网络爬虫：也称为主题网络爬虫，它会根据预定义的主题或关键词，有选择性地抓取与特定主题相关的网页内容。例如，只抓取“流浪地球”这部电影的所有豆瓣影评，就是聚焦爬虫的应用【10】。robots.txt与道德【重要】：在使用网络爬虫时，必须严格遵守法律法规和网站的Robots协议（即robots.txt文件，用于告知搜索引擎哪些内容可以抓取，哪些不可以）。严禁进行恶意爬取（如高频请求导致对方服务器过载）、侵犯个人隐私（如爬取非公开的个人信息）、爬取受版权保护的内容用于商业竞争等行为。这不仅关乎职业道德，更涉及《网络安全法》等法律法规的底线【10】。3、调查问卷采集：当所需数据无法从现有系统或网络中直接获取时（如用户的满意度、观点、态度、生活习惯等），调查问卷是理想的选择。现代信息技术提供了便捷的在线问卷平台（如问卷星、腾讯问卷等），支持问卷的设计、发布、回收和初步统计，极大地提高了调查效率【2】【10】。4、系统日志采集法：在信息系统中，系统日志（包括操作系统日志、应用程序日志、安全日志等）详细记录了系统中硬件、软件和用户行为的事件。通过日志采集工具（如Flume、Logstash）将分散在各服务器上的日志数据实时或准实时地汇聚到日志服务器或大数据平台，用于监控、故障排查和用户行为分析。例如，电商网站通过分析用户点击流日志，可以洞察用户的浏览和购买偏好【1】。二、数据整理：将“脏数据”炼成“清洁数据”（一）数据整理的必要性与目标【基础】原始采集而来的数据，往往因其来源多样、格式各异、录入错误等问题，被称为“脏数据”。这些数据无法直接用于分析。数据整理，就是通过一系列技术手段，对原始数据进行校验、清洗、转换和标准化，将其转化为结构统一、质量可靠的“清洁数据”的过程。这个过程是数据分析中最为耗时（往往占据整个项目80%的时间）但也最为关键的环节，其科学性与严谨性直接影响数据分析结果的真实性和准确性【2】【3】。（二）数据整理的核心内容与处理方法【重要】【高频考点】【难点】数据整理的核心任务是对数据集中的各种典型问题进行检测与处理。在Python生态中，Pandas库是完成这些任务的最核心工具。1、处理重复值：▲概念：重复值包括记录重复（即数据表中的某两行或多行数据在所有特征上完全相同）和特征重复（即两个或多个字段名称不同，但存储的数据完全相同或高度相关，如“身高（厘米）”和“身高（米）”）。★检测方法：使用Pandas中的duplicated()方法可以检查数据各行是否完全重复。★处理方法：对于记录重复，通常会采用drop_duplicates()方法删除完全相同的多余记录。但在删除前，需分析重复数据产生的原因，确保删除操作不会丢失有效信息【2】。对于特征重复，则需根据业务逻辑保留一个，删除其余冗余特征。2、处理缺失值：▲概念：缺失值是指数据集中某个或某些字段的值是空缺的（通常表示为NaN或None）。缺失会导致样本信息不完整，降低模型训练的准确性。★检测方法：使用isnull()或isna()方法可以逐元素检查缺失值，结合sum()方法可以统计每列的缺失总数。★处理方法【难点】：●删除法：最简单直接的方法是使用dropna()删除包含缺失值的行或列。此法适用于缺失值占比极小，或缺失值随机分布且对整体影响不大的情况。但缺点是会损失部分样本信息【2】。df.mean插补法）：用一定的值来填补缺失，是更精细的处理方式。常用策略包括：a.用固定的值填充（如用0填充）；b.用集中趋势度量值填充，如均值（fillna(df.mean())df.medianlna(df.median())df.modellna(df.mode())）；c.用前后相邻的数据填充（method=‘ffill’或‘bfill’）；d.使用机器学习模型预测缺失值（更高级的方法）【2】。3、处理异常值：▲概念：异常值（离群点）是指数据中个别数值明显偏离其余数值的观测值。它们于测量误差、录入错误产生的，也可能是真实存在的稀有事件（如银行交易中的巨额诈骗金额）。★检测方法【难点】：●可视化方法：通过绘制箱线图（Boxplot），可以直观地识别出位于上边缘或下边缘之外的数据点。●统计方法：使用3σ原则，对于近似服从正态分布的数据，99.7%的数值会落在均值±3个标准差范围内，超出此范围的值可视为异常值。●算法方法：使用聚类或孤立森林等机器学习算法进行自动检测。★处理方法：●删除法：若确认异常值是由错误导致，可直接删除包含异常值的记录【2】。●修正法：若异常值是真实的，但对整体分析有较大干扰，可进行修正。例如，用前后两个观测值的平均值进行平滑处理，或使用盖帽法（Winsorizing），将超出99百分位数的值强制设定为99百分位数的值。●视为缺失值：将异常值视为缺失值，然后采用处理缺失值的方法进行处理【2】。4、数据一致性处理：▲概念：确保数据格式、单位、命名规范等在全数据集中保持一致。例如，日期字段有的存为“2023/1/1”，有的存为“01012023”；性别字段有的为“男/女”，有的为“M/F”。这些不一致都会给分析带来障碍。★处理方法：通过编写转换函数，将所有数据统一为同一种格式。例如，统一将所有日期转换为YYYYMMDD格式，将所有性别统一为“男/女”。Pandas提供了强大的字符串处理功能和时间序列处理功能来完成此类任务。（三）数据整理的利器：Pandas库入门【重要】【高频考点】Pandas是Python数据分析的核心库，它提供了快速、灵活、表达力强的数据结构，旨在让“关系型”或“标记型”数据的处理既简单又直观。1、核心数据结构：★Series：它是一种类似于一维数组的对象，由一组数据（各种NumPy数据类型）和一组与之相关的数据标签（即索引）组成。可以将其想象为一个带标签的Excel单行或单列【2】。★DataFrame：它是一个表格型的数据结构，既有行索引也有列索引，每列的数据类型可以不同（如整型、浮点型、字符串型）。DataFrame可以被看做是由多个Series组成的字典（这些Series共用同一个行索引），是最常用、最核心的Pandas对象【2】。2、常见数据读写操作：pd.read_csvimportpandasaspd；df=pd.read_csv(‘文件路径.csv’)。这是最基础也是最常用的操作，read_csv函数提供了数十个参数，用于处理编码问题（如encoding=‘utf8’或‘gbk’）、指定列名、处理缺失值标记等复杂情况【2】。df.to_csv文件：df.to_csv(‘新文件路径.csv’，index=False)。index=False参数用于指示不将行索引写入文件。3、数据探索与清洗常用属性和方法：df.headdf.head()/df.tail()：查看数据的前几行或后几行。●()：查看DataFrame的摘要，包括行数、列数、每列的非空值个数和数据类型。●df.describe()：生成描述性统计摘要，包括计数、均值、标准差、最小值、四分位数和最大值。●df.shape：返回一个元组，表示DataFrame的行数和列数【2】。●df.columns：查看或操作列标签【2】。●df.loc[行标签，列标签]：通过标签（索引名和列名）来选取数据子集【2】。●df.isnull().sum()：快速检查每列的缺失值数量。三、数据的数字化表示：从模拟信号到二进制【基础】【拓展】（一）数字化的概念在数据采集环节，特别是通过传感器采集物理世界信息时，核心的转换过程就是数字化。数字化，是指将连续的模拟信号（如声波、光线强度、温度变化）转换为离散的数字信号（即计算机可以处理的二进制0和1序列）的过程。这是信息社会的技术基础【6】【8】。（二）数字化过程三步骤：采样、量化、编码1、采样：按一定的时间间隔（或空间间隔）对模拟信号进行取值，将连续的时间（空间）信号变为离散的时间（空间）信号。采样的核心设备是采样器【6】。★采样频率：指每秒钟采样的次数，单位为赫兹（Hz）。根据奈奎斯特香农采样定理，为了能从采样后的离散信号无失真地恢复出原始连续信号，采样频率必须大于或等于原始信号中最高频率成分的两倍【8】。例如，CD音质的采样频率为44.1kHz，这意味着每秒钟对声音信号进行44100次采样。▲【重要】采样频率对数据的影响：采样频率越高，单位时间内的采样点就越多，数字化后的数据就越接近原始信号，质量越好，但同时数据量也越大【6】。2、量化：将采样得到的、在幅度上仍然连续变化的样值，用有限个离散的数值等级来表示的过程。也就是将每个采样点的值，归入到预先划分好的某个量化级别中【6】【8】。★量化位数：也称为量化精度，指用多少位二进制数来表示一个量化级别。如果用n位二进制数，则可以表示2^n个不同的量化级别。例如，8位量化可以将信号的幅度划分为256个等级【6】。▲【重要】量化位数对数据的影响：量化位数越多，量化等级就越精细，对原始信号的幅度描述就越精确，量化误差越小，数字化后的信号质量越好，但同时每个采样点需要存储的数据量也越大【6】。3、编码：将量化后的离散数值，按照一定的规则转换成对应的二进制代码，以便计算机存储和处理。这一过程由模数转换器（ADC）完成【6】。（三）数制及其转换【高频考点】【难点】数据在计算机内部均以二进制形式存储和处理。理解不同数制及其转换是深入理解数字化的基础。1、常用数制：★二进制（Binary）：基数为2，使用数码0和1，逢二进一【6】。★十进制（Decimal）：基数为10，使用数码09，逢十进一。★十六进制（Hexadecimal）：基数为16，使用数码09和AF（A代表10，B代表11，……，F代表15），逢十六进一【6】。它常用于简化二进制数的表示，例如，一个字节（8位二进制）正好可以用两位十六进制数表示。2、核心概念：基与权★基（Base/Radix）：数制所使用的数码个数。如二进制基为2【6】。★权（Weight）：每一个数位上的1所对应的数值。例如，十进制数123，从右往左，个位的权是10^0=1，十位的权是10^1=10，百位的权是10^2=100。任意一个数都可以表示为各数位上的数码与该位权的乘积之和【6】。3、进制转换方法：★R进制转十进制：按权展开相加法。将R进制数的每一位数码乘以对应的权值（R的某次幂），然后求和【6】。例如：二进制(1101)2=1×2^3+1×2^2+0×2^1+1×2^0=8+4+0+1=(13)10【8】。例如：十六进制(A8)16=10×16^1+8×16^0=160+8=(168)10【6】。★十进制转R进制：除R取余法。将十进制数连续除以R，每次得到的余数即为R进制数由低到高的各位数码，直到商为0为止【6】【8】。例如：十进制(29)10转二进制：29÷2=14余1，14÷2=7余0，7÷2=3余1，3÷2=1余1，1÷2=0余1。将余数从后往前排列，得到(11101)2【6】。例如：十进制(181)10转十六进制：181÷16=11余5（11在十六进制中为B），11÷16=0余11（B）。得到(B5)16【6】。★二进制与十六进制的互转：利用四位二进制数可以精确表示一位十六进制数的对应关系（0000~1111>0~F）。转换时，以小数点为界，分别向左和向右每四位一组进行转换，位数不足时补0【6】【8】。例如：二进制(1001011011)2转十六进制：从右向左，最低四位1011对应B，往左四位0110对应6（高位补0），再往左两位10补0成0010对应2，得到(25B)16【6】。四、数据采集与整理的实践应用与伦理规范（一）数据安全意识的培养【重要】在数据采集与整理的全过程中，数据安全是贯穿始终的红线。★数据安全的威胁：主要来自计算机病毒、黑客攻击、数据存储介质损坏、内部人员失误或恶意泄露等【3】【7】。★数据保护的基本方法：●数据备份：定期将数据到其他存储介质或云端，以防硬件故障或数据损坏导致数据丢失【3】【7】。●数据加密：通过加密算法将明文数据转换为密文，即使数据被非法获取，没有密钥也无法解读，有效保障数据传输和存储过程中的机密性【3】【7】。（二）信息社会责任的践行作为数字时代的公民，在享受数据带来便利的同时，必须承担相应的社会责任。在采集数据时，尤其是涉及他人信息的数据，必须遵循合法、正当、必要的原则，尊重他人隐私。例如，在设计问卷或爬取数据时，不得采集与目的无关的个人敏感信息，对采集到的个人信息应进行脱敏处理，并在使用完毕后妥善销毁。这不仅是对他人的尊重，更是法律法规的明确要求【3】【7】【10】。五、考点、考向与解题策略【重要】【高频考点】（一）常见考查方式本部分内容的考查通常结合具体情境，以选择题、填空题、判断题和简单的分析设计题形式出现。重点考查学生对核心概念的理解、方法的运用以及在具体情境下的分析能力。（二）核心考点与解题步骤1、数据采集方法的选择题：★考向：给出一个具体场景（如“获取某市十年来的GDP数据”、“实时监测大棚内的温湿度”、“收集用