高中信息技术选择性必修二 数据采集知识清单

高中信息技术选择性必修二数据采集知识清单一、数据采集的学科定位与核心素养指向本知识点聚焦于数据采集这一信息技术领域的基石环节，旨在帮助学习者理解在数字化与现实世界深度融合的背景下，如何规范、高效、负责任地获取原始数据。从学科核心素养的角度看，掌握数据采集不仅是形成信息意识（认识到数据作为新型生产要素的价值）的基础，更是培养计算思维（将现实问题抽象为数据获取与处理流程的能力）的关键实践。本部分内容承前启后，既是对信息社会特征的具象化理解，也为后续的数据分析与可视化、人工智能应用等高级主题奠定方法论基础。学习者需要建立“数据是决策依据”的根本观念，并认识到采集过程的技术选择、工具使用和伦理规范共同决定了后续数据分析的有效性与可信度。二、数据采集的基本概念与内涵（一）数据、信息与知识的层级关系【基础】【理解】1.数据（Data）：是对客观事物及其属性进行记录、描述的原始符号，可以是数字、文字、图像、声音等形式。例如，“35℃”是一个数据，本身不具备具体语境下的意义。2.信息（Information）：是经过加工、整理和解释后，具有特定语境和意义的数据。例如，“今天室外的气温是35℃”是一条信息，它赋予了数据具体的时间和空间背景。3.知识（Knowledge）：是在大量信息基础上，经过归纳、演绎、比较等手段形成的规律、经验或模型，能够用于指导决策和预测。例如，“当气温持续高于35℃时，人体可能出现中暑风险，需要采取防暑降温措施”便构成了知识。4.数据采集的直接产出是原始数据，但其根本目的是通过后续处理，从数据中提取信息，进而构建知识，最终服务于问题的解决与决策的优化。（二）数据采集的定义与范畴【基础】【识记】数据采集是指根据特定目标，利用相应的技术手段或工具，从现实世界的信息源（如物理环境、社会活动、已有数据库等）中获取、记录并生成原始数据的过程。其范畴涵盖了对结构化数据（如关系型数据库中的表格）、半结构化数据（如XML、JSON格式的日志文件）和非结构化数据（如文本、图像、音频、视频）的获取。（三）数据采集的演进与现实意义【拓展】【理解】从早期的纸质问卷、人工测量，到基于传感器网络的自动采集，再到当前基于物联网（IoT）、移动互联网、人工智能辅助的大规模实时数据采集，采集方式的变革极大地拓展了人类认识世界和改造世界的能力。在现实应用中，无论是智慧城市的交通流量预测、精准农业的墒情监测，还是个性化推荐系统的用户行为建模，其有效性的首要前提都是能否采集到高质量、高覆盖率的数据。因此，数据采集是连接物理现实与数字世界的桥梁。三、数据采集的主要方法与技术手段（一）系统日志采集法【高频考点】【应用】1.原理：通过记录信息系统（如Web服务器、数据库服务器、应用软件）运行过程中产生的日志文件（LogFile）来获取数据。这些日志详细记载了系统事件、用户操作、错误信息等。2.常见类型：Web日志：记录用户IP地址、访问时间、请求页面、浏览器类型、状态码等。常用于网站流量分析、用户行为轨迹追踪。系统日志：记录操作系统、数据库系统的运行状态、错误告警、安全事件等。常用于系统运维监控和安全审计。3.采集工具与技术：Flume：一个高可用、高可靠、分布式的海量日志采集、聚合和传输系统。Logstash：一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，并对其进行转换，然后发送到如Elasticsearch等“存储库”中。Scribe：Facebook开源的日志收集系统。4.优势与局限：优点是数据源丰富、获取成本相对较低、能客观记录系统运行情况；缺点是日志格式多样、数据量大且噪声多，需要进行复杂的清洗和解析。（二）网络数据采集法【热点】【应用】1.定义：指利用网络爬虫技术或应用程序编程接口（API），从互联网上的公开网站或Web服务中自动、批量地提取数据。2.网络爬虫【重要】【难点】：通用爬虫：搜索引擎的核心组成部分，抓取整个互联网的网页并进行索引。聚焦爬虫：针对特定主题或领域的网页进行有选择性地抓取，如只采集电商网站上某类商品的评论数据。增量式爬虫：只抓取自上次采集以来发生更新的网页内容，减少资源浪费。深网爬虫：能够访问需要登录或提交表单才能获取的动态网页数据。3.应用编程接口（API）采集【高频考点】：原理：许多在线平台（如社交媒体、天气服务、地图服务、电商平台）会开放API，允许开发者按照其规定的协议和接口，发送请求并获取结构化数据。优点：API提供了标准化的数据访问方式，数据格式统一（通常为JSON或XML），质量较高，且遵守平台的Robots协议（网络爬虫排除标准），是一种合法、高效的数据采集方式。例如，调用高德地图API获取指定地点的经纬度与周边信息。4.爬虫框架与工具：Scrapy（Python爬虫框架）、Requests+BeautifulSoup（Python库组合）、Selenium（浏览器自动化测试工具，用于模拟用户操作获取动态加载数据）。5.【难点】网络数据采集的挑战：反爬虫机制（IP封禁、UserAgent检测、验证码、动态加载）、数据去重、大规模采集的分布式架构设计、遵守网站Robots协议及相关法律法规。（三）传感器数据采集法【基础】【理解】1.原理：通过部署在物理世界中的各类传感器，将物理量（如温度、湿度、压力、光照、加速度、图像、声音）按照一定规律转换成可用的电信号或其他形式的信号，再通过模数转换器转换为数字信号，最终被计算机系统记录和处理。2.传感器类型：物理传感器：用于测量物理属性，如温度传感器、压力传感器、湿度传感器、光电传感器、加速度传感器、陀螺仪等。化学传感器：用于检测化学物质的成分和浓度，如PH传感器、气体传感器（检测CO、CO2、PM2.5）。生物传感器：用于识别和检测生物物质，如血糖传感器、DNA传感器。3.物联网（IoT）架构：传感器作为感知层，通过有线或无线网络（如WiFi、蓝牙、ZigBee、LoRa、NBIoT）将数据传输到网关或云端平台，实现大规模、远程的实时数据采集。例如，智能温室大棚中，通过空气温湿度传感器、土壤水分传感器、光照传感器等，实时采集环境数据，上传至控制中心进行智能决策。（四）调查访谈与观察记录法【基础】【了解】1.问卷调查：形式：纸质问卷、在线问卷（如问卷星、腾讯问卷）、电话访谈。设计要点：明确调查目的、问题设计应客观无引导性、样本选择需具备代表性、信度与效度分析。2.访谈法：结构化访谈：严格按照预定提纲进行，便于量化统计。半结构化访谈：围绕主题但可根据实际情况灵活调整，能获取更深层次的信息。非结构化访谈：开放式交谈，常用于探索性研究。3.观察法：研究人员根据研究目的，直接观察并记录研究对象的行为或现象。例如，在交通路口人工记录不同时间段的车流量。四、数据采集的基本流程与规范（一）明确采集目标与需求【基础】【首要步骤】1.问题界定：清晰界定要解决的具体业务问题或研究问题。例如，目标是“分析某电商平台用户购买行为特征，以优化商品推荐算法”。2.指标确定：将问题转化为可量化的数据指标。如上述目标可分解为“用户点击率”、“商品浏览量”、“购买转化率”、“用户停留时长”、“购物车添加率”等。3.源数据识别：确定哪些数据源可以获取上述指标。例如，需要从Web服务器日志中获取用户点击流数据，从订单数据库中获取交易数据。（二）选择数据源与采集方法【重要】【决策】1.内部数据源：企业或组织自身的数据库（交易数据、客户关系管理数据）、系统日志、传感器网络等。优点是数据可控、安全性高、格式相对统一。2.外部数据源：互联网公开数据（社交媒体、新闻网站）、第三方数据服务商（宏观经济数据、行业报告）、政府开放数据平台等。优点是能拓宽分析视野，但可能存在获取成本、数据质量参差不齐、合规性风险等问题。3.方法匹配：根据数据源的特征（结构化程度、实时性要求、数据量大小）选择最合适的采集技术。例如，实时性要求高的传感器数据适合用物联网平台采集；需要长期、稳定获取的公开数据适合用API调用。（三）制定采集方案与工具选型【重要】【实践】1.采集频率：确定是实时采集、定时批量采集（如每天凌晨T+1采集）还是事件触发采集。2.工具与技术栈：根据方案选择具体工具。如用Flume进行日志采集，用Scrapy编写爬虫，用Kafka作为消息队列缓冲数据，用Datax进行离线数据同步。3.数据格式规范：约定采集后数据的存储格式，如CSV、JSON、Parquet、Avro等，确保数据的可读性和后续处理效率。（四）数据采集的实施与监控【重要】【执行】1.开发与部署：按照方案进行代码开发或工具配置，并在目标环境中部署运行。2.采集监控：建立对采集任务运行状态的监控机制，关注任务成功率、数据量、采集延迟等关键指标，设置告警规则以便及时发现问题。3.元数据管理：记录采集任务的元信息，如数据来源、采集时间、采集方式、数据量、字段含义等，形成数据血统，便于后期追溯和管理。（五）数据质量评估与预处理（采集后）【高频考点】【核心】1.【非常重要】数据质量维度：准确性：数据是否真实反映了客观事实。例如，采集的温度值是否与实际温度一致。完整性：数据是否存在缺失值。例如，用户信息表中是否有大量电话号码为空。一致性：同一实体的数据在不同地方是否相互矛盾。例如，两个数据表中同一个用户的年龄不一致。时效性：数据是否反映了最新的状态。例如，股票价格数据必须是实时的或延迟极短的。唯一性：数据是否存在重复记录。2.数据预处理：数据清洗：处理缺失值（填充、删除）、纠正错误值、去除重复数据、处理异常值（通过统计学方法或业务规则识别）。数据集成：将来自多个数据源（如MySQL数据库、日志文件）的数据合并，并解决实体识别和属性冲突问题。数据变换：对数据进行规范化处理，如数据类型转换（字符串转日期）、数据离散化、数据标准化/归一化（为后续建模做准备）、构造衍生变量。数据规约：在尽可能保持数据原貌的前提下，通过属性选择、抽样等方法减少数据量，提高处理效率。五、数据采集的伦理、法律与安全规范【非常重要】【热点】（一）法律法规遵从性【红线】1.《中华人民共和国网络安全法》：明确了网络运营者收集、使用个人信息的基本原则，如合法、正当、必要原则，并经被收集者同意。2.《中华人民共和国数据安全法》：建立了数据分类分级保护制度，要求数据处理活动应当依照法律、法规的规定，建立健全全流程数据安全管理制度，保障数据安全。3.《中华人民共和国个人信息保护法》：对个人信息的处理规则、跨境提供、个人在个人信息处理活动中的权利、处理者的义务等方面进行了全面规定。强调“告知同意”为核心的处理规则，要求采集个人信息前必须以显著方式、清晰易懂的语言向个人告知相关事项并取得明确同意。4.特定行业法规：如医疗、金融等行业还有更严格的数据管理法规。（二）伦理道德规范【重要】【原则】1.知情同意：采集用户数据，尤其是个人敏感信息（如生物识别、宗教信仰、金融账户等）时，必须确保用户完全知情并自愿、明确地给予同意。不得以欺骗、诱导或默认勾选等方式获取授权。2.目的限制：采集数据的目的应当在采集前向用户明确说明，且后续处理不应超出该目的范围。如需用于其他目的，应当再次征得同意。3.数据最小化：坚持“最少够用”原则，只采集实现特定目的所必需的最少数据类型和数量，不应过度收集。4.隐私保护：对采集到的个人数据，应采取去标识化、匿名化等技术手段进行处理，降低对个人隐私的泄露风险。匿名化后的信息不属于个人信息，但需注意技术上的不可逆性。5.公平公正：数据采集过程和后续应用不应导致对特定群体的歧视或偏见。例如，用于训练人工智能模型的数据集应尽可能避免存在偏差，防止模型输出歧视性结果。（三）数据安全规范【重要】【保障】1.传输安全：在数据从采集端传输到存储端的过程中，应采用加密协议（如HTTPS、TLS）防止数据被窃听或篡改。2.存储安全：对采集的原始数据，尤其是敏感数据，应实施访问控制、加密存储、数据脱敏等措施。建立完善的数据备份与恢，防止数据丢失或损坏。3.访问控制：严格管理数据访问权限，遵循最小权限原则，确保只有经过授权的人员在必要时才能访问数据。对数据访问操作进行日志记录和审计。4.数据生命周期安全管理：对采集的数据从产生、存储、使用、传输到销毁的全生命周期实施安全管理，确保数据在任何阶段都处于受控状态。六、数据采集的考点、考向与解题策略（一）【高频考点】数据采集方法的辨析与选择1.常见题型：选择题、填空题、简答题。给出具体场景，要求选择最合适的数据采集方法或工具。2.考查方式：场景一：需要实时获取城市各主要路口的车流量、车速数据，用于交通信号灯的智能调控。【答案】传感器采集（地感线圈、雷达、摄像头）或物联网技术。场景二：研究某社交媒体平台上用户对特定热点事件的情感倾向变化趋势。【答案】网络数据采集法，通过调用该平台提供的API或编写网络爬虫采集相关帖文及评论。场景三：分析公司内部ERP系统的用户操作习惯，以优化系统界面和流程。【答案】系统日志采集法，分析用户在ERP系统中的操作日志。场景四：了解大学生对某项新政策的认知程度和态度。【答案】调查访谈法，可综合采用在线问卷调查和结构化访谈。3.【易错点】混淆API采集与爬虫采集的区别。API是官方提供的规范接口，合法且数据质量高；爬虫是模拟浏览器行为抓取网页数据，需遵守Robots协议，存在被封禁和法律风险。（二）【难点】网络爬虫的基本原理与反爬虫应对策略1.常见题型：简答题、综合题。考查对爬虫工作流程的理解，或分析给定网站的反爬机制并给出应对思路。2.爬虫基本原理步骤：发起请求：根据目标URL，向服务器发送HTTP请求（GET/POST）。获取响应：接收服务器返回的HTML、XML、JSON等格式的响应内容。解析内容：使用正则表达式、XPath、CSS选择器等工具从响应内容中提取出需要的数据。保存数据：将提取的数据存储到本地文件或数据库中。3.常见反爬机制与应对策略：IP封禁：短时间内同一IP大量请求被封。【应对】使用代理IP池，轮换IP地址。UserAgent检测：检测请求头中的UserAgent是否为非浏览器标识。【应对】构建UserAgent池，模拟多种常见浏览器标识。请求频率限制：单位时间内请求次数过多触发限制。【应对】设置合理的time.sleeptime.sleep()），模拟人类浏览行为。验证码：关键操作或频繁请求后出现验证码。【应对】接入打码平台进行识别，或采用机器学习图像识别技术（如OCR识别简单验证码），复杂验证码（如滑块、点选）破解难度极高，需遵守法律。动态加载数据（Ajax）：页面内容通过JavaScript异步加载，直接请求URL无法获取。【应对】分析Ajax请求接口，直接请求数据接口；或使用Selenium、Puppeteer等浏览器自动化工具模拟浏览器完整渲染过程。数据加密：请求参数或响应数据经过加密。【应对】逆向分析前端JavaScript代码，找出加密逻辑，用Python等语言模拟实现。（三）【核心考点】数据预处理与数据质量分析1.常见题型：案例分析题、简答题、填空题。给出一份存在问题的数据样本，要求识别数据质量问题并给出清洗方案。2.【非常重要】解题步骤与要点：步骤一：识别数据质量问题。逐条检查数据，对照数据质量维度（准确性、完整性、一致性、时效性、唯一性）发现问题。步骤二：分析问题产生原因。可能是采集设备故障、人工录入错误、系统bug、网络传输异常等。步骤三：制定并实施清洗策略。对于缺失值：若关键字段缺失且无法追溯，可考虑删除该条记录；若字段缺失率不高且有规律，可根据业务逻辑进行填充（如用平均值、中位数、众数、前后值填充，或构建模型预测填充）。对于重复值：识别并删除完全重复的记录。对于部分重复的记录，需结合业务逻辑判断保留哪一个（如保留最新的一条）。对于异常值：通过3σ原则、箱线图（Boxplot）或业务规则识别出异常值。确认是真实异常还是错误数据。若是错误数据且无法修正，可作删除处理或视为缺失值。对于不一致数据：如日期格式不统一（2020/01/01和）、性别表示混乱（男/M/1），需将其转换为统一的格式和代码。对于错误数据：如年龄为200岁，明显超出合理范围，需结合业务逻辑进行修正（如可能为20岁）或置为缺失。3.【易错点】混淆数据清洗、数据变换、数据集成等概念。例如，将数据归一化（属于数据变换）当作数据清洗来回答。务必根据问题情境准确定位所属的预处理阶段。（四）【必考点】数据采集相关的法律法规与伦理1.常见题型：选择题、判断题、简答题、案例分析题。结合具体案例，考查对相关法律条文和伦理规范的理解与应用。2.核心考查点：“告知同意”原则的具体体现。哪些属于个人敏感信息及采集时的特殊要求。数据最小化原则在实际场景中的应用。匿名化与去标识化的区别与作用。违反法律法规可能承担的法律责任。3.【案例分析题示例】某APP在用户注册时，隐私政策以极小字体置于页面底部，并默认勾选“同意”，同时收集用户的通讯录和相册权限，用于“优化用户体验”。请分析其中存在哪些不合规之处。【解答要点】[1]违反“告知”的显著方式要求：隐私政策字体过小，未能以显著方式、清晰易懂的语言提醒用户注意。[2]违反“同意”的明确性要求：默认勾选“同意”属于非自愿、非明确的同意，侵犯了用户的自主选择权。[3]违反“目的限制”和“数据最小化”原则：收集通讯录和相册权限的目的表述为“优化用户体验”过于模糊、不具体。且该权限与APP核心功能可能无关，属于过度收集个人信息，特别是通讯录涉及他人隐私，风险更高。（五）综合应用题考查方向1.考查方式：给定一个贴近现实生活的综合性研究课题或项目背景（如“设计一个智慧校园学生运动健康监测系统”、“研究某城市共享单车的潮汐现象”），要求：（1）分析需要采集哪些数据。（2）为每种数据选择合适的数据采集方法和技术工具。（3）说明在采集过程中需要考虑哪些数据质量问题及如何应对。（4）阐述在数据采集过程中应遵循哪些法律法规和伦理规范。（5）简要描述数据采集的总体流程框架。2.解题策略：此题综合性强，需将本章节所有知识点融会贯通。答题时应紧扣项目主题，逻辑清晰，分点作答，体现出系统性思维。例如，对