2025年数据采集考试题及答案

2025年数据采集考试题及答案一、单项选择题（每题2分，共20题，总计40分）1.根据《中华人民共和国个人信息保护法》规定，处理生物识别、医疗健康等敏感个人信息，应当取得个人的（）A.口头同意B.单独同意C.概括同意D.委托同意参考答案：B答案解析：《中华人民共和国个人信息保护法》明确规定，敏感个人信息是指一旦泄露或者非法使用，容易导致自然人的人格尊严受到侵害或者人身、财产安全受到危害的个人信息，包括生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹等信息，处理敏感个人信息应当取得个人的单独同意，仅通过概括性用户协议获得的同意不满足合规要求。2.在工业物联网数据采集体系中，承担现场异构设备协议转换、边缘侧数据预处理、本地缓存功能的核心节点是（）A.温度传感器B.边缘网关C.云存储服务器D.应用层终端参考答案：B答案解析：工业物联网分为感知层、边缘层、云层、应用层四个核心层级，感知层的传感器负责原始物理数据的采集；边缘层的边缘网关主要功能是对接不同协议的现场设备，完成协议转换，对原始数据做边缘预处理，减少向云端传输的数据量，同时具备本地缓存功能，避免网络中断导致数据丢失；云存储服务器负责大规模结构化、非结构化数据的长期存储；应用层终端面向终端用户提供数据服务，因此本题选B。3.大模型预训练数据采集过程中，针对TB级大规模文本语料，处理近似重复内容最常用的高效去重方法是（）A.基于精确字符串匹配的字典去重B.基于SimHash的局部敏感哈希去重C.人工抽样去重D.基于正则表达式的格式去重参考答案：B答案解析：SimHash算法可以将高维文本特征降维为低维指纹，通过对比指纹的海明距离判断文本的相似度，能够高效处理大规模语料的近似去重，适合大模型预训练数据的预处理环节；精确字符串匹配只能识别完全重复的内容，无法处理改写字段、部分重复的近似重复内容；人工去重效率极低，无法支撑TB级数据处理；正则表达式只能去除格式重复的内容，无法识别内容层面的重复，因此本题选B。4.数据采集质量评估指标中，衡量采集数据与真实客观情况偏差程度的指标是（）A.完整性B.准确性C.一致性D.时效性参考答案：B答案解析：数据采集质量核心指标中，完整性指采集数据范围内是否存在缺失值、缺失率是否符合要求；准确性指采集数据与真实值的符合程度，衡量偏差大小；一致性指同一数据在不同来源、不同采集时间的取值是否统一，不存在矛盾；时效性指采集数据是否能够反映当前时间的真实情况，是否满足时间要求，因此本题选B。5.针对电商平台公开的商品价格信息，开展每日定时批量采集更新，最高效的采集方式是（）A.线下人工录入采集B.传感器主动采集C.网络爬虫定向采集D.系统日志采集参考答案：C答案解析：电商商品价格属于公开互联网数据，定向网络爬虫可以按照设定频率自动爬取、更新数据，效率远高于人工录入；传感器用于采集物理世界的温度、位置等数据，无法获取网络商品信息；系统日志采集主要用于采集互联网平台自身的用户访问、行为日志，不适合爬取对外公开的商品数据，因此本题选C。6.以下采集方式中，不属于主动数据采集的是（）A.传感器实时采集环境温度B.爬虫爬取公开网页内容C.调用开放平台API获取授权数据D.业务系统数据库定时同步业务数据参考答案：C答案解析：主动数据采集指采集方主动发起数据获取请求，持续获取数据的采集模式；调用开放平台API获取授权数据，数据由开放平台控制，采集方按照约定获取，属于被动采集模式，其余选项均为主动采集，因此本题选C。7.针对需要用户交互、JavaScript动态渲染的网页数据采集，以下哪种方案可以获得最完整的页面内容（）A.直接请求HTML静态页面B.模拟浏览器渲染爬取C.仅爬取页面URLD.爬取页面源码不执行JS参考答案：B答案解析：动态渲染页面的内容是浏览器执行JS后动态生成的，原始HTML静态页面不包含核心内容，只有模拟浏览器渲染执行JS后，才能获取完整的动态生成内容，因此本题选B。8.根据《数据安全法》规定，国家对数据处理活动实行（）保护，对重要数据进行分类分级保护。A.分类分级B.全流程C.按领域D.按主体参考答案：A答案解析：《中华人民共和国数据安全法》第二十一条明确规定，国家建立数据分类分级保护制度，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护，因此本题选A。9.在用户行为数据采集中，用于记录用户在APP内点击、浏览、停留时长等行为的常见采集方式是（）A.埋点采集B.爬虫采集C.传感器采集D.日志同步参考答案：A答案解析：埋点采集是前端用户行为数据采集的主流方式，通过在APP、网页内预埋代码，当用户触发对应行为时自动上报行为数据，准确记录用户的操作行为信息，其余方式均不适合精细化用户行为采集，因此本题选A。10.批量采集地理空间位置数据，以下哪种数据来源精度最高（）A.手机GPS定位数据B.北斗卫星定位数据C.IP地址定位数据D.Wi-Fi定位数据参考答案：B答案解析：北斗卫星民用定位的精度可以达到米级，远高于GPS民用定位、IP定位（精度公里级）、Wi-Fi定位（精度百米级），因此本题选B。11.数据采集过程中，发现采集到的某份数据存在缺失字段，最合理的处理方式是（）A.直接丢弃整条数据B.重新发起采集获取完整数据C.用默认值填充D.用平均值填充参考答案：B答案解析：如果是采集过程中因网络等原因导致的缺失，最优处理方式是重新发起采集获取完整数据，直接丢弃会导致样本量减少，默认值、平均值填充会引入数据偏差，影响后续分析结果，因此本题选B。12.以下哪种数据采集方式最适合采集线下门店的客流统计数据（）A.视频人脸识别采集B.人工计数采集C.Wi-Fi探针采集D.红外传感器采集参考答案：D答案解析：红外传感器客流采集可以准确统计进出门店的人数，不采集个人身份信息，合规性好，成本低；人脸识别采集涉及敏感个人信息，合规风险高；人工计数误差大，成本高；Wi-Fi探针需要用户开启WiFi，统计误差大，因此本题选D。13.大模型训练数据采集中，为了避免数据泄露，保护用户隐私，对采集到的包含个人信息的文本数据最常用的合规处理方式是（）A.直接删除所有个人文本数据B.加密存储后直接使用C.脱标识化处理D.抽样后使用参考答案：C答案解析：脱标识化处理是指去除文本中可以识别到特定个人的标识信息，比如姓名、身份证号、手机号、住址等，既可以保留文本的内容价值，又可以保护个人隐私，避免合规风险，因此本题选C。14.以下不属于内部业务数据采集常用方式的是（）A.数据库全量同步B.增量日志抽取C.离线文件导入D.爬虫爬取参考答案：D答案解析：内部业务数据存储在企业自有数据库、文件系统中，一般通过全量同步、增量抽取、离线导入的方式采集，爬虫爬取主要用于采集外部公开网络数据，不属于内部业务数据采集的常用方式，因此本题选D。15.针对时序传感器数据采集，采集频率设置的核心依据是（）A.数据存储容量大小B.传感器供电能力C.被监测对象的变化频率D.网络带宽大小参考答案：C答案解析：采集频率需要匹配被监测对象的变化频率，如果被监测对象变化快，需要设置较高的采集频率，如果变化慢，可以设置较低的采集频率，避免产生过多冗余数据，其余选项都是次要考虑因素，因此本题选C。16.网络爬虫采集过程中，设置合理的爬取间隔主要是为了（）A.提高爬取速度B.降低被目标网站封禁IP的概率C.减少数据存储空间占用D.提高数据准确性参考答案：B答案解析：合理设置爬取间隔可以降低单位时间内对目标网站服务器的请求压力，避免因为请求频率过高触发目标网站的反爬机制，被封禁IP，因此本题选B。17.根据我国个人信息保护法，以下不属于个人信息的是（）A.已经匿名化处理无法识别到特定个人的数据B.用户的手机号码C.用户的行车轨迹数据D.用户的人脸识别图像参考答案：A答案解析：个人信息指以电子或者其他方式记录的与已识别或者可识别的自然人有关的各种信息，不包括经过匿名化处理无法识别到特定个人、无法复原的信息，因此本题选A。18.在数据仓库建设中，将业务系统的生产数据批量采集到数据仓库的过程叫做（）A.ETL中的抽取B.ETL中的转换C.ETL中的加载D.ETL中的清洗参考答案：A答案解析：ETL流程包括抽取（Extract）、转换（Transform）、加载（Load），抽取就是从源业务系统采集获取原始数据的过程，因此本题选A。19.以下采集方式中，适合采集大规模长文本舆情数据的是（）A.对社交媒体公开内容进行定向爬取B.问卷调查收集C.电话访谈记录D.传感器采集参考答案：A答案解析：舆情数据是用户在社交媒体、新闻评论等公开网络平台发布的内容，定向爬取可以快速获得大规模的样本数据，满足舆情分析的需求，问卷调查、电话访谈样本量小，成本高，不适合大规模舆情采集，因此本题选A。20.数据采集完成后，验证数据代表性的常用方法是（）A.计算数据的偏差率B.做抽样统计检验C.检查缺失率D.检查一致性参考答案：B答案解析：数据代表性指采集到的样本数据是否能够代表总体的分布特征，常用的验证方法是抽取部分样本做统计检验，对比样本分布和总体分布的差异，判断代表性，因此本题选B。二、多项选择题（每题3分，共10题，总计30分）1.根据我国《个人信息保护法》《数据安全法》，数据采集应当遵循的基本原则包括（）A.合法、正当、必要、诚信原则B.目的明确原则C.最小必要原则D.公开透明原则E.知情同意原则参考答案：ABCDE答案解析：我国现行数据监管法律明确要求，数据采集活动必须遵循合法正当诚信原则，采集前应当明确具体的采集目的，不得采集与目的无关的数据，落实最小必要要求，对用户公开透明告知采集相关信息，获得用户的有效知情同意，以上五项均为数据采集合规的基本原则。2.以下属于非结构化数据采集对象的是（）A.互联网用户发布的短视频内容B.电商平台的商品评论文本C.医院存档的CT影像文件D.工业传感器生成的时序温度数据E.企业ERP系统中的订单表格参考答案：ABC答案解析：非结构化数据是指没有固定预设结构、无法用二维表结构存储的数据，短视频、文本评论、CT影像都属于非结构化数据；时序温度数据、订单表格都属于结构化数据，可以用二维表存储，因此本题选ABC。3.网站常见的反爬机制包括（）A.IP访问频率限制B.验证码人机验证C.User-Agent请求头校验D.接口参数签名加密E.robots协议爬取限制声明参考答案：ABCDE答案解析：以上选项均为网站常见的反爬措施，IP限制通过限制单个IP单位时间的请求次数阻止大规模爬取；验证码用于区分人类用户和爬虫程序；UA校验通过检查请求头的UA信息判断请求是否来自正常浏览器；接口签名加密通过动态生成请求参数，防止爬虫恶意调用接口获取数据；robots协议是网站向爬虫声明不允许爬取范围的行业通行规则，属于反爬的一种约定形式。4.前端用户行为埋点采集常见的埋点类型包括（）A.代码埋点B.可视化埋点C.全埋点D.爬虫埋点E.传感器埋点参考答案：ABC答案解析：用户行为埋点采集主流的三种类型为代码埋点、可视化埋点、全埋点，代码埋点通过在对应位置添加定制代码采集精准行为数据；可视化埋点通过可视化界面圈选需要采集的元素，无需编写代码；全埋点采集页面所有的用户行为数据，后续再按需提取，爬虫埋点、传感器埋点不属于前端用户行为埋点的类型。5.工业数据采集面临的常见难点包括（）A.现场设备协议异构，数据格式不统一，接入难度大B.老旧设备缺乏标准通信接口，改造采集成本高C.工业环境干扰大，原始数据噪声多、质量差D.数据安全要求高，采集不能影响原有生产系统运行E.现场多为封闭内网，数据传输难度大参考答案：ABCDE答案解析：以上五项都是工业现场数据采集的典型难点，不同品牌的工业设备往往采用私有通信协议，缺乏统一标准，老旧设备没有数据输出接口，现场的温度、湿度、电磁干扰会影响传感器数据质量，工业生产对稳定性要求高，采集操作不能影响原有生产，多数工业现场不连接公网，数据需要通过内网传输，难度较大。6.数据采集前的准备工作主要包括（）A.明确采集需求，确定采集范围、数据类型和质量要求B.开展合规性审查，梳理采集数据的合规要求C.选择合适的采集技术和工具，配置运行环境D.设计数据采集schema，明确数据格式和规范E.开展小规模试点采集，验证采集方案可行性参考答案：ABCDE答案解析：完整的数据采集流程启动前，需要完成以上全部准备工作，避免大规模采集启动后出现需求不明确、合规风险、技术方案不可行等问题，降低采集风险。7.动态渲染网页数据采集的常用方案包括（）A.模拟浏览器渲染爬取（Selenium/Puppeteer方案）B.逆向分析动态接口，直接请求接口获取数据C.无头浏览器采集方案D.授权API调用方案E.静态页面源码爬取方案参考答案：ABCD答案解析：动态渲染网页的核心内容不会放在静态HTML源码中，仅爬取静态源码无法获取完整内容，其余四种都是常用的动态页面采集方案，模拟浏览器、无头浏览器都可以执行JS获取渲染后的内容，逆向接口可以直接获取接口返回的结构化数据，授权API是合规优先的采集方案。8.以下属于敏感个人信息，需要单独同意才能采集的是（）A.人脸生物识别信息B.个人行踪轨迹C.个人银行账户信息D.个人健康体检信息E.个人姓名参考答案：ABCD答案解析：根据个人信息保护法，生物识别、行踪轨迹、金融账户、医疗健康都属于敏感个人信息，需要获得个人单独同意；姓名属于一般个人信息，不需要单独同意，因此本题选ABCD。9.衡量数据采集质量的核心指标包括（）A.完整性B.准确性C.一致性D.时效性E.冗余度参考答案：ABCDE答案解析：以上五项都是数据采集质量的核心评估指标，完整性衡量缺失率，准确性衡量偏差，一致性衡量数据矛盾，时效性衡量时间有效性，冗余度衡量数据重复程度，都是评估采集质量的核心标准。10.大模型预训练数据采集的质量控制要点包括（）A.去重处理，去除重复和近似重复内容B.过滤低质量内容，去除垃圾广告、违规内容C.脱敏处理，去除可识别个人的信息D.版权合规，优先使用获得授权的公开数据E.多样性，覆盖不同领域、不同风格的数据参考答案：ABCDE答案解析：大模型预训练数据的质量直接影响模型效果，以上都是预训练数据采集的核心质量控制要点，去重减少冗余，过滤低质量内容提升数据质量，脱敏保护隐私，合规避免版权纠纷，多样性保证模型的泛化能力。三、判断题（每题1分，共10题，总计10分）1.网络爬虫采集公开网站数据时，只要网站未设置robots协议禁止爬取，就可以任意爬取包含个人信息的内容。（）参考答案：错误答案解析：robots协议只是行业通行的爬取约定，不具有法律效力，即使网站未设置robots协议，爬取个人信息、受著作权保护的内容仍然违反《个人信息保护法》《著作权法》，需要承担相应的法律责任。2.经过匿名化处理无法识别特定个人的信息，不属于个人信息，采集使用不受《个人信息保护法》约束。（）参考答案：正确答案解析：根据《中华人民共和国个人信息保护法》规定，个人信息不包括经过匿名化处理的信息，匿名化处理后的信息可以依法自由采集使用。3.数据采集过程中，只要获得用户一次同意，就可以永久使用采集到的个人信息，不需要更新同意。（）参考答案：错误答案解析：采集目的、处理方式发生变更的，需要重新获得用户的同意，同时用户有权随时撤回之前的同意，因此不能永久使用。4.工业数据采集过程中，为了不影响原有生产系统的稳定运行，一般采用旁路接入的方式采集数据，不直接影响生产控制链路。（）参考答案：正确答案解析：旁路接入是工业数据采集的常用接入方式，通过镜像流量、只读接入的方式获取数据，不会对原有生产系统的运行造成影响，保障生产安全。5.最小必要原则要求数据采集只能采集实现采集目的最少范围的数据，不得过度采集。（）参考答案：正确答案解析：最小必要原则是我国个人信息保护法明确要求的核心原则，目的是避免过度收集个人信息，降低个人信息安全风险。6.大模型预训练数据采集不需要考虑版权问题，只要是公开的内容都可以随意采集使用。（）参考答案：错误答案解析：公开内容受著作权法保护，未经授权采集使用受版权保护的内容用于商业用途，属于侵权行为，需要承担法律责任，当前大模型训练数据必须重视版权合规。7.动态网页的核心内容是JS执行后生成的，仅爬取静态HTML源码无法获得完整内容。（）参考答案：正确答案解析：动态渲染网页采用前后端分离架构，HTML仅提供基础框架，核心内容通过JS请求接口后动态渲染生成，因此仅爬取静态源码无法获取核心内容。8.埋点采集只能采集用户的点击行为，无法采集停留时长、滚动行为等其他信息。（）参考答案：错误答案解析：埋点采集可以自定义采集各类用户行为信息，包括点击、浏览、停留时长、滚动、转化等所有需要的行为数据，灵活性很高。9.数据采集的完整性就是指所有需要采集的字段都没有缺失，缺失率符合要求。（）参考答案：正确答案解析：完整性的核心定义就是采集范围内所有应当获取的数据都成功采集，没有不必要的缺失，缺失率控制在要求范围内。10.采集个人信息的时候，企业可以将不同意采集非必要信息的用户拒绝提供核心服务。（）参考答案：错误答案解析：根据《个人信息保护法》规定，个人信息处理者不得以个人不同意处理其非必要个人信息或者撤回同意为由，拒绝提供产品或者服务，因此企业必须允许用户不同意非必要信息采集，同时正常使用核心服务。四、简答题（每题4分，共5题，总计20分）1.简述动态渲染网页数据采集的常用方案及各自适用场景。参考答案：（1）模拟浏览器渲染方案：采用Selenium、Puppeteer等工具模拟完整浏览器运行环境，执行JS代码渲染页面后提取内容。适用场景：页面交互复杂，需要模拟用户点击、滚动等操作才能获取完整内容，采集规模较小的场景。优点是内容准确性高，缺点是资源消耗大，采集速度慢。（2）逆向动态接口方案：分析页面加载过程，找到动态内容对应的后端接口，逆向分析接口参数规则后直接请求接口获取结构化数据。适用场景：动态内容通过接口加载，接口加密程度较低，采集规模大的场景。优点是采集速度快，资源消耗小，缺点是接口加密、参数规则变更后需要重新逆向维护。（3）无头浏览器方案：采用ChromeHeadless等无头浏览器渲染，相比完整浏览器资源消耗更低，兼顾渲染能力和采集效率。适用场景：大规模动态页面采集场景，是当前主流的动态页面采集方案。（4）授权API调用方案：获得网站方授权后直接调用官方开放API获取数据。适用场景：对合规性要求高、长期稳定采集的场景，优点是合规稳定，数据质量高，缺点是需要获得授权，数据范围受API权限限制。2.简述个人信息合规采集的核心要求。参考答案：（1）目的明确：采集前必须明确具体的采集目的，不得超出约定目的采集个人信息；（2）最小必要：仅采集实现目的所必需的最少范围的个人信息，不得过度采集，非必要信息允许用户自主选择是否同意采集，不得因用户不同意采集非必要信息拒绝提供核心服务；（3）知情告知：以清晰易懂、醒目的方式向用户告知采集主体、采集目的、采集范围、存储期限、用户享有的查询、更正、删除、撤回同意、注销等权利，不得用隐蔽小字模糊告知；（4）有效同意：处理一般个人信息获得明确同意，处理敏感个人信息必须获得个人的单独同意，同意必须是用户自愿做出的，不得通过欺诈、误导、胁迫等方式骗取同意，同时需要提供便捷的撤回同意途径；（5）合规存储：采集到的个人信息需要采取加密等安全措施存储，防止泄露，超过存储期限需要及时删除。3.简述数据采集质量问题的常见类型及产生原因。参考答案：（1）数据缺失：指需要采集的字段或记录没有获取到，产生原因主要包括采集过程网络中断、目标网站反爬导致部分请求失败、设备故障导致数据传输中断、用户未填写对应字段等；（2）数据错误：指采集到的数据与真实值存在偏差，产生原因主要包括传感器受环境干扰产生误差、采集规则配置错误、网页内容变更后采集规则未更新、用户输入错误等；（3）数据重复：指同一条数据被多次采集，产生原因主要包括分页逻辑错误、增量采集规则配置错误、页面重复内容未去重等；（4）数据不一致：指同一实体的同一属性在不同数据源或不同采集时间的取值存在矛盾，产生原因主要包括不同数据源更新时间不同、数据定义不一致、采集过程中数据被篡改等；（5）数据过时：指采集到的数据无法反映当前的真实情况，时效性不符合要求，产生原因主要包括采集频率过低、数据更新不及时等。4.简述工业物联网数据采集的主要流程。参考答案：工业物联网数据采集的主要流程为：（1）现场设备接入：梳理现场所有需要采集的设备类型、接口类型、通信协议，完成协议转换，通过边缘网关将不同协议的异构设备接入采集系统；（2）原始数据采集：按照设定的采集频率，从传感器、PLC、工控机等设备读取原始生产数据，缓存到边缘网关本地；（3）边缘预处理：在边缘侧对原始数据进行清洗，去除噪声、填补缺失值、格式转换，过滤不需要上传的冗余数据，仅将有效数据上传到云端；（4）数据传输：通过有线或无线网络将预处理后的数据加密传输到云端数据平台；（5）数据校验存储：云端对接收到的数据进行完整性校验，校验通过后按照数据类型分类存储，完成整个采集流程。5.简述网络数据采集的常见反爬应对策略。参考答案：常见的反爬应对策略包括：（1）IP代理池：搭建IP代理池，定期更换不同的IP发起请求，降低单个IP的请求频率，避免IP被封禁；（2）请求头伪装：模拟正常浏览器的User-Agent、Cookie等请求头信息，规避基础的UA校验反爬；（3）验证码识别：采用AI打码平台、自研验证码识别模型识别图形验证码、滑动验证码，应对人机验证反爬；（4）请求频率控制：合理设置爬取间隔，模拟人类用户的访问频率，避免触发频率限制反爬；（5）接口逆向破解：针对加密接口，逆向分析参数加密逻辑，模拟合法的请求参数，绕过接口签名反爬；（6）无头浏览器指纹伪装：修改无头浏览器的指纹特征，避免被识别为爬虫，规避浏览器指纹反爬。五、案例分析题