大数据技术形考一题库

大数据技术形考一题库一、单项选择题（共20题，每题1分，共20分。每题只有1个正确答案，错选、不选均不得分）1.以下不属于大数据核心5V特征的是（）A.Volume（大量）B.Velocity（高速）C.Validity（有效）D.Value（低价值密度）答案：C解析：大数据的核心5V特征包括Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（真实）、Value（低价值密度），Validity（有效性）不属于其核心特征范畴。2.Hadoop分布式计算平台的核心组件不包括（）A.HDFS分布式文件系统B.YARN资源调度框架C.MapReduce分布式计算框架D.Spark内存计算框架答案：D解析：狭义Hadoop的核心组件为HDFS、YARN、MapReduce；Spark是独立的开源计算框架，可运行于YARN之上，但不属于Hadoop原生核心组件。3.针对关系型数据库与Hadoop生态之间的结构化数据同步，最常用的工具是（）A.FlumeB.SqoopC.KafkaD.Scrapy答案：B解析：Sqoop是专门用于关系型数据库与Hadoop系统之间数据传输的工具，支持全量、增量同步结构化数据；Flume主要用于日志类数据采集，Kafka为消息队列，Scrapy为网络爬虫框架。4.以下不属于数据预处理核心环节的是（）A.数据清洗B.数据集成C.数据挖掘D.数据变换答案：C解析：数据预处理核心环节包括数据清洗、数据集成、数据变换、数据归约；数据挖掘属于大数据分析环节，是对预处理后的数据进行价值挖掘的操作。5.Hadoop3.x版本中，HDFS分布式文件系统的默认数据块大小为（）A.64MBB.128MBC.256MBD.512MB答案：B解析：Hadoop2.x版本之前默认块大小为64MB，2.x及3.x主流版本默认块大小调整为128MB，可根据业务场景通过配置文件修改。6.以下数据类型中，属于半结构化数据的是（）A.MySQL数据库中的员工信息表B.JSON格式的APP访问日志C.道路监控视频文件D.纯文本格式的产品说明书答案：B解析：半结构化数据具有自描述性，模式灵活可变，JSON、XML均为典型半结构化数据；MySQL表数据为结构化数据，视频、纯文本文档为非结构化数据。7.以下属于大数据批处理典型代表框架的是（）A.ApacheStormB.ApacheFlinkC.MapReduceD.SparkStreaming答案：C解析：MapReduce是经典的离线批处理框架；Storm为纯实时流处理框架，Flink为流批一体框架（流处理为核心），SparkStreaming为微批处理流计算框架。8.以下不属于缺失值处理方法的是（）A.删除缺失记录B.均值/众数填充C.回归预测补全D.数据脱敏答案：D解析：数据脱敏是保障数据隐私安全的操作，不属于缺失值处理方法；删除记录、填充法、预测补全均为常见的缺失值处理方式。9.以下场景中，不属于大数据典型应用范畴的是（）A.电商平台个性化商品推荐B.银行核心账务实时交易处理C.金融欺诈行为实时检测D.智慧城市交通流量调度答案：B解析：银行核心账务实时交易处理属于传统OLTP（联机事务处理）场景，对强一致性、事务性要求极高，为关系型数据库的典型应用；其余选项均为大数据的典型落地场景。10.HBase分布式列式数据库的底层存储依赖于（）A.HDFSB.MapReduceC.YARND.ZooKeeper答案：A解析：HBase是Hadoop生态中的NoSQL列式数据库，底层数据存储依赖HDFS实现分布式存储；ZooKeeper负责集群协调，YARN负责资源调度，均非存储层依赖。11.Hadoop生态中，负责集群资源统一调度与管理的组件是（）A.HDFSB.MapReduceC.YARND.Hive答案：C解析：YARN是Hadoop2.x之后引入的资源调度框架，可实现集群资源的统一管理与调度，支持MapReduce、Spark、Flink等多种计算框架运行。12.以下场景中，最能体现大数据“低价值密度”特征的是（）A.银行用户转账交易记录B.24小时便利店的收银流水C.10小时道路监控视频查找肇事车辆D.医院电子病历系统的患者就诊记录答案：C解析：低价值密度指单位数据的有效价值占比低，10小时监控视频中绝大多数内容无有效信息，仅少量片段包含肇事车辆信息，符合低价值密度特征；其余场景的单位数据价值密度相对较高。13.数据仓库构建核心环节ETL中，“T”对应的含义是（）A.抽取B.转换C.加载D.传输答案：B解析：ETL全称为Extract-Transform-Load，即数据抽取、转换、加载，其中T为Transform（转换），负责将不同格式、规范的数据统一转换为目标存储要求的格式。14.以下组件中，不属于ApacheHadoop生态体系的是（）A.Hive数据仓库工具B.HBase列式数据库C.MongoDB文档数据库D.Flume日志采集工具答案：C解析：MongoDB是独立的开源文档型NoSQL数据库，不属于Hadoop生态；Hive、HBase、Flume均为Hadoop生态的常用组件。15.以下不属于半结构化数据特点的是（）A.具有自描述性B.模式可动态变化C.结构与内容混合存储D.必须严格遵循预定义schema答案：D解析：必须严格遵循预定义schema是结构化数据的核心特点；半结构化数据模式灵活，无需预先定义固定结构，具有自描述性。16.以下数据预处理操作中，属于数据变换范畴的是（）A.去除重复记录B.数值标准化C.补全缺失字段D.检测异常值答案：B解析：数值标准化（如0-1标准化、Z-score标准化）属于数据变换操作；去重、缺失值补全、异常值检测均属于数据清洗范畴。17.大数据“高速（Velocity）”特征的准确含义是（）A.仅数据产生速度快B.仅数据处理速度要求高C.数据产生、交互及处理全链路速度要求高D.仅数据存储速度快答案：C解析：大数据的高速特征体现在全链路：数据产生速率快（如物联网设备每秒产生海量数据）、数据交互频次高、业务对处理响应时效要求高，并非仅指单一环节的速度快。18.数据集成的核心目标不包括（）A.合并多数据源的分散数据B.消除数据冗余与不一致C.形成统一的数据视图D.降低数据的存储规模答案：D解析：降低数据存储规模是数据归约的目标；数据集成的核心是整合分散数据、消除不一致、构建统一视图，集成后数据规模通常会有所增加。19.HDFS主从架构中，负责存储实际数据块的节点是（）A.NameNodeB.SecondaryNameNodeC.DataNodeD.ResourceManager答案：C解析：DataNode是HDFS的从节点，负责存储实际的数据块；NameNode负责元数据管理，SecondaryNameNode辅助NameNode合并元数据，ResourceManager是YARN的主节点。20.下列关于大数据与传统数据处理的区别，说法错误的是（）A.传统数据处理以结构化数据为主，大数据覆盖多类型数据B.传统数据多采用集中式架构，大数据多采用分布式架构C.传统数据处理追求精确性，大数据允许一定程度的不精确D.传统数据处理的数据规模更大，对处理时效要求更低答案：D解析：选项D表述颠倒，大数据的数据规模远大于传统数据处理场景，部分大数据场景对处理时效的要求也更高（如实时流处理）。二、多项选择题（共10题，每题2分，共20分。每题有2个及以上正确答案，多选、少选、错选均不得分）1.以下属于大数据核心5V特征的有（）A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Veracity（真实）E.Value（低价值密度）答案：ABCDE解析：大数据核心5V特征即为Volume、Velocity、Variety、Veracity、Value，以上选项均属于其核心特征。2.以下数据类型中，属于非结构化数据的有（）A.道路监控视频B.电商平台JSON格式日志C.扫描版合同PDF文件D.ERP系统的员工信息表E.微博用户发布的图文内容答案：ACE解析：非结构化数据无固定模式结构，视频、扫描版PDF、图文内容均属于非结构化数据；JSON日志为半结构化数据，员工信息表为结构化数据。3.数据预处理的核心环节包括（）A.数据清洗B.数据集成C.数据变换D.数据归约E.数据可视化答案：ABCD解析：数据预处理核心环节为清洗、集成、变换、归约；数据可视化是大数据处理的最终展示环节，不属于预处理范畴。4.以下属于Hadoop生态体系组件的有（）A.HDFS分布式文件系统B.YARN资源调度框架C.Hive数据仓库工具D.Flume日志采集工具E.MongoDB文档数据库答案：ABCD解析：MongoDB为独立的NoSQL数据库，不属于Hadoop生态；其余选项均为Hadoop生态的核心或常用组件。5.分布式存储系统的核心特点包括（）A.可扩展性强B.数据可靠性高C.单位存储成本低于集中式存储D.数据一致性始终优于集中式存储E.支持海量数据存储答案：ABCE解析：分布式存储受CAP定理约束，为保障可用性与分区容错性，通常采用最终一致性，数据一致性并非始终优于强事务的集中式存储；其余选项均为分布式存储的核心优势。6.以下属于流处理计算框架/工具的有（）A.ApacheStormB.ApacheFlinkC.MapReduceD.SparkStreamingE.Hive答案：ABD解析：Storm为纯流处理框架，Flink为流批一体框架（流处理为核心），SparkStreaming为微批流处理框架，均属于流处理范畴；MapReduce、Hive为离线批处理框架/工具。7.数据清洗中，异常值的常用检测方法有（）A.3σ原则B.箱线图法C.聚类分析法D.均值填充法E.回归预测法答案：ABC解析：3σ原则基于正态分布检测异常值，箱线图法基于四分位距检测异常值，聚类分析法通过聚类识别离群点，三者均为异常值检测方法；均值填充、回归预测为缺失值处理方法。8.以下属于大数据典型应用场景的有（）A.电商平台个性化推荐B.金融欺诈行为实时检测C.工业设备故障预测性维护D.银行核心账务交易处理E.智慧城市交通实时调度答案：ABCE解析：银行核心账务交易处理为传统OLTP场景，不属于大数据典型应用；其余选项均为大数据的核心落地场景。9.以下属于大数据采集工具的有（）A.SqoopB.FlumeC.KafkaD.TableauE.Scrapy答案：ABCE解析：Sqoop用于结构化数据采集迁移，Flume用于日志采集，Kafka用于数据采集缓冲与解耦，Scrapy用于网络爬虫采集，均属于采集工具；Tableau为数据可视化工具。10.下列关于HDFS的说法正确的有（）A.采用主从（Master/Slave）架构B.适合存储大文件，支持高吞吐批量读写C.适合低延迟的随机读写场景D.主流版本默认数据副本数为3E.NameNode负责存储实际数据块答案：ABD解析：HDFS不适合低延迟随机读写场景，适合高吞吐批量读写；NameNode负责元数据管理，DataNode负责存储实际数据块，选项C、E表述错误，其余选项正确。三、判断题（共15题，每题1分，共15分。正确打“√”，错误打“×”）1.大数据的数据规模越大，单位数据的价值密度越高。（）答案：×解析：大数据具有低价值密度特征，数据总量越大，单位数据的价值密度通常越低，需要通过算法挖掘有效价值。2.半结构化数据具有自描述性，模式可动态变化，不适合用传统关系型数据库的固定schema存储。（）答案：√解析：半结构化数据无固定预定义模式，结构灵活可变，传统关系型数据库要求严格的固定schema，因此不适合直接存储半结构化数据。3.狭义的Hadoop仅包含HDFS分布式文件系统和MapReduce计算框架两个核心组件。（）答案：×解析：狭义Hadoop的核心组件包括HDFS、YARN、MapReduce三个部分，YARN是2.x版本之后引入的核心资源调度组件。4.数据预处理是大数据处理流程中不可或缺的环节，直接影响后续数据分析结果的准确性。（）答案：√解析：原始数据普遍存在缺失、重复、不一致等质量问题，数据预处理可提升数据质量，是后续分析准确性的重要保障。5.ApacheStorm是一种离线批处理框架，适合处理TB级别的历史数据。（）答案：×解析：Storm是纯实时流处理框架，主要用于实时流式数据处理，不适合离线批处理场景。6.数据脱敏是数据清洗的核心操作之一，主要用于处理数据中的隐私字段。（）答案：×解析：数据脱敏属于数据安全与隐私保护范畴，不属于数据清洗的核心操作；数据清洗的核心是解决数据质量问题。7.HBase是基于HDFS的列式分布式NoSQL数据库，支持高并发随机读写，可存储PB级海量数据。（）答案：√解析：HBase是Hadoop生态的核心NoSQL组件，底层依赖HDFS存储，采用列式架构，支持高并发随机读写，可扩展至PB级存储容量。8.大数据处理只能采用分布式架构，集中式架构完全无法处理任何大数据场景。（）答案：×解析：分布式架构是大数据处理的主流架构，但集中式架构也可处理小规模大数据场景，仅在处理超大规模数据时存在性能瓶颈。9.ETL是数据抽取、转换、加载的简称，是构建数据仓库的核心环节。（）答案：√解析：ETL负责将分散在不同数据源的数据抽取、转换后加载到数据仓库中，是数据仓库构建的核心流程。10.Flume主要用于结构化数据的采集，可实现MySQL与HDFS之间的数据同步。（）答案：×解析：Flume是分布式日志采集系统，主要用于半结构化/非结构化的日志类数据采集；结构化数据同步通常使用Sqoop工具。11.数据归约的核心目标是在不影响分析结果准确性的前提下，减少数据规模，提升处理效率。（）答案：√解析：数据归约包括维度归约、数值归约等方式，可降低数据的维度和量级，在保障分析结果准确的前提下提升处理效率。12.YARN是Hadoop生态的资源调度框架，仅能为MapReduce任务提供资源调度服务。（）答案：×解析：YARN是通用资源调度框架，除MapReduce外，还支持Spark、Flink等多种计算框架，实现集群资源的统一调度。13.大数据的“多样（Variety）”特征仅指数据格式的多样性，不包括数据来源的多样性。（）答案：×解析：大数据的多样性特征既包括数据格式的多样性（结构化、半结构化、非结构化），也包括数据来源的多样性（业务系统、物联网、社交网络等）。14.网络爬虫采集互联网公开数据时，无需遵守目标网站的robots协议，可任意爬取内容。（）答案：×解析：网络爬虫采集公开数据必须遵守目标网站的robots协议，不得爬取禁止访问的内容，不得过度爬取影响网站正常运行，需遵守数据合规要求。15.HDFS的多副本机制可提升数据可靠性，当单个DataNode故障时，数据不会丢失。（）答案：√解析：HDFS默认存储3份数据副本，分散在不同DataNode上，单个DataNode故障时可从其他副本读取数据，NameNode会自动补充缺失副本，保障数据不丢失。四、简答题（共4题，每题8分，共32分）1.请简述大数据的5V核心特征，并分别解释其含义。参考答案：大数据的5V核心特征包括Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（真实）、Value（低价值密度），具体含义如下：（1）Volume（大量）：指数据总量规模巨大，数据量级从TB级向PB、EB甚至ZB级延伸，远超传统数据处理系统的存储和处理能力。（2）Velocity（高速）：指数据产生、传输和处理的全链路速度要求高，一方面数据产生速率快（如物联网设备每秒产生百万级数据点），另一方面业务对数据处理的响应时效要求高，很多场景需要实时或近实时处理。（3）Variety（多样）：指数据类型和来源多样化，数据类型涵盖结构化数据、半结构化数据、非结构化数据；数据来源包括业务系统、物联网设备、社交网络、互联网爬虫等多个渠道。（4）Veracity（真实）：指数据的真实性和可靠性存在不确定性，大数据来源广泛，数据中可能包含噪声、错误、不一致甚至虚假信息，需要通过数据清洗、校验等手段保障数据质量。（5）Value（低价值密度）：指单位数据的价值较低，有效价值在数据总量中的占比很小，需要通过大数据分析、挖掘算法从海量数据中提取有价值的信息，如监控视频中仅少量片段包含有效信息。2.请简述大数据处理的核心流程，并说明每个环节的主要作用。参考答案：大数据处理的核心流程分为数据采集、数据预处理、数据存储、数据计算与分析、数据可视化与应用五个环节，各环节作用如下：（1）数据采集：是大数据处理的起点，通过工具从不同数据源获取原始数据，数据源包括业务系统、物联网设备、社交平台、互联网公开数据等；核心作用是全面、准确地采集所需数据，为后续处理提供原始素材，常用工具有Sqoop、Flume、Scrapy、Kafka等。（2）数据预处理：是对原始数据进行加工的环节，主要解决原始数据质量差、格式不统一、分散存储等问题；具体包括数据清洗、数据集成、数据变换、数据归约四个核心步骤，作用是提升数据质量和可用性，为后续分析提供可靠的数据基础。（3）数据存储：是将预处理后的数据按照架构存储到存储系统中，根据数据类型和应用场景可采用分布式文件系统、分布式数据库、数据仓库等存储方式；作用是实现海量数据的安全、可靠、高效存储，满足后续计算分析的读写需求。（4）数据计算与分析：是大数据处理的核心环节，通过计算框架和分析算法对存储的数据进行处理，挖掘数据价值；根据处理时效可分为批处理和流处理，分析方法包括统计分析、数据挖掘、机器学习等；作用是从数据中提取规律、发现价值，支撑业务决策。（5）数据可视化与应用：是将分析结果以直观方式呈现并落地到业务场景的环节，通过可视化工具将分析结果转化为图表、大屏等形式，落地到精准营销、风险防控、智慧城市等场景；作用是将数据价值转化为业务价值，实现大数据的落地应用。3.请对比结构化数据、半结构化数据和非结构化数据的核心区别，并分别举例说明。参考答案：三类数据的核心区别在于是否具有固定的预定义模式，具体对比如下：（1）定义与特征区别：①结构化数据：也称为行数据，受严格的预定义schema约束，具有固定的结构和格式，字段名称、类型、长度均预先定义，可直接通过关系型数据库存储和查询。②半结构化数据：介于结构化和非结构化之间，具有自描述性（包含结构标签），但模式不固定、可动态变化，结构与内容混合存储，无法直接用传统关系型数据库的固定表结构存储。③非结构化数据：没有固定结构和格式，无预定义schema，数据类型多样，无法用统一结构表示，传统关系型数据库难以直接处理。（2）举例说明：①结构化数据：企业ERP系统中的员工信息表、银行账户交易记录、电商平台的商品订单表等。②半结构化数据：JSON格式的API返回数据、XML配置文件、HTML网页源码、MongoDB中的文档数据等。③非结构化数据：道路监控视频、用户上传的图片、语音通话录音、微信聊天图文消息、扫描版合同PDF、纯文本小说内容等。4.请简述HDFS的架构组成及各核心组件的功能。参考答案：HDFS采用主从（Master/Slave）架构，核心组件包括NameNode、SecondaryNameNode、DataNode，各组件功能如下：（1）NameNode（主节点）：是HDFS的核心管理节点，集群中通常有1个活跃主节点（高可用模式下有主备2个），核心功能包括：管理HDFS的命名空间，维护文件系统目录树、文件与目录的元数据（文件名、大小、权限、块列表等）；管理数据块的映射信息，记录每个数据块对应的DataNode存储位置；处理客户端的读写请求，调度数据块的存储与读取；配置副本策略，保障数据可靠性。（2）SecondaryNameNode（辅助名称节点）：是NameNode的辅助节点，核心功能是定期合并NameNode的FsImage（元数据镜像文件）和EditLog（编辑日志），生成新的FsImage，减少NameNode的启动时间，同时起到元数据备份的作用；但不提供实时元数据服务，无法直接替代故障的NameNode。（3）DataNode（从节点）：是HDFS的数据存储节点，集群中有多个DataNode，核心功能包括：存储客户端写入的数据块，按照NameNode指令存储和删除数据块；定期向NameNode发送心跳信息和块列表报告，汇报自身存储状态；响应客户端读写请求，直接与客户端传输数据块。五、综合应用题（共2题，第1题8分，第2题7分，共15分）1.某电商企业搭建大数据平台处理用户行为数据，已知数据来源包括三类：①业务系统MySQL存储的用户订单、商品信息等结构化数据；②用户访问APP产生的JSON格式日志数据，每秒产生约10万条；③第三方平台的公开商品评论数据，需从网页爬取。平台需支持两类分析需求：一是实时分析（如实时统计页面访问量、用户浏览路径）；二是离线分析（如每月用户消费画像分析）。预处理环节发现日志数据存在大量重复记录、部分字段缺失、时间格式不统一的问题。请结合上述场景回答以下问题：（1）针对三类不同数据源，分别选择合适的数据采集工具，并说明理由。（3分）（2）针对两类分析需求，分别选择合适的计算框架，并说明理由。（3分）（3）针对日志数据的三类质量问题，给出对应的解决方法。（2分）参考答案：（1）采集工具选择及理由：①MySQL结构化数据选择Sqoop：Sqoop是专门用于关系型数据库与Hadoop系统之间数据传输的工具，支持全量、增量同步，适配结构化数据的采集需求。②APP高并发日志数据选择Flume+Kafka组合：Flume支持日志的实时采集、聚合与传输；Kafka为高吞吐分布式消息队列，可实现流量削峰填谷，适配每秒10万条的高并发采集需求。③第三方网页评论数据选择Scrapy爬虫框架：Scrapy支持异步爬取、数据解析、反爬应对，可高效采集互联网公开网页数据。（2）计算框架选择及理由：①实时分析选择ApacheFlink：Flink为原生流批一体框架，流处理延迟可达毫秒级，支持窗口计算、复杂事件处理，可满足实时统计的低延迟要求。②离线分析选择ApacheSpark（SparkSQL）：Spar