2025年大数据技术概论题库及答案大全

2025年大数据技术概论题库及答案大全一、单项选择题（共20题，每题1分，总计20分）1.大数据传统核心特征中，用于描述数据产生、流转、处理速度快，要求实现低延迟响应的特征是（）A.Volume（海量性）B.Velocity（高速性）C.Variety（多样性）D.Value（价值性）2.2025年主流大数据架构中，湖仓一体实现多负载统一支撑的核心技术基础是（）A.集中式高端关系型数据库B.开放表格式实现存算解耦下的ACID事务支持C.专用图数据库集群D.单机高密度存储服务器3.Hadoop生态体系中，负责集群资源统一调度与管理的核心组件是（）A.HDFSB.MapReduceC.YARND.ZooKeeper4.以下实时计算框架中，原生支持事件时间语义、Watermark乱序处理机制、端到端Exactly-Once语义，是当前批流一体场景主流选型的是（）A.StormB.FlinkC.SparkStreaming（微批模式）D.MapReduce5.隐私计算技术中，适用于跨机构样本重叠度高、特征空间差异大（如同一城市的银行与电商平台联合开展用户信用评估）的联合建模场景的技术分支是（）A.横向联邦学习B.纵向联邦学习C.联邦迁移学习D.差分隐私6.数据处理流程中，“先将原始数据加载到目标存储系统，再根据业务需求在存储端完成数据转换加工”的模式是（）A.ETLB.ELTC.EAID.CDC7.以下NoSQL数据库中，属于列族型存储、适合存储海量结构化半结构化数据、支持高吞吐随机读写的是（）A.RedisB.MongoDBC.HBaseD.Neo4j8.我国《数据安全法》明确的数据安全管控核心基础制度是（）A.数据备份制度B.数据分类分级保护制度C.数据交易制度D.数据归档制度9.大模型训练数据处理流程中，核心目标为去除重复数据、噪声数据、有害内容、侵权内容，提升训练语料质量的环节是（）A.数据采集B.数据清洗C.数据加密D.数据可视化10.大数据场景下，记录数据的业务含义、技术属性、来源链路、流转路径、依赖关系的管理模块是（）A.元数据管理B.数据脱敏C.任务调度D.资源监控11.分布式消息队列Kafka的核心数据存储逻辑单元是（），通过分区机制实现高吞吐水平扩展A.BrokerB.TopicC.ProducerD.Consumer12.以下隐私计算技术中，属于硬件级隔离方案，通过在CPU中构建加密隔离的“飞地”执行环境，实现数据密文计算的是（）A.多方安全计算（MPC）B.差分隐私C.可信执行环境（TEE）D.同态加密13.数据质量评价维度中，用于衡量数据是否存在缺失记录、缺失字段的是（）A.完整性B.准确性C.一致性D.时效性14.实时数仓架构中，直接对接业务数据源、原样存储原始数据、不做加工转换、支撑数据回溯的层级是（）A.ADS应用层B.DWS汇总层C.DWD明细层D.ODS贴源层15.以下存储架构中，支持计算资源与存储资源独立扩缩容、资源池化共享、弹性调度，是当前云原生大数据平台主流架构的是（）A.存算一体架构B.存算分离架构C.单机存储架构D.直连存储架构16.图数据库Neo4j最适合支撑的业务场景是（）A.电商订单交易数据存储B.社交网络关系链路分析C.系统日志实时采集D.热点数据缓存17.数据生命周期管理的核心目标是（）A.实现数据永久存储B.根据数据价值与访问频率优化存储成本、管控安全风险C.提升数据处理速度D.统一数据口径18.交互式查询引擎Trino（原Presto）的核心优势是（）A.支持超大规模数据集的毫秒级低延迟多源联邦查询B.支持单节点大容量存储C.内置全量机器学习算法库D.原生支持实时流数据处理19.数据要素市场化配置的核心前提是（）A.明确数据权属、建立合规流通规则B.扩大数据存储规模C.提升数据处理速度D.推广可视化工具20.Flink机制中，用于衡量事件时间进度、处理乱序数据的核心组件是（）A.CheckpointB.WatermarkC.SlotD.TaskManager单项选择题参考答案：1.B2.B3.C4.B5.B6.B7.C8.B9.B10.A11.B12.C13.A14.D15.B16.B17.B18.A19.A20.B二、多项选择题（共15题，每题2分，总计30分，多选、少选、错选均不得分）1.大数据技术栈的核心层级包含以下哪些模块（）A.数据采集与传输层B.数据存储层C.数据计算与分析层D.数据治理与服务层2.以下属于大数据采集传输层常用工具的有（）A.FlumeB.LogstashC.SqoopD.KafkaConnect3.当前主流的开放表格式技术，用于支撑湖仓一体架构ACID能力的有（）A.ApacheIcebergB.ApacheHudiC.DeltaLakeD.MySQLInnoDB4.隐私计算的核心技术路径包含以下哪些类别（）A.联邦学习B.多方安全计算C.差分隐私D.可信执行环境5.数据质量的核心评价维度包含（）A.完整性B.准确性C.一致性D.时效性E.唯一性6.以下属于Spark生态核心组件的有（）A.SparkCoreB.SparkSQLC.MLlib（机器学习库）D.GraphX（图计算库）7.湖仓一体架构相比传统数据湖、传统数据仓库的核心优势有（）A.支持多模态数据统一存储，避免数据冗余搬迁B.具备ACID事务能力，解决数据沼泽问题C.统一支撑批处理、流处理、交互式分析、机器学习等多类负载D.兼容存算分离架构，实现资源弹性扩缩容8.大数据安全管控的核心技术手段包含（）A.数据分类分级B.敏感数据脱敏C.细粒度访问控制D.操作审计与溯源9.实时数仓的核心分层通常包含（）A.ODS贴源层B.DWD明细层C.DWS汇总层D.ADS应用层10.大模型时代大数据技术面临的新挑战包含（）A.多模态数据统一处理与对齐难度提升B.训练数据的版权、隐私合规要求显著提高C.高质量垂直领域数据稀缺，数据清洗筛选成本上升D.需要构建数据-模型闭环的实时迭代链路11.以下关于Kafka技术特性的描述正确的有（）A.支持高吞吐、低延迟的消息传输B.支持数据多副本持久化存储，具备高容错性C.支持分区水平扩展，适配超大规模流量场景D.支持端到端Exactly-Once语义，避免数据重复丢失12.数据治理体系的核心模块包含（）A.数据标准管理B.元数据与数据血缘管理C.数据质量管理D.数据安全管理E.数据生命周期管理13.数据要素流通的主要模式包含（）A.公共数据开放B.政企数据共享C.合规数据交易D.公共数据授权运营14.以下关于联邦学习技术特性的描述正确的有（）A.实现数据“可用不可见”，原始数据不出本地域B.可支撑跨机构联合建模，降低数据流通合规风险C.横向联邦适用于参与方特征重叠度高、样本空间差异大的场景D.纵向联邦适用于参与方样本重叠度高、特征空间差异大的场景15.Flink实现端到端Exactly-Once语义需要依赖的核心机制包含（）A.Checkpoint分布式快照机制B.支持事务的Sink组件C.可重置的数据源读取位点D.单机内存计算多项选择题参考答案：1.ABCD2.ABCD3.ABC4.ABCD5.ABCDE6.ABCD7.ABCD8.ABCD9.ABCD10.ABCD11.ABCD12.ABCDE13.ABCD14.ABD15.ABC三、判断题（共20题，每题0.5分，总计10分，正确选√，错误选×）1.大数据的价值密度与数据总规模呈线性正相关关系，数据规模越大，单位数据的价值越高。（）2.HDFS分布式文件系统采用大文件分块存储、多副本容错机制，适合高吞吐的批处理场景，但不适合低延迟的随机读写场景。（）3.联邦学习技术可以实现数据“可用不可见”，能够有效平衡数据价值流通与隐私合规保护的需求。（）4.湖仓一体架构支持在同一存储底座上同时运行BI分析、实时计算、机器学习训练等多类负载，减少多系统间的数据搬迁成本。（）5.ELT数据处理模式相比传统ETL，更适配云原生数仓的弹性计算能力，能够降低数据转换的前期负载。（）6.差分隐私技术通过在查询或计算结果中添加适量随机噪声，避免攻击者通过差分推断获取个体敏感信息。（）7.Redis是典型的文档型NoSQL数据库，适合存储访问频率极低的海量冷数据。（）8.数据血缘管理能够记录数据从产生、加工、流转到应用的全链路路径，支撑数据溯源、影响分析、故障定位等场景。（）9.Flink仅支持处理时间语义，无法处理业务场景中常见的乱序事件。（）10.数据分类分级是开展数据安全精细化管控的前提，需要根据数据的重要程度、敏感程度、一旦泄露的危害程度划定保护等级。（）11.HBase是基于HDFS的列族型数据库，原生支持高并发随机读写，但不支持复杂SQL联表查询。（）12.Kafka的Topic分区数设置越多，集群的整体吞吐量就会线性提升，不存在性能瓶颈。（）13.数据脱敏后的敏感数据不存在被逆向还原或关联攻击的风险，因此可以无条件对外提供使用。（）14.批流一体架构的核心是使用同一套计算引擎、同一套计算逻辑同时处理离线历史数据和实时流数据，消除传统架构下离线、实时链路冗余和口径不一致的问题。（）15.2025年主流云原生大数据平台普遍采用存算分离架构，实现存储与计算资源的独立弹性扩缩容，提升资源利用率。（）16.大数据分析中的相关性分析可以完全替代因果分析，直接支撑所有业务决策。（）17.可信执行环境（TEE）基于硬件隔离机制构建加密计算区域，相比纯密码学的隐私计算方案具备更高的计算性能。（）18.大模型训练使用的公开网络数据不需要开展版权合规校验和内容清洗，可以直接用于模型训练。（）19.特征平台（FeatureStore）是大模型与推荐系统场景下的核心组件，能够实现离线训练与在线推理的特征一致性，降低特征开发成本。（）20.数据生命周期管理需要针对不同访问频率、不同价值等级、不同敏感等级的数据，制定差异化的存储、备份、归档、销毁策略，在保障安全的前提下降低存储成本。（）判断题参考答案：1.×2.√3.√4.√5.√6.√7.×8.√9.×10.√11.√12.×13.×14.√15.√16.×17.√18.×19.√20.√四、简答题（共6题，每题5分，总计30分）1.请简述大数据传统4V特征的核心内涵，并结合大模型应用场景说明其特征演进。参考答案：传统大数据4V特征包括：①Volume（海量性）：指数据采集、存储、计算的规模从TB级跃升至PB、EB级，数据规模远超传统关系型数据库的处理能力；②Velocity（高速性）：指数据产生、流转的速度快，需要实现秒级甚至毫秒级的低延迟处理与响应，支撑实时业务场景；③Variety（多样性）：指数据类型包含结构化数据（数据库表）、半结构化数据（日志、JSON、XML）、非结构化数据（文本、图像、音频、视频）等多类格式，来源覆盖业务系统、IoT设备、互联网公开数据等多渠道；④Value（低价值密度）：指海量数据中高价值信息的占比低，需要通过分布式计算、机器学习等手段从海量噪声数据中挖掘有效价值。在大模型应用场景下，大数据特征进一步演进：一是多样性延伸至多模态数据深度融合，传感器数据、3D模型、音视频等非结构化数据占比超过80%，需要实现跨模态数据的对齐与统一表示；二是价值属性升级，高质量垂直领域数据成为大模型效果提升的核心生产资料，价值密度的衡量从泛化信息转向场景适配的知识密度；三是新增Veracity（真实性）要求，大模型对训练数据的真实性、准确性、版权合规性提出更高要求，避免幻觉、侵权等问题；四是高速性延伸至数据-模型闭环，需要实现推理数据、用户反馈数据的实时采集与处理，支撑大模型的在线迭代与优化。2.请简述湖仓一体架构的核心技术特征，及其相比传统数据湖、传统数据仓库的优势。参考答案：湖仓一体是融合传统数据仓库与数据湖优势的新一代大数据架构，核心技术特征包括：①以对象存储、分布式文件系统等低成本存储为底座，采用开放表格式（ApacheIceberg、Hudi、DeltaLake）实现存储层的ACID事务支持、Schema演进、版本回溯能力；②采用存算分离架构，支持计算、存储资源独立弹性扩缩容；③统一存储多模态数据，支持批处理、流处理、交互式分析、机器学习训练等多类负载的统一运行；④开放标准接口，兼容主流计算引擎，避免厂商锁定。相比传统架构的优势：①对比传统数据仓库，湖仓一体支持非结构化数据存储，存储成本降低60%以上，扩展灵活性更强，能够支撑AI类非结构化数据处理负载；②对比传统数据湖，湖仓一体具备完善的事务能力和数据治理能力，解决了传统数据湖数据质量差、缺乏一致性保障、易形成“数据沼泽”的问题；③消除了数据湖与数仓之间的数据冗余搬迁环节，实现“一份数据支撑多类负载”，大幅降低数据链路的运维成本和冗余存储成本。3.请简述隐私计算四类核心技术路径的原理与适用场景。参考答案：隐私计算是实现数据“可用不可见”的核心技术体系，四类核心路径包括：①联邦学习：基于分布式建模框架，各参与方在本地存储原始数据，仅通过加密传输模型中间参数完成联合建模，不泄露原始数据信息，分为横向联邦（特征重叠高、样本重叠低，适合同领域跨机构联合建模）、纵向联邦（样本重叠高、特征重叠低，适合跨领域机构合作，如银行与电商联合风控）、联邦迁移学习（样本、特征重叠均低，适合跨领域知识迁移），是跨机构数据联合建模场景的主流选型；②多方安全计算（MPC）：基于密码学秘密分享、混淆电路等技术，在无可信第三方的前提下实现多方数据的联合计算，计算过程中各方原始数据不泄露，计算精度与明文计算一致，适合高安全要求的联合统计、精准计算场景；③差分隐私：在数据查询、计算结果中添加可控的随机噪声，使得攻击者无法通过多次查询逆向推断单个个体的敏感信息，适合公共数据发布、用户统计查询等场景；④可信执行环境（TEE）：基于CPU硬件加密隔离机制构建受保护的“飞地”计算空间，数据在飞地内解密计算，外部操作系统、管理员无法访问飞地内的数据，具备高性能、高兼容性的特点，适合大模型密文推理、高吞吐量密文计算场景。4.请简述大数据治理体系的核心模块及各模块的作用。参考答案：大数据治理体系是保障数据可信、合规、可用的核心支撑，核心模块包括：①数据标准管理：统一业务术语、技术字段、指标口径的定义规范，消除跨部门、跨系统的数据歧义，保障数据理解一致；②元数据与数据血缘管理：采集全链路数据的业务属性、技术属性、存储位置、流转路径、依赖关系，构建数据血缘网络，支撑数据溯源、影响分析、故障快速定位；③数据质量管理：围绕完整性、准确性、一致性、时效性、唯一性五大维度建立质量监控规则，对异常数据实时告警、定位、修复，保障数据可靠性；④数据安全管理：落实数据分类分级要求，通过细粒度访问控制、敏感数据动态脱敏、传输存储加密、操作全程审计等技术手段，防范数据泄露、篡改、滥用风险，满足合规要求；⑤数据生命周期管理：针对数据从采集、存储、加工、应用到归档、销毁的全流程制定管理策略，根据数据的访问频率、价值等级、敏感等级匹配差异化的存储介质与安全策略，优化存储成本，降低安全风险；⑥数据资产运营：建立数据资产目录，量化数据资产价值，推动数据资产的共享、流通与复用，释放数据价值。5.请简述批流一体实时数仓的核心分层架构及各层作用。参考答案：批流一体实时数仓采用与离线数仓一致的分层逻辑，使用同一套计算逻辑同时处理实时流数据与离线历史数据，核心分层包括：①ODS贴源层：直接对接业务数据库binlog、系统日志、IoT设备数据等原始数据源，不对数据做业务逻辑加工，原样存储原始数据，保留数据最原始状态，支撑数据回溯与问题排查；②DWD明细层：对ODS层数据进行清洗、去重、脱敏、维度关联、脏数据过滤，形成标准化、规范化的明细事实数据，构建统一的公共明细数据层，避免重复加工；③DWS汇总层：按照业务主题域对DWD层明细数据进行轻度聚合，构建统一的公共汇总指标、用户标签、特征数据，为上层应用提供可复用的聚合数据，减少重复计算开销；④ADS应用层：面向具体业务场景（如实时看板、实时风控、实时推荐），对DWS层数据做高度聚合与定制化加工，形成直接对接业务系统的指标、标签、数据集，支撑业务应用直接调用。6.请简述大模型时代大数据处理技术面临的新挑战。参考答案：大模型技术的规模化应用对大数据技术体系提出了全新挑战，主要包括：①多模态数据处理挑战：大模型训练与推理需要处理文本、图像、音频、视频、3D模型、传感器时序数据等多模态数据，传统面向结构化数据的处理框架难以支撑多模态数据的统一表示、对齐、标注、存储需求，多模态数据处理的复杂度显著提升；②数据合规挑战：大模型训练数据来源广、规模大，涉及个人信息保护、知识产权、内容安全等多类合规风险，传统合规管控手段难以支撑PB级训练数据的全链路合规校验、授权追溯、风险识别；③高质量数据供给挑战：大模型效果高度依赖训练数据质量，当前互联网公开数据质量参差不齐，高质量垂直领域知识数据稀缺，需要构建高效的数据筛选、去重、清洗、质量评估体系，解决大模型幻觉、知识过时等问题；④数据-模型协同挑战：传统大数据链路以BI报表、业务分析为核心终点，大模型场景下需要构建从用户反馈、推理效果数据实时采集，到数据回流、模型迭代的闭环链路，实现数据与模型的实时协同优化；⑤算力与成本挑战：大模型训练所需的数据规模从传统的PB级跃升至EB级，传统大数据处理框架的算力效率、存储成本难以支撑超大规模多模态数据的处理需求，需要构建更高性能、更低成本的云原生大数据处理链路。五、综合应用题（共1题，总计10分）某一线城市计划构建城市级大数据中台，打通政务、交通、医疗、应急、环境等20余个委办局的异构数据，支撑政务服务“一网通办”、城市运行“一网统管”、民生服务精准推送三类核心场景，其中城市运行场景要求实现交通流量、风险隐患、环境指标的秒级监控预警，跨委办局数据共享需严格符合《数据安全法》《个人信息保护法》要求，敏感数据不能流出委办局本地域。请结合当前主流大数据技术体系，设计该中台的核心架构，并说明核心技术选型与数据安全管控机制。参考答案：该城市级大数据中台采用“五层两体系”架构，核心设计如下：第一，架构分层与技术选型：①数据采集传输层：针对委办局存量业务数据库，采用CDC（变更数据捕获）工具FlinkCDC实现增量数据实时同步；针对城市摄像头、环境传感器等IoT设备，采用MQTT网关+Flume实现时序数据、视频流数据采集；所有采集数据统一接入Kafka集群作为缓冲层，支撑每秒千万级数据的高吞吐传输，配置3副本机