2026年高职大数据技术应用(数据统计分析)试题及答案

2026年高职大数据技术应用(数据统计分析)试题及答案1.单项选择题（每题2分，共20分）1.1在Pythonpandas中，将DataFrame的缺失值统一替换为0，应使用的语句是A.df.dropna()B.df.fillna(0)C.df.replace(np.nan,0)D.df.isnull(0)答案：B1.2对连续型变量做标准化处理时，常用的Z-score公式为A.(x−min)/(max−min)B.x/σC.(x−μ)/σD.(x−μ)/μ答案：C1.3在Hive中，查看表分区信息的命令是A.SHOWPARTITIONSB.DESCFORMATTEDC.MSCKREPAIRTABLED.ALTERTABLEADDPARTITION答案：A1.4下列关于HDFS写入流程的描述，正确的是A.客户端直接向DataNode写入，不经过NameNodeB.数据先写入NameNode本地磁盘，再分发到DataNodeC.客户端将数据流分成packet，按pipeline依次写入多个DataNodeD.写入完成后，客户端无需向NameNode报告完成信息答案：C1.5在SparkSQL中，将DataFrame注册为临时视图的API是A.createOrReplaceTempViewB.registerTempTableC.cacheTableD.createGlobalTable答案：A1.6若随机变量X~N(μ,σ²)，则P(μ−σ≤X≤μ+σ)约为A.50%B.68%C.95%D.99%答案：B1.7在聚类算法中，K-means的目标函数是A.最小化簇内方差之和B.最大化簇间距离之和C.最小化信息熵D.最大化轮廓系数答案：A1.8下列关于Flink窗口机制的描述，错误的是A.滚动窗口长度固定，无重叠B.滑动窗口长度与步长可不同C.会话窗口以空闲时间间隔为边界D.全局窗口默认自带触发器答案：D1.9在MySQL中，建立列式存储引擎以提升统计分析性能的选项是A.InnoDBB.MyISAMC.MEMORYD.Infobright答案：D1.10使用pandas的merge函数进行左连接时，参数how应取A.'inner'B.'left'C.'right'D.'outer'答案：B2.多项选择题（每题3分，共15分；多选少选均不得分）2.1下列属于数据倾斜常见解决策略的有A.两阶段聚合（局部聚合+全局聚合）B.增加reduce端并行度C.使用随机前缀打散热点keyD.将map端join改为reduce端join答案：A、B、C2.2关于ROC曲线的性质，正确的有A.曲线越靠近左上角，模型性能越好B.AUC取值范围[0,1]，0.5表示随机猜测C.ROC对正负样本比例变化敏感D.当阈值降低时，TPR与FPR同时单调不减答案：A、B、D2.3在特征选择方法中，属于过滤式（filter）的有A.卡方检验B.互信息C.L1正则化D.方差选择法答案：A、B、D2.4下列Spark算子中，属于行动（action）类型的有A.reduceB.collectC.mapD.count答案：A、B、D2.5关于HiveSQL中ORDERBY与SORTBY的区别，正确的有A.ORDERBY保证全局有序，单reduce输出B.SORTBY仅保证每个reduce内部有序C.ORDERBY可与CLUSTERBY混用D.SORTBY常与DISTRIBUTEBY配合使用答案：A、B、D3.填空题（每空2分，共20分）3.1在pandas中，将字符串列转换为日期时间类型的函数是________。答案：to_datetime3.2若样本均值x̄=100，样本标准差s=10，样本量n=400，则均值标准误为________。答案：0.53.3在Linux中，查看当前目录下各子目录磁盘使用情况的命令是________。答案：du-h--max-depth=13.4在Kafka中，负责分区副本与leader选举的角色称为________。答案：Controller3.5在SQL中，计算分组后累计占比的窗口函数为________。答案：SUM(x)OVER(PARTITIONBY…ORDERBY…ROWSUNBOUNDEDPRECEDING)/SUM(x)OVER(PARTITIONBY…)3.6在Python中，使用seaborn绘制热力图的函数是________。答案：heatmap3.7在决策树算法中，C4.5采用________指标进行划分选择。答案：信息增益率3.8在Flink中，实现Exactly-Once语义的核心机制是________。答案：分布式快照（Checkpoint）3.9在HBase中，用于快速定位文件的最高层索引结构是________。答案：BloomIndexBlock3.10在R语言中，将数据框按某列去重的函数是________。答案：unique或dplyr::distinct4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1在Hive中，使用LZO压缩可以提高ORC表的查询效率。答案：√4.2当样本量趋于无穷大时，t分布趋近于标准正态分布。答案：√4.3Spark的RDD一旦生成便不可修改，但可通过转换算子生成新的RDD。答案：√4.4在逻辑回归中，若特征完全线性可分，则最大似然估计一定存在且唯一。答案：×4.5HDFS的NameNode内存大小与块大小无关，仅与文件数量有关。答案：×4.6使用Kafka保证消息顺序的必要条件是每个分区仅对应一个消费者实例。答案：√4.7在pandas中，groupby之后直接调用mean()返回的是DataFrame。答案：√4.8当多重共线性存在时，岭回归比OLS更稳定。答案：√4.9在MongoDB中，聚合管道不支持$lookup操作。答案：×4.10如果AUC=1，则分类器在任意阈值下都不可能出现FP>0。答案：√5.简答题（封闭型，每题6分，共18分）5.1简述MapReduce中“shuffle”阶段的具体流程，并指出其对性能影响最大的两个参数。答案：（1）Map端：每个map任务将输出结果根据分区函数分成若干分区，并写入环形内存缓冲区；当缓冲区阈值（默认80%）达到时，后台线程将数据溢写（spill）到本地磁盘，期间进行排序与可选combiner；最终对所有溢写文件进行多路归并，生成一个有序且分区的map输出文件。（2）Reduce端：通过HTTP拉取（fetch）各自分区的数据；拉取完成后，对所有map端文件再次归并排序，形成有序输入。（3）性能关键参数：io.sort.mb（map端缓冲区大小）、reduce.shuffle.parallelcopies（reduce端并行拉取线程数）。5.2写出使用pandas进行时间序列重采样并计算7日滑动平均的代码片段（假设日期列为'dt'，指标列为'val'）。答案：df['dt']=pd.to_datetime(df['dt'])df=df.set_index('dt')weekly=df['val'].resample('D').mean()ma7=weekly.rolling(window=7,min_periods=1).mean()5.3说明在Hive中如何动态分区插入，并给出一条示例SQL。答案：需设置动态分区模式与非严格模式：SEThive.exec.dynamic.partition=true;SEThive.exec.dynamic.partition.mode=nonstrict;示例SQL：INSERTINTOTABLEtgtPARTITION(year,month)SELECTid,name,year(order_date)ASyear,month(order_date)ASmonthFROMsrc;6.简答题（开放型，每题8分，共16分）6.1某电商公司“秒杀”场景下，订单表出现大量热点key（如爆款商品ID）导致Spark作业长尾。请提出三种以上端到端优化方案，并权衡其代价。答案：（1）两阶段聚合：map端局部聚合+reduce端全局聚合，减少shuffle数据量；代价为增加一次CPU计算。（2）随机前缀：对热点key添加随机前缀，打散到多个reduce，第二阶段再去前缀聚合；代价为增加一次job。（3）map端join：将维度表广播到map端，避免reduceshuffle；代价为广播表需足够小，Driver内存压力增大。（4）采样+估算：对热点key单独采样，使用近似算法（HyperLogLog、Count-MinSketch）降低精度换性能；代价为结果近似，需业务容忍误差。（5）资源层动态扩容：利用YARN/K8s动态申请更多reduce资源，缩短长尾时间；代价为集群成本上升。6.2某市交通部门欲基于出租车GPS数据建立实时拥堵指数。请给出从数据采集到可视化展示的完整技术链路，并说明如何保障Exactly-Once。答案：采集层：车载终端通过MQTT推送到Kafka，topic按城市分区；Kafka开启幂等写与事务消息。流计算层：Flink消费Kafka，采用EventTime+WaterMark处理乱序；使用RockDBStateBackend开启Checkpoint，每30秒一次，写入HDFS；sink到ClickHouse采用两阶段提交。存储层：ClickHouse按（路段、窗口）去重表设计ReplacingMergeTree。服务层：SpringBoot提供RESTfulAPI，缓存Redis。可视化：Grafana读取ClickHouse，展示热力图与折线。Exactly-Once保障：Kafka幂等producer+FlinkCheckpoint+ClickHouse两阶段提交，失败时利用Flink自动回滚状态并重新提交事务。7.应用题（计算类，共20分）7.1某互联网公司统计用户日活，随机抽取100天，记录每日DAU，得样本均值x̄=1.2百万，样本标准差s=0.3百万。（1）求日均DAU的95%置信区间（t分位数t0.025,99≈1.984）。（2）若希望估计误差不超过0.05百万，置信水平仍为95%，求最小样本量（按正态近似）。答案：（1）区间=x̄±ts/√n=1.2±1.9840.3/10=1.2±0.0595→（1.1405,1.2595）百万（1）区间=x̄±ts/√n=1.2±1.9840.3/10=1.2±0.0595→（1.1405,1.2595）百万（2）n=(zσ/E)^2=(1.960.3/0.05)^2=138.3→向上取整139天（2）n=(zσ/E)^2=(1.960.3/0.05)^2=138.3→向上取整139天8.应用题（分析类，共15分）8.1给定订单表orders（order_id,user_id,amt,status），需统计近30天每个用户的首单金额与末单金额，并计算差额（末单−首单）。请写出完整HiveSQL，并说明如何优化执行计划。答案：SQL：WITHtAS(SELECTuser_id,amt,order_date,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYorder_dateASC)ASrn_first,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYorder_dateDESC)ASrn_lastFROMordersWHEREorder_dateBETWEENDATE_SUB(CURRENT_DATE,29)ANDCURRENT_DATE),fAS(SELECTuser_id,amtASfirst_amtFROMtWHERErn_first=1),lAS(SELECTuser_id,amtASlast_amtFROMtWHERErn_last=1)SELECTf.user_id,first_amt,last_amt,last_amt-first_amtASdiffFROMfJOINlONf.user_id=l.user_id;优化：（1）orders表按(user_id,order_date)分区并orc压缩；（2）开启CBO与矢量化查询；（3）对子查询t采用bucketmapjoin，若user_id分布均匀可减小shuffle。9.应用题（综合类，共26分）9.1某零售企业提供2025年全年销售明细CSV（大小500GB，字段：store_id,sku_id,qty,amt,sale_date）。要求：①建立可扩展数据仓库，支持按store、sku、日期维度快速汇总；②实现月度环比增长率计算；③提供RESTful接口，支持秒级查询任意门店任意SKU最近12个月环比；④整体成本不超过原MySQL方案的70%。请给出架构设计、技术选型、核心ETL代码、接口示例及成本评估。答案：架构：采集层：Flume→HDFS（原始CSV）存储层：Hive分区表（store_id,year,month）ORC+ZLIB，建立外部表；ClickHouse存月度汇总表（SummingMergeTree）计算层：SparkSQL每日离线ETL，Flink-cdc同步维度变更接口层：SpringBoot+MyBatis访问ClickHouse，Redis缓存热点核心ETL：SparkSQLINSERTOVERWRITETABLEhive.sales_mPARTITION(year,month)SELECTstore_