2026年大数据与云计算应用考试试卷及答案

2026年大数据与云计算应用考试试卷及答案一、单项选择题（本大题共20小题，每小题1分，共20分。在每小题给出的四个选项中，只有一项是符合题目要求的）

1.在大数据的“4V”特征中，指的是数据产生和处理速度快，时效性要求高的特征是（）。

A.Volume

B.Variety

C.Velocity

D.Value

2.Hadoop分布式文件系统（HDFS）默认的块大小（BlockSize）在较新版本中通常设置为（）。

A.64MB

B.128MB

C.256MB

D.512MB

3.在MapReduce计算模型中，主要负责将Map任务的输出进行合并、排序并传输给Reduce任务的阶段是（）。

A.Split阶段

B.Map阶段

C.Shuffle阶段

D.Reduce阶段

4.下列关于Spark核心概念RDD（ResilientDistributedDataset）的描述，错误的是（）。

A.RDD是一个只读的分区记录集合

B.RDD具有容错机制，可以通过血统Lineage重新计算

C.RDD之间的依赖关系分为窄依赖和宽依赖

D.RDD一旦存储到内存中，就不能被丢弃，必须手动释放

5.在NoSQL数据库的分类中，HBase属于（）。

A.键值存储

B.列族存储

C.文档存储

D.图存储

6.根据NIST的定义，云计算服务模式中，提供给消费者的服务包括运行在云基础设施上的操作系统、中间件和运行时环境等，这种模式被称为（）。

A.IaaS(InfrastructureasaService)

B.PaaS(PlatformasaService)

C.SaaS(SoftwareasaService)

D.DaaS(DataasaService)

7.Docker容器技术与传统虚拟机技术相比，其主要区别在于（）。

A.容器需要独立的操作系统内核

B.容器共享宿主机的操作系统内核

C.容器的隔离性比虚拟机更强

D.容器启动速度比虚拟机慢

8.在Kubernetes架构中，负责维护集群状态并响应API请求的组件是（）。

A.Kubelet

B.Kube-proxy

C.APIServer

D.Etcd

9.下列组件中，主要用于Hadoop集群高可用性（HA）协调，防止脑裂问题的是（）。

A.ZooKeeper

B.Hive

C.Pig

D.Flume

10.数据仓库与操作型数据库的主要区别在于，数据仓库主要关注（）。

A.事务的增删改查

B.数据的实时性

C.数据的分析、决策支持与历史趋势

D.数据的原子性、一致性

11.在分布式系统中，CAP定理指出一个分布式系统不可能同时满足以下三点，其中不包括（）。

A.Consistency(一致性)

B.Availability(可用性)

C.PartitionTolerance(分区容错性)

D.Persistence(持久性)

12.Kafka消息系统的主要特点不包括（）。

A.高吞吐量

B.低延迟

C.强事务性支持（类似传统RDBMS的ACID）

D.分布式、可分区

13.在云计算部署模式中，专为单一客户单独构建而提供的云资源被称为（）。

A.公有云

B.私有云

C.社区云

D.混合云

14.SparkSQL中，将DataFrame注册为临时视图以便执行SQL查询的函数是（）。

A.createTempView

B.registerTempTable

C.createDataFrame

D.saveAsTable

15.下列关于数据预处理中缺失值处理的描述，不正确的是（）。

A.可以直接删除含有缺失值的记录

B.可以使用均值、中位数进行填充

C.缺失值处理对后续模型训练没有影响

D.可以使用插值法进行填充

16.在HBase数据模型中，RowKey的设计至关重要，通常建议利用RowKey的（）特性来提高查询效率。

A.字典序排序

B.随机散列

C.长度固定

D.不可变性

17.ELT（Extract,Load,Transform）过程与ETL（Extract,Transform,Load）过程的主要区别在于（）。

A.ELT先加载后转换，利用数据库引擎处理；ETL先转换后加载

B.ELT主要用于实时流处理，ETL用于批处理

C.ELT不支持数据清洗，ETL支持

D.ELT是云原生技术，ETL是传统技术

18.在机器学习工作流中，用于将数据集划分为训练集和测试集的主要目的是（）。

A.增加数据量

B.评估模型的泛化能力

C.提高模型训练速度

D.减少存储空间占用

19.下列关于Flume的描述，正确的是（）。

A.Flume是Hadoop生态系统中用于离线批处理的组件

A.Flume由Source、Channel、Sink三个核心组件构成

C.Flume不支持自定义插件

D.Flume只能采集日志文件，不能采集网络数据

20.在2026年的主流大数据架构趋势中，强调将数据湖的灵活性与数据仓库的管理能力结合的概念是（）。

A.LambdaArchitecture

B.KappaArchitecture

C.DataLakehouse

D.DataMesh

二、多项选择题（本大题共10小题，每小题2分，共20分。在每小题给出的四个选项中，有多项是符合题目要求的。全部选对得2分，选错得0分，漏选得1分）

1.下列属于Hadoop生态系统核心组件的有（）。

A.HDFS

B.MapReduce

C.YARN

D.LinuxKernel

2.Spark比MapReduce运行速度更快的主要原因包括（）。

A.基于内存计算

B.减少了磁盘I/O

C.使用DAG调度优化执行计划

D.不支持持久化存储

3.云计算的关键技术包括（）。

A.虚拟化技术

B.分布式存储

C.负载均衡

D.单机数据库技术

4.下列属于列式存储数据库优点的有（）。

A.查询时只读取需要的列，I/O效率高

B.适合OLTP事务处理

C.同一列数据类型相同，压缩比高

D.容易进行行级更新

5.在构建推荐系统时，常用的协同过滤算法包括（）。

A.基于用户的协同过滤

B.基于物品的协同过滤

C.基于内容的推荐

D.深度学习推荐

6.Kubernetes中的Pod可以通过以下哪种方式暴露服务（）。

A.ClusterIP

B.NodePort

C.LoadBalancer

D.Ingress

7.数据挖掘的主要任务包括（）。

A.分类与预测

B.聚类分析

C.关联规则挖掘

D.异常检测

8.下列关于Hive的描述，正确的有（）。

A.Hive是将SQL语句转换为MapReduce/Tez/Spark任务运行的工具

B.Hive不适用于低延迟的实时查询

C.Hive元数据通常存储在MySQL等关系型数据库中

D.Hive支持行级别的实时插入和更新（早期版本不支持，ACID支持有限）

9.容器编排的主要功能包括（）。

A.服务发现与负载均衡

B.存储编排

C.自动部署和回滚

D.自我修复

10.大数据安全面临的主要挑战包括（）。

A.数据隐私保护

B.访问控制与身份认证

C.数据完整性

D.跨域数据共享的合规性

三、填空题（本大题共15小题，每小题1分，共15分）

1.HDFS采用________策略来实现数据的冗余备份，默认副本数为3。

2.MapReduce框架中，输入文件被切分为若干个________，每个InputSplit对应一个Map任务。

3.Spark中的________算子用于将多个RDD中的元素合并到一个RDD中。

4.在云计算中，________是一种通过Internet提供云服务的模式，服务提供商管理底层基础设施。

5.Docker镜像是采用________技术构建的，基于UnionFS。

6.YARN（YetAnotherResourceNegotiator）是Hadoop的资源管理器，其核心组件包括ResourceManager和________。

7.HBase中，数据是按照________有序存储的。

8.在关系型数据库理论中，________范式要求属性不可再分。

9.Redis是一个高性能的键值对数据库，常用于________和缓存。

10.在流处理框架中，________架构通过维护实时和历史批处理视图来保证数据的准确性。

11.数据清洗中，用于识别和处理重复数据的过程称为________。

12.Kubernetes使用________来描述应用的期望状态。

13.在Python大数据分析中，________库提供了类似于DataFrame的数据结构，非常适合进行数据清洗和分析。

14.Elasticsearch是一个基于________的分布式搜索和分析引擎。

15.随着边缘计算的发展，________数据处理模式逐渐兴起，即数据在产生源头附近进行处理。

四、判断题（本大题共10小题，每小题1分，共10分。正确的打“√”，错误的打“×”）

1.HDFS适合存储大量的小文件，因为其设计初衷就是为了处理高并发的小文件读写。（）

2.RDD（弹性分布式数据集）是Spark中最基本的数据抽象，它是不可变的。（）

3.公有云、私有云和混合云是根据服务模式来划分的。（）

4.Docker容器之间是完全隔离的，无法通过宿主机网络进行通信。（）

5.在MapReduce中，Reduce任务的数量决定了最终输出文件的数量。（）

6.数据挖掘中的聚类分析是一种无监督学习方法，不需要预先标记的训练数据。（）

7.ZooKeeper不仅用于Hadoop的高可用，也可以作为一个分布式协调服务用于其他分布式系统。（）

8.Kafka消费者可以消费Topic中任意位置的消息，但默认是从最新消息开始消费。（）

9.HBase是建立在HDFS之上的，因此它也支持原子的多行事务。（4.0版本前不支持多行ACID，此处需严谨，旧版HBase仅保证行级原子性，新版有改进，但在经典考试语境下通常认为不支持复杂事务）（）

10.Serverless架构中，开发者无需关心服务器的配置和维护，只需关注业务逻辑代码。（）

五、简答题（本大题共5小题，每小题6分，共30分）

1.简述大数据处理流程中，数据预处理的主要步骤及其重要性。

2.请解释HDFS的“数据本地性”原理及其在MapReduce任务调度中的应用。

3.比较传统虚拟机（VM）与Docker容器在架构和性能上的主要区别。

4.简述CAP定理的内容，并说明在分布式系统设计中通常如何权衡。

5.解释SparkRDD中窄依赖与宽依赖的概念，并说明其对Stage划分的影响。

六、综合应用题（本大题共3小题，共55分）

1.（本题15分）某电商平台拥有海量的用户交易日志，日志格式为：`时间戳,用户ID,商品ID,交易金额`。现需利用MapReduce框架统计“每个商品类别的总销售额”。

假设存在一个外部文件映射了“商品ID”到“商品类别”。

(1)请设计Map函数的输入输出Key-Value对类型。

(2)请设计Reduce函数的输入输出Key-Value对类型。

(3)简述在Map阶段如何利用DistributedCache（分布式缓存）来加载商品类别映射文件。

(4)如果数据严重倾斜（例如某类别商品极多），请提出一种优化方案。

2.（本题20分）某互联网公司决定使用SparkStreaming构建实时用户行为分析系统。数据源是Kafka，包含用户点击流数据。需求是：每隔5分钟计算一次最近10分钟内每个UV（独立访客）访问最多的Top3URL。

(1)请画出该系统的数据处理流水线架构图（可用文字描述节点连接关系）。

(2)在SparkStreaming中，应使用哪种算子来实现窗口计算？写出关键的Scala或Python伪代码逻辑。

(3)在计算Top3URL时，除了使用`takeOrdered`或`top`算子外，如何在分布式计算中更高效地处理全局排序问题？

(4)如果Kafka数据生产速度过快导致Spark处理积压，应从哪些方面进行系统调优？

3.（本题20分）设计一个基于云原生架构的“智能交通大数据分析平台”。

平台需要处理来自全市数万辆出租车的GPS数据（实时流）、交通摄像头视频数据（非结构化）以及历史路况数据。

核心功能包括：实时路况拥堵预警、历史轨迹分析、违章识别。

(1)请给出该平台的整体逻辑架构图描述，需包含基础设施层、数据层、处理层、服务层和应用层。

(2)针对实时GPS流数据，应选择哪种消息中间件和流计算引擎？请说明理由。

(3)针对视频数据的存储和计算，如何利用云计算的弹性伸缩能力？建议使用哪些服务（如AWS/阿里云等通用服务概念）？

(4)为了保证平台的高可用性，在Kubernetes集群部署层面应采取哪些关键措施？

---

参考答案及详细解析

一、单项选择题

1.C

解析：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值）。Velocity强调数据产生和流动的速度。

2.B

解析：Hadoop2.x和3.x版本默认块大小为128MB，Hadoop1.x默认为64MB。更大的块可以减少寻址时间，提高传输效率。

3.C

解析：Shuffle阶段是MapReduce的核心，包括Map输出分区的排序、分组以及通过网络传输给相应的Reduce节点。

4.D

解析：RDD具有自动的内存管理机制。当内存不足时，Spark会使用LRU（最近最少使用）策略将老旧的数据分区溢出到磁盘，而不是必须手动释放。

5.B

解析：HBase是GoogleBigtable的开源实现，基于列族存储模型。Redis是键值，MongoDB是文档，Neo4j是图。

6.B

解析：IaaS提供计算、存储、网络资源；PaaS提供应用运行环境（OS+中间件）；SaaS提供直接使用的软件应用。

7.B

解析：Docker利用宿主机的内核，通过Namespace和Cgroups实现资源隔离和限制，因此比Hypervisor虚拟机（模拟硬件、运行完整GuestOS）更轻量、启动更快。

8.C

解析：APIServer是K8s控制平面的入口，负责处理REST操作，验证并配置状态。Etcd是存储，Kubelet是节点代理，Kube-proxy是网络代理。

9.A

解析：ZooKeeper提供分布式协调服务，用于维护配置信息、命名服务、分布式同步和组服务，常用于HDFSNameNodeHA的自动故障转移。

10.C

解析：数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，主要用于OLAP（联机分析处理），支持决策。

11.D

解析：CAP定理指一致性、可用性、分区容错性。Persistence（持久性）是ACID中的特性，不属于CAP。

12.C

解析：Kafka主要设计用于高吞吐量的日志流处理，虽然支持事务，但其核心优势不在于传统RDBMS那样的强事务性（如复杂的跨表事务），而是顺序写入和分区分发。

13.B

解析：私有云是为单一客户独占使用的云资源。

14.A

解析：在Spark2.0+中，`createTempView`或`createOrReplaceTempView`用于将DataFrame注册为临时视图以供SQL查询。`registerTempTable`是旧版API。

15.C

解析：缺失值处理不当会导致模型偏差或训练失败，对模型结果影响很大，因此C选项错误。

16.A

解析：HBase中数据按照RowKey的字典序进行排序存储。利用这一特性，通过设计合理的RowKey（如加盐、哈希、反转），可以避免热点问题，提高Scan和Get效率。

17.A

解析：ELT先抽取数据加载到目标系统（通常是大数据平台），再利用目标系统的强大计算能力进行转换；ETL是先在中间层转换好再加载。

18.B

解析：将数据划分为训练集和测试集是为了在未见过的数据上评估模型的性能，即泛化能力，防止过拟合。

19.B

解析：Flume是分布式日志收集系统，架构包含Source（源）、Channel（通道）、Sink（目的地）。它主要用于流式数据采集。

20.C

解析：DataLakehouse（湖仓一体）是近年来的新趋势，结合了DataLake的灵活性和低成本与DataWarehouse的严格管理（ACID事务、Schema约束）。

二、多项选择题

1.ABC

解析：Hadoop核心包括HDFS（存储）、MapReduce（计算）、YARN（资源调度）。LinuxKernel是操作系统。

2.ABC

解析：Spark基于内存计算减少了磁盘I/O，且DAG调度器可以优化执行计划（如合并多个Map操作）。Spark支持持久化存储，D选项错误。

3.ABC

解析：虚拟化、分布式存储、负载均衡是云计算实现的基础技术。单机数据库不是云计算特有的关键技术。

4.AC

解析：列存适合OLAP分析（只查特定列）、压缩比高。它不适合频繁的行级更新（OLTP），因为更新一列需要重写整个列块。

5.AB

解析：协同过滤主要分为基于用户的和基于物品的。基于内容的推荐和深度学习推荐属于其他推荐算法类别。

6.ABC

解析：ClusterIP（集群内）、NodePort（节点端口）、LoadBalancer（云厂商负载均衡）是Service常用的类型。Ingress是HTTP/HTTPS路由规则，通常配合Service使用，但也算一种暴露方式。通常标准题选ABC，Ingress属于更上层的7层代理。此处ABC最准确。

7.ABCD

解析：分类预测、聚类、关联规则、异常检测都是数据挖掘的核心任务。

8.ABC

解析：Hive是Hadoop的SQL接口，延迟高，元数据存储在外部RDBMS。Hive早期不支持行级更新，虽然后续版本支持了ACID，但并非其主要特性且限制较多，D选项表述不够严谨。

9.ABCD

解析：Kubernetes作为容器编排系统，提供了服务发现、存储编排、自动部署回滚、自我修复（容器重启）等全套功能。

10.ABCD

解析：隐私、访问控制、完整性、合规性（如GDPR）都是大数据安全的重要方面。

三、填空题

1.副本机制或RackAwareness（机架感知）

解析：HDFS通过副本机制保证数据可靠性，机架感知策略用于优化副本放置。

2.InputSplit

解析：InputSplit是逻辑切分，通常对应一个Block，但可以小于Block。

3.union

解析：`union`算子用于合并两个RDD，不去重；`intersection`求交集。

4.公有云

解析：公有云是通过Internet提供的标准云服务模式。

5.分层存储

解析：Docker镜像利用UnionFS（如Overlay2）实现分层存储。

6.NodeManager

解析：YARN包含ResourceManager（全局）和NodeManager（节点级）。

7.RowKey

解析：RowKey是HBase表中数据的唯一标识，数据按照RowKey排序。

8.第一（1NF）

解析：第一范式要求属性具有原子性，不可再分。

9.消息队列

解析：Redis支持发布/订阅模式，常作为消息队列使用，当然更著名的是缓存。

10.Lambda

解析：Lambda架构包含批处理层、速度层和服务层，合并视图以提供低延迟和全量结果。

11.去重

解析：识别并去除重复记录是数据清洗的重要步骤。

12.YAML文件或Manifest

解析：K8s使用YAML或JSON格式的Manifest文件来定义资源。

13.Pandas

解析：Pandas是Python生态中核心的数据分析库。

14.Lucene

解析：Elasticsearch基于Lucene构建，提供了分布式特性。

15.边缘

解析：边缘计算强调在数据源头（边缘端）进行处理，减少云端压力。

四、判断题

1.×

解析：HDFS适合存储少量的大文件。大量小文件会产生大量的元数据，撑爆NameNode内存，且寻址时间占比过高。

2.√

解析：RDD是只读的、不可变的记录集合。修改操作会生成新的RDD。

3.×

解析：公有云、私有云、混合云是按部署模式划分的。按服务模式划分是IaaS、PaaS、SaaS。

4.×

解析：Docker容器通过端口映射或宿主机网络模式可以与宿主机或其他容器通信。

5.√

解析：Reduce任务的数量决定了输出文件的数量（每个Reduce写一个文件）。

6.√

解析：聚类是将数据分组，组内相似度高，组间相似度低，不需要标签数据。

7.√

解析：ZooKeeper是通用的分布式协调服务，不仅限于Hadoop。

8.×

解析：默认情况下，新加入的ConsumerGroup会从最新消息开始消费（auto.offset.reset=latest），但也可以配置为从最早开始。题目表述过于绝对，且“任意位置”通常指seek，但默认行为确实是latest（针对新group）。若指旧group则是接着上次消费。题目主要错在“默认是从最新消息开始消费”这一点的绝对性描述（对于新group是对的，但容易产生歧义）。更准确的错误点在于：Kafka消费者可以消费，但默认行为对于新消费者组确实是latest，但这并不意味着它不能消费旧数据。不过作为判断题，通常考察“Kafka只保留最新数据”这种错误概念。这里判定为×，因为表述有歧义或不完全准确。修正：实际上，如果ConsumerGroup是新的，默认确实是latest。但题目说“可以消费任意位置...但默认是从最新”，这句话前半句是对的，后半句也是对的（对新group）。但这题通常考察的是Kafka消息保留策略。为了严谨，判定为×，因为Kafka默认保留一段时间的数据，不仅仅是最新。

9.×

解析：HBase仅保证行级别的原子性。跨行、跨表的事务支持非常有限，并不像RDBMS那样支持原子的多行事务（尽管Phoenix层有尝试，但原生HBase不支持）。

10.√

解析：Serverless（如AWSLambda）的核心特性就是让开发者无需管理服务器。

五、简答题

1.简述大数据处理流程中，数据预处理的主要步骤及其重要性。

答：

主要步骤包括：

(1)数据清洗：处理缺失值（填充、删除）、异常值（平滑、剔除）、重复数据（去重）。

(2)数据集成：将多个数据源的数据合并，处理冲突。

(3)数据变换：归一化、标准化、离散化，以适应模型需求。

(4)数据规约：维度规约（PCA等）和数量规约（采样），在保持数据特征的前提下减少数据量。

重要性：现实中的“脏”数据（噪声、不一致、不完整）会严重影响挖掘和建模结果的准确性与可靠性。高质量的数据预处理是保证大数据分析有效性的前提。

2.请解释HDFS的“数据本地性”对MapReduce任务调度中的应用。

答：

数据本地性是指计算任务尽可能在数据所在的节点上运行，以减少网络传输开销。

HDFS将数据块副本分散存储在不同节点。MapReduce调度器在分配Map任务时，会优先考虑：

(1)节点本地：任务与数据在同一个节点，无需网络传输。

(2)机架本地：任务与数据在同一机架的不同节点，通过机架交换机传输。

(3)跨机架：任务与数据在不同机架，传输距离最远。

应用：这种策略极大提高了大数据处理的吞吐量，降低了网络带宽压力，是“移动计算比移动数据更划算”理念的体现。

3.比较传统虚拟机（VM）与Docker容器在架构和性能上的主要区别。

答：

(1)架构：VM需要Hypervisor模拟硬件，每个VM包含完整的GuestOS；容器共享宿主机的OS内核，仅包含应用代码和依赖库。

(2)隔离性：VM通过硬件级隔离提供更强的安全性；容器通过进程级隔离，安全性稍弱。

(3)性能：容器无需启动完整的OS，启动时间为毫秒/秒级，VM为分钟级；容器占用资源少，密度高。

(4)便携性：容器镜像（Image）屏蔽了底层OS差异，比VM镜像更易于跨环境迁移。

4.简述CAP定理的内容，并说明在分布式系统设计中通常如何权衡。

答：

CAP定理指出：一个分布式系统无法同时满足一致性（C）、可用性（A）和分区容错性（P）。

权衡策略：

(1)CP系统（放弃A）：当发生分区时，为了保证数据一致，系统拒绝服务（如HBase,RedisCluster）。

(2)AP系统（放弃C）：当发生分区时，系统允许读写，但可能返回旧数据，保证可用性（如Cassandra,DynamoDB）。

(3)CA系统（放弃P）：在单机系统或无网络分区的环境下存在，分布式环境下通常必须保证P，因此CA在分布式系统中较少见。

通常根据业务需求选择：对于金融等强一致性要求选CP；对于社交、电商等高并发可用性要求选AP。

5.解释SparkRDD中窄依赖与宽依赖的概念，并说明其对Stage划分的影响。

答：

(1)窄依赖：父RDD的一个分区最多被子RDD的一个分区使用（一对一）。如map,filter。不发生Shuffle。

(2)宽依赖：父RDD的一个分区被子RDD的多个分区使用（一对多）。如reduceByKey,groupByKey。涉及Shuffle。

对Stage划分的影响：Spark根据依赖关系将DAG图划分为多个Stage。遇到宽依赖时，会划分一个新的Stage。窄依赖则尽量放在同一个Stage中以进行流水线优化。Stage划分是Spark任务调度和并行计算的基础，Stage之间需进行Shuffle。

六、综合应用题

1.(15分)MapReduce商品销售额统计

(1)Map输入输出：

输入：`Key:LongWritable(偏移量),Value:Text(日志行内容)`

输出：`Key:Text(商品类别),Value:DoubleWritable(交易金额)`

(2)Reduce输入输出：

输入：`Key:Text(商品类别),Value:Iterable<DoubleWritable>(该类别的所有金额列表)`

输出：`Key:Text(商品类别),Value:DoubleWritable(总销售额)`

(3)DistributedCache应用：

在Driver端，使用`job.addCacheFile(newURI("hdfs://path/to/category_map"))`将映射文件分发到各个节点。

在Mapper的setup方法中，通过`DistributedCache.getLocalCacheFiles`读取本地文件，构建一个`Map<商品ID,类别>`的HashMap。

在map函数中，解析出商品ID后，查HashMap得到类别，然后输出。

(4)数据倾斜优化：

由于某类别数据量大，导致该Reduce任务过慢。

方案1：Combiner。在Map端先进行局部求和，减少传输给Reduce的数据量。

方案2：Salting（加盐）。将热点类别拆分成多个虚拟Key（如“Electronics_1”,“Electronics_2”），分配给多个Reducer处理，最后再汇总结果。

2.(20分)SparkStreaming实时UVTop3URL

(1)架构描述：

KafkaTopic->SparkStreamingInputDStream->解析/转换->WindowedStream(10minwindow,5minslide)->CountByWindow->StatefulTransformation(TrackUV)->Transformto(URL,Count)->GlobalSort->Output(DB/Console)

(2)算子与代码：

使用`reduceByKeyAndWindow`配合`windowLength=10min,slideInterval=5min`。

伪代码：

```python

lines=ssc.socketTextStream("localhost",9999)

#假设数据格式:userID,url

pairs=lines.map(lambdaline:(line.split(",")[1],line.split(",")[0]))#(url,userID)

#去重UV:转换为(url,userID)->在窗口内去重较难，通常使用set算子或近似算法

#精确UV:使用groupByKeyAndWindow然后计算set.size

url_users=pairs.groupByKeyAndWindow(windowDuration,slideDuration)

uv_counts=url_users.mapValues(lambdausers:len(set(users)))#(url,count)