360大数据开发面试题及详细答案（实战完整版）

360大数据开发面试题及详细答案（实战完整版）本套面试题贴合360大数据业务场景（用户行为分析、日志分析、离线/实时数仓、安全大数据分析），剔除空洞理论，全部为岗位高频真题，答案贴合一线开发实操逻辑，无模板化话术。一、大数据基础高频题1、说说大数据的特点，以及传统数据处理和大数据处理的核心区别？参考答案：大数据核心特点可以概括为4V：数据量大、种类多、产生速度快、价值密度低。核心区别主要有三点：第一，处理对象不同。传统数据以结构化业务数据为主，比如订单、用户信息，数据格式规整；大数据主要处理日志、埋点、视频、文本等半结构化、非结构化数据，数据杂乱多样。第二，存储和计算架构不同。传统数据依赖单体数据库、小型机，集中式存储计算；大数据采用分布式架构，多节点集群协同工作，横向扩容能力强，能支撑PB、EB级数据。第三，处理逻辑不同。传统数据偏向实时精准查询、事务处理；大数据分为离线批量处理和实时流式处理，更侧重海量数据的统计分析、规律挖掘，对事务一致性要求低，容忍短暂数据延迟。2、分布式系统CAP、BASE理论你怎么理解？工作中如何取舍？参考答案：CAP理论指分布式系统无法同时满足一致性、可用性、分区容错性，最多满足两项。分区容错是分布式系统的必备特性，网络分区问题无法避免，所以实际生产中只能在C和A之间取舍。BASE理论是大数据系统的核心准则，核心是基本可用、软状态、最终一致性。不追求实时强一致，允许数据短暂不一致，最终同步完成即可，换取系统的高可用和高吞吐。实际工作取舍：金融、交易类业务需要强一致性，优先保证CP，牺牲部分可用性；大数据日志分析、用户行为统计、报表分析业务，优先保证AP，接受最终一致性，保障集群稳定和数据处理效率。360的安全日志、用户行为数仓均采用BASE理念。3、数据倾斜是什么？产生原因和常规解决方案？参考答案：数据倾斜就是分布式计算中，部分节点处理的数据量远超其他节点，大部分任务快速执行完成，少数任务卡死，导致整体任务耗时翻倍、甚至报错失败。产生原因：key分布不均匀，存在大量重复key、空值key、异常key；多表关联时关联键数据量失衡；分组聚合时个别分组数据量极大。常规解决方案：1.预处理过滤：提前过滤空值、异常脏数据，从源头减少倾斜数据；2.key加盐打散：对倾斜key拼接随机数打散，拆分任务，计算完成后再聚合合并；3.拆分任务：将倾斜数据单独抽取出来计算，非倾斜数据正常计算，最后合并结果；4.调整参数：开启集群自带的倾斜优化参数，比如Spark的自适应执行、Hive的倾斜聚合优化；5.优化关联逻辑：避免大表超大key关联小表，优先使用mapjoin替代普通join。二、Hadoop生态核心面试题1、说说HDFS的架构和读写流程？生产中HDFS常见问题有哪些？参考答案：HDFS是主从架构，核心组件为NameNode、DataNode、SecondaryNameNode。NameNode负责管理元数据、接收客户端读写请求，不存储真实数据；DataNode负责实际的数据存储和读写；SecondaryNameNode主要辅助NN做日志合并、元数据备份，不做主备切换。写入流程：客户端发起写入请求→NN校验权限、文件是否存在，返回写入节点列表→客户端将文件切块，按副本策略写入多个DN→所有副本写入成功后，NN更新元数据，写入完成。读取流程：客户端请求读取文件→NN返回文件块对应的DN节点信息→客户端就近选择DN读取数据块→拼接所有数据块，完成读取。生产常见问题：数据副本丢失、DN节点掉线、元数据损坏、小文件过多导致NN内存溢出、读写权限异常、磁盘故障导致数据块损坏。日常主要通过定时巡检、小文件合并、副本补全、元数据备份保障集群稳定。2、MapReduce的执行原理和Shuffle过程？Shuffle的核心优化点？参考答案：MapReduce分为Map阶段、Shuffle阶段、Reduce阶段。Map阶段负责分片、读取数据，按key输出中间结果；Shuffle负责数据分区、排序、聚合、拉取数据；Reduce阶段负责最终聚合计算、输出结果。完整Shuffle流程：Map输出数据→环形缓冲区缓存→阈值溢出写入磁盘→分区、排序、合并小文件→Reduce节点拉取对应分区数据→Reduce端再次合并排序→交给Reduce计算。核心优化点：调大环形缓冲区大小，减少磁盘溢写次数；开启map端预聚合，减少网络传输数据量；合理设置分区规则，避免数据倾斜；压缩Map输出数据，降低IO和网络开销；优化Reduce拉取并发数，提升拉取效率。3、YARN的架构和资源调度机制？三种调度器的区别？参考答案：YARN主从架构，核心为ResourceManager、NodeManager、ApplicationMaster。RM全局管理集群资源、分配任务；NM管理单节点资源、启动容器运行任务；AM负责单个任务的资源申请、任务调度和监控。三种调度器区别：1.FIFO调度器：先进先出，按任务提交顺序执行，简单高效，但大任务会阻塞后续小任务，生产基本不用；2.容量调度器（CapacityScheduler）：多用于企业集群，支持多队列、资源配额分配，队列之间资源隔离，空闲资源可共享，适合多团队共用集群；3.公平调度器（FairScheduler）：自动均衡各任务、各队列资源，保证所有任务公平占用资源，不会出现大任务独占资源的情况，360离线大数据集群常用该调度器。三、Hive数据仓库面试题（360核心业务）1、Hive的内部表和外部表区别？生产中如何选择？参考答案：核心区别有两点：数据归属和删除逻辑。内部表数据由Hive管理，删除表时会同时删除元数据和HDFS真实数据；外部表数据由用户自行管理，删除表仅删除元数据，HDFS原始数据保留。生产选择规范：原始日志表、增量数据表、多业务共用数据表，全部使用外部表，避免误删数据导致数据丢失；中间计算结果表、临时统计表、测试表使用内部表，方便清理冗余数据。360所有业务数仓底层原始表均为外部表。2、Hive分区和分桶的区别？各自适用场景？参考答案：分区是对HDFS文件目录的拆分，按时间、地区、渠道等维度划分目录，查询时可以过滤不需要的分区，减少扫描数据量，是粗粒度的数据筛选。分区字段为伪列，不写入数据文件。分桶是对单个分区内的数据文件拆分，通过哈希规则将相同key的数据分到同一个文件，是细粒度的数据规整。分桶字段是表真实字段，写入数据时生效。适用场景：分区适合时间维度筛选的场景，比如按日、按小时统计用户行为、日志数据；分桶适合大表join、抽样查询、精准key查询场景，能大幅提升join和查询效率。3、Hive离线数仓分层架构？每层作用是什么？参考答案：行业通用四层架构，360大数据业务数仓统一采用该分层：1.ODS层（原始数据层）：同步业务日志、前端埋点、服务端原始数据，不做清洗，仅做分区存储，保留原始数据，用于数据回溯、问题排查。2.DWD层（明细数据层）：对ODS数据做清洗、去重、过滤脏数据、字段标准化，拆解宽表，保留完整明细数据，作为所有统计任务的基础数据源。3.DWS层（汇总数据层）：按用户、设备、渠道等维度聚合，构建轻度汇总宽表，比如用户日行为汇总表，减少上层任务重复计算，提升查询效率。4.ADS层（应用数据层）：面向业务需求输出最终统计结果，比如日活、留存、转化率、安全拦截数据等，直接供报表、业务系统、接口使用。4、Hive小文件过多的危害及解决方案？参考答案：危害：占用大量NameNode内存，导致集群元数据压力过大；任务查询时需要扫描大量小文件，开启过多任务，调度开销远超计算开销，任务运行缓慢；容易引发集群任务拥堵、资源耗尽。解决方案：1.写入优化：调整reduce个数、开启自动合并小文件参数，写入时控制输出文件大小；2.定时合并：通过定时任务对历史分区小文件进行合并，批量规整数据文件；3.动态分区优化：限制动态分区创建数量，避免大量空分区、小分区产生；4.临时文件清理：定期清理任务产生的临时小文件、冗余碎片文件。四、Spark大数据面试题（核心重点）1、Spark和MapReduce的核心区别？为什么Spark运算速度更快？参考答案：核心区别：MapReduce是基于磁盘的计算框架，每一轮计算都会读写磁盘，IO开销极大；Spark是基于内存的计算框架，优先将数据缓存到内存中，减少重复磁盘IO。同时Spark任务调度更轻量化，启动速度远快于MapReduce。Spark更快的核心原因：1.内存计算：中间结果优先缓存内存，避免反复磁盘读写；2.DAG调度：根据任务依赖构建有向无环图，自动合并stage，减少任务轮次；3.容错机制优化：基于血缘关系容错，无需重复计算全部数据；4.线程模型：Spark使用线程池执行任务，MapReduce使用进程，线程启动和切换开销更低。2、SparkRDD、DataFrame、Dataset的区别和适用场景？参考答案：RDD是最基础的分布式数据集，强类型、无schema，编译期校验类型，适合底层开发、复杂迭代计算，容错性强，但执行效率低，无优化机制。DataFrame基于RDD封装，带schema结构，弱类型，运行期校验数据，支持SparkSQL优化，查询效率高，适合结构化数据统计、报表计算。Dataset结合了RDD和DataFrame的优点，强类型+schema结构，兼顾类型安全和执行效率，适合复杂业务逻辑开发、数据清洗转换场景。生产中：离线统计优先用DataFrame/Dataset，复杂迭代计算、非结构化数据处理用RDD。3、Spark宽窄依赖怎么区分？Stage划分规则？参考答案：窄依赖：子RDD的每个分区只依赖父RDD的一个分区，数据无需shuffle，比如map、filter、flatMap操作，执行效率高，可流水线执行。宽依赖：子RDD的分区依赖父RDD的多个分区，会触发shuffle操作，比如groupBy、join、reduceByKey，是任务耗时的核心节点。Stage划分规则：Spark根据宽依赖划分Stage，遇到宽依赖就截断，生成新的Stage。一个Stage内部包含所有连续的窄依赖操作，多个Stage按依赖顺序串行执行。4、Spark数据倾斜的解决方案，和Hive倾斜有什么区别？参考答案：Spark专属倾斜方案：开启自适应执行引擎，自动识别倾斜分区、自动拆分任务；对倾斜key单独广播join；使用salting加盐打散key；拆分倾斜任务，分开计算合并结果。和Hive倾斜的区别：Hive倾斜多是静态数据倾斜，提前预处理、参数优化即可解决；Spark存在动态倾斜，数据分布随实时任务变化，需要自适应优化+手动优化结合。同时Spark内存计算特性，倾斜更容易导致内存溢出、任务OOM，对倾斜优化的及时性要求更高。五、实时大数据面试题（Kafka+Flink）1、Kafka的架构、分区和副本机制？offset作用和维护方式？参考答案：Kafka是分布式消息队列，架构包含Broker、Producer、Consumer、Zookeeper。核心是主题，主题分为多个分区，分区是数据存储和消费的最小单元，保证高并发读写。副本机制：每个分区分为leader副本和follower副本，所有读写请求走leader，follower同步数据，leader故障后自动选举新leader，保证数据高可用。offset是消费者消费数据的偏移量，记录消费者当前消费到分区的位置，保证重启后可以继续消费，不会重复消费、也不会漏消费。新版本Kafka的offset存储在集群主题中，不再依赖Zookeeper维护。2、Kafka重复消费、漏消费的原因和解决办法？参考答案：重复消费原因：消费者消费完数据未提交offset，进程重启、分区重平衡后，重新消费上次未提交的数据；漏消费原因：手动提交offset时机过早，数据还未处理完成就提交offset，程序异常导致数据丢失；消费者消费速度过慢，心跳超时被踢出组，导致数据遗漏。解决办法：优先使用手动offset提交，数据处理成功后再提交；设置合理的心跳超时时间、会话超时时间；开启幂等性配置；业务层做数据去重，保证Exactly-Once语义。3、Flink的核心特性、流式和批式处理优势？Checkpoint和Savepoint区别？参考答案：Flink核心是真正的流式计算，批流一体架构，支持低延迟实时处理、高吞吐、Exactly-Once数据一致性，支持状态管理，适合实时日志、实时监控、实时报表场景，也是360实时安全数据、用户实时行为分析的核心框架。Checkpoint：程序自动触发的快照，周期性保存任务状态和offset，用于程序故障自动恢复，保证数据一致性，轻量、高频。Savepoint：手动触发的快照，用于程序升级、版本迭代、任务启停，数据持久化保存，可长期保留，稳定性更高。六、SQL实战高频面试题1、row_number、rank、dense_rank的区别，举例说明？参考答案：row_number：连续排序，不管值是否重复，序号依次递增，无并列、无空缺，适合取topN、去重排序；rank：跳跃排序，重复值序号相同，后续序号跳过空缺，比如1、2、2、4；dense_rank：连续排序，重复值序号相同，后续序号连续不空缺，比如1、2、2、3。生产中用户行为去重、每日首次访问记录筛选，优先使用row_number。2、大表join大表的优化方案？参考答案：1.提前过滤：join前先过滤无效数据、空值、脏数据，缩小表数据量；2.分区关联：按时间分区关联，避免全表扫描，只关联对应业务分区数据；3.开启shuffle优化：调整shuffle并行度，合理分配任务资源；4.数据预处理：对关联键打散、去重，避免关联倾斜；5.拆分逻辑：将一次性大join拆解为多次小join，分步计算，降低单次任务压力。七、360业务场景面试题（专属真题）1、如何设计一套用户日活、留存的离线统计任务？参考答案：1.数据源：ODS层接入用户前端埋点、客户端日志，按天分区存储；2.数据清洗：DWD层过滤无效用户、测试数据、空设备号，去重当日重复访问记录；3.指标计算：DWS层按用户、日期聚合，记录用户当日访问行为、首次访问时间；4.留存计算：通过左右关联，用当日用户表关联前一日用户表，筛选留存用户，计算次日留存、7日留存；5.结果输出：ADS层汇总每日DAU、留存率、新增用户数，同步报表展示；6.任务调度：每日凌晨定时调度，依赖前一日分区数据，增加数据重试、监控告警机制。2、海量安全日志实时分析场景，如何保证数据不丢失、不重复？参考答案：360安全日志数据量大、时效性高，核心通过三层保障数据可靠：1.数据源层：Kafka开启副本机制、持久化存储，消息落地后再消费，避免数据丢失；2.计算层：Flink开启Checkpoint，实现故障自动恢复，精准对齐offset，保证数据只消费一次；开启状态后端持久化，保留计算中间状态；3.业务层：基于设备ID、时间戳生成唯一主键，写入数仓后根据主键去重，彻底杜绝重复数据；同时配置任务监控，延迟、失败及时告警，人工介入处理异常数据。3、生产中任务