基于大数据的新能源汽车数仓搭建与可视化的设计与实现

-[15]，通常将数据仓库分为原始数据层(OperationDataStore，ODS)、明细数据层(DataWarehouseDetail，DWD)、汇总数据层(DataWarehouseSummary，DWS)、公共维度层(Dimension，DIM)和数据应用层(ApplicationDataService，ADS)五层。分层规划如图4.2所示： 图4.2分层规划图ODS层：ODS层是数据仓库中的一个重要组成部分，它主要负责存储业务系统的源数据，并且这些数据在结构上与源系统保持一致。通过整合，ODS层支持数据的传输和共享，使得数据更加便捷和高效地被访问和利用。DWD层：DWD层是数据仓库中用于存储经过清洗、集成和加工后的明细数据层。DWD层的数据通常是从ODS层过来的，这些数据进入DWD层用于构建最细粒度的明细层事实表。DWD层的数据保留了尽可能多的详细信息，以适应不同的业务需求和分析任务。DWS层：DWS层是数据仓库中用于提供数据服务和应用访问的层面，它通常包含汇总和宽表数据。DWS层主要为用户提供数据服务，包括但不限于数据查询、统计、报表和分析等功能。该层面向前端应用或数据分析人员提供数据接口，使得用户能够方便地访问和使用数据。DIM层：DIM层是数据仓库中用于存储维度数据和规则的层面，它将维度数据组织成易于理解和使用的格式，便于用户查询和分析，帮助用户了解数据的含义和结构。ADS层：ADS层是数据仓库架构中负责生成统计数据和支撑报表及可视化的层面。这一层主要关注于如何将数据以最合适的方式展现出来，以满足业务分析和决策支持的需求。在ADS层的数据通常是已经经过聚合的，这些数据会按照一定的时间点、维度和度量进行汇总。

5系统功能实现5.1数据采集模块的实现数据采集模块如图5.1所示。图5.1数据采集模块图在hadoop102节点的Flume的job目录下创建file_to_kafka.conf。[root@node01flume]$mkdirjob[root@node01flume]$vimjob/file_to_kafka.conf下面是一Flume配置文件，用于定义一个名为a1的Flumeagent。该agent包含一个source和一个channel。#定义组件a1.sources=r1a1.channels=c1#配置sourcea1.sources.r1.type=TAILDIRa1.sources.r1.filegroups=f1a1.sources.r1.filegroups.f1=/exports/data/car-data/data/data.* a1.sources.r1.positionFile=/exports/servers/flume/car/taildir_position.json#配置channela1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannela1.channels.c1.kafka.bootstrap.servers=node01:9092,node02:9092,node03:9092a1.channels.c1.kafka.topic=car_dataa1.channels.c1.parseAsFlumeEvent=false#组装a1.sources.r1.channels=c1Flumeagent启动后，根据配置文件创建source、channel和sink组件。Source组件负责从指定的数据源(如文件系统)中读取数据。在这段代码中，source的类型是TAILDIR，它会监控指定的文件路径，并实时读取新添加的数据。Source读取到的数据会被传递给channel组件。在这段代码中，channel的类型是KafkaChannel，它负责将数据发送到Kafka集群。Sink组件负责将数据写入目标存储系统或进行进一步处理。在这段代码中，没有配置sink组件，因此数据只会被发送到Kafka集群。Flumeagent会持续运行，不断采集数据并将其传输到Kafka集群。在hadoop104节点的Flume的job目录下创建kafka_to_hdfs_log.conf[atguigu@hadoop104flume]$vimjob/kafka_to_hdfs.conf然后在配置文件中添加如下内容：#定义组件a1.sources=r1a1.channels=c1a1.sinks=k1#配置source1a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.kafka.bootstrap.servers=node01:9092,node02:9092,node03:9092a1.sources.r1.kafka.consumer.auto.offset.reset=earliesta1.sources.r1.kafka.consumer.group.id=flumea1.sources.r1.kafka.topics=car_erceptors=erceptors.i1.type=erceptor.TimestampInterceptor$Builder#配置channela1.channels.c1.type=filea1.channels.c1.checkpointDir=/exports/servers/flume/checkpoint/behavior1a1.channels.c1.dataDirs=/exports/servers/flume/data/behavior1a1.channels.c1.maxFileSize=2146435071a1.channels.c1.capacity=1000000a1.channels.c1.keep-alive=6#配置sinka1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path=/origin_data/car_data_full/%Y-%m-%da1.sinks.k1.hdfs.filePrefix=loga1.sinks.k1.hdfs.round=falsea1.sinks.k1.hdfs.rollInterval=30a1.sinks.k1.hdfs.rollSize=134217728a1.sinks.k1.hdfs.rollCount=0#控制输出文件类型a1.sinks.k1.hdfs.fileType=CompressedStreama1.sinks.k1.hdfs.codeC=gzip#组装a1.sources.r1.channels=c1a1.sinks.k1.channel=c1这段代码的目的是配置一个Flumeagent，用于从Kafka中读取数据，然后将这些数据写入到HDFS(Hadoop分布式文件系统)中。KafkaSource从Kafka主题car_data中消费数据。KafkaSource的配置指定了连接到Kafka集群的服务器地址、消费者组ID、以及要从哪个主题读取数据。它还配置了一个拦截器i1，该拦截器负责给事件添加时间戳。Channel作为数据传输的缓冲通道。FileChannel配置了数据和检查点文件的存储位置、文件大小上限和通道容量等。Sink将数据写入到HDFS中。此外，还配置了输出文件的类型和压缩方式。通过这个配置文件定义的Flumeagent能够实现实时地从Kafka中读取数据，并将这些数据以文件的形式存储在HDFS上，供后续的数据分析和处理使用。5.2数据存储的实现数据仓库核心架构如图5.2所示。图5.2数据仓库核心架构图ODS层的表结构设计依托于从业务系统同步过来的数据结构，保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip。ODS层表名的命名规范为：ods_表名_单分区增量全量标识(inc/full)。下面是汽车信息表的创建代码：droptableifexistsods_car_info_full;createexternaltableods_car_info_full(`id`stringcomment'车辆唯一编码',`type_id`stringcomment'车型ID',`type`stringcomment'车型',`sale_type`stringcomment'销售车型',`trademark`stringcomment'品牌',`company`stringcomment'厂商',`seating_capacity`intcomment'准载人数',`power_type`stringcomment'车辆动力类型',`charge_type`stringcomment'车辆支持充电类型',`category`stringcomment'车辆分类',`weight_kg`intcomment'总质量(kg)',`warranty`stringcomment'整车质保期(年/万公里)')comment'整车信息表'partitionedby(`dt`stringcomment'统计日期')--指定了表的分区字段为dt，数据类型为字符串，并添加了注释说明为"统计日期"。rowformatdelimitedfieldsterminatedby'\t'--指定了表中数据的行格式为以制表符(\t)作为字段分隔符。location'/warehouse/car_data/ods/ods_car_info_full';--指定了表的存储位置为/warehouse/car_data/ods/ods_car_info_full。段代码的作用是创建一个外部表，用于存储车辆信息数据，并将数据按照日期进行分区存储。DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。DIM层的数据存储格式为orc列式存储+snappy压缩。DIM层表名的命名规范为dim_表名_全量表或者拉链表标识(full/zip)。具体建表语句详见附件1中A1.1部分。DWD层的设计依据是维度建模理论，该层存储维度模型的事实表。DWD层的数据存储格式为orc列式存储+snappy压缩。DWD层表名的命名规范为dwd_数据域_表名_单分区增量全量标识(inc/full)。DWD层存储的是维度模型的事实表，根据本项目的业务需求声明业务粒度，业务粒度声明如图5.3所示：图5.3业务粒度声明表根据业务粒度声明表，需要在DWD层创建电动模式行驶日志事实表、混动模式行驶日志事实表、新能源燃料模式行驶日志事实表、驱动电机行驶日志事实表、充电桩充电日志事实表、行驶充电日志事实表和故障警告日志事实表。下面是驱动电机日志事实表建表语句：droptableifexistsdwd_car_motor_inc;createexternaltabledwd_car_motor_inc(`vin`stringcomment'汽车唯一ID',`id`intcomment'电机ID',`status`intcomment'电机状态',`rev`intcomment'电机转速',`torque`intcomment'电机转矩',`controller_temperature`intcomment'电机控制器温度',`temperature`intcomment'电机温度',`voltage`intcomment'电机控制器输入电压',`electric_current`intcomment'电机控制器直流母线电流',`timestamp`bigintcomment'日志采集时间')comment'驱动电机日志事实表'partitionedby(`dt`stringcomment'统计日期')storedasorclocation'/warehouse/car_data/dwd/dwd_car_motor_inc'tblproperties('press'='snappy');这段代码的作用是创建一个外部表，用于存储驱动电机日志事实数据，并将数据按照日期进行分区存储。接下来是将驱动电机日志装载到驱动电机日志事实表，代码如下所示：insertoverwritetabledwd_car_motor_incpartition(dt)selectvin,motor.id,motor.status,motor.voltage,motor.electric_current,`timestamp`,dtfromods_car_data_inclateralviewexplode(motor_list)tmpasmotorwheredt<='2023-05-02';这是HiveSQL查询，用于将ods_car_data_inc表中满足条件的数据插入到dwd_car_motor_inc表中。即将对应的日志数据存储到上面创建的电动模式行驶日志事实表。除此之外还有电动模式行驶日志表、新能源燃料模式行驶日志事实表、充电桩充电日志事实表、行驶充电日志事实表和故障警告日志事实表，电动模式行驶日志事实表建表语句详见附件1中A1.2部分。DWS层位于数据仓库的上层，它的主要目的是为最终的业务分析提供经过进一步处理和聚合的数据。DWS层的数据通常是为了满足特定业务需求而设计的，它将DWD层中的原始数据进行轻度的汇总和转换，以便于更快地支持复杂的查询和报表需求。单次行程汇总表建表语句详见附件1中A1.3部分。ADS层是数据仓库的最上层，它直接面向最终用户，提供数据的可视化和交互式分析。ADS层提供了定时或按需生成的各种标准报表，这些报表可以是图表、图形或文本形式。通过集成的BI工具，如FineBI，ADS层能够将数据以直观的方式展示给用户，支持拖拽式的报表设计和即时的数据探索。单次粒度汇总表、单次行程汇总表建表语句详见附件1中A1.4部分。5.3数据可视化的实现FineBI是帆软软件有限公司推出的一款商业智能(BusinessIntelligence)产品，其定位是一个大数据自助分析工具，旨在帮助企业的业务人员充分了解和利用他们的数据。FinBI使用逻辑图如图5.4所示：图5.4FinBI使用逻辑图通过FinBI商业智能软件可以完成业务报表生成，以不同指标完成数据可视化，指标说明表如表5.1所示：表5.1指标说明表指标编号指标说明报表交互要求1各汽车告警情况单月统计要求能够展示三级不同的告警次数2各汽车平均百公里急加减速次数单月统计3各汽车电池温度异常值次数单月统计4各汽车每百公里油耗统计要求对比最近百公里油耗添加数据集，选择数据连接到mysql，创建分析主题，如图5.5所示：图5.5创建分析主题图完成分析主题创建后，需要选择数据集，根据业务指标，需选择温度相关统计数据集、里程相关统计数据集、能耗相关统计数据集、告警相关统计数据集，如图5.6所示：图5.6数据集选择图完成数据集选择后，就可以创建可视化图表，包括告警图表、里程图表、温控图表、能耗图表。告警图表如下图5.7所示：图5.7告警图表告警图表主要描述各个汽车每月告警次数，横轴为汽车唯一ID，纵轴描述一级告警次数、二级告警次数和三级告警次数。里程图表如下图5.8所示：图5.8里程图表该里程图表用于描述各个汽车在百公里行驶过程中平均急加减速的次数。温控图表如下图5.9所示：图5.9温控图表温控图表描述各个汽车每月百公里温度异常次数，纵轴为汽车唯一ID，横轴表示电池温度异常次数。能耗图表如下图5.10所示：图5.10能耗图表能耗图表描述汽车百公里油耗，横轴是汽车唯一ID，纵轴表示百公里平均消耗和最近百公里消耗。为了方便查看，可以创建一个仪表盘，将上述图表集中显示在仪表盘上，FinBI可视化仪表盘界面如图5.11所示。图5.11FinBI可视化仪表盘图该仪表盘包括汽车每月告警次数图表、汽车每月百公里加减速次数图表、汽车每月百公里油耗图表、汽车每月百公里温度异常次数图表。

6系统测试本文系统测试部分采用了黑盒测试，分别对各个模块进行功能测试。各测试用例如下表所示。6.1数据采集测试数据采集测试用例如表6.1所示。表6.1管理端员工登录模块测试用例用例编号用例名称测试功能输入及操作过程预期输出测试结果01Hadoop集群启动测试输入启动命令后，能否成功启动集群在node01命令窗口键入start-all.sh各个节点相应服务均启动成功成功02Hadoop集群关闭测试输入启动命令后，能否成功启动集群在node01命令窗口键入stop-all.sh各个节点相应服务均关闭成功成功03Zookeeper启动测试输入启动命令后，能否成功启动服务在各个节点的/exports/servers/zookeeper目录下键入bin/zkServer.shstartnode01为leader，node02和node03为follower成功04Zookeeper关闭测试输入启动命令后，能否成功关闭服务在各个节点的/exports/servers/zookeeper目录下键入bin/zkServer.shstop各个节点服务关闭成功成功05Flume数据采集测试输入命令后，能否采集数据在node01节点的/exports/servers/flume目录下键入bin/flume-ngagent-na1-cconf/-fjob/file_to_kafka.conf成功读取数据并将其发送给Kafka成功6.2数据存储测试数据存储测试用例如表6.2所示。表6.2数据存储测试用例用例编号用例名称测试功能输入及操作过程预期输出测试结果01登录MySQL测试登录MySQL在node01命令窗口键入mysql-uroot-p000000成功进入MySQL成功02启动Hive测试启动Hive在node01命令窗口键入hive成功启动Hive成功03行程主题数据装载测试将行驶数据装载到Hive分区表使用HiveSQL查询语句将满足条件的当前数据插入到行程主题表中装载数据成功成功04告警主题数据装载测试将告警数据装载到Hive分区表使用HiveSQL查询语句将满足条件的当前数据插入到告警主题表中装载数据成功成功05温控主题数据装载测试将行温度据装载到Hive分区表使用HiveSQL查询语句将满足条件的当前数据插入到温控主题表中装载数据成功成功06能耗主题数据装载测试将行能耗据装载到Hive分区表使用HiveSQL查询语句将满足条件的当前数据插入到能耗主题表中装载数据成功成功6.2数据可视化测试FinBI数据可视化测试用例如表6.7所示。表6.7FinBI数据可视化测试用例用例编号用例名称测试功能输入及操作过程预期输出测试结果01连接数据库测试连接MySQL数据库在FinBI首页连接MySQL数据库，输入主机号、端口、用户名、密码进行连接数据库连接成功成功02创建分析主题测试在FinBI创建分析主题在FinBI中选择创建分析主题，然后选择car_data中的统计数据创建分析主题成功成功

总结本毕业论文的主旨在于设计并实现一个针对新能源汽车的大数据仓库系统，以支持对车辆性能的实时监控和数据分析。通过深入研究和实践，本项目成功构建了一个基于Hadoop生态系统的数据仓库，实现了从数据采集、存储、处理到可视化的全流程覆盖。在数据采集方面，本项目采用了Flume工具来实时采集新能源汽车的运行数据，确保了数据的高效流转和实时性。通过DataX工具，实现了从MySQL数据库中抽取关键维度数据，并将其导入到Hadoop分布式文件系统(HDFS)中，为数据仓库的建立提供了原始数据。在数据存储和处理方面，本项目利用Hive和Spark等大数据处理引擎，对采集到的数据进行了清洗、转换和加载(ETL)，构建了星型模式和雪花模式的维度模型，优化了数据结构以支持高效的数据分析。在数据可视化方面，本项目使用了FineBI这一商业智能工具，将处理后的数据转化为直观的报表和仪表板，使用户能够轻松理解数据并据此做出明智的业务决策。通过多维数据分析和交互式查询功能，FineBI极大地提高了数据分析的效率和用户体验。本项目仍存在一些不足之处，需要在未来的工作中加以改进(1)数据采集的多样性：当前系统主要依赖Flume工具进行数据采集，对于新能源汽车产生的其他类型数据(如视频监控数据、维修记录等)的采集能力有限。未来可以考虑集成更多种类的数据采集工具，以支持更广泛的数据源。(2)数据安全与隐私保护：随着数据量的增加，数据安全和用户隐私保护变得越来越重要。当前系统在数据加密和访问控制方面还有待加强，未来应考虑引入更先进的安全技术，确保数据的安全性和合规性。(3)系统扩展性：随着新能源汽车行业的快速发展，未来可能会有新的业务需求和技术挑战。当前系统的架构设计需要进一步考虑扩展性，以便在未来能够轻松地添加新功能或集成新的技术。通过识别和解决这些不足，未来的工作可以进一步提升新能源汽车数据仓库系统的性能和用户体验，更好地服务于新能源汽车行业的数据分析和决策支持。参考文献李丽,刘洪江.数据仓库与OLAP在汽车故障分析系统中的应用[J].价值工程,2012,31(23):196-197.DOI:10.14018/13-1085/n.2012.23.122.杨治学,王静静.基于Hadoop大数据集群的搭建[J].信息与电脑(理论版),2022,34(20):130-133.费仕忆.Hadoop大数据平台与传统数据仓库的协作研究【D】.东华大学,2014.周伟,.基于改进的Flume实时数据采集系统应用研究【J】.河北软件职业技术学院学报,2023,(04):1-5.谭玉靖.基于ZooKeeper的分布式处理框架的研究与实现【D】.北京邮电大学,2014(04).李柯.基于Flume、Kafka的日志采集系统分析研究[J].电子技术与软件工程,2022(10):255-258.张艳丽,吴淮北.Hive数据仓库在Hadoop大数据环境下数据的导入与应用【J】.电脑编程技巧与维护,2022,99-101,99-101.熊群毓.大数据时代MySQL数据库的应用分析[J].信息与电脑(理论版),2023,35(14):209-212.李灿,孙东平.基于shell脚本的Linux环境下MySQL快速部署方法[J].电脑知识与技术,2020,16(33):33-34.DOI:10.14004/ki.ckt.2020.3364.雷博文.基于大数据的实时数据仓库的设计与实现【D】.中国地质大学(北京),2021.曹江辉,齐燕海.大数据时代的数据仓库建设【J】.广播电视信息,2019,103-106,103-106.陶浩然,.DataX在工程数据管理平台中的应用【J】.中国新通信,2024,(01):85-87+175.吕家尧.面向工业领域的实时数据仓库的设计与实现【D】.中国科学院大学(中国科学院沈阳计算技术研究所),2022(02).姜治琦.基于大数据技术的用户行为数据仓库系统的设计与实现【D】.华中科技大学,2020(01).唐文笙,张亮,韦通明,廖甜汇,温丽梅,.分层理论在车联网数据仓库的应用【J】.汽车电器,2023,(08):56-58.

附件1项目代码说明A1.1DIM层维度表建表语句(1)车辆信息维度表建表语句：droptableifexistsdim_car_info_full;createexternaltabledim_car_info_full(`id`stringcomment'车辆唯一编码',`type_id`stringcomment'车型ID',`type`stringcomment'车型',`sale_type`stringcomment'销售车型',`trademark`stringcomment'品牌',`company`stringcomment'厂商',`seating_capacity`intcomment'准载人数',`power_type`stringcomment'车辆动力类型',`charge_type`stringcomment'车辆支持充电类型',`category`stringcomment'车辆分类',`weight_kg`intcomment'总质量(kg)',`warranty`stringcomment'整车质保期(年/万公里)')comment'车辆信息维度表'partitionedby(`dt`stringcomment'统计日期')--指定了表的分区字段为dt，数据类型为字符串，并添加了注释说明为"统计日期"。storedasorclocation'/warehouse/car_data/dim/dim_car_info_full'--指定了表的存储位置为warehouse/car_data/dim/dim_code_full。tblproperties('press'='snappy');--指定了表的属性，其中press属性设置为'snappy'，表示使用Snappy压缩算法进行压缩。(2)日志编码维度表建表语句：droptableifexistsdim_code_full;createexternaltabledim_code_full(`type`stringcomment'编码类型',`code_id`stringcomment'编码ID',`code_name`stringcomment'编码名称')comment'日志编码维度表'storedasorclocation'/warehouse/car_data/dim/dim_code_full'tblproperties('press'='snappy');A1.2DWD层事实表建表语句电动模式行驶日志事实表建表语句:droptableifexistsdwd_car_running_electricity_inc;createexternaltabledwd_car_running_electricity_inc(`vin`stringcomment'汽车唯一ID',`velocity`intcomment'车速',`mileage`intcomment'里程',`voltage`intcomment'总电压',`electric_current`intcomment'总电流',`soc`intcomment'SOC',`dc_status`intcomment'DC-DC状态',`gear`intcomment'挡位',`insulation_resistance`intcomment'绝缘电阻',`motor_count`intcomment'驱动电机个数',`fuel_cell_dc_status`intcomment'高压DC-DC状态',`engine_status`intcomment'发动机状态',`crankshaft_speed`intcomment'曲轴转速',`fuel_consume_rate`intcomment'燃料消耗率',`max_voltage_battery_pack_id`intcomment'最高电压电池子系统号',`max_voltage_battery_id`intcomment'最高电压电池单体代号',`max_voltage`intcomment'电池单体电压最高值',`min_temperature_subsystem_id`intcomment'最低电压电池子系统号',`min_voltage_battery_id`intcomment'最低电压电池单体代号',`min_voltage`intcomment'电池单体电压最低值',`max_temperature_subsystem_id`intcomment'最高温度子系统号',`max_temperature_probe_id`intcomment'最高温度探针号',`max_temperature`intcomment'最高温度值',`min_voltage_battery_pack_id`intcomment'最低温度子系统号',`min_temperature_probe_id`intcomment'最低温度探针号',`min_temperature`intcomment'最低温度值',`battery_count`intcomment'单体电池总数',`battery_pack_count`intcomment'单体电池包总数',`battery_voltages`array<int>comment'单体电池电压值列表',`battery_temperature_probe_count`intcomment'单体电池温度探针总数',`battery_pack_temperature_count`intcomment'单体电池包总数',`timestamp`bigintcomment'日志采集时间')comment'电动模式行驶日志事实表'partitionedby(`dt`stringcomment'统计日期')storedasorclocation'/warehouse/car_data/dwd/dwd_car_running_electricity_inc'tblproperties('press'='snappy');这段代码的作用是创建一个外部表，用于存储电动模式行驶日志事实数据，并将数据按照日期进行分区存储。A1.3单次行程汇总表建表语句单次行程汇总表建表语句：droptableifexistsdws_electricity_single_trip_detail;createexternaltabledws_electricity_single_trip_detail(`id`stringcomment'行程id',`vin`stringcomment'汽车唯一编码',`start_timestamp`bigintcomment'开始时间',`end_timestamp`bigintcomment'结束时间',`start_mileage`intcomment'开始里程',`end_mileage`intcomment'结束里程',`start_soc`intcomment'行程开始soc,单位：0.1%',`end_soc`intcomment'行程结束soc,单位：0.1%',`avg_speed`decimal(16,2)comment'平均时速',`car_avg_voltage`decimal(16,2)comment'汽车平均电压',`car_avg_electric_current`decimal(16,2)comment'汽车平均电流',`battery_avg_max_temperature`decimal(16,2)comment'电池组最高温度的平均温度',`battery_mid_max_temperature`decimal(16,2)comment'电池组最高温度的中位数',`battery_avg_min_temperature`decimal(16,2)comment'电池组最低温度的平均温度',`battery_mid_min_temperature`decimal(16,2)comment'电池组最低温度的中位数',`battery_avg_max_voltage`decimal(16,2)comment'电池组最高电压的平均电压',`battery_mid_max_voltage`decimal(16,2)comment'电池组最高电压的中位数',`battery_avg_min_voltage`decimal(16,2)comment'电池组最低电压的平均电压',`battery_mid_min_voltage`decimal(16,2)comment'电池组最低电压的中位数')comment'单次行程汇总表'partitionedby(`dt`stringcomment'统计日期')storedasorclocation'/warehouse/car_data/dws/dws_electricity_single_trip_detail'tblproperties('press'='s