4.工业大数据平台

主讲人：王超宁波城市职业技术学院工业互联网数据采集技术——工业大数据平台序言面对海量的工业数据，传统的数据处理方式已然不能满足当下的行业需求，针对企业大量的数据存储与数据分析需求，该如何高效的进行快速处理？目录CONTENTS静态数据和流数据1批量计算与流式计算2大数据平台--Hadoop3静态数据和流数据01PARTONE01静态数据和流数据静态数据01静态数据和流数据B数据顺序不规律系统无法控制将要处理的新到达的数据顺序。C数据量大例如：发电风机峰值状态下，两万台风机每秒会产生逾千万条数据。A数据回传速度快例如：某企业发电风机数据回传频率高达每秒50组/s。D整体价值注重数据的整体价值，不过分关注个别数据。流数据的特征02PARTTWO批量计算与流式计算批量计算与流式计算02外部系统联机事务处理系统OLTP文档批量加载数据仓库静态数据数据集市联机事务分析系统报表查询图表数据源数据存储与管理挖掘与分析引擎数据应用02批量计算与流式计算输入数据流SparkStreamingSparkEngine数据切片输出结果02批量计算与流式计算计算模式批量计算流式计算数据到达计算开始前数据已准备好计算进行中数据持续到来计算周期计算完后会结束计算一般会作为服务持续运行应用场景时效性要求低的场景时效性要求高的场景03PARTTHREE大数据平台--Hadoop03大数据平台--Hadoop产品物料产线工艺质量设计客户市场供应链数据来源对象感知实时采集数据核查批量路由批量采集数据采集数据预处理数据存储数据预处理与存储用户建模产品建模产线建模工厂建模设备建模工艺建模数据可视化数据开放数据融合数据挖掘数据建模数据分析虚拟仿真资产优化虚拟仿真资产优化柔性制造供需匹配智能服务远程维修智能化生产协同化组织个性化定制服务化制造决策与控制应用大数据平台--Hadoop03多台机器每台机器上部署不同组件集群分布式多台机器每台机器上部署相同组件

分布式、集群是两个不同的概念，但口语中经常混淆二者。大数据平台--Hadoop03

分布式、集群的共同点是：都是多台机器(服务器)组成的；

因此口语中混淆两者概念的时候都是：相对于单机来说的。系统A服务器1系统B系统C服务器2服务器3系统A服务器1.1系统A服务器1.2系统A服务器1.3系统A组成的集群大数据平台--Hadoop03单机存储有瓶颈多台机器分布式存储单机计算能力有限多台机器分布式计算如何计算？如何存储?

数据大爆炸，海量数据处理场景面临问题大数据平台--Hadoop03MapReduce分布式计算Yarn资源调度HDFS数据存储大数据平台--Hadoop03数据块Client写复制DataNodesDataNodesClientNameNode读取元信息读取数据块元信息（Metadata）大数据平台--Hadoop03Split0Split1Split2Split3Split4输入数据Mapper

TaskMapper

TaskMapper

TaskReducer

TaskReducer

TaskOUTPUT输出数据Map阶段Shuffle阶段Reduce阶段中间结果大数据平台--Hadoop03Deer

Bear

RiverCar

Car

CarDeer

Car

BearDeer

Bear

RiverCar

Car

CarDeer

Car

BearDeer

1Bear

1River

1Car

1Car

1River

1Deer

1Car

1Bear

1Beer

1Bear

1Car

1Car

1Car

1Deer

1Dear

1River

1River

1Beer

2Car3Dear

2River

2Bear

2Car

3Dear

2River

2输入输出SplitMapShuffleReduce小结静态数据与流数据批量计算与流计