H3C大数据解决方案

H3C大数据解决方案H3C大数据解决方案目录大数据建设思路H3C大数据解决方案H3C大数据产品特点成功案例展示目录大数据建设思路为什么需要大数据技术？3大表查询慢数据间关系模糊计算节点扩展瓶颈数据结构多样数据来源广泛计算性能瓶颈存储容量瓶颈服务级别要求越来越高OldSQL瓶颈半、非结构化数据难以处理数据采集困难数据几何增长存储节点扩展瓶颈数据清洗复杂系统响应慢数据吞吐能力低单表数据量激增分析方式单一分析结果展现不友好无即席查询为什么需要大数据技术？3大表查询慢数据间关系模糊计算节点扩展大数据建设思路4数据运营数据整合技术升级第一阶段第二阶段第三阶段大数据建设思路4数据运营数据整合技术升级第一阶段第二阶段第三第一阶段技术升级大数据建设步骤第一阶段技术升级大数据建设步骤技术升级6决策支持和流程自动化数据分析、展现和挖掘数据组织和管理计算、存储、网络基础设施分布式存储分布式文件系统分布式卷管理器分布式数据库分布式计算集群技术升级解决传统计算、存储、数据库在处理海量大数据的瓶颈技术升级6决策支持和流程自动化数据分析、展现和挖掘数据组织和分布式架构的优势7分布式架构的优势7第二阶段数据整合大数据建设步骤第二阶段数据整合大数据建设步骤数据整合9数据仓库全文库关联库专题库……数据管理基础数据应用数据配置数据数据标准管理数据质量检测数据资源监控数据资源目录数据价值评价政务内网政务外网数据源互联网数据结构化库全文库音视频库……元数据库数据字典…………制定标准化、规范化的数据处理流程；采集内部和外部数据、结构化和非结构化数据；清洗脏数据和无效数据；打通不同来源的数据；对非结构化的数据进行结构化加工数据整合9数据仓库全文库关联库专题库……数据管理基础数据应用第三阶段数据运营大数据建设步骤建议第三阶段数据运营大数据建设步骤建议数据运营11数据即服务平台即服务软件即服务数据运营第一种：DaaS，数据即服务，举例来说，某个单位它需要数据，作为数据管理员，按用户的需求把不同数据整合成宽表给用户，这就是DaaS的服务；第二种：PaaS，对外部单位数据服务的时候，有些数据没有办法离开数据平台，通过提供各种各样数据分析挖掘的工具，让用户在平台上挖掘出需要的结果；第三种：SaaS，各个专业的平台应用。数据运营11数据即服务平台即服务软件即服务数据运营目录大数据建设思路H3C大数据解决方案H3C大数据产品特点成功案例展示目录大数据建设思路H3C大数据平台系统架构H3C大数据平台系统架构平台物理拓扑14……Hadoop集群MPP集群其他组件（BI、ETL等）…InterconnectionNetwork基于X86的分布式架构，可从3台横向扩展至数千节点平台物理拓扑14……Hadoop集群MPP集群其他组件（BIH3CDataEngine平台组件Linux操作系统X86服务器集群资源管理YARN任务调度安全管理文件系统HDFS集群安装布署消息队列BI可视化可编程接口离线计算MapReduceMPP分布式数据库HBase数据库全文检索SQL即席查询数据仓库同步系统ZooKeeper内存计算Spark流计算Storm数据采集数据交换数据挖掘集群监控管理大数据应用H3CDataEngine兼容性好：基于开源Hadoop分布式计算框架，提供开放、兼容的大数据计算能力；硬件无关：支持物理机布署、虚拟机布署；支持独立布署、云平台布署；安装便捷：支持一键式快速布署，几分钟即可完成集群创建；扩展性强：集群数量从几台到上千台，并支持在线横向扩展；方便运维：支持图形化管理工具，运维管理简单易用；兼容SQL：

兼容标准SQL，包括Hadoop和MPPH3CDataEngine平台组件Linux操作系统X86大数据平台整体建设步骤建立数据标准规范建立数据填报系统业务系统数据抽取连接共享交换系统数据比对垃圾过滤数据去重数据转换数据采集数据仓库建设根据分析型应用需求确定专题数据特征分析根据对需求和数据的分析，按照不同的主题建立数据仓库模型各业务部门根据各自的数据分析需求，建立数据集市模型通过ETL工具实现数据加载和同步数据分析应用专题图表设计领导辅助决策职能部门数据共享公众数据查询其他大数据应用系统123大数据平台整体建设步骤建立数据标准规范数据采集数据仓库建设根1.数据采集--数据共享交换平台在每个被采集的数据单位，部署数据采集网关，实现对结构化、半结构化、非结构化数据的采集和相互交换支持对Oracle、SQLSever、MYSQL、达梦、金仓等数据的抽取支持对xml、html、pdf、txt等文件的抽取房产部门税务部门财政部门相关资源提供机构其他职能部门RESTservices异构桥数据交换总控云服务网关数据交换网关Rest数据集市数据交换总控数据交换网关多维立方体数据仓库工商部门1.数据采集--数据共享交换平台在每个被采集的数据单位，部署1.数据采集——数据ETL清洗脏数据、重复数据、无效数据，打通不同来源的数据；对非结构化的数据进行结构化加工A系统源数据B系统C系统数据抽取数据清洗数据转换数据加载配置库按规则抽取读取配置临时文件数据仓库（Hadoop+MPP）目标数据…1.数据采集——数据ETL清洗脏数据、重复数据、无效数据，打采用全可视化ETL系统，动态监控整个任务的执行情况拖拽式规则编辑，支持多种数据转换、清洗方式。1.数据采集——配套ETL工具界面采用全可视化ETL系统，动态监控整个任务的执行情况拖拽式规则支撑数据库元数据GIS信息LDAP库DW数据仓库分析主题数据集市……中心基础库人员企业环境工商统计……ODS操作数据库粗粒度数据细粒度数据……2.数据仓库建设——平台数据仓库架构

数据平台仓库是大数据平台的“大脑”，它存储的是“经过梳理的”各种业务系统数据。使原来分散在各业务系统中，无法关联的数据，真正成为全面的，有分析加值的综合性大数据。支撑数据库元数据GIS信息LDAP库DW数据仓库分析主题数据2.数据仓库建设——并行加载、并行查询212.数据仓库建设——并行加载、并行查询21disksdisksmemoryCPUCPUdisksmemoryCPUCPUdisksmemoryCPUCPUInterconnectionNetwork…数据MPP架构横向扩展数百节点2.数据仓库建设——MPP数据库disksdisksmemoryCPUCPUdisksmem3.数据分析应用——数据建模分析分布式存储、计算平台DistributedExecutionEngine分布式执行引擎RRuntimeLibraryR语言动态运行库大数据平台算法RLanguageInterfaceR语言接口JavaLanguageInterfaceJava语言接口RStudioWebIDE开发环境公安大数据应用SQLonHadoop、MPP交通大数据应用医疗大数据气象大数据电力大数据…3.数据分析应用——数据建模分析分布式存储、计算平台Dist3.数据分析应用——数据可视化设计3.数据分析应用——数据可视化设计基础组件扩展组件KPI组件180°仪表盘45°仪表盘360°仪表盘齿轮图温度计KPI子弹图扩展……柱图条形图线图面积图散点图气泡图漏斗图热区图表格MAP扩展……饼图GIS视频人口金字塔关系图扩展……雷达图K线图图片标签文本音频7647266232组件：633.数据分析应用——可视化组件支持范围基础组件扩展组件KPI组件180°仪表盘45°仪表盘360°

选择数据模型

选择维度

选择度量

设置函数为“总和”

设置筛选条件

设置排序

新建自定义度量

设置预警

执行，查看结果123456783.数据分析应用——即席查询模块选择数据模型选择维度设置3.数据分析应用——交通大数据3.数据分析应用——交通大数据目录大数据建设思路H3C大数据解决方案H3C产品特点案例展示目录大数据建设思路安装部署主节点一键下发指令，自动安装部署……Hadoop集群MPP集群其他组件…集群部署：多样化部署方式，定制部署、ZERO部署；集群扩容：横向扩展、纵向扩展；集群规模：无限制，支持三台至上千台节点；集群交付：上千台节点集群分钟级交付；安装部署主节点一键下发指令，自动安装部署……Hadoop集群运维管理平台安装部署集群管理主机管理服务管理用户管理告警监控运维管理平台安装部署机架展示节点服务CPU内存硬盘机架展示节点DataEngineMPPCluster

可处理PB级别以上的结构化数据实际扩展能力达到64个Safegroup（最多64x3=192）个节点数据加载速度大于2TB/小时数据通过2个副本提供冗余保护每个节点并发能力大于300个用户数据支持hash分布，range分布，random分布支持标准SQL提供标准的APIs:

C

API,JDBC,ODBC,ADO.NetDataEngineMPPDataEngineMPPCluster可处理PB级别大数据的安全建设外围：华三具有全系列安全产品线产品用于支撑大数据集群和云计算周边安全。租户：针对不同的租户分配不同的大数据集群资源区从而实现租户间数据隔离。用户：用户访问集群首先要通过安全认证；使用集群中计算资源和存储资源需要对用户进行授权；用户对集群的操作通过审计功能进行记录。数据：数据加密，数据脱敏。交换机防火墙VLANNetwork交换机租户1租户2租户3大数据集群大数据集群大数据集群大数据的安全建设外围：华三具有全系列安全产品线产品用于支撑大大数据物理机集群VMVMVMVM大数据虚机集群华三云平台VMVMVMVMVMVM云资源池云与大数据平台融合华三大数据平台既可单独部署，也可与云计算平台融合。融合架构适用于大数据计算资源按需分配场景，以及多租户隔离场景。大数据物理机集群VMVMVMVM大数据虚机集群华三云平台VM目录大数据建设思路H3C大数据解决方案H3C产品特点案例展示目录大数据建设思路太阳能板光电互补绿色环保滚动广告牌播放广告或活动信息应急电源装置给手机等电子设备充电或加装充电桩给电动车辆充电无线网