大数据分析关键技术.pptx

大数据分析关键技术 概述即席查询批量处理流式计算 大数据计算分析模式分类 即席查询Ad HocQuery 批量处理BatchProcessingMap Reduce 流式计算StreamComputing 数据承载 响应时间 适用场景 磁盘 秒级 准实时 自然人交互式经营分析 磁盘 分钟级至小时级 准实时 事前 事后大批量数据处理 内存 事件窗口非全量数据 秒级 实时 实时事件分析实时风险干预 针对不同的业务领域 需要采用不同的数据计算分析方式 快速发现数据价值 即席查询 即席查询 AdHoc 是用户根据自己的需求 灵活的选择查询条件 系统能够根据用户的选择生成相应的统计报表 即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的 而即席查询是用户自定义查询条件 即席查询 Storage DistributeFileSystem ColumnDatabase ResourceManagement ParallelComputeFramework SQLSyntax ComputeFramework SQLSyntax MetaData BatchProcessing Ad HocQuery 实时性 高 批量处理 Storage DistributeFileSystem ColumnDatabase ResourceManagement ParallelComputeFramework SQLSyntax ComputeFramework SQLSyntax MetaData BatchProcessing Ad HocQuery MapReduce是一种编程模型 用于大规模数据集的并行批量计算 概念Map和Reduce当前的主流实现是指定一个Map函数 用来把一组键值对映射成一组新的键值对 指定并发的Reduce函数 用来保证所有映射的键值对中的每一个共享相同的键组 形成这种模型的原因是 数据的分布式存储 计算资源的分布式 并行计算减少计算时长 批量处理 实时性 低 流式计算 流数据的实时计算注重对流数据的快速高效处理 计算和分析 其特点是计算过程数据不落地 所有数据在内存中完成 其计算模型是根据规则生成容器 当数据流经过容器时 实时产生分析结果 流式计算 InputAdapter OutputAdapter EngineCluster ClusterManagement RuleRepository NoSQL 实时性 高 概述即席查询批量处理流式计算 ImpalaNode Impala架构 Impalad QueryPlanner QueryCoordinator QueryExecEngine CommonHiveQL Interface MetaData SQL JDBC HiveMetaStore HDFSNN StateStore Impalad QueryPlanner QueryCoordinator QueryExecEngine Impalad QueryPlanner QueryCoordinator QueryExecEngine Data HDFSDN HBase Data HDFSDN HBase Data HDFSDN HBase ImpalaNode ImpalaNode LocalDirectReads Thrift Hive架构 Data HDFSDN TaskTracker JobTracker NameNode Hadoop Hive OverHadoop0 20 X SQL JDBC WUI ThriftServer Driver Compiler Optimizer Executor MetaStore ThriftServer JDBC通过ThriftServer连接到Hive ThriftServer连接MetaStore来读取hive的元数据信息 MetaStore 在关系型数据库中存放表 分区 列元数据 可以低延迟的快速的访问到需要的元数据信息 Driver QueryCompiler ExecutionEngine 客户端提交的HiveSQL首先进入Driver 然后Driver会为此次HiveSQL的执行创建一个Session Driver维护整个session的生命周期 Driver首先将HiveSQL传送给QueryCompiler 然后由QueryCompiler来对用户提交的HiveSQL进行编译 检查 优化并最终生成MapReduce任务 ExecutionEngine会与Hadoop进行交互 将MapReduce任务交给Hadoop来执行 并从Hadoop取得最终的执行结果 并返回给用户 解析HiveSQL之后生成所MapReduce任务 在运行中访问元数据信息时 将直接读取生成的物理计划时产生的plan xml 此文件会被放入Hadoop的分布式缓存中 MapReduce任务可以从分布式缓存中获得相应的元数据 Impala相对于Hive的优势 Impala不需要把中间结果写入磁盘 省掉了大量的I O开销 省掉了MapReduce作业启动的开销 MapReduce启动task的速度很慢 默认每个心跳间隔是3秒钟 Impala直接通过相应的服务进程来进行作业调度 速度快了很多 Impala借鉴了MPP并行数据库的思想 可以做更多的查询优化 从而省掉不必要的shuffle sort等开销 使用了支持Datalocality的I O调度机制 尽可能地将数据和计算分配在同一台机器上进行 减少了网络开销 用C 实现 做了很多有针对性的硬件优化 对外提供多语言API 多种访问协议 中间结果 作业调度 作业分发 数据访问 代码实现 概述即席查询批量处理流式计算 MapReducev0 23 x YARN NodeManager Container AppMaster NodeManager Container AppMaster NodeManager Container ResourceManager Client Client JobSubmission Container MapReduceStatus ResourceRequest NodeStatus 从0 23 0版本开始 Hadoop的MapReduce框架完全重构 新的HadoopMapReduce框架命名为MapReduceV2 YARN 概述即席查询批量处理流式计算PrimetonCEPStorm 流数据处理技术对比传统规则引擎 概念 按时间区间 按长度区间 按时间与长度混合区间 按特有属性值等规则所建立起的对象集合 存放在内存中 若动画中 再对已分类的硬币进行自动打包 有两种方式 1 判断槽中的硬币数量 触发打包动作 2 判断槽中的硬币重量 触发打包动作 窗口模式 如动画中对硬币的分拣动作 可以根据硬币的物理属性设计不同的判断规则 轨道宽度 转角等 完成分类 决策判断 普元CEP平台架构 事件采集层 Agent Agent Agent Agent 外部系统 系统A 系统B 系统C 系统D 接入层 InputCluster1 n 分析引擎平台 结果执行层 规则库 分析引擎OSGiBased 分析引擎OSGiBased 接入层 OutputCluster1 n 分析规则开发 离线开发 规则开发IDE EclipseBased Action Action Action Action 应用门户 功能松耦合 管理门户 规则模板生命周期管理 运维门户 引擎监控 全局配置 自动化部署 业务门户 规则实例业务参数配置 分析集群运行环境 管理控制环境 普元CEP平台特色 基于云计算PaaS架构分布式集群管控框架 系统级物理主机 虚拟机管理 进程级服务实例管理 集群配置分析规则热更新 热部署 与虚拟机镜像结合分析服务快速部署 与规则库结合规则插件快速部署 集群通知渠道规则实例快速应用 自动化 图形化运维 事件分析平台 面向数据流 基于内存 内存状态数据迁移 冷热数据分离与恢复 集群规模水平伸缩 事件动态路由 分析规则开发 管理与应用 规则模板开发IDE 事件元数据 类SQL规则语言 Action元数据 Web规则实例配置与热部署 Web规则模板管理 分布式集群管控框架 AnyOS 持久化集群 AMQPMQ集群 ZooKeeper集群 Web控制台 无状态 多实例 负载均衡 SessionSticky 物理 逻辑拓扑 规则模板模板 状态 规则实例 监控业务进程 过滤 聚合 SupportZKClient ZKClient OS SupportNodeJS 监控业务进程 过滤 聚合 unSupportZKClient ProcessDaemon NodeJS ZKClient OS unSupportNodeJS 监控业务进程 过滤 聚合 unSupportZKClient ProcessDaemon Java ZKClient OSAgent NodeJS ZKClient MQClient OSAgent NodeJS ZKClient MQClient OSAgent Java ZKClient MQClient 管控服务 ZK客户端 DB客户端 MQ客户端 规则部署与配置场景 运维人员 Repository 业务Console 业务人员 DB CEPEngine1 CEPEngine2 CEPEngine3 ZooKeeper 3 下载规则的表单页面 2 保存规则到仓库 运维Console 4 规则参数配置 5 保存规则参数配置 6 保存规则参数配置到ZooKeeper engine1 Rule1 Rule2 Rule3 engine2 Rule4 engines 7 通知Engine 1 上传规则部署包 8 下载规则 2 保存规则信息到DB 接出层 分析引擎 接入层 分析引擎A 规则实例A1 规则实例A2 规则实例An 规则实例A3 分析引擎B 事件路由1 事件路由p 事件路由 事件去重1 事件去重q 事件去重 NoSQL 负载均衡 可选 事件输入 事件输出 集群管理 MQ MQ 事件 分析规则 1 n 分析引擎实例 n 1 规则 规则实例B1 规则实例B2 规则实例Bn 规则实例B3 普元CEP关键技术 事件路由与去重 多副本冗余增强可靠性 分析引擎 实例3 实例4 实例2 普元CEP关键技术 实例状态复制 接出层 接入层 实例1 实例A1 实例A2异常 实例A3 事件路由 事件去重 事件输入 事件输出 实例A4新增 场景说明实例A2异常实例A4新增 Context Context Context Context包括最终接收事件号状态对象 关键步骤1从A1或A3中选择一个实例 如A3 关键步骤2将A3工作暂停 获得其Context此时A1正常工作 A2已经退出 A3暂停 关键步骤3创建新的实例A4 未启动状态 将Context复制到A4中恢复A3的工作状态 启动A4 关键点业务不中断事件去重完成对重复事件的过滤可靠性取决于集群内实例个数 C C C D 状态数据迁移与备份 JVM 普元CEP关键技术 规则实例水平迁移 内存 规则数 事件量 JVM1 分析引擎 事件大小 容量预估模型 规则实例m 事件 状态 分布式集群管理框架 规则实例n 事件 状态 规则实例x 事件 状态 NoSQL MongoDB JVM1 规则实例m 事件 状态 规则实例x 事件 状态 JVM2 规则实例x 事件 状态 运行期实时监控 系统容量扩展 普元CEP关键技术 基于OSGi的规则部署包 规则库目录结构和导出规则部署包的目录结构一致 方便部署和下载CEPEngine规则库的目录结构与console的规则库目录结构区别在于web目录 一个rule目录作为一个OSGi的bundle rules Javapackage classes rule1 rule eps eps1 eps lib 3rd1 jar Action1 class ExtFunc class rule1 eventSource event1 event event2 event web form1 jsp rule2 Listener1 class META INF MANIFEST MF ext extconfig1 OSGiBundle 规则库 部署包 规则模板热部署 普元CEP1 5平台 主机管理 普元CEP1 5平台 集群管理 普元CEP1 5平台 实例管理 普元CEP1 5平台 规则模板管理 普元CEP1 5平台 规则实例管理 普元CEP1 5平台 状态监控 普元CEP1 5平台 规则模板元数据 普元CEP1 5平台 规则实例业务参数配置 普元CEP1 5平台 规则包 概述即席查询批量处理流式计算PrimetonCEPStorm Storm基本概念 Stream Spout Bolt StreamingGrouping Task Work 消息流 一个无尽的Tuple序列 Topology 规则拓扑 由多个Spout和Bolt组成 消息发送器 区分可靠与不可靠 消息处理器 业务逻辑载体 多入多出 消息分组方式 数据进入