存储计算应用的三层平台服务架构探索PPT课件.pptx

存储计算应用的三层平台服务架构探索 3 23 2020 1 目录1 服务化的必要性 2 数据平台服务化的理论实践 3 从服务化到云化的理论实践 3 23 2020 2 电商营销目标 百分点 推荐引擎 服务场景 个性化推荐消费者用户行为 用户全网行为偏好 用户当前购物需求 客户行业运营规则 个性化推荐算法 输出个性化推荐结果 3 23 2020 3 ACL Zookeeper 数据采集业务数据汇集用户行为埋点采集互联网数据抓取 数据清洗业务数据清洗系统用户行为数据清洗系统互联网公开数据清洗系统 数据标准化用户多重ID归一化系统商品归一化系统 数据平台 安 全 认 证 权 限 监 控 配 置 及 报 警 电子商城个性化系统 移动商城个性化系统 媒体网站个性化系统 个性化推荐引擎 BRE 微信商城个性化系统 结果输出用户标签商品标签 文本 点击率模型协同过滤结果关联规则结果 HDFS 全量数据 Kafka 汇聚分发 Redis 活动数据 Solr 索引数据 MapReduce HQL 计算资源管控 YARN自动 工单手动 增量计算进程SQL类存储层 其他计算方式 自 动 化 运 维 服务化的必要性 从一枝独秀到遍地开花 3 23 2020 4 ACL Zookeeper 数据平台 电子商城个性化系统 移动商城个性化系统 媒体网站个性化系统 个性化推荐引擎 BRE 数据采集业务数据汇集用户行为埋点采集互联网数据抓取 微信商城个性化系统 结果输出用户标签商品标签 文本 点击率模型协同过滤结果关联规则结果 HDFS 全量数据 Kafka 汇聚分发 Redis 活动数据 Solr 索引数据 MapReduce HQL 计算资源管控 YARN自动 工单手动 增量计算进程SQL类存储层 其他计算方式 在线营销支持系统 门店营销支持系统 会员营销支持系统 全网市场监控系统 舆情管家 商情管家 用户洞察系统 自动化营销引擎 BME 数据清洗业务数据清洗系统用户行为数据清洗系统互联网公开数据清洗系统 大数据分析引擎 BAE 数据标准化用户多重ID归一化系统商品归一化系统 服务化的必要性 从一枝独秀到遍地开花 安 全 认 证 权 限 监 控 配 置 及 报 警 自 动 化 运 维 3 23 2020 5 更多的开发者 更多的应用 更多样化的数据流 如何避免依赖雪崩 如何避免数据篡改 3 23 2020 6 数据采集 业务系统数据 数据桥接 日志数据 LogStash 用户实时线上行为数据 数据探头 互联网数据 数据爬取 离线数据 数据分发 消息队列 Kafka 离线数据存储及处理 Hadoop 数据服务RESTAPI HDFS MRHive Hbase 对外服务数据存储RedisMySQLMongoDBES Solr实时数据处理StormSpark WEB应用 从数据到应用 典型的数据流 3 23 2020 7 消息队列图床 RDB日志存储 海量对象存储集群协作zookeeper K V缓存分布式OLAPDB GP 列式DB全文索引 文档DB MapReduce任务 脚本任务 任务调度 实时统计 流计算 增量算法 OLAP任务 RESTAPI微服务 商品检索 数据管理应用 数据服务应用 标准Web应用 自定义程序任务 数据流转换 RESTAPI微服务 资讯检索 RESTAPI微服务 用户画像 RESTAPI微服务 用户筛选 数据洞察应用 进一步 对任意web应用的三层抽象 应用层 计算层 Lambda计算 存储层多样性存储 3 23 2020 8 目录1 服务化的必要性 2 数据平台服务化的理论实践 3 从服务化到云化的理论实践 3 23 2020 9 服务SLA数据可靠性服务可用率灾备成本控制低碳 API SDK Doc 开箱即用 兼容原生API的SDK 引导性的文档 FAQ 元服务 服务元数据 服务状态发布 服务发布框架 服务能力体系 服务代理 高性能4层代理 RPC代理 代理端认证和配额 服务依赖 计算和存储的依赖 应用和微服务的依赖 应用 微服务和存储计算的依赖 平台服务化的理论和实践服务化的核心元素 3 23 2020 10 ClientAPIcall ServicedashboardWebUI REST IDC1 RawHDFS REST IDC2 RawHDFS REST IDC3 RawHDFS IDCawarejobs IDCawarejobs ClientAPIcallClientAPIcall AdminViewL4Proxy AuthHDFSFederation UserView 存储服务化 HDFSaaS 3 23 2020 11 A 云中心 proxycodis Redis云服务器节点 Redis云UI A proxycodis A codisslave A A A proxy A A proxycodis A A dashbd A proxycodis A A A dashbd client Registry client 存储服务化 Redis云 3 23 2020 12 项目任务任务任务 任务 任务 Developer 任务调度workflow 资源调度yarnJob2 任务监控用量统计Job1 Job2 Job2 Job1 Job3 Job2 计算服务化 MapReduce服务化 3 23 2020 13 SQL预分析系统 中间层基础层 主题层 数据存储RESTAPI存储 计算服务 事实表LOGS 维度表HIVEWEBREQHIVE CLICKSERVER BIHIVE MYSQL ProfilesHIVE HBASE EnginesGP 元数据管理系统存储引擎管理 数据字典数据规范数据流向图SQL盘点 配置中心 权限管理系统 离线任务调度系统 产品应用层 多引擎自助查询层 自助查询 SQL市场 图例 外部系统 数据仓库组件 服务调用 数据接入规则UI规则配置标准化清洗 规则库 数据服务化 3 23 2020 14 BypassProxy User DB Services Services Services P P P P Auth conn authinfo denyortoken request zerocopy 服务Proxy bypassClient 3 23 2020 15 3 目录1 服务化的必要性 2 数据平台服务化的理论实践 从服务化到云化的理论实践 3 23 2020 16 挖掘任务ETL迭代计算效果分析 BI任务ETLAnalyze 存储 计算资源倾斜业务相互影响吞吐和延迟不可兼得硬件利用率低 大规模服务化之后 3 23 2020 17 增量算法 应用云 AppEngine RESTAPI微服务 商品 计算云服务MapReduce服务脚本提交服务 数据服务应用标准Web应用任务调度 存储云服务 消息队列kafka云 服务式 海量对象存储HDFS 服务式 K V缓存Redis云 实例式 列式DBHbase 服务式 日志存储Logstash容器 全文索引ES云 实例式 L4Proxy Auth 计量中心 资源调度 数据管理应用数据洞察应用RESTAPI微服务RESTAPI微服务 资讯 用户 L4Proxy Auth自定义程序任务实时统计 流计算 OLAP SQL 服务 云中心 元服务 构建云平台 3 23 2020 18 dep htt 云中心DashBoard SiriusServer LogStash Datajobs 元服务 HDFS ES Redis HBase Kafka HttpRouterYarn 应用服务器节点App 1 计算服务器节点 ContainerStateMonitor 图例 应用编排数据流计算任务数据流Nodemanager l oy req ues ts p req u es t L4proxy 构建云平台 3 23 2020 19 SiriusServer MR Map MR Map BDMS HadoopClient 服务元数据库 HDFS ES Redis HBase Kafka ServiceDiscoverYarn 服务器组 扩展服务器组MR Reduce DockerStateMonitor 图例应用编排数据流计算任务数据流Nodemanager 构建云平台计算任务数据流图云中心DashBoard 3 23 2020 20 A B C D E app 微服务 存储服务 计算服务 存储服务 依赖管理 故障归因 3 23 2020 21 IDC