大数据架构规划ppt课件

大数据应用架构和演进路线,.,目录,一、产品需求理解和整体规划,二、演进路线,三、开发及运营能力,四、产品运行能力,.,可视化能力视图分析,数据查询引擎,数据服务平台,指标服务管理系统,指标计算服务API,服务开发与封装,服务管理,服务运维与监控,可视化产品开发管理平台,开发者前台可视化产品组装,管理者后台控件、组件、产品管理,公共中台服务,生态运营管理,PC产品门户,可视化APP,HbaseRK,HiveSQL,Kylin,SparkSQL,路由管理,数据模型开发,指标服务开发与封装,组件控件开发,SOR层模型,DPA层模型,统一视图,应用指标库,会员,流量,销售,服务,物流,金融,财务,产品页面开发,平台能力构建,数据开发、可视化产品开发,诸葛,决策支持,鹰眼,组件实例化页面组装,权限管理,组件开发,控件开发,指标管理服务,指标库模型,指标审核,元数据管理平台,.,整体应用架构图,数据模型层,数据封装平台,元数据管理平台,自助分析开发管理平台,诸葛前端门户,产品专区,主页配置,产品展示前端,产品展示前端,高速数据查询引擎,社区交流,指标管理服务,开发者前台,开发管理服务中台,组件管理服务,组件市场服务,产品管理服务,权限管理服务,管理者后台,运营后台系统,分类标签管理,指标服务浏览,组件市场管理,产品市场管理,SparkSQL,Kylin,监控分析,权限管理,分业务模型（轻度汇总）,统一视图（高度汇总）,应用指标库（DM层）,明细数据表（SOR层）,产品运行能力,开发及运营能力,数据服务能力,公共服务,数据封装服务,开发管理,指标服务浏览,指标服务开发,标准指标服务,组合指标服务,服务运维管理,指标计算服务,日志&监控,指标库模型,数据模型元数据定义,指标审核,监控分析,用户分析,社区管理,服务测试验证,指标管理,指标服务管理,组件管理,产品组装,产品管理,监控分析,组件、产品性能监控服务,产品页面,产品页面,.,建设优先级,数据模型层,数据封装平台,元数据管理平台,自助分析开发管理平台,诸葛前端门户,产品专区,主页配置,产品展示前端,产品展示前端,高速数据查询引擎,社区交流,指标管理服务,开发者前台,开发管理服务中台,组件管理服务,组件市场服务,产品管理服务,权限管理服务,管理者后台,运营后台系统,分类标签管理,指标服务浏览,组件市场管理,产品市场管理,SparkSQL,Kylin,监控分析,权限管理,分业务模型（轻度汇总）,统一视图（高度汇总）,应用指标库（DM层）,明细数据表（SOR层）,低优先级,高优先级,公共服务,数据封装服务,开发管理,指标服务浏览,指标服务开发,标准指标服务,组合指标服务,服务运维管理,指标计算服务,日志&监控,指标库模型,数据模型元数据定义,指标审核,监控分析,用户分析,社区管理,服务测试验证,指标管理,指标服务管理,组件管理,产品组装,产品管理,监控分析,组件、产品性能监控服务,产品页面,产品页面,高优先级,高优先级,高优先级,高优先级,高优先级,高优先级,.,当前数据分析产品开发模式,数据开发,页面产品开发,产品部署和发布,缺点：数据开发缺少元数据平台支撑，指标的口径管理比较孤立不同数据分析产品定制数据指标，数据指标没有服务化，无法共享；导致数据在不同产品间的一致性差异页面展示没有组件化，页面模块无法重复利用产品优化通道没有建立，缺少持续改善和提升的输入意见优点开发模式比较简单，容易掌握小规模数据分析产品开发有优势,.,标准数据服务的开发流程,数据分析产品开发流程,数据分析产品开发新生态,汇总模型的建设,构建标准指标数据服务,控件：数据表达的最小元素,数据组件库：基于控件开发和封装,页面组装：组件的数据实例化,组装产品及发布,标准数据服务发布,引用标准数据服务,非标数据服务,后端管理与运营,监控与数据采集,用户交流反馈,需求与数据分析,产品优化与改进,.,目录,一、产品需求理解和整体规划,二、数据服务能力,三、开发及运营能力,四、产品运行能力,.,标准指标设计,标准指标ID,指标名称/业务口径描述,分析维度组合1,分析维度组合2,分析维度组合n,指标的技术口径A,1,1,指标的技术口径B,数据仓库,轻度汇总表,数据明细表,指标库高度聚合表,指标ID,标准指标服务,指标名称,业务口径,分析维度组合,指标计算参数,技术口径,输入,输出,数据描述/指标值列表,指标计算服务,一、按ID、分析维度读取元数据服务,二、按指标参数组合查询SQL,三、调用数据计算引擎,标准指标定义,.,系统及平台定位,数据模型层：（持续建设中）经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清晰而准确的管理；数据存储可以落在Hive、或者DBMS中数据封装平台：（系统新建）1.开发管理，基于指标技术元数据封装为标准指标服务，并在此基础上定义组合指标服务2.提供数据封装服务，响应组件调用3.公共服务，指标计算服务4.运维管理服务，性能监控，日志管理等元数据管理平台：（功能扩充）1.指标库模型定义及数据存储2.指标库管理服务，如新增、删除、修改；指标库查询服务3.指标库管理前端功能，指标库新增审核高速数据查询引擎：（系统新建）对大量数据进行多维度聚合查询的技术组件，追求高性能、高并发量、高扩展性,.,目录,一、产品需求理解和整体规划,二、数据服务能力,三、开发及运营能力,四、产品运行能力,.,开发者前台功能明细,指标管理,标准指标维护申请,指标库浏览,指标明细查询,非标指标维护,指标服务管理,数据源管理,数据源引入,数据浏览,非标指标服务维护,指标服务查询,标准指标服务维护,性能监控,衍生指标服务维护,组合指标服务维护,指标服务性能监控,组件管理,组件浏览,组件新增,组件维护,组件发布上架,组件版本管理,产品页面装配,页面模板引入,组件装配,验证测试,组件市场浏览,产品管理,页面产品浏览,页面产品发布,页面产品下线,组件性能监控,页面产品性能监控,开发者前台,后端系统,元数据管理平台,数据封装平台,开发管理中台,.,管理者后台功能明细,管理者后台,后端系统,元数据管理平台,数据封装平台,开发管理中台,分析&管理,权限管理,组件市场管理,产品市场管理,标签分类,指标服务浏览,运营后台系统,.,系统及平台定位,自助分析开发管理平台：（系统新建）开发者前台：为授权开发者提供指标服务开发、组件开发、产品组装和发布的集成开发环境管理者后台：对产品开发使用的资源，指标服务、组件、页面产品进行管理，如授权、上下架、分类等服务中台：对开发者和管理者前端使用到的共同的中台服务功能集合运营后台系统：（系统新建）指标服务、组件、页面产品的使用情况分析；组件、产品的用户体验，口碑分析后端社区管理功能组件、页面产品的性能监控服务，数据统计和分析服务,.,目录,一、产品需求理解和整体规划,二、数据服务能力,三、开发及运营能力,四、产品运行能力,.,系统及平台定位,诸葛前端门户：（系统新建）主页配置：菜单、导航配置产品专区：社区交流：经验分享和交流产品展示前端：（产品开发完毕后发布）链接至各从产品专区，实现页面访问流量的落地，随着数据分析类产品的新建而增加系统,.,产品开发流程,控件素材准备,产品页面开发（组件实例化）,测试和验证,产品发布申请,指标服务管理,组件市场管理,产品市场管理,产品开发流程概要,查询,审核,指标开发,.,指标服务开发流程,标准指标,标准指标服务（多分析维度组合）,非标指标,非指标服务（固定分析维度、多指标）,衍生指标服务（固定分析维度、多指标）,组合指标服务（固定分析维度、多指标）,Public,Private,Private,Private,.,组件数据源,标准指标服务（单一指标）,非标指标服务（多指标）,来自标准指标库,来自自定义SQL、外来数据服务,衍生指标服务A（多指标）,组合指标服务（多指标）,如环比、同比、占比,相同维度拼接,组件数据源,组件视图,.,名词解释,标准指标：标准指标服务：组合指标服务：分析维度