大数据治理平台建设与应用解决方案

大数据时代到来，我们已被海量数据信息包围大数据时代到来，我们已被海量数据信息包围研发数据舆情数据研发数据舆情数据管理数据刑侦信息风险信息数据第三方行业的新增长点。广告数据广告数据监测数据用户信息监测数据用户信息制造政府搜索数据搜索数据社交数据社交数据模型算法SparkHBase列存储Storm流处理BI分析数据挖掘大数据存储应用广泛，具备大数据必备因素大数据存储数据的传输问题也有大数据组件解决，如通过数据BI软件、数据分析挖掘通过大数据平台的相供商产品提供商商供商数据分法提供商设厂商?■数据产品厂商，缺乏场景使用经验数据平台厂商与数据应用厂商往往不是一家，平台厂商缺乏数据应用建设经验。数据应用厂商不能理解平台内数据业务含义具有涉密数据开发资质的厂商有限，但并不了解大数据平台内部数据的含义。各厂商之间交换的数据质量得不到保证大数据建设项目被分为数据平台、应用、业务等多个独立项目和厂商，之间的衔接部分没有人管理，造成数据质量差。业务需求·拿到的使用数据根本没法用业务需求集中响应技术需求技术需求·大文件数据传输慢·大数据量实时传输没有解决方案·没有统一的技术管理平台·跨平台数据问题无法追述管理需求管理需求·众多大数据厂商难以协调·厂商管理之间的空隙没填补·数据质量问题来回推诿0大数据治理平台背景大数据平台化的发展趋势与现状大数据平台化的发展趋势与现状应用百花齐放应用：我有数据分析经验，但是我拿不到百花齐放访问层存储层数据源厂商Z厂商Z:我只是提供数据共享平台，厂商访问层存储层数据源厂商Z厂商Y:厂商X:大数据项目实施中遇到的哪些问题?大数据项目实施中遇到的哪些问题?数据应用厂商意理大数据平台内数据的技术、业务属性不清晰，意理批量导入实时同步使用3使用不明确：由于数据业务特性与使用方法不统一，难以对结构化数据、半结构化、非结构化数据的快速集成和共使用3质量监控大数据平台大数据平台建设厂商监控不到位：在实际数据运行中，会出现数据信息发生中断异常或数据量发生突然变化等数据大数据平台建设厂商数据源场景一：建好数据管理体系，快速识别数据场景一：建好数据管理体系，快速识别数据元数据建议元数据建议：?1.自动化获取元数据信息通过自动化采集与解析手段，建立技术、业务、过程元数据的注册输入，数据的业务特点是?通过自动化采集与解析手段，建立技术、业务、过程元数据的注册输入，标明数据方位。2.标明数据方位，整理业务属性2.标明数据方位，整理业务属性将数据资产按业务属性编目，梳理数如何快速识别数据?据的属性、共享方式、特性、映射。3:建立业务数据服务目录数据资产模型以数据资产为驱动方式，实现数据集数据资产模型成和共享。建立数据服务目录。如何自动化管理?如何快速找到样例数据?批量数据交换?我需要秒级更新数据?数据太大无法传建议：梳理数据集成、交换需求。按技术特征划分为基于数据资产的数据开发，实现资产与数据服务的对接。通过服务目数据库服务元数据库资源实例资源服务数据资产服务内存数据服务数据资产服务内存数据服务实时资源同步内存数据模型批量资源获取数据模型数据资源模型数据模型场景三：提供专业的数据监控体系，快速发现问题。场景三：提供专业的数据监控体系，快速发现问题。数据不一致怎么办?针对调度监控和数据源相关监控过程中的数据进行整合形成数据源头调度监控的分析报表。数据抖动监控是指通过对数据记录数的监控，在一段时间周期内，通过折线图的方式可以查询一段时间内数据的峰值和低谷。数据一致性监控是数据抖动监控是指通过对数据记录数的监控，在一段时间周期内，通过折线图的方式可以查询一段时间内数据的峰值和低谷。数据一致性监控是对采集时的数据记录条数和入库的数据条数进行一致性比对，对不一致的数据采集作业进行标记的一种监控。数据量异常波动?数据源变更怎么办?建议：日使用流量50日使用流量50梳理数据平台、MPP、Hadoop平台的重要数据监控指标与监控需求。6月6月7月对接数据监控平台，以以邮件、短信等通知方式告上基于模型的数据获取数据，基于数据模型管理，可以让技术与业务人员支持现有主流的大数据技术平台的对接可对接现有的大数据Hive,Spark,Strom流数据等主流的数据结构，分数据获取方式灵活多样，可支持配置化数据订阅管理支持灵活的数据订阅方式，以支推，拉的数据订阅数据与服务接口对接。可支持多种数据预警机制，随时发现数据任务执行过程中所遇到的问题支持执行任务的全过程监控，执行数量监控，数据波动、数据到达预警监控等，并支持多种信息通知方式，如短信、邮件0大数据治理平台背景通过大数据治理，提供数据服务，从管理中心转变为服务通过大数据治理，变现数据价值，从成本中心转变为利润中心管理职责管理思路管理组织数据管理数据开发数据应用数据管理数据开发数据应用自己应用自己应用提供数据服务提供数据服务方便别人方便别人用大数据治理连接大数据与业务创新三方数据交易交易交易交易数据数据理平台理平台运营数据实时流数据数据数据开发数据发布治理生产数据开发数据发布治理生产颌人力非结构化数据颌人力非结构化数据大数据治理平台的架构特征大数据治理平台的架构特征以数据存储、处理为核心的传统数据管理平台过度到大数据治理平台大数据平台大数据治理平台1平台大数据治理平台传统大数据平台规范企业中哪些角色会直接使用到大数据治理平台企业中哪些角色会直接使用到大数据治理平台业务运营人员据情况。业务系统开发人员务创新的IT实现。据中心数据的特性。中心实现。大数据中心管理者中心的运营与管理。的数据业务需求。据支撑。大数据中心开发者特点。大数据中心大数据中心2.查找数据2.查找数据大数据治理平台5.5.确认数据需求3.返回数据3.返回数据运营交易6.返回数据数据消费方数据消费方→80%数据使用需求------20%需开发数据需求接口应用分析应用数据使用接口应用分析应用数据使用程应用治理规范资产采集应用治理规范资产采集数据地图数据服务总线数据管理流程数据监控数据监控服务共享规范管理服务共享规范数据资产数据资产数据开发平台数据申服务数据申流程数据数据加应用数据数据加应用斯梦服劳辖斯梦服发监数据共享/服发监数据共享/氧度监学氧度监学B用)B用)数据开发资源层业务数据大数据治理平台架构-数据资产平台功能架构图大数据治理平台架构-数据资产平台功能架构图数据资产使用数据资产分析数据资产管理/编目数据资产管理/编目数据资产采集采集适配器管理集采集适配器管理集Hive采集DB采集大数据治理平台架构-数据资产平台逻辑架构图大数据治理平台架构-数据资产平台逻辑架构图数据开发数据应用7接口文件DB数据监控…大数据治理平台架构-数据资产平台关键技术与特性大数据治理平台架构-数据资产平台关键技术与特性1、解析、组装、入库过程分离，实现数据资产采集和存储解耦资产元模储采集解析采集解析模型组装多类业数多类业数据源数据入库3、采用MOF模型规范实现数据资产扩展存储权威建立统一的第三方数据审核机制，不依附于某个业务单元的数据特性，对数据资产重新定位；数据落地基于系统运行态环境的元数据采集，真正做到以系统落地环境为数据统一建立统一的数据模型视图，为业务管理人员方便的获取到数据提供先决条件；扩展基于MOF可扩展模型，对业务模型扩展无需改动代码，节省团队管理成本；分析快速辅助定位问题，出现数据问题可辅助定位与分析问题的根源，迅速响应业务需求；大数据治理平台架构-数据开发平台功能架构图大数据治理平台架构-数据开发平台功能架构图系统管理人员管理权限管理系统管理人员管理权限管理编目管理资源目录管理批量资源导入资源展示配置编目管理资源目录管理批量资源导入资源展示配置基本信息维护资源关系管理模型检索资源检索基础查询维度查询条件查询存储模型开发模型设计模型管理关系维护配置管理文件交换开发模型设计模型管理关系维护存储开发数据开发数据交换开发交换模型开发交换作业开发交换作业开发交换组件管理服务接口开发服务接口开发服务接口配置应用组件配置组件管理策略管理加密策略交换策略脱敏策略监控策略策略开发策略定义策略开发策略管理自定义开发大数据治理平台架构-数据开发平台逻辑架构图大数据治理平台架构-数据开发平台逻辑架构图数据共享层开发者运营者门户数据共享层开发者运营者门户数据开发层数据开发层数据库文件数据接口数据资产数据资产=批量数据大数据治理平台架构-数据开发平台技术与特性大数据治理平台架构-数据开发平台技术与特性接口应用接口应用服务服务服务服务服务服务接服务服务服务服务服务服务接描述与数据发布共享剥描述描述约束提升提供图形化的开发界面，颠覆以往的数据只能写SQL代码的情况。直观并可提升开发效率；数据开发平台复用复用结构化的组件，利于知识积累与复用。避免人员变动带来的无形中的学习成本；针对业务特性对现有的数据资产进行编目开发，让数据使用者直观理解数据的含义；以数据资产模型为驱动力，实现数据集成与共享的服务创新开发模式；统一让项目中的各数据实施厂商都使用统一的数据开发方式，避免技术实现不同所带来的壁垒；大数据治理平台架构-数据服务总线功能架构图大数据治理平台架构-数据服务总线功能架构图节点注册系统安全系统安全调度管理资源扩展总线监控中心节点监控标准规范标准规范消息交换文件交换流交换断点续传异常管理服务检索大数据治理平台架构-数据服务总线逻辑架构图大数据治理平台架构-数据服务总线逻辑架构图数据消费者数据消费者数据共享层控引擎数据共享层控引擎数据/文件个个数据开发层数据资产接口服务开发数据开发层数据资产接口服务开发大数据治理平台架构-数据服务总线关键技大数据治理平台架构-数据服务总线关键技术与特性单实例处理能力单实例处理能力分布式扩展能力分布式扩展能力ESB实例3ESB实例4ESB实例5ESB管理服务器ESB实例1硬件硬件硬件件硬C·段之间基于队列通信…渠道多渠道的数据共享方式，包括数据接口，文件，数据库等，保证业务实现的可行性；数据服务总线快速海量提示实时的数据解决方案，支持流数据传传输方式，保证业务数据的及时性；对于海量数据与音视频文件，提供快速的大文件传输机制，快速获得大数据；全方位的数据流量统计方式，让数据的获取与使用更加的透明化；安全数据的集成与共享，提供数据加密、数据脱敏等配置策略，保证数据的安全性；大数据治理平台架构-数据监控平台功能架构图大数据治理平台架构-数据监控平台功能架构图表表分析表表数据数据调度监控服务访问情况监控监控执行元数据告警系统大数据平台治理七条监控线大数据治理平台架构-数据监平台逻辑架构图大数据平台治理七条监控线大数据治理平台架构-数据监平台逻辑架构图业务应用数据开发数据资产E(抽取)L(加载)L(加载)个实时数据采集数据内部数数据内部数C专题库BC专题库大数据治理平台架构-数据监控平台关键技术与特性大数据治理平台架构-数据监控平台关键技术与特性1数据采集监控是指对外部和内部的离线数据和实时数据进行采集记录数据层面的监控，如：数据文件大小，数据文件记录数，数据文件增全量采集，采集频率等的监控及预警2实现大数据平台中离线数据计算处理ETL执行的监控，如作业的启动情况，作业的执行情况，作业的依赖情况，作业的执行时效，作业状态，作业执行日志。3对数据质量进行统一闭环管理，覆盖数据质量的定义、监控、问题分析、整改和评估，推动质量问题的解决。围绕数据质量管理，建立监控机制，如，及时性、完整性、准确性、有效性等监控及预警。4实现大数据平台数据到达情况监控和数据分发成功与否监控，数据到达是指采集的数据文件或DB数据是否按约定的时间节点准备就绪，对问题实现预警；数据分发是指大数据平台中的数据及时传递到目标端的监控。5数据服务总线服务监控管理，服务监控包括，服务运行情况，消费者访问情况，提供者提供情况，SLA满足程度，提供者与消费者之间的依赖关系，依赖分析，从而能确定哪个客户端在使用服务6大数据平台中数据模型，与大数据交互数据源数据模型变更的监控，包括数据库表结构，数据文件结构，指标定义，数据标准规范的技术，业务，管理属性监控，数据字典的监控及预警。7实现数据标准的变更监控，数据标准的落地映射监控，在数据标准发生现在后调整的时候，能快速的定位变更的影响，也能知道哪些系统，哪些部门的哪个数据库表落地了数据标准规范。便捷监控用户的使用安全，通过邮件、短信等方式无需登录系统可发现数据问题；数据监控平台及时准确标准及时发现数据的波动、缺失等变化，在影响业务开展之前及时发现问题原因；以提高数据质量为目标，定期数据做质量检查，建立闭环质量管理机制；通过数据质量监控手段，自动化发现数据标准问题，提供数据标准落地检查机制；集中提供集中的数据监控平台，统一监控环境，无需在不同环境配置多套监控产品；共享协作开发利用共享协作数据保障使用使用治理运营分析资产管理运营分析管理跨行业、期国内最权威的大数据治理厂商顶层规划，平台建设，/全体系全面提升三阶段：治理数据·建立治理数据的一体化数据治理体系，实现全方位全面提升三阶段：治理数据项目实施·根据数据治理平台的建立，以大数据平台为依托，项目实施二阶段：项目实施·逐步推进项目实施数据管理，建议先实施元数据二阶段：项目实施·建立大数据运营平台平台验证一阶段：建立平台·建立大数据治理平台(数据基础监控，数据传输监控，数据管理监控，数据服务监控)平台验证一阶段：建立平台0大数据治理平台背景大数据治理平台在各行业的应用案例大数据治理平台在各行业的应用案例保监会)要求，重点整合元数据、数据标准、数据质量和数据消费层…互联网AEQ\*jc3\*hps22\o\al(\s\up5(PP),用)应消费层…电信行业大数据治理架构电信行业大数据治理架构大数据基线版元数据CRM大数据基线版元数据系统互联网能力开放数据超市数据资产管理平台核心经分库数据资产管理平台核心经分库大数据平台大数据平台经分辅库流处理流处理资源池换与集成换与集成(对外吸务)准数据源扫描件外部数据B域数据M域数据O域数据案例案例·某银行建立企业级的数据治理体系金融业大数据治理体系架构数据使用者(领导决策层)数据管理者(IT管理层)金融业大数据治理体系架构数据生产者(业务层)标准规范质量检查流程管理标准规范制定数据管理办法(管理流程、权责关系)制定考核规则(绩效评分卡)大数据制定考核规则(绩效评分卡)元数据质量提