数据体系(数据领域总体框架图)

数据体系概述2017-9-11决策者对数据的困惑数据之间有什么关系？谁能理解我们企业的数据？数据里面的同一个术语怎么有不同的解释？我的企业里有什么数据？数据是如何在企业内的各系统间传递的？数据是从哪里来的？我能相信我看到的数据吗？展示类系统分析类系统存储类系统采集类系统管理类系统数据领域总体框架图规划规范定义创建&获取维护&使用存档&检索清除&销毁生命周期管理角度系统角度模型角度概念模型逻辑模型物理模型标准模型数据管控平台数据标准管理系统元数据管理系统企业架构系统数据标准管理元数据管理数据质量管理数据安全管理主数据管理数据架构管理概念逻辑物理主数据管理系统数据质量管理系统数据服务平台主题主题间关系主题中的重要实体实体间的相互关系实体关系属性数据库表和字段索引应用数据模型满足最终用户对数据的访问满足应用系统对数据的存取数据分类标准数据编码规则数据分级标准数据共享目录数据管理政策、组织、流程企业主数据标准数据集成交换标准数据库ETL数据仓库决策分析数据采集器、摄像头、扫描仪网络爬虫文件系统统计报表系统商业智能BI大屏展示系统实时监控系统大数据平台系统数据领域各模块关系图大数据平台数据源采集层数据层能力层应用层爬虫数据流处理ETL主数据库分布式数据库文件系统基础分析能力多维分析能力数据挖掘能力实时分析能力数据共享能力自助分析能力指标应用报表应用主题分析专题分析标准概念模型逻辑模型主题主题间关系主题中的重要实体实体间的相互关系实体关系属性数据分类标准数据编码规则数据分级标准数据共享目录数据集成交换标准给平台提供模型、标准存储的是经过标准化的业务数据详细、具体的标准、模型，没有业务数据管理类系统数据管控平台数据标准管理系统元数据管理系统企业架构系统主数据管理系统数据质量管理系统数据服务平台通过系统将模型、标准管理起来存储具体的标准、模型，以及对模型、标准的管理与平台进行集成，提供相应的服务。数据管控数据标准管理元数据管理数据质量管理数据安全管理主数据管理数据架构管理明确数据管控的组织、职责，规范数据管控的制度、流程及系统工具支撑数据领域各要素关系图之一数据库对象集合数据集市数据流数据平台系统管理平台元数据，进行数据影响、血缘分析管理平台数据质量提供平台沟通渠道智能调度系统票务系统资产管理系统车辆安全元数据管理系统数据质量管理系统数据服务平台分析、展示类应用系统数据抽取开发者业务部门管理员数据提供数据存储管理公司内的数据标准人力资源管理系统数据标准管理系统查询数据标准，以开发符合数据标准的应用提交标准代码比对文档查询数据标准规范，反馈建议提出数据标准需求申请维护数据标准制订、发布标准应用系统代码标准比对查询数据平台相关元数据，为开发应用提供参考数据变更影响评估申请数据变更影响分析数据问题血缘分析了解本机构特定系统数据质量提出业务数据质量检核需求定义检核需求与规则分析数据平台数据质量发现、发布数据检核问题针对数据质量问题提出完善建议数据平台服务申请提供数据平台服务数据平台服务申请与数据平台有效沟通数据存储标准/模型库图示数据管理人员借助数据管理相关工具，实现对数据领域各要素的管理数据梳理业务梳理数据分析应用分析国家、行业标准定义标准定义模型定义规则数据源系统数据质量探查整体统计细节探索关联分析数据质量评估报告数据标准、模型、规则数据处理匹配、融合标准化处理交互式修复优质数据数据集成数据监控大数据处理数据集成数据中心数据挖掘数据领域各要素关系图之二L1：数据标准管理模块将标准定义映射到元数据信息上，实现数据标准的规范要求落地。L2：元数据管理模块为数据资产管理模块提供存储模型、属性信息查询服务。L3：元数据管理模块为数据质量管理模块提供元数据相关属性信息。L4：用户通过元数据定义大数据平台的数据结构。L5：数据质量管理模块根据采集需求从大数据平台采集数据。L6：数据质量管理模块将数据质量问题反馈给大数据平台。L7：数据质量管理模块向资产模块提交数据质量评估结果。L8：元数据管理模块为数据安全管理模块提供隐私级别定义服务。L9：数据资产管理模块发起资产访问申请，由数据安全管理模块控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对访问的数据内容、数据属性等操作进行管控。L10：数据安全管理模块为大数据平台提供数据访问权限策略。数据领域各要素关系图之三概念模型逻辑模型物理模型构建逻辑模型的框架输入ETL元数据管理输入应用数据模型数据应用输入数据仓库数据集市数据领域各要素关系图之四企业开展数据管理工作的顺序展示类系统分析类系统存储类系统采集类系统管理类系统管理角度系统角度模型角度概念模型逻辑模型物理模型标准模型数据管控平台数据标准管理系统元数据管理系统企业架构系统数据标准管理元数据管理数据质量管理数据安全管理主数据管理数据架构管理主数据管理系统数据质量管理系统数据服务平台主题主题间关系主题中的重要实体实体间的相互关系实体关系属性数据库表和字段索引应用数据模型满足最终用户对数据的访问满足应用系统对数据的存取数据分类标准数据编码规则数据分级标准数据共享目录数据管理政策、组织、流程企业主数据标准数据集成交换标准数据库ETL数据仓库决策分析数据采集器、摄像头、扫描仪网络爬虫文件系统统计报表系统商业智能BI大屏展示系统实时监控系统