电信行业数据架构管理实践_第1页
电信行业数据架构管理实践_第2页
电信行业数据架构管理实践_第3页
电信行业数据架构管理实践_第4页
电信行业数据架构管理实践_第5页
已阅读5页,还剩17页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

电信行业数据架构管理实践1自我介绍十多年电信行业背景,毕业后一直从事电信行业相关工作。十年数据库、数据仓库、数据分析,架构从业经验;开发、集成、运维、架构多岗位经验目前专注于电信行业数据架构个人理念:让数据创造价值现服务于国内最大的系统软件服务厂商上海新炬“让一切成为数据”是大数据时代的特征facebook社交网络淘宝、ebuy电子商务微博、Apps移动互联21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。到2020年,整个世界的数据总量将会增长44倍,达到35.2ZB(1ZB=10亿TB)!大数据时代下的数据资产管理4

数据资产管理(DataAssetManagement,简称DAM)是规划、控制、和提供数据这种企业资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方案和程序,从而控制、保护、交付和提高数据资产的价值。

在当前大数据的时代,数据被业界公认为是企业的最宝贵资产之一,数据的价值得到认同。企业依赖数据资产管理为其提供可靠、有价值和高质量的数据,提供更好的产品和服务,降低开发和运维成本,控制风险,以及为企业提供更明智和更有效的决策数据支持。

因此,亟需对数据资产进行有效的管理,提升数据的价值。数据治理数据架构管理数据开发管理数据操作管理数据安全管理参考数据与主数据数据仓库与商业智能文档与内容数据管理元数据管理数据质量管理数据资产管理体系图电信行业运营商每天正在不断产生的大量的有潜在价值的数据资产语音通话记录用户位置记录用户消费记录短信记录流量记录每天上百TB数据量涉及多个业务部门数据价值巨大电信运营商距离数据金山的“最后一公里”问题在距离“大数据金山”的不远的路上,电信运营商亟待解决的数据架构问题以及在数据架构基础上的数据资产运营问题电信运营商目前IT系统数据架构现状和问题7业务系统越来越多各系统烟囱式建设产品搭积木式叠代开发CRM网厅

计费渠道帐务客服短厅…….数据架构混乱架构管理滞后架构变更失控数据无序增长数据标准缺失数据安全突出数据架构黑盒数据质量参差数据架构是企业架构的一个极其重要的组织部分8业务战略业务目标业务需求业务方案应用项目性能智能业务架构

业务流程事务…应用架构

应用系统服务…数据架构技术架构系统软硬件…数据架构管理定义是整体IT系统资产蓝图,是其它数据资产管理活动的基础与核心在TOGAF企业架构框架,数据架构也是整个企业架构框架中的四个重要组成部分之一新炬数据架构管理服务,以数据架构为核心、辐射业务和应用,以架构变更管理与持续优化为手段推动整体企业架构治理水平新炬电信行业数据架构管理体系9新炬数据架构管理体系微观层面数据模型管理数据资产管理团队数据资产管理平台数据资产管理制度和规范数据业务流程分析宏观层面整体数据架构规划数据分布管理治理层面数据质量管理数据生命周期管理数据安全管理运营层面数据操作管理数据架构宏观层面:明确数据总体视图,包括数据分类组织、分布、关系和结构10余额管理帐务管理计费引擎CRM省中心接口账本余额免费资源累积量未销账客户应收信息管理路由规则家庭客户资料个人客户资料全省VPMN对应关系代付计划账单科目产品资费产品渠道信息局数据系统参数家庭订购关系SP信息资料路由规则信控规则托收划扣数据XX系统数据分布图个人订购关系跨市支付关系号码IMSI对应关系积分已销账客户应收实时费用产品资费局数据帐务基础数据固定费规则固定费结果固定费清单免监控规则信控状态信控红名单缴费优惠数据充值转预存数据销帐数据发票坏帐数据滞纳金短信虚拟帐户红名单黑名单用户资料订购关系示例数据架构微观层面:管控系统数据模型设计和变更11物理模型逻辑模型概念模型业务规则形成IT系统的各种业务规范、业务流程和业务需求的集合分析业务层面,主动识别、定义业务实体的关键属性及实体间关系根据概念模型,设计数据实体和数据属性,着重于系统的逻辑实现,不考虑物理属性具体设计表格、视图、字段、主/外键、索引等数据库物理对象业务层面数据模型层面数据模型管理目标数据模型是实际业务需求映射到IT系统中数据库物理模型实体抽象,清淅反映IT系统是如何实现业务需求的。数据模型分物理模型、概念模型、逻辑模型三个层次,分别对三个层次进行管理在数据模型基线的基础上,开展版本、变更、稽核和发布管理,以及持续提供有效的数据模型基线。数据架构微观层面:明确业务、应用以及数据之间的关系12应用架构数据架构业务流程应用系统主要业务流程、业务域、业务模块与业务节点等等应用架构相关元素,例如WEB中间件、事务中间件、数据库、主机、进程等等应用系统主要业务实体、实体间的关系,落地所涉及的表、字段、索引等等集中展现数据架构中的数据实体/业务功能的映射关系集中展现数据架构中的应用与数据的映射关系集中展现应用架构中的系统流程图相关内容分析三层映射关系实现统一应用视图数据架构管理架构管理团队建立一个熟悉业务、数据以及系统特点的架构管理团队,审查、批准和维护整体系统架构;同时,对系统进行架构合规性评估,分析架构差异。数据架构管理平台构建企业自身的数据架构管理平台,以平台介质实现数据架构的可视化管理和应用,以及实现数据资产的智能化管理数据架构标准和规范标准化和规范化系统数据架构设计和变更,提升架构设计质量,减少数据模型的二义性,降低系统数据共享的难度数据架构管理流程建立一套适合企业内部实际情况的数据架构管理流程,针对数据规划、设计、实施以及变更等关键环节进行有效的数据架构管理,提升系统设计质量以及设计与系统实现的高度一致架构治理层面:建立适合企业的数据架构管理制度数据生命周期安全质量优化控制整体容量自动数据清理管理敏感数据防止数据泄漏发现数据问题推进数据质量架构深度分析深层优化系统数据架构上的数据运营数据架构数据架构管理着力于系统开发周期全程15分析/设计开发上线运维Text数据架构设计数据标准制定业务功能域分析架构设计数据建模模型迭代优化数据模型基线定义数据生命周期管理策略Text变更管理制定数据模型变更规范与流程数据模型变更评审及优化业务影响度分析SQL评审及优化Text上线实施变更实施模型基线稽核模型基线发布Text分析优化架构分析及优化数据生命周期实施模型生命周期实施数据架构设计:

数据架构团队从源头提升应用交付质量16实体间逻辑关系架构设计性能审查实体属性标准数据冗余度分析技术实现属性枚举值设计历史业务数据策略提升系统开发质量打破数据架构黑盒架构管理规范化数据资产可视化数据运营智能化数据架构管理的主要推进方向规范管理架构贯通资产盘点优化整合内控成本外拓价值新炬数据架构管理体系数据架构管理团队数据架构管理平台数据架构管理制度和规范数据资产管理核心系统现状梳理建立数据生命周期管理体系优化架构设计案例分享(1)--X省信息技术部整体数据资产管理取得总体效果根据运营管理室对业务支撑系统的分类结果,项目组在业务支撑域的28套核心系统的范围内,开展现状梳理工作。目前完成了营业、账务、计费系统的物理模型整理和27套核心系统数据对象生命周期保留策略的整理。共分析27套库1G以上的表近3115张(占数据库使用空间的97%以上)的数据生命周期保存策略,有1542张表存在生命周期保存策略问题,占总数的49.5%。完成《业务支撑系统IT数据生命周期管理实施规范》和《业务支撑系统IT数据资产管理办法》的初稿,待项目后期与相关部门沟通确认后即可发布实施,以保证项目实施成果持续可控,预计实施后每年可节省存储资源522TB,节算为存储扩容成本过千万。从提高系统处理效率,降低系统消耗。优化客户感知角度出发,整理出10个需要开发优化完善的问题。以充值复机流程为例,通过架构优化改造,充值复机时长从39.21秒降低至13.4秒。同时,每起充值复机故障平均处理时长可降低到20分钟以下,可消灭黄色以上故障。案例分享(2):X省业务支撑域数据容量管理以及数据架构优化服务取得成果3.性能提升2.架构优化1.容量控制

库表清理共清理冗余表15442张,超出目标5442张,超预期50%以上。核心五套库清理的冗余库表占总数的12.03%。

索引优化共清理冗余索引24176个,超出目标4176个,超预期20%以上。核心五套库清理的冗余索引占总数的11.78%。

模型精简从318311张核心表精简出12697张基础模型,精简度达4%,使模型管理变得可控。各套库CPU使用率均有所下降,核心数据库CPU使用率高峰期平均下降20%。若通过硬件扩容的方式达到同样效果,需要扩容28颗同类型CPU。从生产清理出库34TB的数据,超出目标值4TB,出库量占比34%。节约生产存储的同时,为系统性能提升打下基础。案例分享(2)X省业务支撑域数据生命周期管理具体案例生产业务数据库数据增长速度明显放缓,以营业A库为例:注:9月份完成首轮清理数据库主机CPU使用率均有不同程度的下降,优化产生相当于28颗同类型CPU的效能,如果通过价格换算,CPU与存储总计节约成本753万。以营业库4台主机为例,CRM库12月1日较10月1日CPU使用率高峰期平均下降20%左右。案例分享(3):X省测试数据安全项目新炬安排数据安全方面的专家,配合局方进行各系统敏感数据梳理工作。根据敏感数据的特点制定完整的数据安全加密策略。根据制定的数据安全加密策略,配合局方在数据安全加解密平

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论