联通大数据平台规划方案

2019联通大数据平台规划方案目录、大数据应用发展趋势、大数据平台整体规划大数据所谓“大数据”,指的是所涉及的数据量规模巨大到无法通过目前主流软件工具,在合理时间内达到載取、管理、处理、并整理成为帮助企业即A经营决策更积极目的的信息。大数据处理技术代表了新一代的技术架构,这种架构通过高速获取数据并对其进行分析和挖掘,从海量形式各异的数据源中更有效地抽取出富含价IDC值的信息。从大量数据中挖掘高价值知识是各界对于大数据的一个共识。海量数据可广泛获得,所稀的是如何从中挖挺出智慧和观点60oe首经济学家Halvarian大数据主要被用于分析和决策,企业用以分析的数据越全面,分析的结果就越接近于真实。大数据分析意味莙企业能够从这些新的数据中获取新的洞察力,并将其与已知业务的各个细节相融合,对企业产生新的价大数据对电信运营商的应用价值体现以技术驱动为标志提升业务效率存计算、MPP、CEP提升客户体验自助分析、生产曾道分而治之的分布式计算互联网化的电子巢道可祝化资源解耦随让运营商实时高效决策全景体验、个性化商需而动,营销实时品推荐、LBS位置营以业务效率提升为标志销、面向客户个体的BigDat创新商业模式数据築中到数据中心数据开放眵务、与TT多数据源曾理,透厂商合作的后向收费明服务支持,实时的广告新新务决策和预双能力提升整体经营管理水平上海联通数据平台现状营账系①经过一二期的建设,精细用助销统化运营平台的数据中心上网话已经成为上海联通最大内容最丰富的数据仓库精细化营随着数据量的增长,需要销数据中对基础架构做长远规划③有必要深入挖掘数据价值研究新的商业模式,将成短彩信本中心转化为利润中心客服接W语音通大数据处理的需求和特点纵向扩横向扩扩展?增量式的几扩展性展性乎无限的扩展分布式资源集中可用?要求系统总是储分布智慧小区云服务云服务平台坚性在线运行可用性》单份数数据复灵活?灵活可动态改性变的数据模型致性不要使用分布式事务处理电信运营商数据集中化趋势业务运营发展超势对业务支撑平台的集中化要求对数据架构的集中化要求集中化建連设、管理和护可不断练性扩屡e中化大容量高扩展、高可用提高资综合利用担库平台:支持全网型坦、跨标准化功能组件,可共享可复用坷数赶的整合,形成集中化管递的按业务量、按需支付suB0Ss、cRM的体化体化运营等域体e高性能:支持3G时代更高的实时闷格化管理态资共享:支持多租户管理精细化运营小众市场的支撑资动态接需供应求的满足形可唾用各共的全网运营点接入、全网乱全网铂居集中化趋势使得运营商面临着实时数据获取、处星数据的存储及分析问题,大数据在支撑移动业务发展趋势中,充当重要角色电信运营面临的大数据挑战联通总部3G互联网访问记录查询及分析系統全国每日新增10B数据,每月近万亿条记录,要存放6个月,约2P的上网记录数据,上网记录入库时间小于30分钟,始上网记录保留6个月·上网查询速度不高于1秒,并发查询数1000满求/秒集群规模188个数福节点,存储容量2.6PB移动互联网流量井喷与客户行为分析业务融合、能力互通带来数据融合DP|和信令监测,产生的大量事件在存佬和用户通信心CT融合,核心网络、运支和WAS业务数据的合行为分析的实时处理性能带来挑战准生海量UserProfile并集,对大数据的关联分析计算效能带来挑战提升客户体验要求分析网络服务数据T系统集中化和行业数据价值挖掘移动互联网和个人消费领域业务扩最和CEM导致海量数据的及时分析带来战析戮揮仑库,对大数据的存锦、性能、开放带来赟BSSB数冠个地市,每天抽取正常用广数7000多万,拨备用户数300多万,DW层用产表总量1亿多条;音消单每天27亿条数据,GPRS消单每天42亿条数据;账每天47亿条数;GPRS文件每个100M左右,其它文件25M日接口数据鱻:2000,其中话单220G,WAP消单300G,工单努20G,用、306,其它9806每月124TB数据量入库,历史数据保留1年,总数据量14按照用户数简单测算,65亿用户下,总数据量310P8大数据使得现有的数据处理方法面临新问题κ传统数据仓库无法有效存储日益增长的业务数据存储需求用户上网数据画=回用户资料,产品订购活年:250/年话单数:634G忠G日·355+40G12月=5T/年考也20%的业务增长率考20%的业务增长率32019年下半年用户流量增长趋势x随着业务发展数据量的增加,随着应用AAPv数了数博理功;铝仓库无法线性扩容。理难度加大,成本奇x传统数冠仓库只保存处理后的汇总数据现平台的数大数的致进行长期保存,需要扩容大量存储空据保存餍期据保存罔期应月层KRBM层永久深官至少2年数存层力大数据获取层00大数据使得现有的数据处理方法面临新问题z传统数据仓库无法有效应对大数据分析需求精细化营诮架构现网数冠平台是传统关系型数挹架构。太的用户上网Oracle数库非结构化据的处理能力。用户上网行为等互联网行为数人结构化敖方式保存至数据仓库中3由于传统数据仓库据处理滑程与业努保持紧密关联整个数据加工流程为最终应用服务。为缴辉存铐玉力在数据抽和清沆阶段会过掉与业务无关的数记录和字段汇总(MK3现网每日用户上网HTP话单达14亿条.每月汇总的记录条明妖震DwW数西近30条,随