2022年大数据方案

大数据方案大数据(BigData)时代来临新量级、新处理模式、新行业智能传统模式移动互联网非结构化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•网页内容物联网•邮件•媒体文件•及时通讯•文档文件半结构化•XML文档•日志•点击流量•设备、RFID标签结构化•数据库•电子表格•格式化文件2大数据PeopleApps大数据要解决的问题4V流式处理实时处理Velocity快速的数据流转准实时处理批量处理智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案结构化价值TB非结构化半机构化PBEBVarietyVolume多样的数据类型海量的数据规模巨大的数据价值大数据带来的挑战

不同“看”数据的方式

需要更高性价比的数据计算与储存方式智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案

不同的数据管理策略

超越现有IT的数据解决能量不同“看”数据的方式可视：结构化资料15%未视：半/非结构化数据85%智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案领导者看到的，其实是残缺的…智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案DataNode升服务能力等方面发挥了重要的作用，推动了人力资源和社会保障工作向精细化、一体化、科学化、规范化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•网页内容智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案现状：硬件管理比较详实，但对数据的管理，业务系统的管理欠缺智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案架构只能scale-up，需要更高性价比的数据计算与储存方式如何有效的避免因硬件毁坏所导致的资料损毁部、省、市三级网络进一步贯通如何有效的避免因硬件毁坏所导致的资料损毁社保大数据带来的大挑战关系型数据库采集（SQOOP）新量级、新处理模式、新行业智能数据导入导出的时间成本需要更高性价比的数据计算与储存方式10万GB数据库数据仓库智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案10万TB计算更快存储更省不同的数据管理策略当想要扩充时，才发觉：15%•scale-out不易•time-to-value受限架构只能scale-up，结构化的DB/DW遗憾处理时间过长，智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案•成本过高，cost-efficiency受限85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile残缺7超越企业现有IT的数据解决能量Storing储存每天几百GB、几TB的资料，且持续成长中Processing计算在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Managing管理如何有效的避免因硬件毁坏所导致的资料损毁Analyzing分析如何从中挖掘出所关注事件的pattern或behaviorHadoop不只是Hadoop大数据应用Pig!智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案关系数据HIVE文本数据ZooKeeper9大数据的储存与处理/运算数据分享数据检索智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据储存大数据处理数据分析横向扩容分布式存储(Scale-out)架构分布式软件架构并行计算框架数据展现大数据的部属SwitchDataNode(1Gbabove)NameNode智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案DataNode藉由DataNode容易最小package扩充的能力1台NameNode可轻易满足数据量成+长的需求3台DataNodesDataNodeImage/Full-text/MS-Officefile智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据储存大数据处理智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案安服务接口资源目录服务规范服务总线管智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案DataNode超越现有IT的数据解决能量全国统一的核心业务应用软件已在绝大部分统筹地区部署实施Image/Full-text/MS-Officefile如何从中挖掘出所关注事件的pattern或behavior大数据建设策略业务展示数据产品预测分析传统BI终端用户基础工具SSRSSSAS业务支撑智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据处理数据仓库ERPCRMLOBAPPs非结构化数据源结构化数据源国家意志2015年8月19日，国务院总理李克强主持召开国务院常务会议，讨论通过了《关于促进大数据发展的行动纲要》。

大数据被喻为“金矿”、“石油”，大数据的价值被业界公认为无价，然而怎么用大数据，怎么发挥大数据的价值，业界众口纷纭，到现在为止也没见到大数据究竟产生了多大价值。大数据无法发挥其巨大价值，有技术、应用、机制、法律法规等多方面的原因。大数据的发展知易行难，知道其有巨大价值，但不清晰具体可行的发展路径，也面临很多不

智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案知道如何解决的问题。2019/11/24人力资源社会保障信息化取得的成就

地级以上人力资源社会保障部门普遍建立了数据中心多数地区实现了业务数据在市级的集中统一管理部、省、市三级网络进一步贯通全国统一的核心业务应用软件已在绝大部分统筹地区部署实施信息化建设成果在人力资源和社会保障工作中发挥了基础支撑作用，创新管理模式、降低行政成本、提升服务能力等方面发挥了重要的作用，推动了人力资源和社会保障工作向精细化、一体化、科学化、规范化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案转变。总体上看社保大数据带来的大挑战海量数据如何存储数据导入导出的时间成本业务数据读取要依靠业务系统查询性能低智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案非结构难存储、难分析维护成本高昂无标准化规范2019/11/24旧架构不能承受之重智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案2019/11/24社保总体规划办公界面管理界面服务界面数据应用层社会保险管理系统人力资源管理系统系统公共服务系统管理决策系统运维应用支撑层工作流搜索引擎报表身份认证智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案安服务接口资源目录服务规范服务总线管全体系数据服务层理体系数据层基础数据业务数据交换数据宏观决策数据公共服务数据支撑层硬件资源软件资源网络资源„2019/11/24大数据架构访问应用门户数据门户管理门户层应用门户对外数据支撑数据应用层查询工具/统计工具/分析工具/挖掘工具/辅助决策工具公共组件数据服务Service/File/Sdk/…规则引擎统计引擎查询引擎分析引擎挖掘引擎数据服务总线数据封装应用层业务数据Oracle数据库智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据资产层数据资产Oracle数据库MPP数据库HBase数据聚合层数据处理传统数据处理流数据处理大数据M/RHDFS数据采集文件处理实时流数据采关系型数据库采集（SQOOP）集基础环境层终端虚拟化服务器虚拟化分布式架构社保数据“云化”云技术是手段，管数据是目的人口数据就业数据统一分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案养老数据生育保险统一规划数据BI数据挖掘医疗数据其他数据2019/11/24大数据利用基础进阶数据共享，数据交换，业务联动查询，统计，分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案高阶数据挖掘,决策支持2019/11/24查询实例现状：系统经过一段使用后，效率低，不能满足业务发展目前对策：半夜跑任务思考：越来越多如何搞？对策：数据剥离。统计、查询、报表从业务部门剥离。形成统一的数据统计、统计、报表平台。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案人口数据就业数据统一分析统一规划数据BI数据挖掘养老数据生育保险查询、统计、报表医疗数据其他数据2019/11/24ESB服务标准智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据标准管理标准2019/11/24统一桌面现状：系统众多，用户系统间的切换，系统的管理不全面目前对策：暂缺思考：业务越来越多如何搞？对策：统一用户管