能源行业私有云数据中心解决方案_第1页
能源行业私有云数据中心解决方案_第2页
能源行业私有云数据中心解决方案_第3页
能源行业私有云数据中心解决方案_第4页
能源行业私有云数据中心解决方案_第5页
已阅读5页,还剩101页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、私有云数据中心解决方案能源行业目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平台iUAP平台产品总览三私有云建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四数据中心建设内容整合已有IT投资各类服务器建立私有云虚拟化平台建立大数据集成体系,完成大数据数仓建设。建立数据、主数据管理体系,实现数据交互与共享。建设数据分析应用体系,为集成BI门户做准备。建设目标高效数据咨源获取渠道全面管理决策支撑规范系统服务流程及标准数据资产管理及运营中心支撑、实现“能源经济、能源规划、国际化、走进能投、生产管

2、控”五大“能源云”目标。以数据为基础、以模型为支撑、以应用为驱动全面运营管理数据资产,支撑”能源云”建设能源集团数据中心建设内容与目标云数据中心完整解决方案IaaS业务和功能应用层展现技术支撑层数据层业务应用系统开发与集成战略决策层决策支持系统业务管控层浪潮GS6干部管理系统廉洁风险系统集采服务平台招标服务系统能源云运营监控项目作业层管网输配项目管理系统工控管理系统对外服务层公共服务对外合作集团统一门户子机构门户个人门户移动门户电视墙PC端门户移动端门户员工自助个性化定制视频新闻企业社交信息检索待办消息内容管理会议管理新闻公告日程安排我的邮件应用中心个性化定制电话现场管理考勤签到消息中心企业微

3、信薪资查询通讯录我的邮件决策分析单点登录统一身份认证统一权限管理统一用户管理统一门户管理接口服务应用接口数据接口API/插件移动开发平台移动模型设计器移动UI设计器APP生成管理工具MCM数据分析工具监控/安全管理公共服务移动搜索即时通讯消息推送物联网服务摄像头传感器RFID集成方式管理Portlet集成iFrame集成Link集成/服务开发平台共享平台数据资源应用平台移动平台ETL工具数据挖掘列存数据库MDMMAMMA中间件建模工具开发工具配置管理项目管理性能测试安全测试动态建模应用/通用组件集成平台中间件数据交换BI工具Portal数据动态数据仓库模板类数据信息类数据Portal数据日志类

4、数据结构化数据半结构化数据非结构化数据基础数据业务数据工控数据运营数据投资数据服务数据技术元数据主数据(人、财、物、客等)业务元数据统一流程管理标准规范平台开发标准规范界面集成标准规范消息集成标准规范流程集成标准规范单点登录标准规范网络请求标准规范安全管理标准规范云管理门户PaaS租户管理用户管理自维护系统设置授权订阅监控/日志生命周期管理Agent用户集成租户集成数据中心集成资源调度标签管理任务调度基础管理门户基础服务框架云数据中心建设思路1基础设施建设IaaS层选型、部署、测试PaaS层部署、测试私有云环境建设2数据标准、质量管控体系主数据规划、管理数据资源、架构设计数据模型设计数据集成平

5、台建设主数据/大数据集成3商业分析数据分析预警监控高级分析数据服务运维体系数据分析应用/运维4应用集成流程集成用户集成门户集成BI门户移动门户门户集成云数据中心建设思路1基础设施建设IaaS层选型、部署、测试PaaS层部署、测试私有云环境建设2数据标准、质量管控体系主数据规划设计主数据管理系统建设主数据数据标准化3数据资源、架构设计数据模型设计数据集成平台建设数据分析平台建设数据分析应用开发数据集成及数据分析4应用集成流程集成用户集成门户集成BI门户移动门户门户集成/移动门户目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平台iUAP平台产品总览三私有云

6、建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四Linux 集群资源管理(伏羲)安全管理(钟馗)远程过程调用(夸父)分布协同服务(女娲)(大禹)集群布署(神农)集群监控分布式文件系统(盘古)任务调度(伏羲)云服务引擎ACE弹性计算服务ECS关系型数据库服务RDS开放存储服务OSS开放结构化数据服务OTS开放数据处理服务ODPS数据中心IaaS层:阿里云飞天开放平台地图、邮箱、搜索等云市场其他云服务完整的云计算服务产品线 弹性计算 存储和数据库 大规模计算ODPSECS:云服务器SLB:负载均衡ODPS:大规模数据处理服务RDS:

7、关系数据库服务OSS:存储服务OTS:结构化数据服务OCS:缓存服务CDN:内容分发网络ECSSLBRDSOSSOTSOCSCDN安全与管理云盾云盾:安全体检、安全管家云监控:8种站点可用性监控、14种服务器监控云监控应用服务ACEACE:弹性计算引擎应用构建应用运行环境分布式Web网关互联网应用运行环境多租户关系数据库NoSQL数据库其他服务运维服务混合云配置管理监控与日志面向服务的界面构建服务管理服务治理服务编排服务注册服务开发PaaS层:PaaS(SoMa)云产品定位大型企业应用编排平台:基于向导和模板,自助式构建应用互联网应用所需服务的部署和管理平台:支撑互联网应用、SaaS类应用、现

8、有产品的互联网化混合云资源调度平台:适配阿里云、华为云、VMware云、云、物理资源等多类型IaaS全面的监控和分析平台:从系统到应用、服务的全面监控,预警和问题诊断日志数据收集和分析平台:跨平台,大规模的日志收集和分析企业级应用和服务管理的新一代融合PaaS平台混合云平台生命周期管理平台监控平台日志平台域名系统软件仓库数据库缓存对列分布式服务配置服务在线/离线升级系统大数据存储,搜索,分析任务调度资源调度数据中心集成可视化框架Agent标签管理用户集成租户集成计量计费授权管理系统租户管理用户管理SoMa自维护系统设置授权订阅中间件WEB框架云管理门户基础设施基础框架基础门户IaaS适配.信息

9、安全体系PaaS云功能架构IaaS适配.Rest引擎管理控制台PaaS控制器账户应用服务补丁监控/事件资源/调度目录应用服务补丁模板容器设置命令行工具CLIEclipse工具MVC模型软件仓库/容器镜像仓库Agent自动伸缩器消息队列实时事件处理软负载均衡器监控分析服务器日志/分析系统监控报警/处理其它客户端PaaS混合云运行架构运维总监查看横向产品性能报表查看错误报表运维经理运维项目注册项目运维各项指标报表检查查看产品运行状态报表研发设计规划程序实现测试实时监控问题诊断日志分析补丁升级参数巡检技术支持分配项目运维任务运维任务执行状态检查SoMa 混合云任务分配协调操作行为分析反馈研发部门Pa

10、aS混合云运维流程自动化发布部署应用编排节点管理系统监控日志管理应用监控服务容器化弹性伸缩镜像仓库监控和分析高效自动运维混合云管理资源调度数据分析配置管理混合云资源的集中管理应用的SaaS化服务大型企业应用类型互联网应用所需服务全栈式运维服务跨操作系统支持大数据分析平台PaaS混合云平台特性PaaS混合云监控流程从客户端到数据库层的穿透调用过程消耗的资源是什么Internet任一操作员操作中间件后台方法数据库SQL执行情况执行到哪个进度谁做什么做了多久丰富的监控维度Add Your TextAdd Your Text监控警报监控与报告主机监控远程调用线程监控操作汇总服务监控案例 国药物流201

11、5年1月,SoMa云平台在国药集团上线,部署了赛飞项目应用将全国30多个物流中心通过一个云服务平台把资源整合起来,为分销商、零售商、生产商、医院、物流中心提供服务,底层的管理系统、运输系统都基于SoMa平台上。平台主要解决三方面问题,接管主机资源,补丁的管理、监控运行数据。另外,SoMa平台承担了搭建测试环境的任务,极大缩短了应用上线时间,提高了资源的利用率。国药赛飞供应链云服务平台上海国药物流赛飞供应链云服务平台定位分析供应商SAP供应商供应商JDE外协厂商/Oracle服务合作伙伴Peoplesoft运输商/I23PL仓库SSA/EXE货主3/Web Store最终消费者定单库存库存定单货

12、主1/ Retek货主2/ Oracle CRM多企业供应链仓库/物流中心Manhattan3PL/SAP货主4/ Retek赛飞供应链管理云服务平台开放的技术平台业务流程平台多企业数据模型流程定义BAM / 事件管理UI & 门户架构协同架构商业智能 & 分析应用服务. . . 库存同步定单管理退货物流供应协同服务排程物流管理共享服务网络化仓库管理计算网络存储IaaSUAP SoMa平台PaaS服务NCMongoDBMQ品高IaaS应用注册自动部署弹性伸缩全面监控OracleMemcached安全赛飞供应链云服务平台定位:物流资源整合、物流标准制定、信息应用服务提供案例 国药物流赛飞管理平台

13、-全网可视化跟踪案例 国药物流赛飞管理平台-服务功能模块国药物流赛飞PaaS平台企业门户Portal (用户身份认证登录,内外部客户协同,人机交互集成)供应链可视化(订单可视、库存可视化、冷链可视、资源可视)统计绩效管理(绩效考核、业务分析、)医疗器械供应链管理订单管理计费管理保税物流管理主数据管理主数据分类主数据维护主数据变更主数据审批流主数据权限管理主数据下载服务主数据WSDL库存管理分单管理自助订单管理效期管理接单管理库存对账变动跟踪VMI实时库存计费管理让利管理结算管理价格管理报检管理入仓管理出仓管理海关库存管理报关管理库存管理手术包管理医疗器械全程追踪结算管理产品名称方案说明1消息中

14、间件产品ActiveMQ属于轻量级的产品,开源ActiveMQ是大部分互联网公司的选择2Java缓存产品MemcacheD开源MemCacheD几乎是所有大型互联网公司的应用产品3应用中间件产品WAS开源产品和商业软件功能上差异不大,开源产品需要购买服务,但产品价格较低;商业软件license费用高,但原厂商服务能力强。4关系型数据库产品ORACLE RAC核心业务需要数据的高可靠性5列存数据库GBase商用主流InfoBright和Base,Gbase与UAP有合作关系,且产品层面做过整合6NoSQL数据库产品MongoDB流行的Hbase和MongoDB,目前国药物流内部已经使用了Mong

15、oDB7数据归档工具KettleKettle在电商后台大量使用,开源8Web开发框架RainBowRainBow框架,已经在国药物流内部使用,学习成本低,软件资产可重用案例 国药物流赛飞管理平台-主要技术选型核心应用服务(UAP)核心交易库(Oracle )热读库(GBase)大数据分析库(MongoDB)归档库(Mysql)缓存服务(Memcached)数据同步服务器(UAP)分布式文件(HaDoop)主数据应用服务器(UAP)可视服务器(RainBow)SOA服务器(OSB)BI服务器(UAP)订单维护(RainBow)作业数据抽取运算调度服务器(RainBow)操作用户外部接入系统FTP

16、、WS、HTTP分单引擎服务器消息队列服务(A-MQ)认证&门户服务器(UAP)WMS、TMS云管理与监控服务(UAP)调用&写入数据读取服务(消息)发布与调用单点登录&界面集成资源分配&系统监控案例 国药物流赛飞管理平台-系统部署拓扑图案例 国药物流赛飞管理平台-系统部署拓扑图PaaS(SoMa)平台的上线,解决了国药项目的大部分问题。首先,利用平台的扩展性,利用应用注册功能在不影响系统使用的前提下,接管了生产环境,从而实现了对其管理和监控。通过资源进行管理和调度,很快的搭建出测试环境和压力环境,极大的缩短了客户IT部署应用、环境配置时间。通过SoMa平台的全生命周期管理和全方位监控及时发现

17、系统的一些问题,如数据库连接数过小,导致用户不定时的被锁定。通过平台补丁功能在不影响用户使用的前提下实现了补丁应用。通过SoMa平台弹性控制避免了资源浪费。压力测试过程中,通过对软硬件环境的全面监控,诊断出性能的瓶颈所在。国药控股赛飞供应链云服务平台项目价值24核高基混合云实验室资源统一管理资源统一分配资源实时监控资源成本计量计算资源资源用量网络运行单机用量网络监控运行监控成本计量运行中心10000颗CPU5000台虚拟机从事企业云计算、大数据、移动、云安全等领域的开发和验证工作,三年内成为国家级实验室。目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平

18、台iUAP平台产品总览三私有云建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四我们对主数据管理的定义数据标准化全局一致的、完整的、准确的、权威的、标准的基本数据技术标准和管理规范全局数据分析夸业务系统、跨组织的全局数据分析更加简单高效业务协同交互业务系统间协同交互有了统一的“语言”和“标准“主数据:组织内能够跨业务重复使用的高价值的核心实体数据。主数据管理:是指一整套的用于生成和维护主数据的技术规范、管理制度、软件平台。以保证主数据的完整性、一致性、时效性、共享性和准确性。交易数据主数据分析数据CRM核心业务实体运行状态绩效采购

19、供应链财务制造PLM主数据管理的价值主数据管理的价值一、数据管理方案1.1战略理解1.2主数据管理现状及需求1.3分析主数据模型定义1.4主数据管理制度二、数据技术方案2.1架构设计2.2数据流程确定2.3集成方案2.4服务规范三、项目交付落地3.1产品部署与实施3.2数据清洗导入3.3应用集成联合调试3.4分发、共享至业务系统通用主数据(用户、人员、组织、客商)行业类主数据(物料、商品、客商)主数据管理实施方法论战略理解进行项目调研访谈、企业战略理解、企业价值链分析、业务模型分析出具企业战略理解报告主数据管理现状及需求分析梳理每种主数据的管理流程和管理责任部门和职责,对于不满足主数据管理要求

20、的情况进行规范和治理;明确项目中需要管理哪些主数据、主数据覆盖的范围是多大,除了主数据管理的基本目的外还有哪些间接的目的;在企业IT架构调研的基础上,着重了解每种主数据在企业中的分布和存储状况,以及对应使用的业务部门和使用者;出具主数据管理现状及需求分析报告主数据模型定义数据建模是主数据后续工作成败的关键。倾向于细粒度多层次的主数据模型建设方法(技术人员参与)。并且需要为每种主数据及其属性的含义进行明确定义;出具主数据管理数据模型定义主数据管理制度确定实施及运维过程中的主数据组织,尤其对于业务主数据必须有对口主数据管理组织进行维护;出具主数据管理制度与流程一 主数据数据管理方案二 主数据技术方

21、案架构设计进行项目调研访谈、企业战略理解、企业价值链分析、业务模型分析出具企业战略理解报告主数据流程确定梳理每种主数据的管理流程和管理责任部门和职责,对于不满足主数据管理要求的情况进行规范和治理;明确项目中需要管理哪些主数据、主数据覆盖的范围是多大,除了主数据管理的基本目的外还有哪些间接的目的;在企业IT架构调研的基础上,着重了解每种主数据在企业中的分布和存储状况,以及对应使用的业务部门和使用者;出具主数据管理现状及需求分析报告集成方案数据建模是主数据后续工作成败的关键。倾向于细粒度多层次的主数据模型建设方法(技术人员参与)。并且需要为每种主数据及其属性的含义进行明确定义;出具主数据管理数据模

22、型定义技术标准确定实施及运维过程中的主数据组织,尤其对于业务主数据必须有对口主数据管理组织进行维护;出具主数据管理制度与流程三 项目交付落地产品部署与实施进行项目调研访谈、企业战略理解、企业价值链分析、业务模型分析出具企业战略理解报告数据清洗导入梳理每种主数据的管理流程和管理责任部门和职责,对于不满足主数据管理要求的情况进行规范和治理;明确项目中需要管理哪些主数据、主数据覆盖的范围是多大,除了主数据管理的基本目的外还有哪些间接的目的;在企业IT架构调研的基础上,着重了解每种主数据在企业中的分布和存储状况,以及对应使用的业务部门和使用者;出具主数据管理现状及需求分析报告应用集成联合调试数据建模是

23、主数据后续工作成败的关键。倾向于细粒度多层次的主数据模型建设方法(技术人员参与)。并且需要为每种主数据及其属性的含义进行明确定义;出具主数据管理数据模型定义分发、共享至业务系统确定实施及运维过程中的主数据组织,尤其对于业务主数据必须有对口主数据管理组织进行维护;出具主数据管理制度与流程主数据管理解决方案技术标准数据分发数据服务服务注册数据推送数据查询主数据建模实体建模存储建模模板管理界面建模编码规则数据产生系统数据消费系统装载/申请/修改主数据建立ETL抽取实时同步数据清洗流程审批数据映射主数据管理排重合并权限管理数据维护版本管理血缘管理主数据共享服务分发数据推送通知服务数据查询数据写入主数据

24、数据库人员/用户组织客商资产项目辅助工具产品ETLDIESBBPM新增/修改延伸价值应用BI统一用户BPM门户管理规范管理流程岗位职责权限设置案例 上海医药上海医药集团股份有限公司,是一家总部位于上海的全国性国有控股医药产业集团。公司主营业务覆盖医药研发与制造、分销与零售全产业链,2015年营业收入突破千亿元,根据2013年中国企业联合会评定的中国企业500强排名,公司综合排名位居全国医药行业第二,是中国为数不多的在医药产品和分销市场方面均居领先地位的医药上市公司,入选上证180指数、沪深300指数样本股,H股入选恒生指数成分股、摩根斯坦利中国指数(MSCI)。全集团同一套数据标准,同一套管理

25、规范覆盖全集团的智能分析上海医药集团数据抽取订阅发布服务管理企业服务 总线(ESB)数据分发主数据平台数据采集数据分发ETL工具排重引擎版本控制中药饮片药用辅料医疗器械中药材化妆品日用品主数据编码标准、主数据管理流程、主数据服务规范数据建模数据管理供应商客户物料类设备分类生物制品保健品化学制剂化学原料生物材料客商类流程引擎、规则引擎、同步引擎、数据建模、开发平台、权限、安全、日志、工业采购工业营销固投管理资金管理预算管理商务智能OA办公财务核算统计码平台主数据平台科园SAP系统ERP NC63ERP NC56上药控股上药科园第一生化上药物资上药信谊上药中西ERP 金蝶上药销售ERP 浪潮上药东

26、英上药中华设备类上药总部案例 上海医药主数据管理解决方案案例 上海医药落地过程实体、存储、界面建模主数据编码建模预制模板“推”、“拉”两种模式自动、人工、计划任务多种方式异常处理ETL数据初始化、同步主数据映射流程审批加排重合并权限管理版本管理血缘关系管理建模建立管理共享从实体、存储、界面三个角度建模。实体建模支持多种实体数据类型。界面建模支持单表、主子表、树表、树卡、表树、多选参照、树选参照等。用户自定义扩展主数据,建模WEB工具化。满足业务人员建模需求。主数据编码自主灵活定义,主数据系统提供灵活的编码规则设置,如:有义码、流水码、时间码、分段码等组合定义编码。通过配置表进行主数据的编码规则

27、配置。主数据编码界面建模实体建模建模建立管理共享案例 上海医药主数据建模提供数据抽取、服务交互、审批三种建立主数据的方式。审批流程定义设计,不同角色的用户参与。审批流程的正确执行。主数据流程包括:主数据申请、更新。支持EXCEL等数据源的装载。支持通过标准WebService接口进行主数据申请。支持建立过程中的数据检查(例:多域组合的唯一性检验等)。支持主数据映射。数据审批数据抽取案例 上海医药主数据落地建模建立管理共享案例 上海医药主数据落地基于规则的排重。查重规则自定义:1.精确匹配(完全匹配、同音匹配、全半角匹配、简繁体匹配)2.模糊匹配算法。定义查重、合并计划任务并执行。支持排重、合并

28、两种方式信息通知,手工合并。查重任务定义人工合并建模建立管理共享案例 上海医药主数据落地基于WebService接口定义规范。“推”、“拉”两种模式。自动、人工、计划任务多种方式。分发异常通过信息中心以EMAIL、短信形式告诉相关管理员,支持人工重发。MDMCRMESB供应链财务PLM遵循标准WebService接口规范管理员异常通知建模建立管理共享目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平台iUAP平台产品总览三私有云建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四系统建模需求分

29、析 业务需求分析职能域定义业务过程业务活动 系统功能建模系统目标子系统定义功能模块定义分析模块DFDE-R图业务需求优化 数据需求分析用户视图分析数据元素分析数据流分析 系统数据建模业务主体定义用户视图分组基本表定义数据元素规范化数据需求优化征求业务、信息部门初步意见系统体系结构建模( C-U矩阵)数据规划方法以信息资源规划理论为指导生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据探查生产数据来源分析生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据探查数据与应用分布关系通过数据的业务分布与系统应用分布的分析方法(CRUD矩

30、阵)形成数据分布矩阵。CRUD: 表达了数据实体功能的关系、CD事件提供了数据仓库的数据源的数据质量和数据完整性信息、U事件对数据仓库的维护具有重要意义。生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据探查业务实体简数据流转数据实体间的数据流转;业务数据实体之间关系:各系统之间数据流转关系,数据关联关系,及接口定义。生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据探查上下级组织间数据流转组织间的数据流转不同组织间的数据流转:包括同级组织横向数据流转,上下组织纵向数据流转企业级数据模型建设概念模型业务数据实体间的关联关系、业

31、务关联规则全集团顶层数据视图对企业的业务流程体系,梳理抽象出业务实体,并对业务进行分类,设计数据顶层视图多级分解数据视图根据数据顶层视图进行数据模型的分解,进行多级分解,形成多级分解视图逻辑模型概念模型为基础、将映射到关系数据模型物理模型逻辑模型在具体的关系型数据库系统的实现企业数据模型设计目标数据与应用分离统一数据标准数据共享交换标准提供数据服务数据资产从部门级提升到企业级、集团级。统一的信息实体、属性、信息实体之间的关系。实现数据的全面、一致、及时和准确,为企业级全局数据管理提供依据在业务数据交换、共享、整合时,作为系统之间信息交换标准的参考,以及数仓ODS数据整合的标准以数据字典为基础,

32、为各级各层人员提供统一的数据服务,满足不同应用对象、不同管理模式下的数据应用需求手工填报ESBETL实时数据集成非(半)结构化数据集成各级单位手工数据业务系统财务人力供应链半结构化/非结构化数据文档音频邮件图片视频单据数据集成标准规范异构整合:区域异构、网络异构、系统异构、数据格式异构等异构环境下的数据整合结构化与非结构化的数据来源整合针对没有信息化的数据资源,现阶段可以采用填报方式进行数据获取 数据采集监控 平台运营监控 数据质量监控 日志监控 多级填报自动汇总数据校验审核流程总线结构柔性扩展分布部署自由交换数据共享数据采集数据清洗数据转换数据加载基于日志增量捕捉实时同步实时分析海量多样数据

33、分布集群部署极速处理架构价值挖掘模型结构化数据仓库半(非)结构化数据仓库数据集成平台设计大数据解决方案数据源采集与同步存储与计算建模与分析可视化iUAP DatalnsightBQBQ Mobile第三方展现平台数据集成(DI)Change Data Capture(CDC)数据采集+爬虫数据质量模型管理模型管理数据转换组件文件插件化,可扩展的数据类型支持JDBCODBCJMSSOAPOthers实时增量pushpull数据加速引擎(AE)Acceleration EngineiUAP UDH(大数据处理平台)iUAP Distribution for HadoopCluster Manage

34、rNoSQLSQLHadoop/HDFSSQL on Hadoop海量结构化数据分析统一建模与管理(Data Studio)调度用户元数据仓库日志监控OLAP模型挖掘模型元数据语义模型实时数据同步终端决策探索分析组织存储采集整理大数据产品能力 全数据、全生命周期管理分析能力平台支持结构化数据、非结构化数据、流数据的统一处理与分析,可满足企业级全数据的管理与分析计算。平台产品体系可涵盖企业从数据定义、采集、存储、整合交换、分析计算与决策支持直到业务归档进入历史数据的生命周期的各个阶段,可满足企业全生命周期管理。数据定义阶段主题域概念逻辑物理多维语意仓库资源目录建模:统一建模统一元数据模型驱动,适

35、应变化交易系统数据管理系统数据生产采集:移动、社交:OLAP:维度模型OLTP:关系模型统一存储结构化:OLTP、OLAP非结构化:分布式文件系统、No SQL数据库在线分析批处理流计算非结构化采集非结构:No SQL归档数据区在线数据区移动终端采集社交网络采集生产采集阶段整合存储阶段整合集成:ETL/ELT、同步整合集成从No SQL到关系数据库统一计算结构化:OLAP非结构化:批处理-高吞吐量流计算-低延时分析计算阶段迁移归档阶段统一数据治理标准规范策略数据分区标准数据归档标准数据挖掘历史数据管理企业管理器Hadoop组件安装配置预警日志服务管理运行监控安全审计ImpalaMPP架构数据分

36、析引擎Hue交互式的工作平台Pig数据处理工具Zookeeper分布式协调服务HDFS存储海量结构化,非结构化数据Oozie工作流调度YARN分布式的资源管理MapReduce基础数据处理HIVE统计分析HBASE海量数据的随机存取UAP Disturbution for Hadoop-UDH开源UAP数据集成第三方管理系统统一管理集成,接口集成应用系统BI系统,数据管理系统开发平台数据处理,读取服务外部数据源业务系统,数据仓库 UDH 在开源软件的基础上,包含Hadoop 大部分的主流组件,并对这些组件在安全性,管理,性能,高可用等方面进行了优化。同时整合数据集成工具,集群管理和监控工具,增

37、强了其企业级应用特性。大数据集成核心工具介绍-大数据处理平台UDH组件管理与监控提供组件的统一管理服务;通过可视化的方式实时监控集群状态;提供状态预警和消息推送服务大数据集成核心工具介绍-数据加速引擎AEUserUserUserUserUserUserCDC工具列式数据库引擎AE行式数据库引擎Oracle数据加速引擎AE主要包括2个模块,即实时数据同步工具(Changed Data Capture, CDC)和列式数据库。CDC是基于日志分析和消息中间件技术,内部具有高缓存高并发的架构,实现了高性能的增量式数据复制和灵活的部署模型。在AE提供全功能的列式数据库产品,帮助企业存储和处理海量分析数

38、据。列式数据库基于其独特的行存储、列存储及行列混存技术,提供远远优于传统行存储数据库的数据压缩能力和处理能力。案例:邵逸夫医院CDR临床数据中心客户概览浙江大学医学院附属邵逸夫医院是由香港知名实业家邵逸夫爵士捐资、浙江省人民政府配套建设,集医疗、教学和科研为一体的公立综合性三级甲等医院。医院现有庆春和下沙两个院区,庆春院区89.5亩,下沙院区196亩。职工3574名,副高以上专家398名。核定床位数2400张,设有32个临床科室,72个护理单元,9个辅助科室。作为浙江大学临床医学三系,目前有20个博士点和30个硕士点,设有26个临床教学教研室。挑战与机遇建立具有优异扩展性的医院集成平台,建立基

39、于数据中心的面向医师的平台应用体系及知识库管理体系,满足三级医院评审要求,达到HIMSS电子病历六级标准。解决方案iUAP BPMiUAP MDMiUAP IDMiUAP ESBiUAP PortaliUAP UDH iUAP CDCiUAP DIiUAP BQiUAP AE信息化的现状建设方案邵逸夫医院数据架构活动库(诊间库)存放患者就诊期间的数据;管理类、业务类主题应用多基于活动库构建;模式明确,采用关系型数据库结构;根据业务分类,内部划分逻辑子库。归档库存放患者诊毕的归档数据;主要应用集中在数据检索方面;数据永久存放,模式多变,采用NoSQL数据库,数据以文档方式存储。主题应用CDC报卡

40、/RRT预警/院感/.CDR主体存储架构活动数据库归档数据库闭环管理(关系结构)CDR(关系结构)CDR(NoSQL)HSBHIS检验放射体检.统一数据服务数据采集与交换电子病历健康档案医疗文档医学影像健康物联网高价值密度数据(结构化)低价值密度数据(结构化、非结构化、半结构化)数据集市数据模型批量数据ODSDWDDWA数据集市数据集市列式数据仓库AE冷数据存储集中存储列式数据仓库AE结构化高价值数据大数据处理平台UDH手术视频医疗图像文档文件个人健康数据电子病历诊断结果非结构化半结构化结构化邵逸夫医院数据集成架构项目成果展示-病例大数据存储:诊断历史、检查历史、用药历史,存储在Hbase中,

41、秒级数据查询。行式数据库:病例信息,各系统集成过程中产生的交互数据进行存储记录,为过程数据。列式数据库:从行式数据库中实时同步进来的数据,进行实时数据的计算分析。项目成果展示-闭环管理示例检验挂号分诊诊毕排队取药打印标签后台配药配药完成取药呼叫信息核对发药退药发药开始结束一级闭环二级闭环门(急)诊闭环管理流程:已经执行环节跳过执行环节正在执行环节等待执行环节状态说明:标本布置样本采集样本打包工人配送样本接收内部转移专业组到达检验开始报告审核信息处理危急值处理回撤报告初始报告检查完成检查中止检查开始登记取消预约登记回撤报告发送报告信息处理审核报告危急值处理检查邵逸夫医院大数据应用的价值集成涵盖数

42、十个业务系统,100多个业务模块,涉及到10多家不同厂商。将实现诊疗过程的闭环化管理,涵盖门急诊、住院及相关医嘱、医技等服务流程管理,并通过闭环数据分析,为医院提供实时的服务质量评估,发掘改进机会。项目正在归档迁入各类历史数据,共计约有1000G的患者档案数据(不含影像数据)。正式上线后,预计每天通过集成平台交互的消息超过10万条,月增长的临床数据超过500万临床数据记录。通过实施同步技术,系统过程数据实时同步到CDR中,为用户提供涵盖历史数据和实时数据的秒级查询系统,同时提供实时的计算分析能力,自动筛选CDC上报病例。一体化集成实时计算闭环管理大数据存储-阿里的企业大数据应用联合实验室联合阿

43、里全力推动企业级大数据的行业落地:大数据实验室和大数据行业应用方案数据提供者算法研究者成果应用者技术支撑者业务验证技术支持算法支持数据源支持目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平台iUAP平台产品总览三私有云建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四BQ8商业分析平台功能架构数据集成行存监控调度多维分析智能报告自由报表即席查询仪表板云管理组织用户权限资金分析财务分析供应链分析绩效管理风险合规人力分析仓库建模挖掘引擎挖掘建模配置管理模型管理集群经营分析主数据管理语义建模多维

44、建模实时数据集成列存行列混存多维分析报表查询分布式文件系统分布式计算流计算文件服务数据挖掘可视化展现BQ应用数据建模数据处理与计算平台BQ平台管理控制台服务引擎计算引擎数据集成数据存储数据挖掘管理控制台元数据管理与分析服务设计存储集成业务理解指标报表模型设计主题分析数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警商业分析财务、人力、供应链领域及行业业务分析主题数据服务对企业内部各层级、外部上下游合作单位提供数据服务产品高级分析数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用层:商业分析数据应用层:监控预警数据分析

45、多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警商业分析财务、人力、供应链领域及行业业务分析主题数据服务对企业内部各层级、外部上下游合作单位提供数据服务产品高级分析数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用层:数据分析数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警商业分析财务、人力、供应链领域及行业业务分析主题数据服务对企业内部各层级、外部上下游合作单位提供数据服务产品高级分析数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用层:高级

46、分析数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警商业分析财务、人力、供应链领域及行业业务分析主题数据服务对企业内部各层级、外部上下游合作单位提供数据服务产品高级分析数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用层:数据服务数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警商业分析财务、人力、供应链领域及行业业务分析主题数据服务对企业内部各层级、外部上下游合作单位提供数据服务产品高级分析数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台案例

47、 长江传媒长江传媒企业多源数据整合与数据质量案例 长江传媒一阶段应用目标BA建设目标:数据管理平台:建设集成统一数据管理平台,涵盖集团的财务、人资、战略投资、市场、出版、新媒体数据等内容,为实现信息全面及时监控打下基础;数据决策应用:建立起面向不同角色(决策层领导、总部职能部门、各级单位领导等)构建多层次分析应用,不仅满足股份总部部门级的日常信息需要,同时在信息准确、及时共享前提下,为领导层的科学决策提供数据依据;绩效评价体系:为下属各产业板块公司的业绩评价提供科学依据,实现总部经营管理报表的汇总、分析、制定,支撑总部对产业板块战略执行、经营计划执行的及时管控。集成建设目标:统一服务总线:基于

48、ESB的统一集成平台部署;数据管理标准:支撑本次BI建设相关主数据的梳理、规范(主要是组织、部门、人员、财务等);统一访问门户:统一集成门户设计及建设;业务集成支撑:支撑全面集成分析决策及异构系统互联互通建设的业务集成规划设计方案。案例 长江传媒方案架构出版业务总部公共服务平台新华发行业务印刷业务业务支撑平台集成平台PC、LED大屏展示层企业服务总线ESB + DI数据整合贸易业务新媒体业务统一登陆门户(集成平台,单点登录、安全认证、信息发布)各主题分析内容(领导驾驶舱、财务、人资、战投、市场、出版、新媒体)主数据管理MDM+元数据管理(数据标准、服务标准、管理标准)财务系统人资系统业务系统财

49、务系统人资系统业务系统财务系统人资系统业务系统财务系统人资系统业务系统财务系统人资系统业务系统数据仓库出版战投市场财务案例 长江传媒应用示例案例 上海医药应用示例案例 宗申集团舆情分析目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平台iUAP平台产品总览三私有云建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四大集成解决方案集成平台企业服务总线(ESB)主数据管理系统(MDM)门户(Portal)统一身份认证(IDM)应用集成项目管理整体应用集成规划典型项目海关总署东亚银行地质调查局中国医

50、药集团上海医药集团碧桂园邵逸夫医院长江出版传媒美乐乐新疆天业华融资产应用集成设计业务流程管理(BPM)集成服务集成平台实施集成规范解决方案集案例集云间集成(API Cloud、行业云主数据)营销工具 国内领先的全层次集成产品 全部具备自主知识产权,全面支撑SOA落地,产品包括:展现层Portal、用户认证层IDM、 服务层ESB、消息层MQ、数据(标准)层MDM、业务流程层BPM。 预置开箱即用的应用适配器,能够方便地与第三方产品进行快速集成。 全部产品架构统一,预制提供一体化方案,全阶段可视化工具支持。 开发、监控、维护均在统一平台完成。集成开发环境集成管理中心门户业务流程管理企业服务总线(

51、ESB)主数据管理消息服务身份管理OSGiSSO/LDAP事务安全调度集群适配器分布集中式框架数据交换201120102007200720051998UAP UAP Portal UAP MQUAP ESBUAP IDMUAP MDM2007UAP BPM 全层次集成产品组织架构人员档案合同档案编码分类设备档案客户档案项目档案物资档案 主数据(MDM)服务总线(ESB)企业门户平台(Portal)单点登录决策分析系统信息发布展现数据分析数据抽取商业智能平台(BI)统一身份认证中心OA协同办公GS6人力GS6资金GS6预算GS6财务邮件系统固定资产投资供应链运营监控系统商业智能系统集采服务门户服

52、务消息发布服务工作流服务资产设备服务人力资源服务收付结算服务物资收发服务协同办公服务成本结转服务计划协同服务商务合同服务数据仓库数据模型数据集市分析模型集成整合单点登录安全认证信息发布事务审批 公文流转身份认证决策层领导中高层领导职能经理一般员工服务交互服务交互主数据同步主数据同步集成项目落地示意图 成功的项目交付是验证产品的标准Microsoft Dynamics ERP案例 华融资产管理股份有限公司每位领导、员工均能使用专属的一套或多套门户页面,门户页面内容按照岗位、组织预支,页面内容支持个性化。登录电脑后全网访问,无需重复登录,实现跨网络的联邦认证。建设七类主数据,发布管理规范、服务规范

53、、数据规范。支撑了商业分析系统的建设,提供基础的数据标准化,简化数据清洗难度。支撑业务流程集成,为建立统一的流程中心提供了基础。联邦认证基础数据标准化统一流程中心分级门户案例 华融资产整体集成架构企业服务总线资产数据股权数据投资数据综合业务管理平台(信息门户)绩效管理辅助决策支持资金数据财务数据数据展现平台数据抽取数据集成与交换平台(主数据管理)元数据主数据业务共享数据流程数据系统数据数据仓库DW数据抽取、装载、转换(ETL)集成开发平台数据集成与管理规范资产管理系统股权管理系统投资管理系统财务管理系统审计管理系统办公管理系统监管机构华融管理者平台公司华融员工标准服务标准服务标准服务标准服务统

54、一认证中心接口/适配器数据库适配器建设内容案例 华融资整体集成效果常用功能业务待办业务概况通知公告报表常用功能快速通道系统入口链接常用联系人业务制度常用流程快速链接总部部门首页常用功能业务待办业务概况通知公告常用功能快速链接业务制度投资和增信业务汇总表常用联系人常用流程快速通道投资事业部首页关键指标投资事业部首页业务待办通知公告常用功能业务制度资产业务数据报表常用联系人常用流程快速通道常用功能核心指标报表资产经营部首页数据分析页面孤立的移动应用是否会越做越多?成熟的传统应用如何在移动端适用?IT如何支撑业务移动化以及移动业务创新?拥有成本:移动应用部署、维护成本等等人机交互设计、UI设计、用户

55、体验IT人才储备多为懂业务的传统开发人员技术碎片化:多种移动OS,多种移动设备,技术多样性企业信息系统多样化:Web、DB、Cloud、ERP、OA、CRM考虑如何与企业现有信息系统整合如何衔接云计算、大数据、社交等技术如何分发移动应用网络安全问题数据安全问题终端安全问题APP端开发层面的挑战服务器端集成层面的挑战移动管理、安全方面的挑战移动平台建设面临的挑战企业移动互联网化会遇到的一些问题移动战略规划层面的挑战数据加密基础设施安全会话管理权限验证链路加密移动安全管理移动中间件业务系统PC门户OAGS6财务GS6HRGS6资金GS6预算邮件系统健康系统工会会员能源云监控系统服务仓库消息路由协议

56、转换数据转换组件装配应用适配ESB前端微信门户开发工具移动+MobileStudio项目管理工具集处理引擎工具数据管理Data Studio数据服务数据挖掘分析引擎文件服务API接口分布式计算引擎行/列存储 混合存储 分布式文件存储 实时数据集成ETL/ELT主数据流计算引擎数据集成平台仓库建模工具语义建模工具 多维建模工具仪表板,报表,报告,多维,查询设计工具 商业分析模型库商业分析平台售配电服务系统主数据移动互联网技术支撑即时通讯BaaS服务视频会议BaaS服务电话会议BaaS服务消息推送BaaS服务短信BaaS服务支付服务(畅捷支付)安全移动门户外勤助手设备/应用管理安全沙箱项目管理设备

57、管理应用管理用户管理安全策略组装安全策略方案员工自助管理权限管理统计分析监控预警运行容器多版本管理数据源工具日志服务集成网关服务会务系统考勤系统文件服务企业移动化整体解决方案移动安全管理移动中间件业务系统PC门户OAGS6财务GS6HRGS6资金GS6预算邮件系统健康系统工会会员能源云监控系统服务仓库消息路由协议转换数据转换组件装配应用适配ESB前端2C移动应用开发工具H5开发工具APP开发工具项目管理工具集售配电服务系统主数据移动互联网技术支撑即时通讯BaaS服务视频会议BaaS服务电话会议BaaS服务消息推送BaaS服务短信BaaS服务支付服务(畅捷支付)移动门户角色应用设备/应用管理安全

58、沙箱设备管理应用管理用户管理安全策略组装安全策略方案员工自助管理权限管理统计分析监控预警运行容器多版本管理数据源工具日志服务集成网关服务会务系统考勤系统文件服务企业移动化整体解决方案WS接口、H5页面,HTTP协议iUAP Mobile 产品架构NCHRCRM社交第三方互联网微信等文件服务持久化服务服务网关(连接后端业务系统)应用商店开发平台移动中间件移动门户移动管理(EMM)可视化IDE日志服务应用服务应用控制器认证服务应用分发角色权限应用管理应用统计UI控件公共服务调试工具云编译身份认证沙箱隔离内置应用商店单点登录设备管理应用管理组织结构管理安全策略维护统计分析日志管理APP+轻应用覆盖所

59、有端的安全策略保护移动端数据安全全生命周期维护跨平台、可视化开发打通后端业务系统间技术壁垒案例 有色矿业集团移动门户集成案例 集团移动办公门户目 录ONTENTSC公司介绍一能源集团云数据中心整体解决方案/建设思路二企业互联网开放平台iUAP平台产品总览三私有云建设技术方案主数据规划管理方案大数据集成方案数据分析应用方案门户集成方案数据管控与组织运维期待与能源集团深度合作四数据管控体系框架数据整合域数据管控域技术体系组织体系管理体系数据标准标准定义标准映射标准执行标准维护元数据业务元数据技术元数据元数据维护元数据应用数据质量数据质量指标体系数据质量分析数据质量改进数据安全权限管理统一认证数据防

60、护安全审计数据质量检核数据集中实时数据集中批量数据集中数据集中策略数据整合数据转换与清洗数据加工数据整合模型组织架构角色与技能分工与职责制度流程方法数据服务域数据服务配置数据服务定制数据服务数据目录数据服务管理服务配置服务目录服务审计数据检索数据存储 数据在业务层面的定义可称为业务标准,主要包括信息大类、信息小类、英文名称、中文名称、业务含义、数据管理部门和重要程度等内容 数据的技术标准,从技术层面描述数据项的定义。数据的技术标准包括:数据类型、数据格式、有效值域、是否可空、缺省值等内容 根据企业的业务数据特点,对来源于各个系统中的数据实体进行统一代码定义,包括定义代码编号、中文名称、英文名称

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论