证券行业云和大数据Mar.ppt

敏捷IT创新业务云计算恰逢大数据 EMC的使命 ToleadcustomersontheirjourneytocloudcomputingandtransformingIT 引领我们的客户实现IT的演进 迈向云计算之旅byenablingthemtostore manage protectandanalyzetheirinformationassetsinamoreagile trustedandcost efficientway帮助客户更灵活 更可靠 更高效地存储 管理 保护和分析其信息资产 云的年代 什么是云计算 如何说服CEO值得投入 我需要率先尝试吗 该如何计划与开始 对业务有价值吗 值得信赖吗 为何要向云计算转型 无法满足业务灵活需求 拥有成本 运维成本增高 数据中心老化 空间 设施问题 安全 管理复杂 信息支撑的挑战 技术创新驱动 设备更新驱动 云计算的定义 云计算集中资源池 虚拟化环境 标准化服务 自动化供应 按需付费 转型虚拟化 云计算的价值 省机器 省空间 省电 环保 省钱 是的 但更重要的是 EMC的IT自身是如何转型云计算的 Finalist 90 的虚拟化比例43 45关键业务已经大规模虚拟化P2V比例 平均22 12012年 目标86 虚拟化 实现90 子路问政 子曰 先之劳之 请益 子曰 无倦 摘自 论语 里程碑事件 Oracle11ieBusinessSuite更换到虚拟化平台 全球最大的Oracle11iEBS实例之一EMC最关键应用之一DirectExpress DXP ChannelExpress CXP OracleSales CRM ServiceContracts Projects70 应用服务器Oracle10gR2 8TB 88亿条记录5 2亿事务数 天50 000 注册用户4 000 峰值在线用户 CiscoUCSB440IntelNehalemEXprocessorCPU 192CoresCPUutilization10 OS RedHatLinux vSphere 存储 SymmetrixVMAX SunFireE25KUltraSPARCIVprocessorCPU 224CoresCPUutilization80 OS Solaris10存储 SymmetrixDMX 3 UnifiedComputingSystem SunFireServer 超过10倍的性能提升60 90 生产力提升节省 5M 2010年10月16日GoLive CRS Rdbms Database Instances RAID10 I OFencing Services 6Listeners SymmDMX3 4500 720 x146GBdrives95TBTotalRAWRAID10Protection Oracle10 2 0 3Size8TBSGA60GBeach6Listeners Powerpath CRS Solaris10OS VeritasCluster VxFS 2x1GBInterconnect Veritasodm Sun25K Solaris10CPUs 224CoresMemory 224GBVeritasRAC5 0Powerpath5 0 2 JDBC SQL Net ACELoadBalancer Web Forms Conncurrent E BusinessSuite11iSharedAppltopLinuxRHEL4Dell2850 71Physical 80VMs 8Physical Oracle11iApplications 曾经 RAID10 I OFencing FlashDrives CRS Rdbms Database 6Instances Services Listeners SymmetrixVMAX450 x235GBdrives95TBTotalRAWRAID10Protection Oracle10 2 0 4Size8TBSGA30GBeach3Listeners ACELoadBalancer Web Forms Conncurrent E BusinessSuite11iSharedAppltopLinuxRHEL4VMWareVsphere210VMs 20Physical VMAX UCS Oracle11iApplicationsRe platform Powerpath CRS JDBC SQL Net RHLinuxAS5 NehalemEX ASM11gR2 1x10GBInterconnect ConvergedNetwork CiscoUCSB440IntelNehalemEXCPU 192CoresOS RHEL5 4Powerpath5 3 性能大幅改善 用户体验改善 任务处理能力提高 生产力提升 收效显著 IT在创新领域的投入比例 部署上线环境的时间 收效显著 IT在创新领域的投入比例 部署上线环境的时间 ThroughPROPEL SAP wearere architectingEMC sbusinessprocessestoenableourcontinuedgrowthandfuturesuccess PROPEL是EMC在IT部门最大的单个项目投资 singlelargestinvestment 项目团队550人 整合 影响130个业务流程 27个月项目周期8000个核心用户 25000SSP用户 eProcurement 103个培训课程 培训12 000用户全部以虚拟化的方式部署 100 Virtualization 总共470 VirtualHosts 9套SAP生产环境 Landscapes中间件 业务整合套件全部采用VMwareVFabric终端用户通过虚拟桌面SAPGUIThinApp访问系统 Innovative GlobalIT将SAP迁移到虚拟化系统 OracleESX群集 SQLServerESX群集 SAPAppTierESX群集 体系结构 ERP 集成 技术亮点 物理主机环境 14个Cisco刀片服务器 每个配置20核处理器和256GB内存虚拟环境 100多个虚拟主机 分配672个vCPUs客户端 18000个用户数据库设计 OracleDB用于关键应用系统SQLServer用于非关键应用存储 总计304TB 生产系统 SAP56TB CIC 8TB 行业案例 NYSECMCP业界首个资本市场的行业云 CapitalMarketCommunityPlatform 2011年6月1日正式发布构建金融服务业首个IaaS平台新泽西 伦敦 多伦多 东京业务范围 电子交易 物理或虚拟机 数据测试 算法测试 监管报告等租用模式500GB容量 96GBRAM起RHLinux Windows上线时已有两家客户 MillenniumPartnersPicoQuantitativeTrading 行业案例 银河证券与中信证券 客户挑战 创新业务不断推出 要求快速部署上线新业务 对支撑运维造成很大压力 两地数据中心的统一管理电源 空间的极度不足 项目实施 一期整合了15个应用系统 从60多台服务器整合到12台服务器 分别部署到了两个数据中心 高可用 实施虚拟化环境的备份管理 虚拟机备份时间在20分钟以内 规划双活 RPO 0 云数据中心解决方案 虚拟化现状 中信证券的大部分非核心交易类业务都运行于虚拟化平台系统上 现有运行400 个虚拟机 部分整合比达到1 40 规划超过3000 虚拟机未来将更关注私有云的运维 客户收益 大大加快中信证券的业务部署时间 1天 ChargeBack 收费策略变革了IT部门与业务部门的互动方式 自开始虚拟化战略以来 已节省固定资产投入达千万元 Agile Resilience Innovative 行业案例 财富证券交易系统部署虚拟化 客户挑战 三方存管系统 11家银行三方存管 22台惠普DL140服务器前置的硬件性能应用率很低共用前置方案硬件故障影响面过大 冷备切换时间过长11台冷备服务器 资源严重浪费 客户收益 目前三方存管全部以虚机模式实时在线运行 从22台服务器整合到3台服务器采用VMWare4的FT 容错 技术保证高可用性 群集上使用运行效果和原物理机一样 三台服务器平均cpu利用率5 峰值12 内存利用率25 强行关闭一台或两台群集物理服务器 模拟物理机故障 所有三方存管业务应用不受影响 比物理机更好的容灾特性 双活 案例 青岛市政府双活政务云 作为政府主导的项目 安全可靠稳定需要优先考虑 2005年 青岛正式承担国家电子政务示范项目经过长达两年的审慎考察和测试 客户选择EMC解决方案来建设其政务云计算中心 青岛 政务云与灾备的一体化实践 28个部门实现主机集中托管统一构建了81个部门的内部OA系统50个部门378项审批业务系统48个部门5800多项行政处罚业务系统17个领域的电子监察系统为43个部门虚拟60多个公众服务网站为20个部门建设了内部信息共享系统为80多个部门提供国际互联网接入为60多个部门提供网络安全服务辅助决策 督查考核 信访管理 安全生产 财源建设等30多项部门应用系统均依托共享平台建设和运行 转型虚拟化 云计算的价值 省机器 省空间 省电 省钱 是的 但更重要的是 未来的企业竞争 基于云和大数据的竞争 云时代业务重心向数据转移 互联网时代 世界是平的竞争优势的获得和失去 都在 瞬间 发生 企业需要不断变革 不断创新创新的洞察力来自 大数据 创新的落地需要 敏捷的IT 云 金融和IT融合 2013年伊始 中国平安保险 集团 股份有限公司 阿里巴巴集团和腾讯控股拟建的在线保险公司已经通过监管审批2010年始 阿里小贷 2013年阿里巴巴 信用支付 无卡的信用卡 8000万用户群 阿里银行 猜测苏宁小贷公司 京东金融服务招商银行马蔚华邀请美国原作者为高管培训学习 大数据时代 日志挖掘服务器H 1 20台 信用 CTUDatamart 计算平台 数据仓库主库定时任务计算60台 数据分发 数据源OLTP系统 财务系统 销售系统 客服系统 会员营销Datamart 计算平台 抽取 数据收集分发中心 数据仓库工具与管理平台 调度系统 管理 元数据 MetaData 管理 CDC 资金 财务等Datamart 模型计算平台 CDC CDC CDC 账户系统 数据仓库备库查询60台 数据历史库 挖掘40台 CDC CDC 数据分发 数据分发 风控系统会员营销客户服务资金管理财务分析客户信用 挖掘工具集 商业智能信息门户 KPI报表与业务报告业务指标仪表盘监控运营与营销数据分析综合数据查询挖掘分析报告用户访问行为跟踪竞争情报 日志收集服务器20台 日志 行为模型计算准实时 4台 服务 打点 服务 线上即时作弊判断线上即时个性化营销 企业数据中心 网站访问 交易系统 图例 已经上线greenplum集群 总共120台 即将上线查询集群总共60台 EMCGreenPlum在支付宝的应用 支付宝数据仓库概述 原有解决方案及问题OracleRAC加载速度非常慢 真的令人无法接受 技术人员天天抱怨做客户详细复杂的点击查询 要等上半天到一天 有时还出不来结果 浪费我们大量的时间 业务经理已经忍无可忍了现在系统无法满足海量的历史数据的分析应用Greenplum是幕后的英雄海量加载由Greenplum完成汇集了Alibaba所有的历史数据真是一个超级的海量数据库软件 客户技术部门评价 2008年基于GreenPlum的数据仓库上线2011年底已经扩展至1000TB杭州 嘉兴 双全量数据机房 第三机房筹建中OLT