金融行业数字化转型大型企业新IT整合基础架构解决方案-1

金融行业新IT整合基础架构解决方案基础架构部署&打包应用架构开发流程私有数据中心物理机单体结构瀑布式运维外包虚拟机N层结构敏捷开发运维外包虚拟机N层结构敏捷开发云服务容器化微服务产品解决方案纲要•基础架构核心—OpenStack核心EasyStack•基础架构核心—容器云XX云•基础架构核心—SDN锐捷•基础架构核心—SDSXSKY分布式存储•安全工具箱—业务连续性保障，备份容灾Information2英方•安全工具箱—特权账号管理CyberArk•安全工具箱—代码白盒测试CheckMarxDevSecOps•安全工具箱—云网络安全HillStone隔界•安全工具箱—云主机安全360安全•运维工具箱—监控与自动化运维AnsibleTower•运维工具箱—远程接入VDIOpenShiftLinuxRedhat•运维工具箱—移动业务发布控制平台国信灵通•培训课堂—OpenStack系列培训（入门，认证，高级规划架构）•服务柜台—OpenStack对接开发服务（Cinder传统存储系统对接，KeyStone身份认证对接，Ceilometer监控计费开发）OpenStack是精心设计的数据中心集成引擎提供从IaaS>>SwiftSwift云访问服务API服务云管理服务存储管理镜像管理硬件管理策略管理存储QoS虚拟机HA基础架构管理API监控/计量虚拟监控存储监控硬件监控网络监控监控API远程管理API安装部署API身份管理认证管理权限管理身份管理认证管理权限管理升级管理通知管理X86云主机X86裸机容器小机云主机防火墙负载均衡VPNOpenStack原生功能云管理平台增强功能云管理平台增加功能OpenStack技术社区与EasyStackESCloud技术平台DashboardZaqarZaqarSharedTroveSaharaComputeComputeNetworkingCongressNetworkingCongressGovernanceDeploymentDeploymentOpenStackOpenStackCoreServiceDashboardDashboardCinderStorageObjectCinderStorageObjectStorageOrchestrationContainerCeilometerContainerCeilometerTelemetryVmwareSupportAppCatalogOpenStackCommunityESCloudPlatformOpenStack解决方案在金融行业的实践高可用架构实践：•控制（HAProxy+Pacemaker+•存储(Ceph多副本)备份及容灾实践•与Information2英方的全面集成（i2Mover虚拟机迁移，i2Avaliable高可用，i2Box对Cind•为邮储、农信银、银联用户规划和设计基于OpenStack备份及容灾方案并推动落地云平台基本能力实践计算：Ironic裸机部署及多租户增强（银联／兴业Magnum增强-基于OpenStack的容器能力交付（兴业二期，计划农网络：硬件SDN集成实施（银联：CiscoAPIC/华为AC；兴业：华三VCF软件SDN-Neutron调优（VXLANOffload,三级要求）网络节点拆分部署（邮储）成;Ceph的调优和开发统一图形化运维工具（兴业、银联、邮储）单Region（数据中心）大规模部署架构设计及部署脚本开发（银联、邮储）跨数据中心多Region部署（银联）除此之外金融行业用户还常要求做的定制：Horizon除此之外金融行业用户还常要求做的定制：Horizon/Keystone(LDAP&SSO&嵌套多级)/Ceilometer及Zabbix（短信告警，Ceilometer汇总至Zabbix，Zabbix对接用户监控中心）/Glance(私有镜像，镜像的下载)/按应用组（NovaServerGroup）部署／操作行为日志的导出（审计）•内部私有云和面向外部的行业云统一部署（按OpenStackDomain规划）•私有云工单与兴业内部ITSM流程管理的对接•行业云工单事件及问题上报机制的定制化•行业云审批功能的定制化应用和解决方案应用和解决方案部API认证计费部API认证计费司司F,/用户界面管理界面司司F,/用户界面管理界面对象存储公网IP文件共享备份路由器云硬盘网络与子网对象存储公网IP文件共享备份路由器云硬盘网络与子网密钥对密钥对安全组镜像云主机SDNControllerIntegrationCisco/H3C/Juniper/OpenDaylight…SDNControllerIntegrationCisco/H3C/Juniper/OpenDaylight…Vlan/Vxlan/GREESConnector混合云弹性专享云ESConnector混合云弹性专享云私有云/公有云/行业云安全监控与管理安全组方案特点全面监控开放API容器、虚拟机、物理机统一管理多级计费数据库服务套件多级权限账单管理大数据服务套件安全监控与管理安全组方案特点全面监控开放API容器、虚拟机、物理机统一管理多级计费数据库服务套件多级权限账单管理大数据服务套件大数据服务套件数据库服务套件关系型数据库关系型数据库分布式缓存数据库分布式缓存数据库文档数据库文档数据库容器编排服务套件容器编排引擎容器编排引擎容器镜像仓库容器镜像仓库监控与日志监控与日志Zookeeper……Zookeeper……可视化资源编排多级权限、多级审批、多级计费多级权限、多级审批、多级计费虚拟云主机虚拟云主机VPC块存储VPC块存储配额审批物理云主机云平台管理、监控、运维套件对象存储配额审批物理云主机云平台管理、监控、运维套件对象存储混合云管理镜像混合云管理镜像负载均衡服务混合云管理套件文件存储负载均衡服务混合云管理套件文件存储专属云专属云ESCaaS快照快速交付物理隔离的专属云服务存储QoS快照快速交付物理隔离的专属云服务存储QoS快照与备份快照与备份新技术拥抱：ESCloud混合云实现•公有云作为OpenStack的单独一个Region实现，便于界面的灵活自定义•整体操作和OpenStack保持基本样的资源及其操作•采用adapter的方式，能够管理多个公有云的资源•上层接受请求统一处理(如Instance资源相对应的请求交由同的Adapter进行具体处理•架构设计兼顾和多个公有云控制平面对接能力ESCloud组件及典型部署架构生产Private网Ceph存储Storage网存储CephPublic网光纤生产Private网Ceph存储Storage网存储CephPublic网光纤和计算节点(1-N)存储节点(3-N)商业存储 CephCephCephCeph •控制节点：cephpublic-双万兆，public-双万兆，private-双万兆，management-双千兆，pxe-单千兆(其中管理网和CephPublic网可合并)•计算节点：cephpublic-双万兆，private-双万兆，management-双千兆,pxe-单千兆(其中管理网和CephPublic网可合并)•存储节点：cephpublic-双万兆，cephstorage-双万兆,management-双千兆,pxe-单千兆(其中管理网和CephPublic网可合并)•计算&存储超融合节点：cephpublic,private,manag北京数据中心北京数据中心生产Private网和计算节点(1-N)存储节点(1-N)Ceph存储Storage网和计算节点(1-N)存储节点(1-N) 光纤管理节点管理节点CentOS6.5CentOS6.5CentOS6.5CentOSCentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOSCentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOS6.5 广州数据中心广州数据中心XXXX计算发展遇到的问题及需求当前问题：基于OpenStackE版本开•用户体验：界面、操作•安全隔离：基于NovaNetwork难以做到灵活的组•性能：XEN和老版本OpenStack性能需要进一步提升•基于EasyStackESCloud为XXXX做OpenStack深度定制-XXXX云计算资源管理平台（含源代码、软件可发布版本等）及实现其功能的辅助组件（如数据库、消息队列、分布式存储等）-相关文档：完成XXXX云计算资源管理平台开发过程中的项目需求分析报告、项目实施方案报告，定期项目实施报告，项目完成报告等。•EnableXXXX云计算开发团队（XXXX开发中心21人团队）-持续的深层次培训（技术、进阶、开发类）-联合开发，帮助建立XXXX自己的云计算开发团队-项目一期：基于OpenStack版本升级及基本功能预研与应用，重点进行云平台自动化安装与部署；用户及认证体系；计算、网络、存储虚实现对云计算资源的统一管理、保证平台可操作性。兴业数金“数金云”项目背景1.集中力量完成现有科技输出业务的全面升级，建设国内领先的、符合银行业监管标准的云1.集中力量完成现有科技输出业务的全面升级，建设国内领先的、符合银行业监管标准的云计算服务中心，构建面向银行的云端服务，全面提升中小银行科技服务水平。2.依托集团非银金融机构的发展经验，进一步扩展行业云服务的外延和内涵，为蓬勃兴起的非银金融以及各类新兴互联网金融企业提供云端信息服务，将银行云升级打造为金融云。3.依托金融云、互联网连结中小企业，通过资源整合、通过数据积累为中小企业提供更准确、更及时、更贴身的金融服务，从而把兴业数金打造成为国内领先的普惠金融服务平台，即普惠金融云。银行业的市场份额。合金融服务解决方案，帮助众多中小银行实现了经营管理水平和市场竞争力提升。面（互）通合作银行294家，联结网点超过3.5万个，支付结算总金额超过2.5万亿元。其中为中小银行提供科技输出一项，累计签约客户2﹣2015年12月，兴业银行和高伟达、金证科技、新大陆等数家公司共同投资设立兴业数金公司，承接兴业银行“银银平台”的科技输出优势，为中小银行、非银行金融机构、中小企业提供金融信息云服务。兴业数金“银银平台”概览兴业数金“数金云”平台构建为满足互联网金融系统的应用特点，兴业数金建设新型的、安全可靠、智能高效的云平计算台。该云平台必须技术先进，且适用于互联网金融应用特性，适应互联网金融业务对IT基础资源弹性伸缩、高效变化的需求。“数金云”初期建设：测试云（兴业内部生产云（兴业内部和外部客户<“数金云”当前承载：兴业银行联互联网金融业务（互金平台、兴生活、兴财道、兴支付等）、全网收单业务；行业云业务未来计划：“银银平台”上合作的中小银行的互联网金融业务、钱大掌柜、掌柜钱包等…EasyStack与兴业数金在项目上的合作•基于EasyStackESCloud为兴业数金构建“数金云”（测试云和生产云）-六个月的项目实施周期（一期包括ESCloud标准功能实施和OpenStack界面及功能定制-与兴业数金客户一起设计定制化功能，在确保OpenStack可升级性的前提下丰富所需功能u一期包括（2017年2月底实现）：UI界面定制化（数金风格）监控类需求定制化（短信告警Ceilometer监控导入Zabbix，Grafana做展示）计费类需求定制化（行业云要求：On-Demand&Pre-Pay&多计价单）流程管理类需求定制化（行业云要求：审批&工单&事件和问题）组织架构类需求定制化（行业云要求：多层级组织架构）•Enable兴业数金运维团队能力-持续的深度培训-建立完善的运维支持体系•深度的战略合作打造金融行业云u二期规划（预计2017年3月启动）：用户体验持续优化：e.g.界面操作、统计报表、弹ITSM系统的对接（服务于内部的私有云资源池）公有云对接（国外：Azure；国内选1～2家）容器及容器编排功能（ContainerasaService）物理隔离的高SLA专属云（CloudasaService）应用服务商店功能引入（有共性的行业特色应用）数据库即服务（DBaaS）功能的引入备份功能的完善和容灾方案的引入ESCloud云平台：监控－虚拟机的监控•核心技术实现－OpenStackCeilometer•指标项：CPU/Mem/Disk/NetworkESCloud云平台：监控－虚拟机的监控使用百分比读速率接受数据包发送数据包实时、天、周、月、年ESCloud云平台：监控－物理机的监控•核心技术实现－Zabbix•监控点：计算、网络、存储物理节点资源及健康状态；OpenStack服务状态；Ceph集群状态ZabbixZabbixAgentZabbix andAgentESCloud云平台：监控－物理机的监控RedisorKafkaTransportlogIngestandtransformSearchandanalyzeVisualizeELK日志系统框架ELK日志系统框架•Elasticsearch：是一种全文的、实时的搜索和分析引擎，它存储通过Logstash索引的日志数据。它构建于ApacheLucene搜索引擎库之上，通过REST和Javaapi来公开数据。Elasticsearch是可扩展的，构建它是为了供分布式系统使用它•Logstash：日志收集插件实现多种日志收集方式,通过filter过滤插件,结构化事件.•Kibana：基于Web的图形界面，用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据全局考虑云平台安全体系的构建从OpenStack看云安全的实现+SecureKeyStorage(Neutron)(Barbican)(Neutron)Metering(Ceilometer)Metering(Ceilometer)从ESCloud平台安全体系建立看安全的实现-源于OpenStack基础安全体系，实现立体化的系统安全防护分层次设计，按功能划分控制，漏洞扫描），以及“事后”安全（如审计、隔离，杀毒等）•与平台互联互通的安全实现（结合第三方网络安全组件）•运行于平台之上的虚拟机安全和应用的安全（结合第三方安全组件）•风险控制和预判•安全管理规范和体系的建立ESCloud云平台：多租户多级权限及多级配额审批可以更改任意一级的配额需要系统管理员批准需要企业管理员批准项目配额变更需要部门管理员批准普通用户申请配额变更需要上级审批APPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOS精细化资源管理树形框显示企业组织架树形框显示企业组织架构理ESCloud云平台：工单系统增强集成工单系统：帮助用户解决问题管理和问题跟踪难题重新激活工单否重新激活工单否是是!提交工单提交上级提交上级提交上级提交上级提交上级集成即时通信工具集成即时通信工具记录与追溯处理过程工作流程跟踪工作流程跟踪待办事务提醒待办事务提醒支持上传附件支持上传附件关于容灾：异地主备数据级灾备灾备管理控制台：灾备管理控制台：站点信息及灾备后台状态监控、高可用组配置、灾备切换设置、工作进度及日志U控制台触发U控制台触发ΘΘ灾备切据和Volumes及相关映射项对应及手工拉起向导U加入U加入/退出高可用组CollectAgentCollectAgent心MySQL获取元心MySQL获取元数据及定期获取ΘInsert完成上报CollectAgent信息定期上报信息定期上报URBDMirroringJournal方式数据复制信息定期上报信息定期上报URBDMirroringJournal方式数据复制主数据中心Ceph集群Pools关于容灾：异地“双活”互备数据级灾备灾备管理控制台：站点信息及灾备后台状态监控、高可用组配置、灾备切换设置、工作进度及日志UU数据中心数据中心AUUUUUU数据中心B灾备服务Θ灾备切数据中心B灾备服务Θ灾备切据和Volumes及相关映射项对应及手工拉起向导旮旮旮旮固固ΘΘΘ囚Θ囚信息定期上报URBDMirroringJournal方式数据复制信息定期上报URBDMirroringJournal方式数据复制关于容灾：网络切换设计数据级灾备包括两个方面：数据同步和灾备切换。数据同步是灾备的前提。在保证数据同步基础上，要实现灾备业务切换，还要能实现灾难发生时的网络切换和应用切换。应用级灾备要求提供冗余的网络线路和设备。正常情况下，客户端通过生产中心的业务网络访问生产中心的应用服务器；在发生灾难时，通过网络切换，客户端能够访问到灾备中心的备用服务生产中心和灾备中心主备应用服务器的IP地址空间相同，客户端通过唯一的IP地址访问应用服务器。在正常情况下，只有生产中心应用服务器的IP地址处于可用状态，灾备中心的备用服务器IP地址处于禁用状态。一旦发生灾难，管理员手工或通过脚本将灾备中心服务器的IP地址设置为可用，实现网络访问路径切换。在这种方式下，所有应用需要根据主机名来访问，而不是直接根据主机的IP地址来访问，从而通过域名实现网络切换。（3）基于负载均衡设备的切换通过在服务器集群前端部署一台负载均衡设备，根据已配置的均衡策略将用户请求在服务器集群中分发，为用户提供服务，并对服务器可用性进行维护。负载均衡能够按照一定的策略分发到指定的服务器群中的服务器或指定链路组的某条链路上，调度算法以用户连接为粒度，并且可以采取静态设置或动态调配的方式。负载均衡设备能够针对各种应用服务状态进行探测，收集相应信息作为选择服务器或链路的依据，包括ICMP、TCP、HTTP、FTP、DNS等。通过对应用协议的深度识别，能够对不同业务在主生产中心和灾备中心之间进行切换。关于容灾：云从应用层考虑的容灾设计跨数据中心局管理或应用结合负载均衡和数据复制等技术实现全局高可数据中心场景无中断迁移；•SDN实现Underlay和Overlay层网络集中管理和自动化运维；可视化；•基于租户的安全隔离和资源分配；按需分配；XSKY对Ceph的增强持续服务与在线运维•在线插拔光纤不中断•插拔硬盘实时告警XSKY产品线超融合部署架构资源池分离部署架构i2Software英方软件英方云i2Distributori2Availability英方一体机i2COOPYi2Backup技术原理字节级复制应用INFO2SOFT操作系统硬硬