去ioe-r2ia一体化交付解决方案

,去 IOE ： 神话与现实,目录,集中构架回顾,1,传统企业行业去IOE,2,SystemX产品优势,3,去I 去E 去O 传统行业去IOE操作指南,大集中构架回顾,对于传统企业，什么是 IOE,指导分布式构架与集中式构架的理论基础：CAP理论,The CAP theorem posits that it is not possible for any distributed systems to ever achieve all three qualities consistency, availability, and partition tolerance simultaneously for one system,CONSISTENCY,AVAILABILITY,PARTITIONTOLERANCE,一致性任何时间，任何地点，所有节点上的数据都是一样的,分区容忍性数据分布于不同区域后，任何一个分区不可访问时，整个数据操作仍然可以正常完成,可用性确保每一次对于数据的请求都可以成功,CAP理论：一个系统不可能同时满足一致性、可用性和分区容忍性这三项需求，最多只能同时满足其中两个。在任意时刻，只有两项能同时成立,去IOE是一个技术问题，不是有地域界限应该信奉鲁迅先生的拿来主义，客户应选择最适用的，性价比最好的,政治,淘宝最初去IOE是业务需求超过了传统构架的支撑能力，不是仅仅为了节约成本,淘宝在去IOE中有多项公司研发技术，在商业客户中通常不可复制,联想从技术角度看去IOE观点,业务,技术,应用,去IOE不是简单的把服务器操作系统和软件平台变成开源的，是一个对大集中构架的补充,6,传统企业如何去 IOE,当前基本上所有应用都可以使用不同档次的X86服务器来替代UNIX服务器,Application & Scenario,X86 2S/1U,X86 2S/2U,X86 2S/2U HD,X86 4S/4U,Power server,传统构架是ACID 系统,Atomicity原子性：一个事务中所有操作都必须全部完成，要么全部不完成。Consistency一致性. 在事务开始或结束时，数据库应该在一致状态。Isolation隔离层. 事务将假定只有它自己在操作数据库，彼此不知晓。Durability. 一旦事务完成，就不能返回。,新型互联网架构的特性：BASE,BASE构架牺牲了数据的强一致特性，转而利用分区特性，提供了更加灵活，性能更好，扩展性更好的数据平台。,Basically Available基本可用。支持分区失败(e.g. sharding碎片划分数据库)Soft state软状态 状态可以有一段时间不同步，异步。Eventually consistent最终一致，最终数据是一致的就可以了，而不是时时高一致。,分布式构架的优势与问题,/a/20150625/008588.htm,分布式构架更加灵活分布式构架更容易实现自主可控分布式构架需要更加深厚的人员与技术积累。相对于传统的集中式构架，分布式构架只有达到了相当的规模的时候才能够降低成本分布式构架需要面对不同SITE的服务器蔓延问题。分布式构架通常从应用角度上说实现了双活，甚至于多活。没有成熟验证的容灾解决方案。,业务系统如何拆分以淘宝为例,拆分之后的每个系统可以单独部署，业务简单，方便扩容；有大量可重用的模块便于开发新的业务；能够做到专人专事，让技术人员更加专注于某一个领域。,系统之间还是必须要打交道的，越往底层的系统，调用它的客户越多，这就要求底层的系统必须具有超大规模的容量和非常高的可用性。拆分之后的系统通信方式需要两种中间件系统，一种是实时调用的中间件（淘宝的HSF，高性能服务框架），一种是异步消息通知的中间件（淘宝的Notify）。,以数据复制方式的简单构架调整实现对UNIX服务器的部分替代,注：若期望每个交易查询速度成倍提高，需要重新构架整个生态系统，仅仅通过增加查询数据库不可完成,通过数据库复制软件，将生产数据异步快速复制到查询数据库 。通过应用差分 ，把读操作转移到新购置的查询系统上 ，降低当前生产系统压力。,降低当前生产系统压力 ，确保当前业务量增大2-3倍时，生产系统正常运行。适当提高每个查询的速度。,针对小型结构化数据仓库的构架优化,针对3TB以下的小型数据仓库以及数据集市，可以使用高性能服务器合并内置高速存储的方式实现数据的快速查询,UNIX 转向LINUX的衡量方法,第一要素：从应用分析入手,第二要素：说清楚根本区别,第三要素：用实际数据说话，确保建议切实可行,UNIX的性能通常可以通过rperf值估算出OLTP值。通常 P750( Cpu 32核 主频3.0G) OLTP值相当于 X3850 X5满配 OLTP值通常 X3950 X6（8CPU，120core，2.7Ghz） 在线事物处理的性能相当于P780( Power 8Cpu 64核 主频3.72Ghz),当前软件model是否支持集群扩展方式？新应用是否支持集群扩展方式？客户数据库是OLTP还是OLAP？是否可以通过多份数据复制方式将查询业务剥离核心业务系统，分担核心数据库的压力,CPU的主频上POWER更快QPI总线速度上POWER更快并发性上： power 4线程， intel 2线程,需要提供系统（nmon）和数据库（awr）运行状态当前瓶颈，CPU，内存，IO，网络等的实际使用效率,UNIX应用移植复杂度分析,* Source IBM and Red Hat 1. Complexities Varies,小机迁移关键步骤及工作任务,物理/逻辑架构,既有RISC解决方案和基础架构评估,1,定位可迁移系统确定迁移技术方案,定位迁移目标,2,物理/逻辑架构详细迁移方案,详细迁移方案设计,3,方案测试应用移植,概念验证,4,定义测试目标部署测试环境,测试,5,系统割接,上线运行,6,系统依赖关系,业务/硬件工作负载分析,潜在ROI/TCO改善分析,迁移风险分析及迁移计划,系统容量规划,迁移项目详细执行计划,服务器硬件性能验证,应用调优,系统整体性能集成测试,系统优化,性能监控,运营维护,某银行核心业务实际测试参考（日间交易600笔/秒，1000万用户结帐）,数据库服务器2P（12core）Intel(R) Xeon(R) CPU E7-4809 v2 1.90GHz,应用服务器4P（40core）Intel(R) Xeon(R) CPU E7-4830 v2 2.20GHz,Power构架以及与X86的对比,服务器RAS比较特性,系统稳定性比较,Source: ITIC (Information Technology Intelligence Consulting) server reliability study, 2014,非计划宕机时间(小时/年) 越低越好,分布式存储分布式存储系统是大量普通PC服务器通过互联，对外作为一个整体提供存储服务,分布式存储构架的两个要素,分布式表格系统分布式数据库,使用集群共享软件，使得分布式存储提供统一的命名存储空间，替代高昂的共享式存储,使用不同的数据库方案,Oracle实质上保证数据一致性的商业行式数据库可以使用开源数据库来解决oracle的软件垄断问题可以使用列式数据库来提高结构化数据的速度，降低使用成本使用NoSQL DB替代部分当前应用使用内存数据库提高查询速度,以金融为例看IT构架发展,大前置不是不是不可变更的,当前网银软件都已经支持scale-out方式,核心业务系统是否可以使用X86替代UNIX需要详细分析,下一步将转向MPP数据库,中国移动广西分公司新计费U2L项目,公司背景：中国移动通信集团广西有限公司（简称“中国移动广西公司”）隶属于中国移动通信集团公司是中国移动有限公司在广西设立的全资子公司，其移动通信网络信号覆盖广西所有城市、乡镇、行政村，目前客户总数突破2400万户，是广西区域通信行业的主导运营商和协助政府推进广西经济社会信息化发展的主力军。项目背景：中国移动新计费系统，作为电信业务支撑系统的核心部分，是结算，账务，营业，客服等重要系统的数据基础。计费系统必须满足实时处理需求，完成联机计费采集，话单预处理，话单计费等工作，具有数据量大，实时处理量大，数据带宽高，处理延时低等特点本次项目配合局方建设新一代高效高性能计费系统并已经成功验收落地。客户痛点：原有小型机不能满足未来计费系统数据处理能力，扩展性低下。Unix系统接近系统生命周期末端，维保费用极高，其未来拥有成本已经超过硬件系统价值。,客户背景及存在问题,赢单经验及方案优势,可复制的UtoLinux案例中国移动首例大型X86系统替换Unix系统的落地案例，配合移动局方推进硬件系统国产化，去Unix化进程。MangoDB数据库MangoDB高性能、易部署、面向集合存储、动态查询和完全索引等特点实现了数据库从Unix迁移到Linux的可行性。紧密的客户关系Lenovo售前技术团队与局方、研究院及亚信的紧密合作，实现了整体项目前期设计规划、可行性分析、设备部署实施、项目验收的一体化客户体验。服务器设备的优势Lenovo System X3950 X6：超强性能：Lenovo System x3950 X6拥有业界第一的八路x86系统TPMC性能，其单机处理能力已经超过部分小型机系统。简化管理和易扩展性x3950 X6提供灵活的可扩展设计，全面的系统管理工具，单点控制资源的能力，使其易于部署、集成、维护和管理。降低风险并保持稳定性x3950 X6采用新型RAS架构设计，系统在线时间达99.999%，具有卓越的稳定性。,系统整体概况,本次项目Lenovo采用X3950X6作为计费系统（用户、账务、ABM及SESSION）MDB服务器。X3850X6作为系统解码、计费账务、在线计费、前置计费、信息管理、测试及运维服务器。完成整套计费系统U to Linux的迁移。,硬件采购,Lenovo System X3950 X6 八路服务器Lenovo System X3850 X6 四路服务器,共80台,SYSTEM x去 IOE的产品优势,权威评鉴的可靠性,ITIC Global Server Hardware, Reliablity Report- 2014-2015,#1 x86可靠性 评价 1,ITIC调查表明System x平台可靠性同IBM System p不相上下，在x86平台中冠绝群雄在4小时以下意外宕机时间中，System x可靠性是主要竞争对手的2-5倍在4小时以上意外宕机时间中，System x可靠性是主要竞争对手的2-13倍,IBM 高端UNIX服务器设计构架,Superdome Infrastructure at a Glance,Superdome 2 rear view,Superdome 2 front view,Fault Tolerant Crossbar Fabric,Redundant & Hotswap Utilities Module,Redundant and Hotswap I/O Switches,Superdome 2 OAs are Redundant and Hotswap,Redundant & Hotswap Cooling Fans,2N Power is Hotswap,Superdome 2 Blades (8),X6模块化设计更加有利于系统的扩展与维护,X6 产品自发布以来，已获得六项基准测试第一名,2.1倍资金查询能力,较eX5系列，资金查询能力提高2.10倍,x3850 X6 + SQL Server 2012 Always On AG 企业级关键业务 高可用数据库服务方案,X6可升级为8路服务器可在业务量扩大时候不需要增购新的服务器就可以自由应对,8U, 8 CPU 120 cores, 240 thread, 192 DIMM = 12TB with 64GB DIMM full frequency, 22 PCIe, 4-250W PCIe, 16 HDD, 32 eXFlash, 64 Flash DIMMFlexNode physical partition to two 4-socketsFront/rear service only, similar to 4uUnique Parts:8U Chassis: based on staking two partial 4U chassis assemblies together.Octans 8 socket Midplane/ShuttleCommon:Processor/Memory CardsI/O CardsPower SuppliesStorage ModuleHDD backplanes,各种闪存技术，提供最小的读写延时，最大的吞吐量，提供接近甚至于超过外置存储的性能，,高端存储性能相对性能提供最低的价格相对于容量提供最低的价格,Innovative features exclusive to X6加速写提供更加低的延时软RAID保护数据Turbo 模式提供最高的性能e 更高的 throughput,利用业界首款2、4、8插槽UNIX刀片服务器实现线性扩展能力,更多,简单,扩展,纵向/横向,扩展,扩展,多个刀片可以通过Blade Link技术，合并成一个更大的刀片,8-socket服务器以一半的占地空间实现双倍的性能,Blade Link,CPU: 2s/8c,X 2 =,4s/16c,X 2 =,8s/32c,降低总成本Lowest acquisition cost vs competitive offerings更加智能Next generation architecture that enables faster time to value提升效率Highest performance and density improves utilization and reduces complexity,FLEX system 特点回顾,ComputeMulti architecture: POWER & x86Flexible choice of nodes to meet workload requirements,Chassis / NetworkingHighest performance I/O - 40Gb Ethernet, 16Gb SAN, 56Gb Infiniband FDRDesigned for multiple generations of technology for investment protection,StorageOptimize data between Flash and HDDs with tieringConnect to or virtualize existing storage,ManagementSingle point of management control for all resourcesReduce complexity by automating everyday management tasks,从机架式和刀片式服务器到融合构架的转变,CPU-Heatsink(x2),SAS Cage(x2),SAS BackPlane(x2),HDD or HDD Canister (x2),SMP Attachment Mechanism,Exploded view,4 socket,8 socket,2 socket,Flex System X280 X480 x880模型,创新的2-8路扩展,2-socket wrap,4-socket scaling,8-socket scaling,Scale up可以提供比scale out更见简单的升级方式和更好的性能客户不再需要为未来可能的升级花费大量资金。做到真正的on-demand,淘宝为什么要去IOE,淘宝为什么要去IOE 五个主要需求,阿里技术保障部DBA负责人周宝方,集中式自身缺陷的严重制约是去IOE的核心原因,IOE本身限制了很多开发者技术的发挥和许多企业的长远发展,传统企业如果在部分业务中希望取出IOE，主要考虑到因素是什么？,淘宝如何去 IOE,“首个在淘宝的核心业务系统上来做去IOE的是我们的商品库” 找了一个不需要数据一致性，且对延时不敏感的数据库其实我们整个去IOE方面 技术的成熟，主要的摸索其实来自于我们的商品库。它大概经历了三个阶段,1,2,3,淘宝去 IOE 心得,去IOE整个架构体系赋予阿里非常灵活的技术架构真正完成这件事情以后我们技术可以做到自主可控，同时又很多工程技术人才积累下来，我们现在回过头看这些人才是阿里很重要的竞争力核心之一，可以让我们成本降得最低。通过高度的有效管理来防止服务器蔓延带来的问题：原来只需要你搞搞几十台的Oracle设备就可以，现在你面临数百台，数千台，对于运维体系，都是全新一套体系，你需要有一套架构可 以架构它，你需要有一套平台，对研发支持的人员把这个复杂性对上层封装好，这里我们研发体系、封装体系会做很多技术。,首先阿里去IOE是战略性的系统工程，会深远的影响到一个公司。它需要我们真正的技术人员，是以真正的说，不是像甲方的心态，所有东西都是有人帮你支持，而是把所有事情当做自己的事情，全方位在架构和细节层面把控住这个事情。IOE是风险极大，受益很高的事情，做成这件事需要很强组织上的保障。去IOE水很深风险很大，现在网上有很多人说开源怎么着，在我们看来开源只是解决了你入水的时候零成本的问题，你后期要驾驭它的时候你会面临很高它的运维以及发展的成本。这是需要很强的技术团队才能帮助你Hold，如果你没有做好准备之前不要轻易的去IOE。,R2IA 的定义（来自于服务部门相关描述）,R2IA是什么,小型机和X86服务器对比,小型机和X86服务器的高可用性对比,52,低效高可用性,高效高可用性,VMware ESXi,HA,RISC服务器1,RISC服务器2,X86 Svr1,VMware ESXi,HA,X86 Svr2,Power HA,VMware HA,应用层级的 HA服务器型号要求一致配置复杂，依赖脚本及命令行,Hypervisor层级的 HA支持各种不同型号的服务器组合配置简单，GUI，自动化,Power VM,Power VM,X86服务器+虚拟化的可管理性对比,小型机应用迁移前后的客户收益,VS,U2L 和 U2VL的比较,虚拟化对于客户的5大益处,Vmware 六大特性,VMware vCenter Server,当前客户主要运行在物理机上的应用,数据库服务器WEB/APP 服务器专用业务服务器（例如插入特定的加密卡等）Firewall，AD等服务器,物理机与虚拟机RAS解决方案对比,vMotion： By migrating running virtual machines between hosts, vMotion eliminates application downtime for planned server maintenance.,文件系统或者存储双活方案数据库双活应用/WEB服务器可以使用负载均衡AD等可以使用应用HA解决方案,Data protection： Protects the data through fast, agentless backups to disk, withde-duplication to minimize the use of backup disk space.,EMC A