国外云计算创新与趋势.docx

2012年国外云计算创新与趋势2013已经过去一个季度了，正是各个上市公司开始发布2012年年度财报的时候了，凑个热闹，也对国外云计算进行一个整体盘点。从云计算IaaS、PaaS、SaaS三个层次而言，都可以用一句话来概括2012的表现，IaaS是波澜不惊、稳步向前，PaaS是逐渐成熟、百家齐放，SaaS是硕果累累、瓜熟蒂落.同时在2012年，还有另外三个趋势值得关注，第一：XaaS的崛起，给各大IaaS、PaaS平台带来了强有力的补充，第二： 开源云计算平台的队伍不断状大，将有望打破现有的云计算格局，第三：Cross-Cloud的概念出现，体现了大家对各云平台成熟的认可与把鸡蛋放在同一个篮子里的担忧。IaaS Amazon AWS还是当之无愧的公有云的领头羊，不管是从用户数、服务数、全球机房数，都是遥遥领先于各个对手。各大公有云平台从目前来看，不管是微软Azure,谷歌Compute Engine, Joyent, SoftLayer，HP Cloud，还是开源IaaS平台,如OpenStack、 CloudStack等，都是采取了跟随AWS的策略，并没有什么可圈可点的服务与创新点出现，不得不说，天下云计算才气十斗，AWS独占七头。2012年，AWS共推出了8个服务（2013截止到3月17号又推出了两项服务）。如表一所示。服务名称所属类型上线时间服务特点DynamoDBDatabase2012.01.18K-V形式NoSQL 数据库服务，按存储空间与指定每秒读、写次数收费。Storage GatewayStorage & Content Delivery2012.01.24私有云安全快速使用S3的工具。SWFApp Services2012.02.21Simple Workflow Service 是用于构建可调节、灵活的应用程序的工作流程服务。 Cloud SearchApp Services2012.04.11云搜索服务，让客户能够轻松地将高度可扩展的快速搜索功能集成到他们的应用程序中。Marketplace无2012.04.19基于AWS的软件、镜像、中间件应用市场GlacierStorage & Content Delivery2012.08.20离线存储服务，是S3存储的有力补充， 价格非常低廉，但是读取数据需提前预约RedshiftDatabase2012.11.28数据仓库服务。客户可以以极其低廉的价格处理存储T级别乃至P级别的数据。Data PipelineDeployment & Management2012.12.20一个自动进行数据转换和数据传输的网络服务。可以实现以数据为驱动的工作流，让每一个任务的执行依赖于上一个任务。Elastic TranscoderApp Services2013.01.18视频转码云服务。Ops WorksDeployment & Management2013.02.18可扩展的应用管理解决方案。云端的Chef/Puppet服务表一： Amazon最近推出的服务列表从上表来看，AWS推出的服务还是趋向于迎合主流技术趋势，并没有大开大合地去引领下个时代的技术潮流。DynamoDB是在NoSQL概念炒的妇孺皆知的时候才推出，虽然也有些创新的地方，比如：按用户存储空间计费，存储空间没有上限；用户可以指定数据库的每秒读写次数，并且按此性能指标收，但不可否认的是，在市场时机上确实落后了不少，广大用户已经纷纷用上MongoDB, Cassandra等NoSQL解决方案了，连AWS头号粉丝用户Netflix都表示会继续使用Cassandra，而不会将数据迁移到DynamoDB，虽然他们认为DynamoDB也是一个非常优秀的产品。Storage Gateway 是为了抢夺私有云的云存储市场，而Glacier是离线存储，相当于传统利用磁带进行海量数据的存储，这两款产品是AWS拳头产品S3（云存储）的补充，特别是Glacier，填补了云存储市场的空白。Data Pipeline 、SWF应该是AWS内部使用服务正式云化对外提供服务了，Cloud Search让用户不再用自己搭建本地Solr搜索服务了。Elastic Transcoder也是移动端的发展带来的需求，因为有不同分辨率的移动端，才需要对视频进行各种转码，Elastic Transcoder推出之前，国内外都已经有类似的服务了，但是转码服务可以提高用户对S3的黏性，用户可以将视频以及转码后视频都存储在S3上，最后通过CloudFront（CDN） 进行分发，这也是非常自然的事情，因此，哪怕是怕被别人说是拾人牙慧，AWS也顺手就把这个服务给做了。Redshift是云端的数据仓库服务，相比那些让人望而却步的数据仓库服务价格，Redshift真可谓是白菜价，相信会吸引不少企业级的用户的眼光，促进企业级用户入驻公有云的决心，那些在AWS里不断成长的企业，当大到需要进行大规模数据分析的时候，也会很容易成为Redshift的用户， Redshift不仅吸引高富帅，将来也可以为潜力股而服务，目前比较成熟稳定的数据仓库服务市场会因为Redshift产生不小的震荡。可以看出，新出的服务中，与云存储S3相关有Storage Gateway,、Glacier、 Elastic Transcoder， 基于IaaS上的服务云端化如SWF、CloudSearch、Data Pipeline、Ops Works、Elastic Transcoder，数据库服务相关的有DynamoDB，Redshift，但是没有推出看上去与更加底层的EC2关系非常相关的服务，是否意味着EC2已经发展到比较成熟稳定的阶段了呢？从API的个数来看，EC2目前共有148个API，是所有服务当中最多的，也是最复杂的，似乎也满足了方方面面的需求，也许EC2目前真到了寸功难进的阶段了。当大家的目光都被Amazon AWS推出的新服务所吸引的时候，往往忽略了AWS在2012年7月31号发布了对EBS的一个升级公告，宣布提供Provisioned IOPS for Amazon EBS，用户可以创建指定IOPS的EBS卷（目前最大的IOPS为2000）。而就在今年的3月13号，AWS RDS（关系型数据库服务）又宣布支持存储空间为3TB 、30,000 Provisioned IOPS 的数据库服务。而RDS服务是基于EC2和EBS，也就是意味着在RDS里，已经有30，000 IOPS的EBS卷，那也就意味着将来30，000 IOPS的EBS服务完全有可能对所有人开放服务，而不仅仅是在RDS里进行服务。DeviceTypeIOPSInterface7,200 rpm SATA drivesHDD75-100 IOPSSATA 3 Gb/s10,000 rpm SATA drivesHDD125-150 IOPSSATA 3 Gb/s10,000 rpm SAS drivesHDD140 IOPSSAS15,000 rpm SAS drivesHDD175-210 IOPSSASIntel X25-E (SLC)SSD5,000 IOPSSATA 3 Gb/sFusion-io ioDriveSSD135,000 IOPSPCIe表二： 常见硬盘设备的IOPS指数， 数据来源/wiki/IOPSEBS的性能一直是被广大用户所诟病，但EBS又是在AWS上解决虚拟机本机磁盘数据不够持久化（当虚拟机当机后本地磁盘数据可能会丢失）的最好办法，所以不得不用。这次AWS把性能问题解决了,对广大用户来说是莫大的福音,而且对那些需要很高IO的应用服务而言,把服务搬到云上的条件已经完全成熟了。这次性能的升级，不完全是Amazon工程师设计了一个结构优美性能良好的架构的缘故，更多的原因是随着SSD硬盘和万兆网卡的稳健发展和价格的逐渐下降，终于到了大型数据中心可以大规模采用的阶段了，相信在2013年，万兆网卡会慢慢成为机房建立中的主流，而SSD也会成为数据库服务器的标准配置，同时这对云计算的软件架构设计也带来了一些新思路和新想法，带宽这么大的网络，性能这么好的硬盘，总能想些什么东西能把特性利用起来吧！花开两朵，各表一枝，当AWS如日中天，推出各项服务的同时；开源云计算社区干的如火如荼，热火朝天，比如：国内外比较火热的OpenStack社区发展的非常快，整个社区目前已经有8000多名成员，来自80多个国家以及800家以上的公司，差不是2012年初的3倍了。OpenStack也在2012年发布了Essex和Folsom两个大版本，同时计划在2013的4月发布Grizzly版。但是总的来说，OpenStack还是AWS的小学徒，两者目前还不是同一个量级的，也并没有很多值得特别关注的创新点，但值得一提的是Quantum和Cinder。OpenStack服务名称Amazon AWS对应服务名称NovaEC2QuantumEC2中的VPC服务SwiftS3GlanceEC2中的镜像服务KeystoneAWS认证中心DashboardAWS控制台CinderEBS表三： OpenStack与AWS服务应该关系Quantum不是SDN（Software Define Network），正如Cinder其实不是EBS，Quantum可以认为是一组API，将底层的网络模块进行包装，让用户不需要知道太多的网络细节，Quantum可以plugin各网络模块，其中包括SDN，Cinder也是类似的道理，它包装了块存储设备的上层的API，无论是IP-SAN,FC-SAN, Sheepdog(EBS的开源实现产品),都可以做为plugin接入Cinder。2012年VMware花了12.6亿美金收购了SDN领域的重量级公司 Nicira，这也掀起了SDN的一股热潮。大规模虚拟化的数据中心以及复杂的公有云网络问题促使了SDN的诞生，相信2013年，SDN还将是网络方面是非常值得研究与学习的方向。PaaS与XaaS在前言提到,说PaaS是逐渐成熟、百家齐放。为什么这么说呢？其实国外的PaaS平台感觉在整个2012并没有出现特别出色的新公司新产品，其实也是因为PaaS这么多年发展下来，已经慢慢成熟了，而且基于PaaS平台也有了不少的成功案例，比如前段时间报道的SongPop，6人团队，仅1人全职后端，利用GAE(Google App Engine)支撑起日百万活跃用户的线上活动，同时Google博客上贴出了一些GAE的用例，其中包括：“Angry Birds”的拥有者Rovio，Ruzzle拥有者MAG Interactive等。名称公司类型发布时间Engine YardEngine Yard闭源2006年成立HerokuSalesforce闭源2007年6月Google App EngineGoogle闭源2008年Windows AzureMicroSoft闭源2009年AWS Elastic BeanstalkAmazon闭源2011年1月Cloud FoundryVmware开源2011年4月宣布开源OpenShiftRedHat开源2011年5月开源ParseParse移动方向2011年下半年MendixMendix移动方向2011年下半年表四:国外常见PaaS平台但是又为什么说是百家齐放呢？ 没有出现新面孔，又怎么称的上是百家齐放呢？这个又得提到XaaS这个概念了。XaaS（一切皆服务）是一个统称，代表“X as a service”、“anything as a service”或“everything as a service”。在Heroku提供第三方服务（Add-on）的有近百个，就可以知道XaaS这个市场有多繁荣了，这也代表云计算行业的一个趋势，毕竟IaaS也好，PaaS也好，都是需要大投入才能有大产出，对于小型的创新公司而言，他们并没有充足的资源去做这些事情，那么提供一个有特色而且有别于其它IaaS、PaaS的服务，做为各个公有云平台的补充，显然是一个不错的选择。先看看在Heroku上提供各种类型的服务l 数据存储类名称简介Gridblaze文件存储服务，类比于S3MongoLabMongoDB云Amazon RDS关系数据库云Tempodb基于时间序列的数据存储，内建分析监控预测功能Bucket文件存储服务，类比于S3Treasure-Data大数据云平台，只要提供数据库引擎（raw）和分析方法，自动计算PgBackupsPostgreSQL 数据库的备份方案Heroku-PostgresqlPostgreSQL 云服务RedisgreenRedis云Xeround分布式的Mysql云MongoHQMongo云Neo4j图形数据库云MemcachierMemchached缓存云ClearDBMysql云RedisCloudRedis 云CloudAntCouchDB云IronCache缓存云justonedbNewSQL 云OpenRedisRedis云MyRedisRedis云Cachely页缓存RedistogoRedis云MemcachierMemchached 缓存云CDNSumoCDN服务Redisgreenredis可以看出，提供数据存储类服务还是非常多的，各种主流NoSQL都被搬到云上来了，其中MySQL,Redis的云服务最多，说明关系型数据库云服务还是以MySQL为主流，缓存基本上是Redis的天下了。l 检索服务名称简介SwifType全文检索服务Bonsai全文检索服务FlyingSphinx基于Sphinx的全文检索服务Searchify实时更新的全文检索服务Indexden多语言的全文检索服务SearchBox实时检索服务Foundelasticsearch全文检索服务WebSolr基于 Apache Solr的检索服务服务l 日志服务名称简介Loggly云日志服务，日志保存在S3，部署简单，丰富的报表，检索快PaperTrail实时日志分析工具Logentries无存储限制，使用简单，支持移动端日志推送，可视化，检索方便，强大，Heroku内置log服务Flydata提供报警提醒，价格比较低廉，日志保存在S3l 邮件和SMS短信服务名称简介Mailtrap安全的邮件分发测试工具Intercom可设置条件，自动发邮件工具SendGrid可扩展，能实时看报表的发邮件工具Blowerio发短信的Mandrill邮件分发和分析工具MailGun邮件分发工具CloudMailin邮件分发工具l 队列和workerPubnub数据推送云服务Scheduler计划任务云服务Rabbitmq-BigwigRabbitmq 云服务IronWorkerWorker云服务Pusher基于websocket的实时数据推送云服务Temporize计划任务云服务CloudAMQPRabbitMQ云服务IronMQ消息队列云服务l 分析测试工具名称简介NodeTimeNode.js的性能分析和监控工具DBInsights数据库的分析工具Blitzweb性能分析工具NodeflyNode.js性能分析和监控工具HostedGraphite性能指标监控平台Librato监控分析平台NewRelic跨平台的监控分析平台CloudAssault压力测试Loaderio压力测试TinfoilSecurityWeb服务安全扫描StillAlive服务器监控服务RangerApp监控服务。Exceptional调查跟踪异常服务Librato监控应用，调查跟踪异常AirBrake异常监控服务HoneyBadgerRuby and Rails的现代化异常管理这里不展开详细介绍各个服务了，但是对于这些云服务而言，如何赢得用户的信任以及如何面对公有云平台巨头也发布类似产品时带来的影响，都是需要认真考虑的。比如搜索的云服务都比较相像，Amazon AWS提供的CloudSearch对这些搜索云服务还是有一定的冲击的。在这么多服务里，如果仔细研究还是可以发现不少创新点与趋势，其中值得一提产品是：New Relic。New Relic在2013年获得金额为8000万美元的新一轮融资，目前估值7.5亿美元，领投方为Insight Venture Partners。截至目前，New Relic已经成功融资1.15亿美元。为什么New Relic能值这么多钱呢？简单分析下来有那么几点。1. 跨平台，支持Heroku, AWS, CloudFoundry, APPFog等知名主流云平台2. 部署简单，方便，迅速，几分钟搞定。对于PaaS平台的应用，都不需要写任何代码，就可以对应用方方面面的进行性能监控3. 提供实时监控，丰富的图表展示，团队之间可以共享图表4. 数据加密传输，同时权限系统功能完善 但是比较重要的一个非技术原因是，开发者对中立的第三方监控平台的强烈需求。开发者一般不会自己部署一套监控系统，因为平台提供方一般都会给开发者提供基本监控，这个基本上够用。但是也会有不少开发者会使用第三方的监控平台，因为第三方的监控平台会提供更加丰富的服务，比如，用户在某IaaS平台里使用了MONGODB，但是此平台并没有提供MONGODB云服务，那么他会选择有提供MONGODB监控的第三方。虽然第三方监控平台很难成为行业标准，但开发者不仅会使用平台自带的监控，还是会大量使用第三方监控，因为第三方监控不仅是强有力的补充，丰富公有云平台服务，也起到对公有云平台的监督作用。2012年还是开源PaaS平台与移动云平台兴起的一年。CloudFoundry在VMware的大力宣传下，不仅自家对外开放了CloudFoundry.Com的PaaS服务，也有不少基于CloudFoundry的PaaS平台，如APPFog。随着移动终端的爆发，专门给移动APP开发者服务的移动云平台也顺势而起，提供模块服务、测试服务、消息推送服务等。比如Parse，提供很多常见模块，可以节省开发者非常多的时间，把精力放到业务上来。比如PerfectoMobile、TestDroid、DroidPilot等云测试平台，专门给移动端进行自动化测试，包括兼容性测试，Web APP测试、与设备在线交互,在一台设备录制测试脚本并可以在多台不同分辨率的设备上重放测试脚本等，几乎把移动测试的方方面面都给包括了。纵观XaaS, 我们可以发现，只要是在软件开放过程中需要的工具、流程、规范、设施，都慢慢地被搬到云上了，国外的云服务的市场嗅觉也非常灵敏，只要是可以减少开发者负担，只要是开发者需要的东西，都会被搬到云上，做成一个服务。相信不久的将来还会产生不少像New Relic一样估值过亿的，专注于细分领域的云服务。SaaS在SaaS这个层次，成功的案例已经是非常多了，Dropbox, Evernote, B等等，说是硕果累累、瓜熟蒂落一点也不为过，这里就不进行盘点了，同时SaaS平台过于广泛，细分领域