《云平台及大数据建设思路》

1、云平台及大数据建设思路2016.11.25SaaSPaaSIaaS+应用平台应用系统应用系统应用系统应用系统大数据服务器服务器服务器服务器虚拟化 IaaS虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机云平台 PaaS云应用服务器云关系数据库大数据库软件应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用服务器服务器虚拟化 IaaS虚拟机虚拟机数据库应用中间件应用C/S、单机巨石型Web应用IaaS虚拟机迁移物理设备继续运行尽量上云PaaS分布式运行环境微服务化轻量级新型云化应用DaaS统一数据

2、层数据整合数据整合数据整合数据利用敏捷上线启动时间数分钟无法上云 故障有可能发生 随时备份数据，用于服务恢复 不惜一切代价保证服务器的运行 当服务器宕机时-摊上大事了 基础设施恢复 自动或者手动 应用恢复 手动 应用模块紧耦合 无法根据负载自动扩展 很难持续集成 应用聚合困难(ESB) 应用升级麻烦端口变化负载增加配置变化环境依赖代码变化RTO/RPO传统巨石特征传统巨石应用云化应用很难根据负载自动扩展自动，水平扩展应用模块牵一发而动全身应用由多个微服务组成，松耦合应用的恢复是靠人工的 应用的恢复是自动化的 应用系统的物理环境错误导致业务停顿 应用的物理环境的出错是可以接受的不遗余力的保障物理

3、机的运转 物理机对应用不是那么重要物理机的宕机是一件特大事故！没什么大惊小怪的！积极备份数据以便应用环境出错时恢复 设计时要尽量避免数据恢复的必要升级时候不睡觉灰度发布、发布回滚一期项目就半年，一期接一期持续集成巨石应用和云化应用的特征对比传统巨石应用云化应用垂直扩展；硬件定义可靠性水平扩展；应用设计消除对基础设施的依赖性虚拟化轻量级运行环境（容器，进程，PaaS平台）3层架构，有状态，紧耦合松耦合，微服务，API对操作系统和虚机有察觉和依赖抽象于操作系统、虚机和容器管理员控制系统控制（自动扩展，自动配置，自动恢复）瀑布式开发 敏捷开发敏捷开发 持续集成，持续部署, DevOps巨石应用和云化

4、应用的技术对比物理设备PaaSIaaSDaaS小机应用物理设备依赖C/SEXE巨石型Web应用巨石应用微服务化云化应用应用上云的分层实施应用应用应用VMware/Openstack/Incloud OS服务器应用负载均衡应用应用服务化运维成本高可用数据整合应用创新容器容器基础服务对象存储负载均衡弹性主机大数据服务流式计算数据总线Hadoop应用中间件服务消息队列搜索引擎应用引擎开发服务持续集成交付服务注册与发现全局配置推送断路保护器数据库服务MDB For RedisNoSQL DBRDS For MySQLRDS For OracleMDB For Memcached+本地开发测试环境SDK

5、集成开发云打包发布单元测试提交代码服务绑定测试云自动化测试生产云IOP Dev本地云服务模拟IDE微服务分布式开发服务DevOps助力快速应用创新负载均衡通信MDBRDSHadoop分布式配置对象存储数据总线开发服务测试服务产品名称技术架构关键功能特性适应场景响应时间云海Insight HD基于Hadoop大规模分布式架构l 可视化运维l 统一用户、证书认证l 滚动升级l 4000节点的横向扩展能力l适合PB级以上的海量数据离线处理l大数据应用建设中构建基础资源库分钟-小时云海Insight MPP基于MPP架构的分布式关系型数据库l 查询性能是传统关系数据库的10-100倍l 支持千节点内的

6、稳定运行l处理TB-PB级的结构化数据的数据仓库和数据集市的最优选择lBI领域替换传统架构毫秒-分钟云海Insight MemDB基于内存的无共享分布式架构l 支持Key-Value、及SQL关系型存储l 跨地区集群能力l 支持分布式事务l 毫秒级响应l适合GB-TB级规模超高并发访问的OLTP 和OLAP实时计算和加速场景毫秒-秒大数据处理平台面临业务的复杂性、多样性、数据量大、以及各种业务数据处理时间要求的不一致性，仅靠单一产品无法满足业务需求，组合使用，效果更佳基础服务数据库服务大数据服务应用中间件服务开发服务云海 IOPEMR服务存储资源池 SDSHDFS API 多租户 弹性服务弹性计算池计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元小规模中规模大规模计算扩容存储扩容基础服务对象存储负载均衡弹性主机大数据服务流式计算数据总线大数据Hadoop应用中间件服务消息队列搜索引擎应用引擎开发服务持续集成交付服务注册与发现全局配置推送断路保护器数据库服务内存数据库for RedisNoSQL数据库关系数据库for MySQL关系数据库for KDB内存数据库for Memcac