阿里云弹性计算-陈波-14届泰山论坛.ppt

1、阿里云弹性计算陈波,分而治之的局面 业务视角,分而治之的局面 技术视角,公司里大大小小十多个Hadoop集群独立地在运行； 各式各样的分布式存储与缓存服务，百花齐放； 某客户需要的存储达10-50PB，需要30008000台服务器，但这里面大部分数据都是“休眠”的；,统一技术平台的想法,将几千台PC组成一台“超级计算机”,存储：一块10PB级别的硬盘 轻松存放10B网页 几十万人，每人百G云空间,计算：一台万核以上的机器 一个月的渲染作业只需40分钟完成,多租户的运行环境 资源共享 安全隔离,故障屏蔽，数据冗余 服务“永远”不中断 数据“永远”不丢失,目的是 。,统一技术平台的想法,使用开源软

2、件 or 自主研发？ 简单对象存储用MongoDB，索引数据用HDFS，虚拟机块存储用什么？ 不同服务之间的CPU、磁盘空间、IO、网络带宽的争抢如何协调，高优先级应用如何保障？ 重复开发与部署命名服务、分布式锁、 HA、监控等基础设施？,飞天体系结构,Linux,数据中心 Data Center,资源管理 Resource Management,安全管理 Security Management,远程过程调用 Remote Procedure Call,分布协同服务 Distributed Coordination Service,集群布署 Deployment,集群监控 Monitoring

3、,分布式文件系统 Distributed File System,任务调度 Job Scheduling,云服务引擎 ACE,开放存储 服务 OSS,开放结构化 数据服务 OTS,开放数据 处理服务 ODPS,弹性计算 服务 ECS,关系型数 据库服务 RDS,弹性计算平台发展历程,弹性计算平台功能概述 基础功能,镜像管理： - 支持主流Windows、Linux发行版； 虚拟机管理 - 创建启动关闭释放监控 VM - 操作系统主机名、密码更改 安全组管理 - 杜绝MAC/IP欺骗、ARP攻击 - DDoS攻击检测 - 自定义防火墙规则,弹性计算平台功能概述 高级功能,快照,故障恢复,在线迁移

4、,弹性内存,弹性计算平台功能概述 高级功能,互联网应用谈之色变的攻击 DDoS 大流量攻击 并发连接数攻击,与业界产品比较,中国国情带来的产品复杂度,形同虚设的SLA - “无限责任” 中国站长/开发者要求的弹性资源 - 不是水平扩展，是“膨胀” 前付费与后付费 - Open API与BOSS 按流量计费与按带宽计费 - 与云计算的思想相违背 - 额外的技术实现难度 备案、内容审查 形形色色的客服问题：应用入侵、弹窗应用,快速交付、弹性扩展、实时监测,煎蛋网：以翻译和摘要形式向中文用户提供境外新鲜资讯,安全可靠,平台架构,系统设计,关键技术点,核心技术 存储 虚拟化 网络 安全 调度 成本 设备选型 针对不同用户场景的部署方案 自动化运维（10个集群）,实时读写 HA 随机访问 - Low Latency 网络环境 - 突发流量（攻击、FO） IO争抢,XEN/Kernel/文件系统/驱动的兼容性 Guest OS的配置管理 Guest OS的性能优化,单网络容量问题 广播风暴 VM迁移域,伪造IP/MAC的攻击、ARP欺骗 DDoS攻击 端口扫描攻击 猜测密码攻击,资源充分利用 vs. 用户体验 库存控制 故障检测（电源瞬断、攻击、罕见故障）,平台技术方向,集群规模 - 单个数据中心5000台物理机 - 超