云存储 PPT课件

中国电信对象存储介绍材料 中国电信云计算公司2017年1月 1 目录 2 中国电信的网络资源 全球最大的固网运营商57 的境内市场占有率全国3G覆盖最好的无线运营商所有的县 90 的乡镇 Bytheendof2012 8 市场份额 3 中国电信云计算公司 正式启动天翼云计算计划 完成上海 广东 四川等六省市现场试验和资源池部署 云计算发布会 率先提出专业化运营思路 成立云计算分公司 启动集约化运营发布云主机 云存储 CDN等基础产品 2009 2010 2011 2012 2013 规模提供云计算服务发布云计算产品品牌内蒙古云基地启用贵州云基地开工建设 中国电信集团直属分公司负责全集团云业务和资源的集中运营和集中管理 4 云资源池整体布局 4 2 资源布局 5 云资源池的基础设施 资源池托管机房位于中国电信四星级及以上机房 五星级为中国电信最高级别 相当于国际TierIV 具备8级防震及防风 防雨能力 配备专业防汛设备和专业防汛防台 制定了相应措施和应急预案 关键位置提示通道逃生路线 建筑装饰材料都满足一级耐火 一级防水标准 通过通过了ISO27001认证 温湿度控制专业的空调系统维持保障机房适宜的温度 湿度环境 满足服务器和其它网络设备的最佳工作环境要求 机房温湿度环境由人工和传感设备实时监控保障运行 视频监控7 24小时视频监控 监控点包括每列机架和机房入口 保存时间 1月 具备门禁系统 可对机房分区设置权限 记录保存时间 1年 7 24小时保安巡逻 进出记录保存1年以上 门禁制度具有完善的监控制度和监控记录 机房有两个出入口 安装有门禁和摄像监控 安排有专人控制 鉴别和记录进入的人员 来访人员需提前走审批流程 进行申请 身份登记后在专人陪同下进入机房 物理环境安全 数据中心管理网络与客户业务网络物理分离并覆盖全国 在业务异常情形下保障对数据中心可控 数据中心内部所有网络设备1 1冗余配置 冗余设备均采用双活或热备模式运行 设备保持配置同步 故障自动切换 电力供应采用双路市电引入 所有设备提供UPS应急供电 数据中心备有油库 持续电力中断情形下自备柴油发电机为全数据中心供电 业务持续性 控制网与业务网物理分离的架构设计 独立的控制网与互联网隔离并且覆盖全国范围 控制网接入通过严格的ACL匹配和用户名密码双层体系控制 核心的网络设备通过控制网单独控制 其控制平面与控制接口与互联网隔离 数据中心网络边缘通过严格的访问控制或专门的防护设备进行安全控制 网络安全性 6 云计算产品视图 IaaS 云主机 对象存储 CDN 私有 混合云 共享 动态可配置 PaaS 结合中国电信综合平台 提供与云计算相关的PaaS服务 SaaS 公众渠道以个人存储为核心应用 天翼云盘 189邮箱 通信录 日程 一键换机服务 笔记 政企渠道以在线自助服务为特征的标准信息化应用 解决方案 通用办公类 行业应用类 园区云解决方案 金融云解决方案 旅游云解决方案 医疗云解决方案 政务云解决方案 7 云存储产品家族 对象存储海量数据存储服务 云备份基于对象存储的备份服务 存储网关基于对象存储的本地盘阵 8 看到的是一朵云 什么是对象存储 通过互联网访问的存储服务特点海量 PB EB级别安全 不怕丢 也不怕偷高达99 99999999999 的持久性多种防止非法访问的手段弹性 按需扩容 成都池 广州池 上海池 北京池 内蒙古池 贵州池 对象存储 9 基本概念 与文件系统不同 对象存储没有严格的目录层级 只有容器 bucket 和对象 object 两级 并可以通过URL唯一标识 object object object Index html 用户 容器 对象 容器域名 owner bucket mybucket 对象地址 mybucket 10 如何使用 Web门户系统管理和配置用量 费用 支付编程接口 API 提供REST协议和预封装的SDK特点 可充分利用API提供的功能可与应用进行深度结合存储网关提供标准的NAS SAN接口特点 使用简单能兼容现有应用 AmazonS3client newAmazonS3Client client setEndpoint 存储网关 对象存储 App NFSiSCSI 11 主要功能 编程接口 getS3AccountOwner listbucket 用量统计 费用统计 支付 doesBucketExist setEndpoint listObject listNextBatchOfObjects getObjectMetadata deleteBucket putObject getObject copyObject deleteObject generatePresignedUrl createBucket 系统管理和配置 get setBucketAcl 存储网关 NFS iSCSI 门户 参考资源 开发者手册 12 基于API SDK的技术架构 案例 某社交移动应用运行在手机终端上 通过API 或基于预封装的SDK 将图片 音视频等数据存储在对象存储中 同时通过私有协议与应用服务器进行控制信息的交互 应用服务器通过API对对象存储中的数据进行处理 例如图片效果美化 视频转码等 应用服务器 运行业务逻辑 对象存储 终端 API 互联网 应用的私有协议 API 可通过互联网 也可通过主机与存储池之间的内网通信 13 基于存储网关的技术架构 案例 在某业务的存储扩容案例中 利用存储网关分配出100TB 的 硬盘 并提供标准的NFS iSCSI接口 使得原有的应用可无缝对接 然而在收费上 依然按照实际占用的空间收取 实现了 弹性硬盘 此外 存储网关可以挂接本地存储作为加速缓存 在配置合理的情况下 存储网关的读写性能接近本地存储的性能 应用服务器 存储网关 本地存储 热数据盘 对象存储 互联网 NFSiSCSI 弹性硬盘存储网关可以分配巨大的卷空间 并且按需使用 而普通盘阵分配的空间有限 且实占空间 14 异地冗余 多资源池之间通过高速专线对数据进行异地冗余存储 提升容灾能力 冗余 冗余 冗余 冗余 相互冗余 对象从主站写入后15min内将完成异地冗余 15 客户价值 按需扩容 降本增效保证质量 简化运维轻资产化 聚焦业务 16 按需扩容 降本增效 按需租用的好处用多少付多少 没有浪费未来需要则未来再付 单价更低降低电力 人工 尾保等运维成本案例由于业务需要 某客户预计3年内将达到其容量预期值 若采用自建机房自购设备的方式 客户一次性支付200万 而且每年还需要支付约50万的运维费用 而租用云存储 客户第一年只需要支付50万 三年总成本的折现值为200万 且无任何额外的运维费 由于存储单价的逐年下降 从第4年起 客户每年支付的租金将会逐年减少 0 1 2 3 4 年 5 6 7 实际需求线 自建成本提前购买以峰值为规模 租用成本存储单价逐年下降 17 保证质量 简化运维 如果自建的话 有几路市电 需要配多大的UPS 是否具备发电能力 IDC出口几路由 核心网络设备是否高可用 网络链路是否高可用 是否有异地冗余 谁来监控 谁在多长时间内处理硬盘故障 如果租用的话 需要考虑的太多 我们承诺服务可用性数据持久性 把所有的技术问题都将给我们 案例 某业内排名前五的Email服务提供商 将邮件附件全部存放在云存储之上 使得在存储上的总成本下降70 违约则赔付 18 轻资产化 聚焦业务 轻资产模式下 投资回报率一般更高成功的企业都会将有限的资源集中投入在业务的核心部份 例如产品研发和市场营销 而对于非核心部份 则通过购买 租赁 合作 外包的方式交给更专业 更具规模化的供应商来解决 以降低成本 外包 专注 案例 某世界排名前五的科技企业旗下的个人云盘产品承载了超过500PB的个人数据 而这些数据全部存储在第三方的云存储当中 该云盘产品的研发人员只需关心该应用本身的功能 界面等体验问题 而无需关心数据是如何存储的 您在乎的是业务本身 还是业务所依赖的存储 19 特色 20 特色 兼容S3接口 兼容S3的优势历史悠久 总结归纳了大量的客户需求 因此功能完善已成为业内事实标准 开发人员熟悉产业链强大 具有大量可以直接拿来即用的开源应用和工具 如客户端工具 ftp工具 论坛插件 浏览器插件等所有Web能实现的功能都可以通过接口实现 提供基于各种编程语言和平台的SDK 21 特色 超大带宽 带宽的优势各个云资源池都位于中国电信骨干网节点 四通八达 各个云资源池都预留了充足的带宽 足以应付客户的高峰期 可为客户提供专线 以满足最苛刻的网络延迟和安全等级要求 时间 实际需求线 带宽 预留带宽出口 中国电信 时间 实际需求线 带宽 预留带宽出口 其他CloudSP 中国电信具备足够的带宽 确保客户业务没有带宽瓶颈 畅通 拥堵 22 特色 分片上传 分片上传的作用提高成功率 当需要上传大对象时 可以通过该功能将大对象切成多个小片 然后分片上传 并仅对失败的分片进行重传 实现并行上传 当需要上传大对象时 可以多线程同时上传该对象的不同的分片 从而大大提高上传速度 Part 0 Part 1 Part 2 Part 3 Part 4 Part 5 云 Part 0 Part 1 Part 2 Part 3 Part 4 Part 5 云 仅重传失败的分片 多个分片并行上传 分片上传功能特别适合于上传大对象和流式媒体 我们的独特优势 当上传完所有的分片后 该对象立即可读 而对手的云存储则需要花费1 10分钟完成分片合并之后对象才可读 23 用户之间有访问隔离 用户之间没有隔离 特色 子租户隔离 子租户的作用当客户的应用拥有很多最终用户时 如果所有的最终用户都通过相同的访问口令操作云存储的数据 则存在着泄密的风险 客户可以以租户身份创建多个子租户 每个子租户都有独立的访问口令 称为 AK SK 并且只能访问属于自己的存储空间 实现了数据访问隔离 容器 用户1 用户2 用户3 AK SK 容器 用户1 用户2 用户3 AK SK AK SK AK SK 24 特色 日志记录 功能和作用对访问请求的信息 包括请求时间 数据量大小 对象ID等 进行记录 可以通过分析日志得到有价值的业务信息 例如用户来源 使用习惯 恶意攻击等 同时访问日志也具有审计功能 可以通过日志算出本月的用量和费用 以便与账单进行比对 访问日志 通过分析发现 用户的平均文件大小为2 5MB 其中70 的是Office文件 且重复率较高 采取去重之后可以节省70 的空间 业务信息 流量特征 在2个月内发生了三次攻击行为 审计信息 分析 25 网站托管 功能和作用客户希望其最终用户看到的是客户自己的域名 而非云存储的域名 网络托管可以将最终用户输入的域名自动映射到对应的容器中 并访问该容器内的对象 客户还可以设置 首页地址 和 错误页地址 来处理特殊情况 网站托管功能的详细描述请参考 第二步 在门户中开启该功能 第一步 在DNS系统中对进行别名配置 第三步 用浏览器验证 DNS DNS查询 DNS DNS查询 oos website 返回OOS的IP地址 请求 返回 Bucket Object index html 26 特色 共享对象 共享对象的意义如果直接将对象的URL公布出去 很有可能会成为众多人下载的种子 从而消耗客户过多的下行带宽通过该功能可以为对象生成一个临时的URL 超过一定时限之后 该URL则失效 从而保护了客户的利益 第一步 在Web上点击某对象的 共享 按钮 第二步 设置 过期时间 然后点击 生成地址 您也可以通过 开发者手册 中定义的接口来生成共享对象的URL 27 特色 防盗链 防盗链的价值防止对象被过度的下载 以保护客户的利益通过设置Policy 可以将对象的访问权限限制在某些网站 或者某些IP段 从而对数据起到了一定的保护作用 防盗链功能的详细描述请参考 示例 28 特色 实时统计 功能和价值客户可以实时查询任意时间段内资源使用和费用支出的情况有利于客户发现异常行为 并采取应对措施 案例 某互联网客户可通过该功能随时掌握存储空间 上下行流量 请求次数的使用情况 对费用做到心中有数 29 安全性 30 扩展性 采用 哈希环 技术 避免了普通分布式文件系统的元数据节点的单点瓶颈 每次获取数据的位置信息 都需要访问元数据节点 故元数据节点能力限制了系统的规模 数据的位置信息可以通过Key的哈希值计算出来 无须元数据节点 没有单点瓶颈 31 服务质量协议 SLA 我们可以提供业内最高水平的SLA服务可用性高达99 9 月数据可用性高达99 99999999999 月 13个9 每月 服务及时性30分钟内响应 32 中国电信的优势 33 典型案例 应用场景 将整个网站托管在对象存储中 通过对象存储提供的网站托管功能直接向用户提供网站访问服务 网址 客户价值 直接省去了硬件投资 软件投资以及人工维护成本 同时 对象存储的高并发支持能力很好地解决了热点新闻频繁访问时页面奔溃的问题 中国新闻网 34 典型案例 应用场景 国家