云上运维及应用实践教程（第2版） 课件 04. 基础架构之对象存储

04基础架构之对象存储云上运维及应用实践4.2知识点讲解任务学习4.1场景导入

目录CONTENTS4.1场景导入由于课程视频文件不断增加，扩展云盘一次性投入高，资源利用率相对来说很低，存储受云盘容量限制，需人工扩容，同时在扩容时存在数据丢失的风险。1.提出问题4.1场景导入为避免Web服务器空间不足，方便后期存储扩展，需要将系统上传的图片、视频存储到对象存储上，这样可以有以下好处：（1）一次性数据迁移，后续不用再担心扩容问题。（2）按照存储容量收费，做到用多少收费多少。（3）很容易与CDN集成。（4）可以快速进行图片处理，方便获取缩略图。2.解决方案4.1场景导入任务学习4.2知识点讲解 目录CONTENTS4.2.1对象存储对象存储，也叫作基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称为对象。就像文件一样，对象包含数据，但是和文件不同的是，每个对象是独立的，对象与对象之间不存在层级关系。对象存储代表了新时代背景下的新型数据结构类型。新型数据结构类型就是非结构化的数据类型，如图片、音频、视频、日志等海量数据。1.简介4.2.2阿里云OSS产品阿里云的对象存储产品（ObjectStorageService，OSS），是一种存储容量大、可靠性和数据持久性高、安全性好、数据处理能力强、使用成本低的云存储服务。用户可以通过调用API，在任何应用、任何时间、任何地点上传和下载数据，也可以通过用户Web控制台对数据进行简单的管理。OSS适合存放任意类型的文件，适合各种网站、开发企业及开发者使用。1.概要4.2.2阿里云OSS产品存储量大支持文件存储容量无限。可靠性高数据存储量增长或减少时，按实际使用情况自动扩容，弹性伸缩，且不影响对外服务；数据持久性高，数据三份冗余备份存储在不同交换机的服务器中或者同城多机房的ECS中；文件碎片化存储，就是将文件拆分成多个碎片、多副本、多磁盘存储。文件和数据处理能力强支持海量数据存储，1个与数十亿个文件处理能力无差别。成本低无运维费用。1.对象存储特点4.2.2阿里云OSS产品安全性好提供4种安全控制：AccessID和请求签名（API密钥），服务器端加密，防盗链，Bucket权限控制。①API密钥是为了标识用户，为访问OSS做签名验证。②服务器端加密是指OSS支持在服务器端对用户上传的数据进行加密编码。③防盗链是OSS基于HTTPheader中表头字段referer的防盗方法。④OSS制定了对Bucket中Object访问的三种权限：任何人都可对数据进行读写操作的public-read-write权限；只有Bucket创建人可以进行读写操作，其他人只能进行读操作的public-read；除Bucket创建者外，任何人无权访问Bucket的private权限。1.对象存储特点4.2.2阿里云OSS产品存储空间（Bucket）Bucket实际是命名空间的概念。就像C#程序中所有的类及执行代码必须放在命名空间中一样，这里每个Object必须都包含在Bucket中。Bucket名称在整个OSS中具有全局唯一性，且不能修改。一个用户最多可创建10个Bucket。每个Bucket中存放的Object的数量和大小总和没有限制。一个应用可以对应一个或多个Bucket。对象/文件（Object）Object即对象。用户的每个文件都是一个Object。文件大小是有限制的。用PutObject方式最大不能超过5GB，而使用Multipart方式上传Object大小不超过48.8TB。Object中的数据包括key、data和usermeta，便于海量数据中检索数据。2.相关术语4.2.2阿里云OSS产品存储服务（Service）提供给用户的虚拟存储空间，用户可以在这个存储空间中拥有一个或者多个Bucket，如图所示。2.相关术语4.2.2阿里云OSS产品区域（Region）Region表示OSS的数据中心所在的地域，即物理位置。用户可以根据费用、请求来源等综合选择数据存储的Region。一般来说，距离用户更近的Region访问速度更快。Region是在创建Bucket的时候指定的，一旦指定就不允许更改。该Bucket下所有的Object都存储在对应的数据中心，目前不支持Object级别的Region设置。访问域名（Endpoint）Endpoint表示OSS对外服务的访问域名。OSS以HTTPRESTfulAPI的形式对外提供服务，当访问不同的Region时，需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint也是不同的。例如，杭州Region的外网Endpoint是，而其内网Endpoint是。2.相关术语4.2.2阿里云OSS产品访问密钥（AccessKey）AccessKey，简称AK，指的是访问身份验证中用到的AccessKeyID和AccessKeySecret。OSS通过使用AccessKeyID和AccessKeySecret对称加密的方法来验证某个请求的发送者身份。AccessKeyID用于标识用户，AccessKeySecret是用户用于加密签名字符串和OSS用来验证签名字符串的密钥，其中AccessKeySecret必须保密。对于OSS来说，AccessKey的来源有：Bucket的拥有者申请的AccessKey。被Bucket的拥有者通过RAM授权给第三方请求者的AccessKey。被Bucket的拥有者通过STS授权给第三方请求者的AccessKey。2.相关术语4.2.2阿里云OSS产品强一致性Object操作在OSS上具有原子性，操作要么成功要么失败，不会存在中间状态的Object。OSS保证用户一旦上传完成之后读到的Object是完整的，OSS就不会返回给用户一个部分上传成功的Object。Object操作在OSS上同样具有强一致性，用户一旦收到了一个上传（PUT）成功的响应，该上传的Object就已经立即可读，并且数据的三份副本已经写成功。不存在一种上传的中间状态，即read-after-write却无法读取到数据。对于删除操作也是一样的，用户删除指定的Object成功之后，该Object立即变为不存在。强一致性方便了用户架构设计，可以用跟传统存储设备同样的逻辑来使用OSS，修改立即可见，无须考虑最终一致性带来的各种问题。2.相关术语4.2.2阿里云OSS产品图片和音视频等应用的海量存储适用于图片、音视频、日志等海量文件的存储，支持各种终端设备，Web网站程序和移动应用直接向OSS写入或读取数据，支持流式写入和文件写入两种方式。网页或者应用的静态和动态资源分离开发者可以直接使用OSS，利用BGP（BorderGatewayProtocol）带宽，实现超低延时的数据直接下载。也可以配合阿里云CDN加速服务，为图片、音视频、移动应用更新分发，提供最佳体验等场景。云端数据处理上传文件到OSS后，可以配合媒体转码服务（MTS）、图片处理服务（IMG）等云端的数据处理。3.使用场景4.1场景导入4.2知识点讲解任务学习目录CONTENTS任务学习本书旨在让学生通过完成一系列的操作任务进行实际操作的学习，书中将一个完整的项目工程案例细化成相对独立的任务，本书使用“慕课云”MOOC平台作为项目案例。书中相关资源可以从下载，包含“慕课云”案例的源代码以及网站发布包。注：配套提供的安全代码仅供参考，也仅限于本书案例学习使用。云平台界面更新变化快，教材用图跟实际平台有出入，请以官网云平台操作界面为准。任务4.1开通OSS服务，创建Bucket对于上传云端的数据，尤其是非结构化数据，比如图片、音频、视频或日志等海量数据，往往采用对象存储方式。对“慕课云”开通对象存储OSS服务。开通OSS后，创建Bucket，对“慕课云”系统重新进行配置，重启Web服务后在浏览器中访问该系统并进行验证。1.任务描述任务4.1开通OSS服务，创建Bucket了解开通对象存储服务OSS的过程。了解如何创建Bucket。2.任务目标任务4.1开通OSS服务，创建Bucket【准备】使用账号登录阿里云的管理控制台。使用Xshell连接到本实验创建的云服务器ECS实例。3.任务实施任务4.1开通OSS服务，创建Bucket【步骤】（1）开通OSS服务。（2）创建Bucket。（3）修改项目配置。（4）查看配置结果。3.任务实施任务4.2使用API上传文件到OSS开通对象存储OSS服务后，将本地视频和图片文件上传到OSS中保存。1.任务描述任务4.2使用API上传文件到OSS掌握使用OSSJavaSDK上传文件到OSS的过程。2.任务目标任务4.2使用API上传文件到OSS【准备】登录阿里云OSS管理控制台开通Bucket。安装并启动Eclipse。3.任务实施任务4.2使用API上传文件到OSS【步骤】（1）创建Maven项目。（2）获取OSSJavaSDK。（3）初始化OSSClient实例。（4）上传本地文件到OSS。（5）查看上传到OSS的文件。3.任务实施任务4.3防盗链设置假设网站A的网页中有一些图片、音频或者视频的链接，这些静态资源都保存在对象存储OSS上。而另一网站B，在未经A允许下，偷偷使用A的图片资源，放置在自己网站的网页中，通过这种方法盗取空间和流量。给“慕课云”项目中使用的Bucket设置防盗链功能，仅允许在“”域名下访问。1.任务描述任务4.3防盗链设置掌握防盗链设置的方法。2.任务目标任务4.3防盗链设置【准备】登录阿里云OSS管理控制台。3.任务实施任务4.3防盗链设置【步骤】（1）设置Referer名单。（2）验证防盗链设置是否生效。3.任务实施任务4.4静态网站托管OSS服务可以对静态网站进行托管。开通OSS支持的2种静态网站托管模式。索引页面模式设置索引页面，使得当用户直接访问静态网站时，OSS返回默认索引文档，即网站的index.html。错误页面模式设置错误页面，使得当用户访问静态网站时，遇到类似于HTTP4××错误时，OSS返回用户的错误页面。开通OSS的静态网站托管功能，设置索引页面和错误页面。1.任务描述任务4.4静态网站托管熟悉静态网站托管功能。掌握设置索引页面和错误页面的方法。2.任务目标任务4.4静态网站托管【准备】登录阿里云OSS管理控制台。3.任务实施任务4.4静态网站托管【步骤】（1）上传静态网页。（2）开通OSS的静态网站托管功能。（3）验证效果。3.任务实施任务4.5日志设置利用管理控制台为存储空间启用日志记录。日志记录可以详细记录存储空间数据流动的详细情况。给“慕课云”项目中使用的Bucket设置日志管理功能，生成日志文件。1.任务描述任务4.5日志设置熟悉为Bucket设置日志管理的功能。2.任务目标任务4.5日志设置【准备】登录阿里云OSS管理控制台。3.任务实施任务4.5日志设置【步骤】（1）设置日志管理。（2）查看生成的日志文件。3.任务实施任务4.6释放OSS与ECS和RDS一样，对象存储OSS也是云端付费的服务产品。对于按量