云上运维及应用实践教程（第2版） 课件 07. 弹性架构之CDN

07弹性架构之CDN云上运维及应用实践7.2知识点讲解任务学习7.1场景导入

目录CONTENTS7.1场景导入“慕课云”系统作为在线视频点播学习平台，在经过一段时间的细心经营后，用户数不断上升，而且访问网站学习的用户也是遍布全国各地，但此时用户的体验却在急剧下降，时常收到用户的抱怨，说网页在某个地区打开很慢，视频无法加载。而在系统部署的区域，网页访问和视频加载速度都相对正常。很显然目前的单节点服务已经无法为各地用户都提供流畅的学习体验。Google及其他网站的研究表明，一个网站每慢一秒钟，就会丢失许多访客，甚至这些访客永远不会再次光顾这些网站。那么如何解决这一问题呢？1.提出问题7.1场景导入可以试想一下，如果系统在全国各地都布有服务节点，这样各地区的用户都就近访问，那么无论用户在哪里，都可以获得很好的网站访问和视频浏览体验。这个就是内容分发网络CDN的主要功能。使用CDN的优势也很明显。CDN节点不仅解决了跨地域和跨运营商访问的问题，访问延时大大降低，而且大部分请求在CDN边缘节点完成，CDN起到了分流作用，同时减轻了源站的负载。2.解决方案7.1场景导入任务学习7.2知识点讲解 目录CONTENTS7.2.1CDN概述CDN（ContentDeliveryNetwork，内容分发网络）是将源站内容分发至其他所有的节点，缩短用户查看对象的延迟，提高用户访问网站的响应速度与网站的可用性，解决网络带宽小、用户访问量大、网点分布不均等问题。狭义地讲，CDN是一种新型的网络构建方式，它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。CDN是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理４个要件，而内容管理和全局的网络流量管理（TrafficManagement）是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。据统计，采用CDN技术，能处理整个网站页面的70%～95%的内容访问量，减轻服务器的压力，提升了网站的性能和可扩展性。1.简介7.2.1CDN概述CDN服务主要应用于证券、金融、保险、服务提供、ICP、网上交易、门户网站、大中型公司、网络教学等领域。另外，在行业专网、互联网中都可以用到，甚至可以对局域网进行网络优化。利用CDN，相关网站无须投资昂贵的各类服务器、设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息，应用CDN把内容复制到网络的最边缘，使内容请求点和交付点之间的距离缩至最小，从而促进Web站点性能的提高2.CDN的应用7.2.1CDN概述传统的未加缓存服务的网站访问过程①用户向浏览器提供要访问的域名。②浏览器调用域名解析函数库对域名进行解析，以得到此域名对应的IP地址。③浏览器使用所得到的IP地址，域名的服务主机发出数据访问请求。④浏览器根据域名主机返回的数据显示网页的内容。通过以上4个步骤，浏览器完成从用户处接收用户要访问的域名到从域名服务主机处获取数据的整个过程。CDN网络是在用户和服务器之间增加Cache层，如何将用户的请求引导到Cache上获得源服务器的数据，主要是通过接管DNS实现的。3.CDN与传统访问差别7.2.1CDN概述使用CDN缓存后的网站访问过程①用户向浏览器提供要访问的域名。②浏览器调用域名解析库对域名进行解析，由于CDN对域名解析过程进行了调整，所以解析函数库一般得到的是该域名对应的CNAME记录。为了得到实际IP地址，浏览器需要再次对获得的CNAME域名进行解析以得到实际的IP地址。在此过程中，使用的全局负载均衡DNS解析，如根据地理位置信息解析对应的IP地址，使得用户能就近访问。③此次解析得到CDN缓存服务器的IP地址，浏览器在得到实际的IP地址以后，向缓存服务器发出访问请求。3.CDN与传统访问差别7.2.1CDN概述使用CDN缓存后的网站访问过程④缓存服务器根据浏览器提供的要访问的域名，通过Cache内部专用DNS解析得到此域名的实际IP地址，再由缓存服务器向此实际IP地址提交访问请求。⑤缓存服务器从实际IP地址得到内容以后，一方面在本地进行保存，以备以后使用；另一方面把获取的数据返回给客户端，完成数据服务过程。⑥客户端得到由缓存服务器返回的数据以后显示出来并完成整个浏览的数据请求过程。3.CDN与传统访问差别7.2.1CDN概述为了实现既要对普通用户透明（即加入缓存以后用户客户端无须进行任何设置，直接使用被加速网站原有的域名即可访问），又要在为指定的网站提供加速服务的同时降低对ICP（InternetContentProvider，Internet内容提供商）的影响，只要修改整个访问过程中的域名解析部分，以实现透明的加速服务。具体操作过程如下：①作为ICP，只需要把域名解释权交给CDN运营商，其他方面不需要进行任何修改。操作时，ICP修改自己域名的解析记录，一般用CNAME方式指向CDN网络Cache服务器的地址。②作为CDN运营商，首先需要为ICP的域名提供公开的解析，一般是把ICP的域名解析结果指向一个CNAME记录。4.CDN实现过程7.2.1CDN概述为了实现既要对普通用户透明（即加入缓存以后用户客户端无须进行任何设置，直接使用被加速网站原有的域名即可访问），又要在为指定的网站提供加速服务的同时降低对ICP（InternetContentProvider，Internet内容提供商）的影响，只要修改整个访问过程中的域名解析部分，以实现透明的加速服务。具体操作过程如下：③CDN运营商可以利用DNS对CNAME指向的域名解析过程进行特殊处理，使DNS服务器在接收到客户端请求时可以根据客户端的IP地址返回相同域名的不同IP地址。④由于从CNAME获得IP地址，并且带有HOSTNAME信息，请求到达Cache之后，Cache必须知道源服务器的IP地址，所以在CDN运营商内部维护一个内部DNS服务器，用于解释用户所访问的域名的真实IP地址。⑤在维护内部DNS服务器时，还需要维护一台授权服务器，控制哪些域名可以进行缓存，而哪些又不进行缓存，以免发生开放代理的情况。4.CDN实现过程7.2.1CDN概述实现CDN的主要技术手段是高速缓存、镜像服务器，可工作于DNS解析或HTTP重定向两种方式，通过Cache服务器或异地的镜像站点完成内容的传送与同步更新。DNS方式用户位置判断准确率大于85%，HTTP方式准确率为99%以上。镜像站点（MirrorSite）服务器它让内容直截了当地进行分布，适用于静态和准动态的数据同步。高速缓存手段的成本较低，适用于静态内容。超过80%的用户经常访问的是20%的网站的内容。5.CDN技术手段7.2.1CDN概述CDN网络架构主要有两大部分，即中心和边缘。中心是指CDN网管中心和DNS重定向解析中心，负责全局负载均衡，设备系统安装在管理中心机房。边缘主要是指异地节点，CDN分发的载体，主要由Cache和负载均衡器等组成。6.CDN网络架构7.2.2CDN的关键技术CDN负载均衡系统实现CDN的内容路由功能。它的作用是将用户的请求导向整个CDN网络中的最佳节点。最佳节点的选定可以根据多种策略确定，如距离最近、节点负载最轻等。负载均衡系统是整个CDN的核心，负载均衡的准确性和效率直接决定了整个CDN的效率和性能。通常负载均衡可以分为两个层次：全局负载均衡（GSLB）和本地负载均衡（SLB）。全局负载均衡主要的目的是在整个网络范围内将用户的请求定向到最近的节点（或者区域）。因此，就近性判断是全局负载均衡的主要功能。本地负载均衡一般局限于一定的区域范围内，其目标是在特定的区域范围内寻找一台最适合的节点提供服务。因此，CDN节点的健康性、负载情况、支持的媒体格式等运行状态是本地负载均衡进行决策的主要依据。负载均衡可以多种方法实现，主要包括DNS、应用层重定向、传输层重定向等。1.内容路由技术7.2.2CDN的关键技术内容分发包含从内容源到CDN边缘的Cache的过程。从实现上看，有两种主流的内容分发技术：PUSH和PULL。PUSH是一种主动分发的技术。通常，PUSH由内容管理系统发起，将内容从源或者中心媒体资源库分发到各边缘的Cache节点。分发的协议可以采用HTTP/FTP等。通过PUSH分发的内容一般是比较热点的内容，这些内容通过PUSH方式预分发（Preload）到边缘Cache，可以实现有针对的内容提供。PULL是一种被动的分发技术，PULL分发通常由用户请求驱动。当用户请求的内容在本地的边缘Cache上不存在（未命中）时，Cache启动PULL方法从内容源或者其他CDN节点实时获取内容。在PULL方式下，内容的分发是按需的。2.内容分发技术7.2.2CDN的关键技术CDN系统需要考虑两个方面内容存储问题：内容源的存储和内容在Cache节点中的存储。对于内容源的存储，由于内容的规模比较大，而且内容的吞吐量较大，因此，通常采用海量存储架构。Cache节点中的存储是Cache设计的一个关键问题。需要考虑的因素包括在功能上对各种内容格式的支持、对部分缓存的支持，在性能上包括支持的容量、多文件吞吐率、可靠性、稳定性。部分缓存能力是指流媒体内容可以以不完整的方式存储和读取。Cache存储的另一个重要因素是存储的可靠性。目前，多数存储系统都采用了RAID（独立冗余磁盘阵列）技术进行可靠存储，不同设备使用的RAID的方式各有不同。3.内容存储技术7.2.2CDN的关键技术内容管理在广义上涵盖了内容的发布、注入、分发、调整、传递等一系列过程。这里内容管理重点强调内容进入Cache后的内容管理，称为本地内容管理。本地内容管理主要针对一个CDN节点（由多个CDNCache设备和一个SLB设备构成）进行。本地内容管理的主要目标是提高内容服务的效率，提高本地节点的存储利用率。通过本地内容管理，可以在CDN节点实现基于内容感知的调度，通过内容感知的调度，可以避免将用户重定向到没有该内容的Cache设备上，从而提高负载均衡的效率。通过本地内容管理还可以有效地实现CDN节点内容的存储共享，提高存储空间的利用率。4.内容管理技术7.2.2CDN的关键技术在实现上，本地内容管理主要包括几个方面：①本地内容索引。本地内容管理首先依赖于对本地内容的了解。包括每个Cache设备上内容的名称、URL、更新时间、内容信息等。本地内容索引是实现基于内容感知的调度的关键。②本地内容拷贝。通常，为了提高存储效率，同一个内容在一个CDN节点中仅存储一份，即仅存储在某个特定的Cache上。但是一旦对该内容的访问超过该Cache的服务提供能力，就需要在本地实现内容的分发。这样可以大大提高效率。③本地内容访问状态信息收集。搜集各个Cache设备上各个内容访问的统计信息，包括Cache设备的可用服务提供能力及内容变化的情况。4.内容管理技术7.2.3阿里云CDN阿里云CDN加速全过程①浏览器向LocalDNS请求对的解析。②LocalDNS将请求发到网站授权DNS服务器。③授权DNS返回一个CNAME（）给LocalDNS。④LocalDNS重新去CDN智能调度系统请求的解析。⑤CDN智能调度系统根据用户LocalDNS所在区域返回给LocalDNS离用户最近的CDN节点IP地址。1.概述7.2.3阿里云CDN阿里云CDN加速全过程⑥LocalDNS系统将最终解析到的IP地址告诉用户，同时将该解析结果保存在自己的缓存中，直到相应的TTL（生存周期）过期，继续完成新的动作。⑦用户在拿到CDN节点IP地址后，向该地址所指向的节点服务器进行访问。⑧CDN节点服务器则向用户源站进行请求，节点服务器拿到访问内容后，发给用户并且将内容缓存起来。1.概述7.2.3阿里云CDN域名域名是Internet网络上的一个服务器或一个网络系统的名字，不能重复。CNAME记录CNAME是一个别名记录（CanonicalName）。这种记录允许用户将多个名字映射到同一台计算机。CNAME域名CDN的域名加速需要用到CNAME记录，在阿里云控制台配置完成CDN加速后，用户会得到一个加速后的域名，称之为CNAME域名（该域名一定是*.*），用户需要将自己的域名做CNAME别名解析指向这个*.*域名后，域名解析的工作就正式转向阿里云，该域名所有的请求都将转向阿里云CDN的节点。2.相关术语7.2.3阿里云CDNDNSDNS（DomainNameSystem，域名系统，提供域名解析服务）在互联网中的作用是：把域名转换成网络可以识别的IP地址。人们习惯记忆域名，但机器间互相使用IP地址，域名与IP地址之间是一一对应的，它们之间的转换工作称为域名解析，域名解析需要由专门的域名解析服务器来完成，整个过程是自动进行的。例如，上网时输入的，会自动转换成为IP地址43。边缘节点边缘节点也称CDN节点、Cache节点等，是相对于网络的复杂结构而提出的一个概念，是指距离最终用户接入具有较少的中间环节的网络节点，对最终接入用户有较好的响应能力和连接速度。其作用是将访问量较大的网页内容和对象保存在服务器前端的专用Cache设备上，以此来提高网站访问的速度和质量。2.相关术语7.2.3阿里云CDN网站站点/应用加速站点或者应用中若有大量静态资源的加速分发需求，则建议将站点内容进行动、静分离，动态文件可以结合云服务器ECS，静态资源如各类型图片、HTML、CSS、JS文件等建议结合对象存储OSS，可以有效提升内容加载速度，轻松搞定网站图片、短视频等内容分发。3.使用场景7.2.3阿里云CDN视音频点播/大文件下载分发加速支持各类文件的下载、分发，支持在线点播加速业务，如MP4、FLV视频文件或者平均单个文件大小在20MB以上，主要的业务场景是视音频点播、大文件下载（如安装包下载）等，建议搭配对象存储OSS使用，可提升回源速度，节约近2/3回源带宽成本。3.使用场景7.2.3阿里云CDN视频直播加速视频流媒体直播服务，支持媒体资产存储、切片转码、访问鉴权、内容分发加速一体化解决方案。结合弹性伸缩服务，及时调整服务器带宽，应对突发访问流量；结合媒体转码服务，享受高速稳定的并行转码，且任务规模无缝扩展。3.使用场景7.1场景导入7.2知识点讲解任务学习目录CONTENTS任务学习本书旨在让学生通过完成一系列的操作任务进行实际操作的学习，书