《云计算应用与实践》课件全套 柏燕峥 第1-9章 云计算概论-数据分析

202XPowerPointdesign主讲人：时间：云计算概论目录CONTENTS云计算基础01产生背景02发展历史03云计算与传统IDC区别04AWS介绍05云计算基础PowerPointdesignPart01云计算是基于互联网的服务模式，提供动态易扩展、虚拟化的资源。用户可通过多种设备接入数据中心，按需使用强大计算能力。云计算基本概念美国国家标准与技术研究院（NIST）定义云计算为按使用量付费的模式，提供便捷、按需的网络访问，进入可配置的计算资源共享池，资源快速提供，管理成本低。NIST定义0102云计算定义产生背景PowerPointdesignPart02硬件成本下降硬件制造技术进步，服务器和网络设备性价比大幅提升，使云计算能利用大规模廉价商用服务器组建数据中心。能效提升芯片技术持续进步，计算性能提高且能耗下降，为云计算提供了强大的基础设施支持。硬件成本与能效高速、无处不在的宽带互联网连接，使用户可以随时随地通过网络访问云服务，推动了分布式云架构的兴起。宽带互联网普及互联网发展企业面临数字化和网络化转型压力，需要更高弹性、敏捷性和速度。云计算提供弹性扩展、按需使用等优势，降低企业使用信息系统的成本。企业转型需求企业数字化转型海量数据生成需要强大的分布式数据处理能力，云计算基础架构可按需调度大量服务器进行分析处理，成为大数据最合适的基础设施。数据处理需求大数据需求发展历史PowerPointdesignPart0320世纪90年代初至2006年，网格计算、应用服务提供商（ASP）和部分公有云服务出现，云计算开始从理论走向实践。早期探索雏形阶段2006年至2009年，Amazon正式推出AWS，IBM和Google分别启动蓝云平台和AppEngine，云计算概念和技术不断成熟。云服务兴起起步阶段2009年至今，云计算进入高速增长发展期，越来越多企业将核心业务移动到云平台，主要公有云服务商不断扩大市场规模。快速增长高速发展阶段云计算与传统IDC区别PowerPointdesignPart04供给方式云计算采用按需、弹性的资源供给模式，云服务提供商拥有大规模数据中心资源池，用户按需获取资源；传统IDC采用自建模式，资源供给有限且固定。资源供给管理方式云计算由云服务提供商负责底层资源管理和维护，用户只需关注应用和数据；传统IDC需企业自行管理和维护整个IT基础架构。资源管理云计算采用按需付费的运营支出模式，用户只需为实际使用的资源付费；传统IDC采用高前期资本支出模式，需购买昂贵硬件设备。成本模式成本结构扩展能力云计算资源可根据需求快速、无缝扩展和收缩；传统IDC资源扩展受硬件容量限制，响应速度较慢。灵活性与扩展性云计算服务提供商通常在全球范围内部署多个可用区，用户可选择不同区域的云资源；传统IDC通常集中在特定物理位置。分布范围地理分布AWS介绍PowerPointdesignPart05服务范围AWS是亚马逊的云计算服务平台，提供广泛的全球云基础设施服务，包括计算、存储、数据库等，帮助组织缩放和增长。市场地位AWS是全球云计算市场的主导力量，在全球云基础设施服务市场中份额领先，通过持续创新和早期市场进入优势，建立了广泛的客户基础和服务生态系统。AWS概述202XPowerPointdesign主讲人：时间：谢谢大家202XPowerPointdesign主讲人：时间：云计算基础CONTENT010203040506云计算概述分布式计算云计算关键技术云交付模型云部署模式典型云应用07AWS实验目录云计算概述PowerPointdesignPart01云计算是一种按需提供计算资源和服务的模式，用户无需购买硬件，通过网络获取计算能力、存储空间和应用程序。云计算概念云计算从分布式计算发展而来，经历了从概念提出到广泛应用的过程，如今已成为信息技术的重要组成部分。云计算发展历程云计算定义成本效益云计算降低了硬件投资和运维成本，用户按需付费，无需购买和维护昂贵的硬件设备。灵活性云计算资源可弹性伸缩，用户能根据需求快速调整资源配置，适应业务变化。云计算优势云计算面临数据泄露、隐私保护等安全问题，需要加强安全措施保障用户数据安全。安全性云计算服务的持续可用性是关键挑战，需通过冗余设计和故障恢复机制提高可靠性。可靠性云计算挑战分布式计算PowerPointdesignPart02分布式计算将任务分解到多个节点处理，通过网络协同完成计算任务，提高计算效率。01分布式架构分布式存储将数据分散存储于多个节点，通过冗余存储提高数据可靠性和访问效率。02分布式存储分布式计算原理微服务架构微服务架构基于分布式计算，将复杂应用拆分为多个独立服务，通过API交互协同工作。P2P应用P2P技术通过分布式节点共享资源，如迅雷下载，用户可从多个节点获取文件碎片。分布式计算应用云计算是分布式计算的商业实现分布式技术支撑云计算0102云计算基于分布式计算技术，将计算资源封装为服务提供给用户，实现资源的高效利用。分布式存储和计算技术为云计算提供了强大的基础架构支持，确保云计算的高效运行。分布式与云计算关系云计算关键技术PowerPointdesignPart031数据存储需求随着数据量的快速增长，传统数据库难以满足海量数据存储和分析需求，分布式存储技术应运而生。分布式存储技术分布式存储通过集群计算、数据冗余等方式，实现数据的高可用、高可靠和低成本存储。分布式海量数据存储虚拟化概念01.虚拟化技术将物理资源虚拟化为多个逻辑资源，提高资源利用率和灵活性。虚拟化应用02.虚拟化技术广泛应用于云计算，实现资源池化和按需服务，降低运维成本。虚拟化技术云平台功能云管理平台实现对云计算资源的集中管理、自动化部署和监控，提供高效可靠的云服务。云平台优势云平台通过自动化和智能化手段，降低管理复杂度，提高资源利用效率和服务质量。01020304云管理平台技术并行编程模型包括数据并行和消息传递两种，适用于不同的计算场景。云计算采用并行编程技术，实现大规模数据的高效处理和分析。并行编程在云计算中的应用并行编程模型并行编程技术云计算需要高效的数据管理技术，以应对海量数据的存储、查询和分析。数据管理需求Google的BigTable等数据管理技术为云计算提供了高效的数据处理和分析能力。数据管理技术数据管理技术云交付模型PowerPointdesignPart04SaaS通过互联网提供软件服务，用户无需安装和维护软件，随时随地访问。SaaS特点SaaS广泛应用于企业管理和个人应用，如GoogleApps、Salesforce等。SaaS应用软件即服务（SaaS）PaaS特点PaaS应用PaaS平台如GoogleAppEngine、MicrosoftAzure等，为开发者提供了丰富的开发工具和服务。PaaS提供开发平台和运行环境，帮助开发者快速开发和部署应用。平台即服务（PaaS）IaaS应用IaaS平台如AmazonEC2、VMware等，为企业提供了灵活的基础设施服务。IaaS特点IaaS提供虚拟化的计算资源，用户可按需获取和管理虚拟机、存储等资源。基础设施即服务（IaaS）STEP.01STEP.02服务对象差异SaaS面向终端用户，PaaS面向开发者，IaaS面向需要基础设施的企业和组织。使用方式差异SaaS用户直接使用软件服务，PaaS用户在平台上开发应用，IaaS用户管理虚拟化资源。云交付模型比较云部署模式PowerPointdesignPart05公有云应用公有云广泛应用于个人和企业用户，如AmazonWebServices、MicrosoftAzure等。02公有云特点公有云由云服务提供商运营，面向公众提供服务，具有高可扩展性和低成本优势。01公有云私有云部署在企业内部，为企业提供专属的云计算服务，安全性高但成本较高。私有云特点私有云适用于对数据安全和隐私要求较高的企业，如金融机构和政府部门。私有云应用私有云混合云结合了公有云和私有云的优势，既能满足企业对安全性的需求，又能利用公有云的弹性资源。混合云特点混合云适用于大型企业，可根据业务需求灵活选择公有云和私有云资源。混合云应用混合云典型云应用PowerPointdesignPart06云存储通过分布式存储技术，将数据存储在多个节点，提供高可用性和可扩展性的存储服务。01云存储概念云存储广泛应用于个人和企业数据存储，如Dropbox、百度云等。02云存储应用云存储01云服务通过互联网提供各种服务，如邮件、办公软件等，用户无需本地安装和维护。云服务概念02云服务如Google的Gmail、苹果的iCloud等，为用户提供了便捷的在线服务。云服务应用云服务云物联概念云物联将物联网设备与云计算结合，实现设备数据的存储、分析和管理。云物联应用云物联应用于智能家居、智能城市等领域，如ZigBee智能开关等。云物联AI和数据分析概念借助云计算的强大计算能力，实现机器学习、数据挖掘等复杂数据分析任务。AI和数据分析应用云平台上的AI和数据分析服务帮助企业和机构提升决策效率，如银行风险控制、零售商商品推荐等。AI和数据分析视频流服务通过云计算和CDN技术，实现大规模视频内容的高效分发和播放。视频流服务概念01云视频流服务支持在线视频平台的点播和直播业务，如视频网站、在线教育平台等。视频流服务应用02视频流服务SaaS软件如Salesforce的CRM、SAP的ERP等，为企业提供了灵活高效的软件解决方案。SaaS软件应用SaaS软件将传统软件部署在云端，用户通过网络访问和使用软件功能。SaaS软件概念SaaS软件AWS实验PowerPointdesignPart07通过AWS实验，帮助用户深入理解云计算技术的应用和实践。AWS实验目的AWS实验涵盖云计算、数据分析、机器学习等多个领域，提供丰富的实验项目。AWS实验内容AWS实验概述学习如何在AWSEC2上部署Web应用程序，掌握实例选择、配置和自动扩展等技能。实验目标创建EC2实例，配置安全组和密钥对，部署Web应用程序并设置自动扩展。实验步骤0102基于EC2的Web应用程序部署学习如何使用AWSS3构建数据湖，掌握数据清洗、转换和分析的流程。创建S3存储桶，使用AWSGlue进行数据清洗和转换，使用Athena或RedshiftSpectrum进行数据分析。实验目标实验步骤数据湖建设实验目标学习如何使用AWSSageMaker训练和部署机器学习模型，掌握模型优化和推理技能。实验步骤使用SageMaker训练图像分类器或文本分类器，调整超参数，部署模型到终端节点。机器学习模型训练和部署学习如何处理物联网传感器数据，掌握AWSIoTCore和规则引擎的使用。实验目标模拟物联网传感器，连接到AWSIoTCore，使用规则引擎处理数据并存储到S3或DynamoDB。实验步骤物联网（IoT）传感器数据处理学习如何使用AWSLambda和APIGateway开发Serverless应用程序，掌握无服务器架构的优势。01实验目标编写Lambda函数，配置APIGateway端点，构建简单的RESTfulAPI并监控性能和成本。02实验步骤Serverless应用程序开发实验目标学习如何配置AWS安全服务，掌握检测和应对安全攻击的技能。01实验步骤配置IAM、WAF和VPC端点，模拟安全攻击并进行检测和应对。02安全性演练””实验目标实验步骤创建容器集群，部署基于Docker的微服务应用，配置负载均衡器并监控容器运行状态。02学习如何使用AWSECS或EKS部署容器化应用程序，掌握容器集群管理和负载均衡技能。01容器化应用程序部署202XPowerPointdesign主讲人：时间：谢谢大家202XPowerPointdesign主讲人：时间：计算01云主机基础02容器技术与编排03实验与实践目录云主机基础PowerPointdesignPart01云主机定义云主机是托管在云服务提供商的虚拟服务器，具有弹性、按需付费、高可用性、易于管理、安全性和多种配置等特点，适合中小企业和需要弹性计算资源的客户。云主机优势云主机相比物理服务器，更灵活、便宜和可靠，用户可以根据实际需求调整资源配置，同时享受云服务商提供的多种服务和安全保障。0201云主机概述01区域和可用区区域和可用区是公有云提供商组织云资源的两种方式。区域是全球不同地理区域的云资源中心，可用区是同一区域内相互独立的数据中心，通过合理部署可以提高云应用的高可用性和容灾能力。02CPU类型公有云提供的CPU主要有标准型、计算优化型、内存优化型、存储优化型、节约优化型和自定义CPU等类型，用户可以根据应用需求选择合适的CPU配置。云主机关键特性云主机通常预置操作系统，具有预置镜像、自带软件栈、自动更新补丁、免许可证使用和易于调整配置等特点，部分云服务提供商还会自主研发操作系统以更好地适配云基础设施。操作系统访问密钥是一组由公有密钥和私有密钥组成的安全凭证，用于验证用户身份。用户需要妥善保管私有密钥，云服务商不会保留用户的私钥副本，丢失私钥将无法恢复。访问密钥云主机管理EBS是云服务商提供的一种块存储服务，具有持久化存储、灵活配置、高可用性、按需付费和多种存储类型等特点，是云应用不可或缺的存储组件。EBS磁盘AMI是自定义的云服务器镜像，封装了启动EC2实例所需的全部信息；快照是对EBS数据卷的备份，两者都让EC2实例的启动和数据管理更加高效便捷。镜像和快照云主机存储安全组安全组是云中的网络访问控制方法，作为虚拟防火墙，控制着云资源开放的网络端口和允许进行网络访问的资源，是实现云网络安全和访问控制的重要方式。网络接口是连接实例与网络的中间组件，用户可以通过网络接口管理实例的网络属性，包括IP地址、MAC地址、入站出站的网络流量等。网络接口云主机安全容器技术与编排PowerPointdesignPart021容器是一种轻量级的操作系统级虚拟化技术，提供相对独立的运行环境，具有轻量高效、标准化、便携性和隔离性等特点，常见的容器技术包括Docker和LXC。容器定义2容器让应用的部署和管理变得极为轻量、高效，可以快速启动和停止，同时在不同环境中保持一致的运行状态，提高了开发和运维的效率。容器优势容器技术容器编排是管理容器化应用生命周期的机制，提供部署、扩缩容、负载均衡、服务发现、故障转移等功能，常见的容器编排系统有Kubernetes、DockerSwarm、ApacheMesos和AmazonECS。容器编排定义容器编排系统通过自动操作容器的部署和联网，实现了应用的高可用、伸缩性和复原性等特性，是运行和管理容器化应用的基础平台，降低了运维成本，提高了系统的可靠性。容器编排优势容器编排云托管K8S优势云托管的Kubernetes服务相比自建Kubernetes集群，可以大大降低维护成本，提高可靠性，提供关键附加功能，无缝支持云原生服务，更新版本简单快速，集成身份认证等功能。K8S集群部署方式云托管的K8S集群分为控制平面和计算平面，控制平面由云平台托管，计算平面为用户提供了无服务器计算、Karpenter、托管节点组和自行管理节点等多种部署方式选择。云托管的K8S架构实验与实践PowerPointdesignPart03实验目标本章实验旨在帮助读者掌握创建云主机实例、配置容器和容器编排等操作，通过实践加深对云计算和容器技术的理解。实验内容实验内容包括创建一个EC2实例、创建一个弹性高可用博客和基于AWS的Kubernetes实践等，具体步骤请参看第10～12章的实验。实验概述202XPowerPointdesign主讲人：时间：谢谢大家202XPowerPointdesign主讲人：时间：网络contents目录虚拟私有网络VPCDNS解析与域名管理网络连接技术内容分发与负载均衡虚拟私有网络VPCPowerPointdesignPart01VPC工作原理用户可在逻辑上隔离的自定义虚拟网络内启动资源，VPC配置包括IPv4和IPv6CIDR、子网、路由表、互联网网关等，流量通过路由表路由到互联网网关。VPC定义与功能VPC是云平台中构建网络环境的基础，提供隔离的网络空间，具有独立IP地址范围、子网划分、网络ACL和安全组等功能，可连接VPN、DirectConnect等服务，支持内网DNS解析和网络地址转换。0102VPC概述IP寻址IP地址使VPC中的资源能够通信，无类别域间路由（CIDR）表示法用于表示IP地址及其网络掩码，包括IPv4和IPv6地址，私有IP地址用于VPC内通信，公有IP地址通过NAT映射。DHCPDHCP用于动态分配IP地址，用户可通过DHCP选项集自定义DNS服务器等网络参数，AWS托管的DHCP服务具有高可用性、自动扩展、管理简单、安全性高、统一管理和计费灵活等优势。DNSDNS是Internet中名称使用的标准，将名称解析为IP地址，Route53解析器是DNS解析器服务，VPC中的AmazonDNS服务器用于解析私有托管区域中的DNS域名。010203VPC网络配置子网是VPC内的IP地址范围，分为公有子网、私有子网、仅限VPN的子网和隔离子网，每个子网必须关联一个路由表，用户可使用安全组和网络ACL保护资源。子网Internet网关是VPC与Internet之间通信的组件，支持IPv4和IPv6流量，公有子网中的资源可通过互联网网关访问Internet，私有子网可通过NAT设备访问Internet。VPC连接InternetVPC对等连接是将两个VPC之间建立私密连接通道，对等连接的VPC中的资源可像在同一个网络内部一样相互通信，不依赖任何单独的物理硬件。VPC间通信VPC资源管理DNS解析与域名管理PowerPointdesignPart02域名是互联网上用于标识和定位计算机或网络的名称，由顶级域名、二级域名和主机名组成，域名由DNS服务器翻译解析成IP地址，域名系统解决了IP地址易记性差的问题。用户可通过云DNS服务注册域名，选择可用的域名并提供联系信息，注册商会将信息发送给注册机构，注册机构将域名信息存储在数据库中。要将流量路由到资源，需在托管区域中创建记录，记录包括名称、类型和值，DNS名称服务器负责解析名称查询和存储域名与IP地址的映射记录。域名系统相关概念域注册工作原理路由Internet流量到Web应用程序DNS解析原理域名防火墙DNS防火墙是基于DNS的网络安全防护技术，可拦截恶意网站的DNS查询，实现威胁情报分析和网络入侵防御，阻止针对DNS服务器的攻击，强制实施内部域名使用策略。01域名安全与防护网络连接技术PowerPointdesignPart03专线连接概述专线连接可实现企业IDC和云平台之间的资源互访，打造混合云架构，需通过专业第三方网络服务商完成专线链路铺设和互联。专线连接步骤IDC端需有专线接入点，向公有云服务商申请专线连接服务，配置BGP路由协议，通过云控制台或API将本地IDC子网与云VPC建立连接。专线连接Site-to-SiteVPN是将企业IDC与云VPC通过公网建立加密隧道连接的技术，利用IPsec、IKE等隧道协议，支持BGP动态路由协议，实现IDC到多云的混合云部署架构。”Site-to-ClientVPN是将企业内部网络和移动客户端建立安全VPN连接的技术，一般采用SSLVPN技术实现，支持员工远程办公和不同用例的访问要求。”Site-to-SiteVPNSite-to-ClientVPNVPN技术内容分发与负载均衡PowerPointdesignPart04CDN概述CDN是分布在不同地理区域的代理服务器集群，可加速用户访问和分发静态内容，提高网站抗峰值压力能力，增强网站访问的安全性。CDN使用场景CDN可用于加快静态网站内容分发速度、提供点播视频或实时流视频、在整个系统处理过程中加密特定字段、在边缘进行自定义等场景。CDN内容分发用户请求内容时，CDN将请求路由到最近的边缘站点，检查缓存中是否有所请求的对象，若无则从源服务器检索内容并缓存。CDN技术负载均衡器简介ElasticLoadBalancing可自动将传入流量分发到多个后端服务实例，监测后端服务运行状况，根据流量负载自动扩展和缩减负载均衡容量，实现高可用的负载分发功能。负载均衡器原理负载均衡器接受传入流量并路由到已注册目标，监控目标运行状况，客户端请求通过DNS解析负载均衡器域名，负载均衡器基于算法选择目标实例并转发请求。应用负载均衡器应用负载均衡器工作在OSI模型的第7层，根据请求内容将流量路由到不同目标组，支持动态添加和删除目标实例，可配置健康检查监控目标实例状态。网络负载均衡器网络负载均衡器工作在OSI模型的第4层，每秒可处理几百万个请求，根据默认规则从目标组选取目标，支持跨多个可用区工作，可配置健康检查监测目标健康状态。网关负载均衡器GatewayLoadBalancer可部署、扩展和管理虚拟网关设备，提供透明网关入口，根据规则分配流量并扩展虚拟设备，使用私有网络端点安全地传递流量。负载均衡器202XPowerPointdesign主讲人：时间：谢谢大家202XPowerPointdesign主讲人：时间：存储CONTENTS目录01对象存储02块存储03文件系统04数据备份对象存储PowerPointdesignPart01对象存储定义对象存储是一种存储非结构化数据的模式，以对象形式组织数据，每个对象包含数据、元数据和唯一标识符，适合存储图片、视频等大规模数据。对象存储特点面向对象、扁平式命名空间、大规模扩展、高持久性、高可用性、弹性扩展、通过RESTfulAPI访问，支持多种功能。对象存储概述核心功能提供存取对象、存储桶管理、数据持久性、版本控制、生命周期管理等功能，满足用户对数据的全生命周期管理需求。安全与集成支持加密、访问控制、CDN集成、事件通知、统计分析和数据克隆复制，保障数据安全并提升性能。对象存储功能数据分片存储，冗余存储多个副本，通过散列地址和元数据索引定位对象，采用扁平化存储方式。数据管理01通过RESTfulAPI接收请求，实现弹性扩展，自动迁移和平衡数据，高效管理海量数据。系统运行02对象存储工作原理强一致性每次读请求都能获取最新写入的数据副本，需引入协调机制，访问延迟较高，适用于对数据实时性要求高的场景。最终一致性允许副本间短暂不一致，最终达到一致，访问延迟低，主流对象存储服务默认采用，适合对数据实时性要求不高的场景。数据一致性模型块存储PowerPointdesignPart02EBS卷概述EBS卷是附加到云主机实例的持久性块存储设备，相当于虚拟机硬盘，提供可自定义的存储空间，支持多种类型，满足不同需求。EBS卷特点存储空间可按需调整，与EC2实例在同一可用区，数据独立于实例生命周期，即使实例终止，数据仍保存。EBS卷快照是EBS卷数据的完整备份，创建快速，不影响卷性能，可用于故障恢复和创建新卷，支持增量快照和跨区域复制。快照功能01可共享快照，定期创建快照实现数据持续备份，是保护EBS数据的重要手段，需合理管理快照以节省成本。快照管理02快照加密重要性EBS加密和快照加密保护数据机密性和安全性，启用加密会降低性能和增加成本，需根据安全需求谨慎选择。加密注意事项未加密卷的快照不会加密，从加密快照创建的新卷默认加密，跨区域复制加密快照需管理好密钥，删除密钥会导致无法访问加密数据。加密文件系统PowerPointdesignPart03EFS是可弹性扩展的网络文件存储服务，支持弹性扩容和大量并发连接，可跨可用区挂载，无需管理基础设施，具有高可用性。EFS特点适用于大数据分析、内容管理、web服务等需要共享文件存储的应用场景，可通过安全组进行访问控制。EFS应用弹性文件系统高性能特点高性能文件系统提供高吞吐量和IOPS，支持超大规模数据和数千客户端并发访问，基于对象存储设计，支持并行读写。部署与管理需专业技能部署和管理，使用托管文件系统可简化管理并获得弹性扩缩容能力，自建集群可进行细粒度调优和定制。高性能文件系统数据备份PowerPointdesignPart04备份方法在云环境中，可通过快照、备份服务、数据复制、文件版本控制、本地备份和数据加密等方式备份数据，提高数据安全性和可恢复性。备份重要性定期进行备份数据的还原测试，确保可以正常恢复，综合运用多种备份手段可有效保障数据安全。云上备份方式AWSBackup服务AWSBackup是完全托管的备份服务，支持多种云资源备份，用户定义备份策略，备份自动启动并存放在S3中，支持加密和跨区域复制。备份流程备份基于快照实现，对EBS、RDS等服务的数据进行备份，若原始数据丢失或损坏，可一键从备份中恢复。0102备份工作原理AWSBackup中的备份计划可定义备份资源的时间和方式，用户指定备份资源，AWSBackup定期自动创建备份并保存。计划设置使用增量备份提高存储效率，第一次备份保存完整数据，之后只备份变化部分，可随时回溯到任意数据状态点。增量备份备份计划202XPowerPointdesign主讲人：时间：谢谢大家202XPowerPointdesign主讲人：时间：数据库01数据库概述02托管开源数据库04数据库实验03云原生数据库目录-CONTENTS数据库概述PowerPointdesignPart01关系型数据库关系型数据库以表格形式存储数据，结构严谨，支持复杂查询和事务处理。例如，MySQL和PostgreSQL广泛应用于企业级应用，因其强大的数据一致性和稳定性，适用于金融、电商等领域。非关系型数据库非关系型数据库包括键值存储、文档存储、列存储和图数据库等，具有灵活的架构和高性能特点。例如，MongoDB支持动态文档结构，适合存储用户数据和内容管理系统；Redis则以其高性能缓存能力在Web应用中广泛使用。数据库类型云原生数据库利用云计算资源，具备弹性伸缩、高可用性和自动管理等优势。AWSAurora、AzureCosmosDB等云原生数据库，通过微服务架构和无缝集成云平台服务，满足了现代应用对数据库的高性能和灵活性需求。云原生数据库兴起数据库技术不断融合，出现多模态数据库，支持多种数据模型。例如，AzureCosmosDB支持键值、文档、图等多种数据模型，满足不同场景需求，推动了数据库技术的多元化发展。数据库融合趋势数据库发展趋势托管开源数据库PowerPointdesignPart02云上托管关系型数据库服务（RDS）如AWSRDS，由云服务商管理运维，用户通过控制面板或API配置管理。其优势包括管理方便、可靠性强、扩缩容便利和安全性高，大大减轻用户负担。关系型数据库适用于需要严格数据一致性和复杂查询的场景，如金融交易系统、ERP系统等。其多表关联查询和事务处理能力，确保了数据的完整性和准确性，是传统企业应用的核心数据库选择。云上托管优势应用场景关系型数据库内存数据库如Redis和Memcached，将数据存储在内存中，读写速度快，支持高并发访问。Redis支持数据持久化和多种数据类型，适用于缓存、消息队列等场景；Memcached则专注于简单缓存，性能卓越。高性能特点云托管的内存数据库由云供应商全包运维，用户无需购买和管理硬件，通过Web界面或API配置管理，使用灵活，按实际使用量收费，备份恢复功能完善，数据安全有保障。托管服务优势内存数据库AWSDocumentDB是AWS提供的托管文档数据库，使用自研引擎和EBS存储，支持跨可用区高可用性。其读写分离架构和SSL加密连接，确保了数据的安全性和高性能。云上托管实例文档型数据库如MongoDB，以文档形式存储数据，具有高灵活性和扩展性。支持嵌套数据结构和面向文档的查询，适用于动态数据结构变化频繁的场景，如内容管理系统和用户数据存储。特点与优势文档型数据库01键值数据库如Redis和DynamoDB，以键值对存储数据，具有高性能、灵活性和易扩展性。支持多种数据类型，提供简单API，适用于缓存、会话管理和用户信息存储等场景。特点与优势02AWSElastiCache和GoogleCloudBigtable等云上键值数据库，提供高性能和大容量存储，支持弹性伸缩和高可用性，满足不同用户需求。云上托管实例键值数据库图数据库如Neo4j和AmazonNeptune，以图结构存储数据，适合存储网络结构化数据。支持复杂关联查询和水平扩展，适用于社交网络、知识图谱等场景。特点与优势AmazonNeptune和AzureCosmosDB等云上图数据库，提供高可用性和故障恢复保障，简化了图数据库的部署和维护工作，使用户更轻松地使用图数据库。云上托管实例图数据库云原生数据库PowerPointdesignPart03核心特征云原生数据库具有作为服务提供、无服务器架构、利用云资源、支持多租户和自动伸缩等特征。例如，AWSAurora采用无服务器架构，根据实际负载自动调整资源，提高了资源利用效率。优势与挑战云原生数据库的优势在于高性能、可扩展性和灵活性，但需要应用系统重构以适应其特性。例如，企业迁移到云原生数据库时，需调整应用架构以充分利用云数据库的弹性伸缩能力。云原生数据库特点AzureCosmosDBAzureCosmosDB是微软提供的全球分布式多模型云原生数据库，支持键值、文档、图等多种数据模型。其全球分发能力、弹性缩放和低延迟特点，满足了全球性应用的需求。AWSAuroraAWSAurora是AWS提供的云原生关系型数据库，兼容MySQL和PostgreSQL。它通过存储与计算分离架构，实现高性能和高可用性，支持自动备份和恢复，适用于企业级应用。GoogleCloudSpannerGoogleCloudSpanner是Google提供的全球分布式关系型云原生数据库，支持ACID事务和水平扩展。其强大的一致性保证和高可用性，适用于需要大规模数据处理和高一致性的应用。常见云原生数据库数据库实验PowerPointdesignPart04通过实验，读者应掌握关系型数据库、文档型数据库和内存数据库的基本操作和应用。例如，在AWS关系型数据库入门实验中，学习如何创建、配置和管理RDS实例。掌握核心技能实验旨在培养读者的实际操作能力，使其能够将理论知识应用于实际场景。例如，在托管MongoDB实验中，学习如何搭建和管理MongoDB集群，提升数据库管理实践能力。应用实践能力0102实验目标AWS关系型数据库入门本实验介绍AWSRDS的创建、配置和管理过程。通过实际操作，读者将了解如何选择合适的数据库引擎、配置实例参数以及进行数据备份和恢复，掌握云上关系型数据库的基本使用方法。托管MongoDB实践本实验指导读者搭建托管MongoDB集群，包括集群配置、数据导入导出和性能优化等内容。通过实践，读者将熟悉MongoDB的分布式架构和文档存储特性，提升对文档型数据库的理解和应用能力。托管Redis应用本实验讲解如何使用托管Redis服务，包括缓存配置、数据持久化和高可用性设置等。通过实验，读者将掌握Redis的高性能缓存机制和应用场景，了解如何在云环境中高效使用内存数据库。实验内容202XPowerPointdesign主讲人：时间：谢谢大家安全POWERPOINTDESIGN主讲人：时间：数据加密身份及权限管理网络及基础设施检测及风险控制目录01020304CONTENTS01数据加密PART静态加密是对存储在云端的静态数据进行加密，如对象存储服务、云数据库、磁盘快照等，防止数据被篡改或窃取，对用户透明，成本低且易用，是云存储重要防护措施。静态加密02传输中加密指数据在网络上传输时的加密，如使用TLS/SSL加密通道，防止数据被窃听，常用于云服务端与客户端通信，及云服务内部通信，保障数据传输安全。传输中加密01客户端加密是数据在上传云端前由客户端加密，云服务提供商无法访问明文，安全性高，但密钥管理难度大，需修改应用集成加密模块和密钥管理，适用于对数据保密性要求高的场景。客户端加密03云加密方式文件加密基于文件的加密技术可对单个文件或文件夹进行加密，确保文件在存储和传输过程中的安全性，适用于保护重要文档、商业机密等，用户可选择不同的加密算法和密钥管理方式。数据库加密包括列级/行级加密，可对数据库中的特定列或行进行加密，保护敏感数据如用户密码、财务信息等，防止数据泄露，同时不影响数据库的正常查询和使用，提高数据安全性。数据库加密加密技术应用02身份及权限管理PART账号管理账号是云服务的基本管理单位，用于标识和计费，一个账号对应一组服务和资源，一个实体用户或公司可拥有多个账号，通过账号管理可实现资源分配和计费控制。组织架构组织是账号的管理容器，可包含多个账号，用于统一管理账号的资源共享、身份管理和付款方式等，提高管理效率，大公司可将不同部门或项目的账号集中到一个组织中。组织与账号IAM服务IAM是云厂商提供的身份认证和访问控制服务，通过创建用户、角色、策略来管理访问权限，实现集中管理用户、角色、组，支持多因素认证、细粒度访问控制等功能，是云中最基础的安全服务。访问控制策略通过定义访问权限规则，控制用户和角色对资源的访问，可实现对不同业务职能的分类管理，确保资源的安全访问，同时支持策略的灵活配置和管理。访问控制策略认证授权03网络及基础设施PART云厂商防护云厂商通过边缘防护、超额部署、流量分析、黑洞路由、用户隔离、带宽扩容、业务应急响应等多层网络安全防护体系，抵御和减轻DDoS攻击影响，确保主流服务稳定运行。架构设计防御云上业务可通过采用负载均衡服务、CDN服务、多可用区部署、自动伸缩、流量监控分析、安全组策略、Bastion主机等架构设计，提高应用抵御DDoS攻击的能力。0102抵御DDOS攻击云应用防火墙以反向代理模式部署在应用前端，提供WAF功能，通过规则引擎检测SQL注入、XSS等Web攻击，保护应用免受HTTPFlood、Layer7DDoS等攻击，同时具备Bot管理、自定义策略、威胁情报、AI机器学习等功能。WAF功能云应用防火墙提供实时监控数据和安全报表，帮助用户了解应用的安全状况，及时发现和处理安全问题，支持多云环境部署，保障云上应用的稳定和安全。安全报表应用防火墙云端漏洞扫描服务由扫描引擎集群、管理控制台、资产库、规则库等组成，采用主从架构，支持扩展从节点实现分布式扫描，具备高性能、自动化、威胁情报、规则定制、统一管理等特点。扫描架构漏洞扫描服务可主动发现系统和应用程序漏洞，检查资产配置，标识不安全配置，评估资产配置与行业基准的符合性，以图表形式展示扫描结果，提供一键修复指引，辅助修复漏洞。功能特点漏洞扫描云端补丁管理服务采用服务器+代理程序模式，服务器端负责补丁管理，代理程序负责资产连接，支持对多种平台的资产进行补丁扫描和部署，采用主动推送方式，无需资产主动访问服务器。补丁管理服务实现全自动化补丁管理，具备资产管理、补丁仓库、部署策略、风险分析、部署报告、集成运维、回滚功能等，确保系统安全稳定。补丁管理架构功能实现补丁管理04检测及风险控制PART云IDS以服务形式部署在云环境流量出入点，通过检测引擎、规则集和威胁情报判断流量是否存在恶意，支持实时威胁监测、攻击阻断、安全日志分析、异常行为检测、可视化与报警、动态规则更新、事件关联分析等功能。”云IDS可与其他云安全服务集成，如云防火墙可直接使用云IDS的检测结果进行拦截，实现安全联动，提高云环境的整体安全防护能力。”云IDS功能安全联动入侵检测云安全运营中心采用Serverless架构，基于各种云安全服务组合构建，主要组件包括事件收集、关联分析、威胁情报、数据仓库、可视化平台等，具有集中化、关联分析、安全情报、自动化响应、持续监控等特点。安全运营中心涵盖资产管理、安全监控、事件管理、合规评估、报表统计、威胁情报、自动化响应等功能，实现各项安全能力的高度集成化，是云环境下安全运营的核心。架构特点功能模块安全运营中心谢谢大家POWERPOINTDESIGN主讲人：时间：云运维POWERPOINTDESIGN主讲人：时间：目录01020304监控体系构建配置管理API审计自动化运维01监控体系构建PART云监控服务涵盖CPU、内存等基础资源监控及应用响应时间等性能指标监控，支持自定义指标，通过告警通知与仪表盘展示，助力系统及应用可用性提升。资源与应用性能监控ELK组合广泛应用于云上日志监控，Logstash收集日志，Elasticsearch存储索引，Kibana可视化展示。云上还有无服务器化的日志监控服务，如AWSCloudWatchLogs，提供全面的日志收集与分析。日志监控AWSX-Ray作为应用性能监控工具，通过Agent、SDK、服务端及控制台，实现应用级端到端请求跟踪，帮助开发者快速定位性能问题，是云原生应用调试利器。应用性能监控指标监控02配置管理PART0102云配置管理服务具备资源库存、配置历史记录、合规性检查、通知和事件、配置分析等功能，为用户提供资源配置的持续视图，优化管理。功能概述适用于合规性审计、安全性和漏洞管理、故障排除和审计、优化成本和资源、调查事故根本原因、验证软件部署和迁移等场景，保障云环境稳定安全。应用场景功能与场景03API审计PART架构组成主要由事件记录器、S3存储桶和控制台组成，记录AWS账户中的API调用活动，提供事件时间、源、用户代理、IP地址、操作、参数、响应元素、请求ID等详细信息。用于安全审计监测、诊断运维故障、合规性检查、数据查询分析、账单优化、故障复盘等，是云环境中基础运维和审计服务。功能应用架构与功能04自动化运维PART核心技术包括配置管理工具、基础设施即代码、CI/CD流水线、监控报警、自动伸缩、脚本化运维工具等，通过代码和脚本实现运维自动化，提高效率。以AWS为例，通过EventBridge实现基于事件的自动化运维，如CPU利用率超标自动扩容EC2实例并通知运维人员，实现端到端自动化运维流程。实践案例核心技术与实践谢谢大家POWERPOINTDESIGN主讲人：时间：数据分析POWERPOINTDESIGN主讲人：时间：CONTENTS数据湖概述数据仓库技术消息中间件分类大数据Hadoop集群1.2.4.5.目录BI报表应用日志分析Opensearch3.6.01数据湖概述PART数据湖定义数据湖是一种存储和使用大量不同格式、结构化或非结构化数据的方法，为企业提供集中存放和处理海量多样性数据的