版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
书目
1、项目概述.................................................3
2、项目建设规划..............................................6
2・1、建设原则...............................................6
2.2、项目建设内容、思路与技术规划...........................7
2.3、技术架构和路途介绍.....................................9
2.3・1、资源池化............................................9
2.3.2>智能化云管理.......................................10
3、私有云总体建设方案.......................................12
3・1、建设原则..............................................12
3.2、总体设计方案..........................................14
3.2.1、逻辑架构...........................................14
3.2・2、网络架构(假设)....................................15
3.3、云管理平台设计........................................17
3.3.K云管理平台系统架构.................................17
3.3.2、管理平台功.............••♦♦•・・♦・・・20
3.3・3、云管理平台设计...................................29
3.4、虚拟化设计............................................35
3.4.1、服务器虚拟化.......................................35
3.4.2、桌面虚拟化.........................................36
3.5、平安设计..............................................40
3.6、计算资源池设计........................................43
3.6.1、计算资源池技术路途.................................43
3.6・2、计算资源池设计.....................................45
3.7、存储资源池设计........................................46
3.7・1、存储资源池技术路途.................................46
3.7.2、存储资源池.........................................48
3.8、应用迁移与现有设备利旧................................49
3.8・1、应用迁移...........................................50
3.8.2、设备利旧...........................................51
1、项目概述
云计算是一种IT资源的交付和运用模式,指通过网络(包括互联网
Internet和企业内部网Intranet)以按需、易扩展的方式获得所需的软件、
应用平台、与基础设施等资源。云计算具有资源池化、弹性扩展、自助服
务、按需付费、宽带接入等关键特征。
从部署和应用模式来讲,云计算分为公有云、私有云和混合云等。
云计算从服务模式上来讲主要包括基础设施即服务(laaS)、平台即
服务(PaaS)、软件即服务(SaaS)等内容。
laaS是Infrastructure-as-a-Service(基础设施即服务)的建成,
云计算中心可运用laaS的模式将其资源供应应客户,通过虚拟化技术,
虚拟数据中心可以将相应的物理资源虚拟为多个虚拟的数据中心,从而在
用户一端看到一个个独立的,完整的数据中心(虚拟的),这些虚拟数据
中心可以由用户发起申请和维护,同时,这些虚拟数据中心还具有不同的
资源占用级别,从而保证不同的用户具有不一样的资源运用优先级。
PaaS是Platform-as・a-Service(平台即服务)的简称,PaaS能给客
户带来更敏捷、更特性化的服务,这包括但不仅限于中间件作为服务、消
息传递作为服务、集成作为服务、信息作为服务、连接性作为服务等。此
处的服务主要是为了支持应用程序。这些应用程序可以运行在云中,并且
可以运行在更加传统的企业数据中心中。为了实现云内所需的可扩展性,
此处供应的不同服务常常被虚拟化。PaaS厂商也吸引软件开发商在PaaS
平台上开发、运行并销售在线软件。
SaaS是Software-as-a-Service(软件即服务)的简称,一种通过
Internet供应软件的模式,厂商将应用软件统一部署在自己的服务器上,
客户可以依据自己实际需求,通过互联网向厂商定购所需的应用软件服
务,按定购的服务多少和时间长短向厂商支付费用,并通过互联网获得厂
商供应的服务。
本次项目为的私有云项目,目标为搭建完成一个面对于内部运
用的私有云环境,将各应用系统移植到该私有云上,实现资源的有效利用、
动态安排、敏捷扩展和统一管理。
本方案的写作目的为明确建设所需资源、实现步骤与最终呈现.本方
案落地实施后,将完成以下几方面任务:
(1)打破IT资源孤立状况,提高资源利用率
◊各业务系统拥有独立的硬件设施被统一管理,形成大的资源池;
令资源被统一调度,打破同一时段,某些业务系统较空闲造成资
源闲置,另外一些系统因业务繁忙,设备超负荷工作的现状;
令任何时候都可以与时满意各种变更的业务需求,实现按需服务。
(2)使运维管理更加简洁
令随着系统数量的不断增长,运维管理的难度比传统模式简洁,
成本更低;
◊新平台使得对各种资源和系统的监控和管理更加有效;
令维护人员工作负担减小,工作效率有效提高。
(3)提升关键业务系统硬件处理实力
令业务应用在遇到性能瓶颈时能动态调整;
◊核心业务系统建设较早的设备,在云计算支撑平台上能够得到
充分利用,以满意快速增长的业务需求
2、项目建设规划
2.1、建设原则
项目建设遵循如下几个原则:
(1)自主可控原则
本次的建设建议采纳自主可控技术搭建私有云。在产品的选择上尽
量选择国产品牌或者开源可控系统,保障私有云信息平安。
(2)开放原则
云计算的优势是高性价比,其核心是遵循开放技术路途并大量采纳
通用技术替代专有技术如Unix,这一点Google、Amazon等云计算供应
商已经证明。云计算建设应遵循开放技术路途,降低投入成本,避开形成
对于供应商的锁定。
(3)按部就班原则
云计算的建设不是一蹴而就,应按部就班。在本次建设中,应当本
着符合运用来限制规模,假如后续仍旧有业务系统须要迁移,可以利用云
计算的课扩展性,逐步完成扩展。
(4)统一规划和分布实施原则
本项目的建设须要通过建设统一的顶层框架,统一规划、统一实施
和统一管理,保证项目依据进度、按安排建设。
(5)先进性原则
本项目的建设,要求技术具有先进性,并保证在将来一段时间内具
有先进性和扩展性。
2.2、项目建设内容、思路与技术规划
云计算项目的建设是一个按部就班的过程,须要依据步骤有组织有安
排的推动,逐步实现建设目标。
具体的建设内容包括:
(1)搭建私有云,满意基础设施支撑实力需求
采纳云计算的最新技术,包括虚拟化技术、设备资源池化技术、分布
式并行存储技术、存储虚拟化技术、自动运维技术、平安技术,用软件整
合、调度硬件资源,建设具有良好弹性、扩展性、平安性、高牢靠、绿色
节能、自主可控的私有云,满意业务系统整合、托管、迁移、运营和运维
的需求。
•良好的伸缩性,支撑实力随业务变更便捷扩展
云计算架构具有良好的伸缩性,系统的规划能够满意近期业务和资
源库快速增长的须要,同时云计算中心具备了良好的扩展性能,能够随着
业务的快速增长而扩展,能够实现不停机的状况下,在线增加系统的存储、
计算资源,变更基础设施支撑实力有限的局面,为业务的增长或变更供应
快速响应,实现业务灵敏。
•运营的易管理和易操作性,降低运维压力
通过云管理平台,能够对云计算中心的服务器设备、存储设备和网络
设备以统一的视图进行管理。云管理平台支持基于策略管理手段,将固定
的操作以系统运维策略的方式进行固化管理,一方面实现运维的规范化,
降低人为操作错误的发生,另一方面降低运维的压力,使得更少的运维人
员保障业务系统的持续运营。
•高可用性,故障不再影响业务的连续性
云计算环境下,硬件故障将成为不行避开的现象。因而私有云的设计
是基于不行靠硬件保障业务系统的连续性的理念进行设计,也即在硬件发
生故障的状况下,也能保障业务系统的连续运转。
■服务器的高可用:虚拟化技术保证虚拟服务器之间的高可用,
即使服务器发生故障,支撑业务系统运行的虚拟机能够快速迁
移到运转良好的服务器上,保证业务系统不中断。
■存储的高可用:采纳热备方式,即使在一个存储节点发生故障
的状况下,保证业务系统的运行不受影响,同时也能够快速的
重建故障节点。
•业务连续性,保证任何时候业务系统的可用性
业务系统迁移到私有云上,能够充分利用云基础架构的动态负载均衡
与高可用特性保证业务的连续性。一方面保证业务系统的压力动态的分不
到不同的支撑服务器上,另一方面,保障业务系统部分节点在出现故障的
状况下,利用高可用特性保证业务的不中断。
•信息系统弹性,降低突发事务的影响
由于突发事务的不确定性,进而会导致业务系统的访问量有突发性特
征,这对基础设施的支撑实力提出了更高的要求,否则突发事务往往导致
业务系统的瘫痪。将业务系统部署到私有云上,业务系统有突发的高并发
访问时,云管理平台将会自动将闲置的计算资源调配给相关业务系统,从
而大幅提升业务系统的支撑实力。
•平安性
私有云系统不仅可以接管传统信息系统的一切平安设备和措施,而且
可以通过云管理平台进行统一的管理。针对云计算中的虚拟化资源,云管
理平台通过虚拟防火墙,VPN,VLAN,负载均衡等技术,有效的保障了虚
拟化资源的平安性
2.3、技术架构和路途介绍
在私有云建设中基本可以分为三大部分:资源池化、智能化云管理等。
2.3.1、资源池化
资源池化就是将计算资源、存储资源、网络资源通过虚拟化技术,将
构成相应资源的众多物理设备组合成一个整体,形成相应的计算资源池、
存储资源池、网络资源池,供应应上层应用软件。
资源虚拟化是对上层应用屏蔽底层设备或架构的资源封装手段,是实
现云计算资源池化的重要技术基础。
虚拟化技术由来已久,所谓虚拟化是相对于物理实体而言的,即将真
实存在的物理实体,通过切分或(和)聚合的封装手段形成新的表现形态。
聚合封装是将多个物理实体通过技术手段封装为单一虚拟映像/实例,
可用于完成某个业务。例如SMP、计算集群(Cluster)、负载均衡集群
(LoadBalance)>RAID技术、虚拟存储、端口汇聚(porttrunk)>
交换机堆叠(stack)等。
切分封装是将单个物理实体通过技术手段封装为多个虚拟映像/实例,
可用于执行不同业务。例如主机虚拟化、存储分区、虚拟局域网(VLAN)
等。
虚拟化技术的一个重要结果是降低IT架构中部件之间的依靠关系,以
计算虚拟化为例,集群、主机虚拟化等计算虚拟化技术实现了应用软件与
物理基础设施解耦。最终的效果是分别了应用软件与物理基础设施,解
除或弱化了它们之间的耦合,从而也就减弱了各自的技术发展所受到的相
互限制,拓展了技术发展的空间和敏捷性。
2.3.2.智能化云管理
云计算架构具有laaS、PaaS、SaaS等众多的服务模型,供应计算服
务、存储服务、乃至整合各种资源的综合性服务,其资源的构成更加困难、
规模更加浩大。为了提高易用性和可维护性,各种资源构成之间的关系困
难。在本项目中,主要构建TaaS层。为了保证云计算中心的服务质量,
对于众多用户资源配给的调整也要求更精准的、更与时°这些要求已经不
是依靠运维人员的实力所能满意的,须要采纳更加智能化的自适应运维管
理。
云计算中心运维管理要适应云服务对资源管理所提出的新需求,
・紧耦合的资源管理
云计算中心采纳资源综合管理,即将系统中的计算、存储、网络等资
源视为整体系统,实施统一管理,这有利于优化整体性能、精确定位问题、
是实现动态资源调度的重要因素。
•多维度的资源管理
云计算中心的资源具有多种视图,例如物理资源视图、虚拟资源视图、
虚拟组织视图,因此,云管理也应当是多维的。
3、私有云总体建设方案
3.1、建设原则
1)标准化和开放性
系统的标准化和规范化是信息系统建设基本而又关键的一步,要实现
信息通讯与共享,必需规范信息技术标准。采纳业务内标准的技术体系和
设计方法,使系统最大程度地具备各种层次的平台无关性和兼容性。在运
用新技术的同时充分考虑技术的国际标准化,严格依据国际国内相关标准
设计实施。
2)先进性和超前性
在好用牢靠的前提下,尽可能跟踪国内外先进的计算机软硬件技术、
信息技术与网络通信技术,使系统具有较高的性能价格比,同时建设方案
以实际可接受实力为尺度,避开盲目追求新技术,造成不必要的奢侈。技
术上立足于长远发展,坚持选用开放性系统,使系统和将来的新技术能平
滑过渡。采纳先进的体系结构和技术发展的主流产品,保证整个系统高效
运行。
3)好用性和便利性
系统建设要以满意需求为首要目标,采纳稳定牢靠的成熟技术,保证
系统长期平安运行。系统应用后,的确能为各级业务和管理节点供应一个
智能化的网络信息环境,以提高管理水平和工作的效率。
4)平安性和保密性
遵循有关信息平安标准,具有切实可行的平安爱护和保密措施,确保
数据永久平安。系统应供应多方式、多层次、多渠道的平安保密措施,防
止各种形式与途径的非法侵入和机密信息的泄露,保证系统中数据的平
安。
5)稳定性和牢靠性
系统建成并投入运用后,将成为支撑系统平稳运转的运行平台和开发
新业务系统的基础平台,系统瘫痪的后果是不可思议的。因此系统必需在
成本可以接受的条件下,从系统结构、设计方案、设备选型、厂商的技术
服务与维护响应实力,备件供应实力等方面考虑,使得系统故障发生的可
能性尽可能少,影响尽可能小,对各种可能出现的紧急状况有应急的工作
方案和对策。
6)跨平台性和可移植性
由于系统建设的困难性要求,在设计时,要充分考虑系统的跨平台、
跨系统、跨应用、跨地区性和在各种操作系统、不同的中间件平台上可移
植。
7)可维护性和可扩展性
要保证系统能在各种操作系统和不同的中间件平台上移植。系统设计
做到信息内容统一,以便日后的系统维护。在私有云的设计过程中,充分
考虑在将来若干年内的发展趋势,具有肯定的前瞻性,并充分考虑了系统
升级、扩容、扩充和维护的可行性。
3.2、总体设计方案
3.2.1、逻辑架构
私有云的系统部署逻辑架构如下图所示:
逻辑架构图
用于对外供应各种服务的多种类型的虚拟主机节点的集合构成了计
算“资源池”,其不仅实现了基于服务器的CPU、内存、磁盘、I/O等硬
件的虚拟化实现动态管理的“资源池”,同时还可以在各类型虚拟主机所
在的物理服务器之间进行动态的迁移和变更资源。为此要求将各种类型的
物理服务器、存储、网络等设备统一为一个逻辑意义上的“计算资源池”,
从而提高资源的利用率,简化系统管理,实现服务器整合,让IT对业务
的变更更具适应力。
云管理平台为用户供应简洁、统一的管理平台,内置丰富的资源管理
与交付功能;云平台将原本静态安排的IT基础设施抽象为可管理、易于
调度、按需安排的资源;运用云平台可以把资源的实力封装,对外供应按
需敏捷运用各类IT资源的服务,满意各种业务的运营。
云管理平台主要进行系统资源的服务化、实现资源快速部署与按需分
发。借助于云管理平台,可以构建易于管理、动态高效、敏捷扩展、稳
定牢靠、按需运用的私有云结构。
3.2.2、网络架构(假设)
私有云网络架构如下图所示:
核心交换机
管理服务器
管理服务器:用于云管理平台管理节点的安装,负责对私有云的
资源池进行管理、调度和监控。在本期建设中,可以考虑利旧或者是虚拟
机来作为管理服务器节点。
虚拟化服务器:该服务器为若干台服务器组成的集群,形成计算资源
池。通过虚拟化软件将物理服务器安装需求,虚拟出若干台符合应用需求
的应用虚拟机作为私有云业务的应用负载服务器。各虚拟化资源通过
云管理平台统一调度、按需安排。假如计算资源池的资源不够运用,可以
干脆添加服务器,或者采纳利旧的方式,无缝扩展资源池。
存储:该存储的主要用于虚拟机的数据存储、业务数据存储等。依据
业务须要在本次私有云建设中,采纳光纤存储进行通信。本期采纳单存储
的方式,做到满意数据和业务需求,后期可以考虑双存储以HA的方式互
备,保障了整个私有云系统的数据平安。存储同样属于计算资源池的一部
分,由云管理平台统一纳管。
光纤交换机:光纤交换机为服务器与存储间的通信交换机,选择
8Gb/s的交换模块,可以有效保障服务器与存储间的通信速率。本期采纳
两台24口8Gb/s光纤交换机(各激活8个口),以主备方式供应光纤网
络通信。
接入交换机:依据现有的网络环境和需求,接入交换机选择两个
48口的千兆交换机进行通信。以主备的方式,保障网络平安。
防火墙:接入交换机数据经过防火墙上联到核心交换机,接入核
心网络。
3.3、云管理平台设计
3.3.1、云管理平台系统架构
云平台系统的整体架构如下图所示,系统分为物理资源层、虚拟资源
层、云平台管理系统层和云计算服务层。
云平台
管理系统层
系统架构图
上文提到的服务器资源和存储资源、网络资源等构成了物理资源层,
通过虚拟化软件形成统一的虚拟化资源,并通过云平台管理系统,将物理
设备和系统资源整合为统一的计算资源池、存储资源池和网络资源池,在
此基础上依据用户的需求,自动划分资源,在资源管理平台和业务服务管
理平台的支持下,为用户供应丰富的云服务。
云平台从运维、运营与用户三个层面对私有云进行资源管理和运营管
理。
云平台管理架构图
云计算管理平台是一个用来创建云基础架构(laaS)的平台。云计算
管理平台允许企业在公司内部设立一个服务于企业自身的私有云。当前
VMWare,Citrix和Microsoft供应的虚拟化平台主要帮助企业的IT人员
可以像以前管理物理机一样管理他们的虚拟机。而云计算管理平台是帮助
非IT人员能够通过自服务的方式运用虚拟机服务。
云计算管理平台包含管理服务器以与业界标准的虚拟化软件(如
XenServer,Vsphere,KVM等)的扩展。管理服务器可以部署在一台服
务器或一组服务器集群上。管理服务器对全部节点上的资源进行统一管理
并供应web接口给管理员和用户,使他们可以对权限内的资源进行访问和
操作。
云管理平台统将要实现的目标包括:
1.对本项目建设物理资源、网络资源和虚拟资源,进行统一的管理;
2.由于不同的应用资源,处于不同的内网或外网条件下,建设的云管
理平台可以跨网络管理;
3.纳管已有的物理资源和网络资源,本次实施以试验的方式,先纳管
部分资源,依据运用状况,渐渐将全部物理资源和网络资源纳管进
来;
4.实现对全部信息资源,包括物理计算资源,虚拟技计算资源,物理
网络资源、虚拟网络资源的自动化管理;
5.云管理平台供应可视,可控,可管的运维系统。
3.3.2.云管理平台功能
3.3.2.1、云平台服务
云计算管理平台为用户创建虚拟机实例供应了多种选择:
・计算服务,由管理员定义,供应CPU速度和个数,内存大小和根
卷大小等选择
•存储服务,由管理员定义,供应了数据卷大小的选择
•网络服务,由云计算管理平台定义,描述了用户通过虚拟路由器或
者外部网络设备可以运用的功能。
•模板和镜像,模板是一个操作系统的镜像,用户可以从这个镜像创
建新的虚拟机。全部通用的Linux和Windows系统都可以成为
模板。管理员也可以向系统中导入新的模板。
除以上选项之外,还有一种只对云计算管理平台管理员可见的服务类
型,用于配置虚拟机路由器。
3.3.2.2、帐户、用户和域
云计算管理平台的用户通过安排的帐户登陆和运用资源。在云环境
里,各帐户之间的环境是相互隔离的。一个域由一组帐户构成,一个域中
的帐户一般有逻辑上的关联性,域可以有多个管理员帐户对域以与域包含
的子域进行管理。
一个账户可以对应多个用户,用户更像是账户的别名,同一账户的用
户之间没有相互隔离,他们具有相同的权限,可见的资源也相同。在大多
数状况下,一个账户对应一个用户即可满意需求。
3・3.2・3、管理服务器
云计算管理平台管理服务器运行于WEB容器(如Tomcat)并运用
关系型数据库(如MySQL)存放数据,所运用数据库也可以安装在一台
独立的物理机上,也就是数据库服务器,并可以依据须要配置备份服务器。
•供应管理员和用户访问的web界面
•供应云计算管理平台对外的API接口
•管理每个资源节点上的虚拟机资源安排
•管理每个帐户的公网和内网IP地址安排
•管理虚拟硬盘镜像的存储空间安排
•管理快照(snapshot)、模板、ISO镜像,并可以依据须要将它
们跨数据中心备份。
•整个云环境配置的中心
、资源服务器
资源服务器是用来供应虚拟机资源的服务器。可以通过云管理平台自
带的虚拟化软件进行虚拟化,也可以通过如VMWARE、CitrixXEN等相
关软件或功能进行虚拟化。
•供应虚拟机须要的全部CPU,内存,存储和网络资源
•相互通过高速网络互联互通,并具备Internet连接
•可以位于不同地理位置的不同数据中心
•可以具有不同的规格(如不同的CPU速度,不同的内存大小
等等)
•是高性能通用x86兼容服务器,自身相对牢靠,但规模较大时
允许出现个别服务器故障
、网络功能和网络虚拟化
云计算管理平台管理内网(private)、直连网络direct和公网(public)
的IP安排。管理员首先将可供安排的内网,直连网络和公网IP输入系统。
主要有两种网络模型可供创建:直连网络和虚拟网络。
云计算管理平台的资源域(Zone)也分为两类:基本网络资源域仅能
创建直连无标记(untagged)网络。高级网络资源域除此之外还可以创建虚
拟网络以与直连带标记(tagged)网络。
直连网络
在直连网络中,虚拟机被干脆在本地子网中安排IP地址。这些虚拟
机可以干脆访问Internet,也没有任何NAT转换。它们的网络封包不经
过任何虚拟路由器。因此,直连网络无法获得云计算管理平台中的软负载
平衡、防火墙和端口转发等功能。
直连网络的用户依据配置的不同,可以和别的直连网络用户相通或隔
离。在直连带标记网络中,管理员对资源域内部的每位用户安排特定的
VLAN标识和IP段。用户的虚拟机可以从虚拟路由器(相当于DHCP服
务器)获得IP地址。直连带标记网络可以让用户的虚拟机便利的与外界
网络互联互通,包括管理服务器。
直连无标记网络则采纳了类似于亚马逊的平安组概念对每位用户进
行隔离,而不采纳VLAN。全部用户不论账号如何都在同一个广播域内。
直连无标记网络最常运用在私有云中。全部的Hypervisor类型都可以支
持直连无标记网络,但只有XenServer和KVM的节点可以设置平安组。
虚拟网络
在虚拟网络中,用户的虚拟机部署于私有的虚拟网络中。每个用户的
虚拟网络均通过VLAN与其他用户的虚拟网络隔离。每个用户的全部客户
机也在自己的VLAN中被安排相应的网络接口。
可以用两种方式建立虚拟网络:基于虚拟路由器和基于外部路由器。
•云计算管理平台在安装时就供应了一个虚拟路由器。这个虚拟路由器
可以供应DNS,DHCP,gateway,NAT,负载平衡和VPN服务。
•基于外部路由器的虚拟网络运用第三方厂家的路由器设备供应
gateway和NAT服务,而DNS和DHCP照旧由虚拟路由器完成。
虚拟网络的部署必需运用虚拟路由器或外部路由器。在虚拟网络中,
同一个用户的不同虚拟机因为处于同一个VLAN,他们之间的网络通信不
通过虚拟路由器。VLAN起到用户之间隔离的作用:不同帐户的用户运用
不同的VLAN。
在虚拟网络中,每一个用户会被安排一个外网IP地址。用户可以申
请更多的外网IP地址。外网IP地址是指用户实际访问虚拟机的IP地址。
通过虚拟路由器建立虚拟网络
每个帐户都被安排一个虚拟路由器。全部此帐户拥有的外网IP地址
也都安排给这个虚拟路由器。这个虚拟路由器是虚拟机和外网通信的管
道,并且为虚拟机供应DNS和DHCP服务,以与NAT转换。
虚拟路由器的存在使得云计算管理平台可以为用户供应很多网络功
能,例如:将发送至某个外网IP的包转发至一个指定的虚拟机,或是在
多个虚拟机之间做流量的负载平衡,使得通过有限的公网IP可以供应更
牢靠的服务。
通过外部路由器建立虚拟网络
每个帐户仍旧被安排一个虚拟路由器。但全部此帐户拥有的外网IP
被安排给外部路由设备。外部路由器成为虚拟机和外网通信的桥梁,并供
应NAT转换。虚拟路由器仅供应DNS和DHCP功能c负载平衡可以由
外部路由器或者虚拟路由器完成。
一个帐户可能既拥有在虚拟网络的虚拟机也拥有在直连带标记网络
的虚拟机。在这种状况下,这个帐户将拥有两台虚拟路由器,一台虚拟路
由器负责资源域VLAN的管理,一台虚拟路由器负责直连带标记VLAN
的管理。
在同一个资源域里基本网络不能与虚拟网络或直连带标记网络共存。
一个云环境可能包含一个基本网络资源域,一个虚拟网络与直连带标记网
络共存的资源域。
3.3.2.6、存储功能和虚拟化
虚拟机模板是用户第一次启动虚拟机时所运用的基本操作系统镜像。
例如,有用户须要64位CentOS5.3的操作系统镜像,就可以把它作为
一个虚拟机模板。每个虚拟机模板都有相应的访问权限。访问权限包括:
•公开权限。这个模板可以供全部用户访问。
•私有权限。这个模板只能供创建它的用户,以与该用户指定的
运用者访问。
管理员和用户都可以将模板加入至系统。用户在访问模板的时候可以
望见模板的全部者。云计算管理平台将供应应虚拟机运用的一块存储空间
称为一个卷。卷既可以是系统盘也可以是数据盘。系统盘在文件系统中的
路径为“/"或“C:“,也通常作为引导盘运用。数据盘供应额外的存储
空间(路径为"/opt“或"D:")。每个虚拟机都有一个系统盘和一个数
据盘。用户可以将多个数据盘挂接在一个虚拟机上。这些数据盘可以从管
理员供应的存储服务中获得。同时,用户还可以从卷中创建模板,这也是
私有模板的标准创建方式。
ISO镜像的存储和运用方式与模板类似。ISO镜像除了访问权限外,
还可分为两种类型:可以引导系统的(bootable)和不能引导系统的。可以
引导的ISO镜像一般包含操作系统镜像(如Ubuntu10.4安装CD)。
Masterstack云计算管理平台允许用户从ISO镜像启动虚拟机。用户还
可以将ISO镜像挂接到虚拟机上。例如,须要在Windows虚拟机上安装
PV驱动程序时就可以挂接对应Hypervisor厂商的ISO镜像。
云计算管理平台支持卷的快照,包括系统盘和数据盘。管理员可以为
每个用户可以创建的快照数量设限。用户既可以通过快照来还原卷以复原
丢失的数据,也可以从快照来创建模板,以确保当卷无法还原时可以干脆
启动新的虚拟机以保证业务的连续性。可以将快照设置为定期任务。快照
一般会在主存储设备上生成并备份至二级存储,直到被删除或被新的快照
覆盖。
云计算管理平台可以配置主存储和二级存储。主存储支持iSCSI,FC
或NFS接口。主存储上存放虚拟机的磁盘镜像,一般和服务器物理位置
接近。二级存储上存放模板,ISO镜像以与快照数据,通常一个二级存储
可以对应几百台服务器。
3.3.2,1,虚拟机安排策略
云计算管理平台在创建虚拟机时会依据内置策略选择可用的物理机。
被选择的物理机总是和虚拟机的镜像物理位置接近。安排策略包括“纵向
优先”和“横向优先”。纵向优先是指先安排满一台物理机的负载,再安
排其次台物理机。这样的好处是节能,未安排的物理机可以处于休眠模式。
横向优先是指每台物理机平均安排负载。这样的好处是确保每台虚拟机的
性能最优。
云计算管理平台支持CPU超配(overcommit),也就是允许管理员
安排比实际CPU个数/实力更多的虚拟机给最终用户。
3.3.2.8、虚拟机管理
云计算管理平台为管理员和用户供应了丰富的虚拟机管理功能。虚拟
机的基本操作包括启动,停止,重启,删除等等。虚拟机包含名称和组别。
虚拟机的名称和组别对于云计算管理平台是不透亮的,用户通过它们来组
织和管理虚拟机。
虚拟机可以配置HA。对于配置了HA的虚拟机,系统会监控它们的
状态,并在发觉出问题的时候试着在另一个物理机上重新启动该虚拟机。
云计算管理平台无法区分一台虚拟机是正常关机还是异样关机。假如
用户关掉了一台配置HA的虚拟机,云计算管理平台会重启它。因此,当
用户真的须要关掉配置HA的虚拟机的话,须要先通过云计算管理平台界
面或者API以禁用HA功能。
3.3.2.9、其他管理功能
系统还供应了警告和事务等管理功能。警告是发送给管理员的提示,
通常用邮件发送,通知管理员系统出现错误。警告信息是可配置的。
事务功能跟踪管理员和用户在云计算管理平台的全部操作。例如,每
次虚拟机启动都对应一个事务。事务存放在管理服务器的数据库。
云计算管理平台允许管理员将某台物理机设为维护模式。位于维护模
式的物理机首先从资源池中移出,不再接收新的虚拟机安排恳求。然后,
这台物理机上的虚拟机会被无缝迁移至其他不在维护模式的物理机。由于
这里采纳的是在线迁移技术,客户的业务和应用不会受到影响。
管理员和用户还可以监控物理机和虚拟机的性能。通过云计算管理平
台的监控界面,用户可以了解机器各种资源的运用状况以确定是否要换用
更高级的虚拟机或是更大的存储空间。
3.3.2.10、API和扩展性
云计算管理平台的管理员界面和用户界面是基于同一套标准的HTTP
恳求协议开发的。这一套协议确保界面和后端的松耦合,不论是改写用户
界面还是开发吩咐行工具都很便利。
云计算管理平台的可扩展安排策略架构允许接入新的安排策略来安
排存储和物理机。
3.3.2.11.弹性和可用性
云计算管理平台的设计确保对多个数据中心,上千台服务器规模的支
持。我们把一个机架(Pod)作为大规模部署下的一个单位。一般一个Pod
对应一个物理机架。系统规模的扩展也就是增加新的机架以与在管理服务
器中对新加的资源进行管理的流程。
云计算管理平台也包含了一系列保证可用性的特性。首先,管理服务
器可以是一组配置了负载平衡的服务器机群。其次,数据库可以配置自动
备份以确保在出错时可以人工复原。对于资源服务器,云计算管理平台支
持网卡绑定,多网络存储以与iSCSI多路径。
3.3.3、云管理平台设计
、资源管理系统设计
资源整合和虚拟化将原本静态安排的IT资源池化,打破资源孤岛、
形成逻辑的资源池,使上层的应用不再以竖井(Silo)和专用(Dedicated)
的形式运用资源,而是多个应用共享资源池,既可以提高资源利用率,又
可以通过快速部署、动态安排等应对应用对资源的突发需求。
在私有云建设中,当资源池就绪之后,通过云管理平台资源管理
模块实现异构资源池的统一管理,动态安排和调度资源以满意多应用需
求。已有设备和新购入设备均可以纳入云管理平台的管理中。
设备管理:统一的设备资产管理,清楚、便利的维护和管理各类设备
相关信息,如设备名称、编号、型号,所处的具体物理位置信息等,实现
设备与资源的统一纳管和集中监控展示。
网络拓扑:覆盖虚拟机层级的网络拓扑图、VLAN图,以与直观的机
架图,从各个层面展示私有云的设备连接状况,精确了解虚拟机与物理机
的依存关系。
系统监控:图形化和列表的方式展示虚拟机、Hypervisor主机、物
理机、存储、网络设备的启停状态、资源利用率等具体监控信息;并可通
过仪表板的集中呈现,全面直观的了解整个资源系统的概要信息。
告警管理:告警规则配置与管理,告警事务统一展示,可与时了解资
源池中的各种异样事务和告警信息。
报表系统:丰富的报表统计功能,可统计分析各种资源的历史运用状
况、利用率状况、可用性等信息,为资源的进一步优化利用供应决策信息。
3.3.3.2、运营管理系统设计
云管理平台除了变更传统信息系统的管理方式外,更体现了云计算中
“服务”的概念。在私有云建设中,通过云管理平台的运营管理系统,
可以将资源服务化,更好的供应便利快捷的信息资源服务。在资源池之上,
将资源封装为可度量的服务,并使最终用户以最便捷敏捷的形式按需运用
这些服务。供应了服务管理、订单管理、用户管理、计费管理等功能,以
帮助信息管理人员完成日常运营工作,面对最终用户供应自助服务流程。
实现“按需自助服务”这一云计算最终目的。
主要设计功能:
资源封装,预置丰富的云服务
针对的实际应用或业务需求,协作信息管理人员,将资源池中的
各种资源封装为适合不同应用运用的不同服务模板,并通过服务书目的形
式在门户系统上呈现,供用户阅读和选择所需服务。
运营管理员也可以依据信息业务发展状况和用户反馈的看法,创建新
服务模板并发布,以满意不同用户的需求。通过门户系统,管理员可以轻
松的管理服务模板的创建、修改、发布、删除等整个生命周期过程。
订单管理
云管理平台供应“购物车”功能,用户通过自服务门户,可以像网上
购物一样选择服务产品放入购物车并提交以生成订单,订单可管理、查看
审批轨迹与删除。运营管理员则对全部用户提交的订单进行管理。运用者
和运营管理者无需沟通沟通即可申请信息资源的运用。大大化简了信
息资源的申请审批流程,便利了一线职工的运用,削减了信息管理人员的
工作量。
审批流程
为了防止在审批流程中出现问题,审批可以是单层或层级审批,每一
级审批可设置为自动或人工完成。对审批层级和自动/人工审批的配置均
可以通过运营管理的管理员门户完成。可以依据订单的重要程度,设计不
同的审批模式,有效的保障了信息资源运用的平安性和合理性。
按需自助服务,完整的用户自服务流程
云平台的自服务流程为用户供应了完整的按需自助式服务体验,整个
自服务流程包括服务申请、订单审批与管理、服务交付、服务实例运用与
回收等步骤与功能。假如订单通过审批,系统会自动依据订单为用户安排
资源,生成相应的服务实例交付给用户,用户可通过各种方式登录和运用
自己的资源,也可对服务实例进行更改、申请作废等操作。未通过审批的
订单不会获得任何资源安排。
服务限制台,供应服务实例的全生命周期管理
服务实例全生命周期管理,是指用户的服务实例从创建到回收的整个
过程的管理。包括对服务实例的自动部署,用户对服务实例的运用、更改、
申请作废,系统对服务实例对应资源的释放和回收等。云平台自服务门户
供应一个服务限制台,用户可对自己的服务实例进行查询、操作和管理,
比如对虚拟机进行开机、重启、关机等操作,或者将一个块存储挂载给虚
拟机。另外,云平台支持用户通过阅读器干脆访问虚拟机,为用户供应了
极大的便利。当用户不再须要所申请的资源时,可以对服务实例申请作废,
云平台会回收并释放该用户申请的资源,服务订购关系终止。
界面友好,基于角色的门户系统
云平台对管理员和最终用户都供应了友好的门户系统,通过权限限
制,云平台对不同角色的用户呈现不同功能的门户界面。
日志审计
云平台的日志系统可记录管理员和用户在云平台内的全部操作,如登
录系统、资源操作等。可在界面显示全部日志与日志详情,也可以对日志
进行查询,基于日志可实现对用户操作的审计。
3.3.3.3.云管理平台平安设计
在云管理平台的设计中,特殊突出平安性设计。
多层面的平安隔离
1、Zone和在Zone之间可能实现了某种形式的物理隔离和冗余
2、不同帐户的用户运用不同的VLAN,VLAN起到用户之间隔离的
作用;基于用户的虚拟机隔离:即管理员可以通过云平台将不同用户之间
的虚拟机配置为无法建立2层链接,实现基于用户的虚拟机隔离。
3、供应多种网络类型,一些是真实的,一些是虚拟的,虚拟网络通
过VLAN隔离,物理网络通过不同的硬件和设备隔离等,比如通过公网IP、
私网IP通过不同的网卡隔离流量.也通过不同的组网,如3个平面来隔离
业务、管理、存储
4、直连网络可以通过给用户安排VLAN来隔离,直连无标记网络则
采纳了类似于亚马逊的平安组概念对每位用户进行隔离,而不采纳VLANo
全部的平安域都通过防火墙接入到网络中,各个平安域通过虚拟防火
墙进行逻辑隔离,平安域之间不能干脆访问,在虚拟防火墙上通过访问限
制策略,对用户进行文件和数据操作权限的限制,防范用户的越权访问。
全面的虚拟机平安机制
1、同一物理服务器上的虚拟机隔离,同一物理机服务器上资源隔离,
包括CPU、内存、内部网络隔离、磁盘I/O有效的隔离,不会因为某一
个虚拟机被攻击而导致其他同一物理服务器上的虚拟机被影响。
2、内部虚拟机访问隔离,供应虚拟防火墙,如平安组功能,确保不
同租户的虚拟机之间的网络隔离(包括同一个物理主机内的不同虚拟机)。
针对每个平安组可以定义ACL规则,如对外开放某个具体的服务或端口,
允许外部某个IP地址访问虚拟机的某个端口,也可以在平安组之间相互
授权访问。
3、恶意VM预防,云平台要能防止同一个物理主机内VM能嗅探到
其它VM的数据包。例如ARP防护,云平台防止恶意虚拟机的IP欺瞒和
ARP地址欺瞒,限制虚拟机只能发送本机地址的报文。
4、虚拟机操作日志审计,通过云平台记录对虚拟机进行VM操作,
便于合规审计。
访问限制
1、对业务和应用中保存的帐号进行集中管理,包括帐号创建、变更
和删除等。同时依据预定策略,修改帐号的口令。接入认证平安、传输平
安;
2、将人员和其在各个业务系统中担当角色关联,实现对维护人员和
用户等的集中授权。
3、记录帐号登录、登出等相关的日志信息,并帐号登录、登出的信
息和用户的真实身份相关联。
4、依据预先制定的审计策略对日志进行分析,发觉高危操作,产生
审计事务告警。输出符合萨班斯审计须要等要求的审计报告。
融合已有传统平安措施
1、防火墙:最主流也是最重要的平安产品,是边界平安解决方案的
核心。它可以对整个网络进行区域分割,供应基于IP地址和TCP/IP服
务端口等的访问限制;对常见的网络攻击,如拒绝服务攻击、端口扫描、
IP欺瞒、IP盗用等进行有效防护;并供应NAT地址转换、流量限制、用
户认证、IP与MAC绑定等平安增加措施。
2、VPN网关:虚拟专用网(VirtualPrivateNetwork,VPN)技术
以其敏捷、平安、经济、易扩展的特点,可以提高沟通效率和资源利用效
率,建立成员单位与云平台之间的具有保密性的网络连接。能满意远程管
理接入需求。设备支持VPN隧道数量和最大并发用户数量满意当前维护
需求。
3、平安支援区域,建议建立平安支援区域,该区域完成全部平安设
备的网管工作,同进可以放置防病毒系统、补丁管理系统等。
3.4、虚拟化设计
3.4.1、服务器虚拟化
服务器虚拟化产品的成熟度将对业务应用运行产生较大影响,因此本
期方案举荐业内知名的CitrixXenServer产品作为服务器虚拟化的落地
支撑。
XenServer是在云计算环境中经过验证的企业级虚拟化平台,可供应
创建和管理虚拟基础架构所需的全部功能。它深得很多要求苛刻的企业信
任,被用于运行最关键的应用,而且被最大规模的云计算环境和xSP所
采纳。XenServer:
通过整合服务器,降低电源、冷却和数据中心空间需求来降低成本允
许在几分钟内完成新服务器置备和IT服务交付,进而提高IT敏捷性确保
可始终达到应用要求和性能水平标准削减故障影响,防止灾难,进而最大
限度地削减停机,免费版XenServer配备有64位系统管理程序和集中
管理、实时迁移与转换工具,可创建一个虚拟平台来最大限度地提高虚拟
机密度和性能。Premium版XenServer扩展了这一平台,可帮助任何
规模的企业实现管理流程的集成和自动化,是一种先进的虚拟数据中心解
决方案。
通俗的理解:
XenServer是思杰公司(Citrix)推出的一款服务器虚拟化系统,强调
一下是服务器“虚拟化系统”而不是“软件”,与传统虚拟机类软件不同
的是它无需底层原生操作系统的支持,也就是说XenServer本身就具备
了操作系统的功能,是能干脆安装在服务器上引导启动并运行的。基于
XenServer系统,可以将一台性能强劲的服务划分成多台服务器,让这些
服务器同时运行供应各种应用服务,节约硬件投资也便利管理。
3.4.2.桌面虚拟化
云终端虚拟桌面是端到端一体化虚拟桌面解决方案,桌面云平台将传
统桌面PC虚拟化后托管在数据中心,每位人员通过一台云终端访问桌面
与应用。
3.4.2.1、桌面云平台简介
桌面云平台是中国首发的一体化企业级虚拟化平台,它融合了企业级
的服务器和桌面虚拟化的功能和优势,通过统一的管理平台全面管理位于
数据中心的物理和虚拟资源,用户仅须要运用价格低廉的云终端或传统
PC就可以连接到数据中心中的Windows或Linux桌面,甚至是服务器
桌面,并获得类本地PC的运用体验。桌面云平台为企业部署桌面云供
应了所需的全部功能,它致力于帮助企业利用有限成本,最大化IT资源
的效率和利用率,最大限度帮助企业构建最具敏捷性的基础架构平台,帮
助管理员有效管理困难的企业桌面环境。
借助于桌面云平台可以实现:
♦统一管理:统一的web管理平台实现对服务器和桌面虚拟化的统
一管理;
♦高可用性:简洁配置即可实现虚拟莫面失效切换,提升桌面SLA
等级;
♦在线迁移:让虚拟桌面在不同物理服务器之间迁移,桌面应用不中
断;
♦系统调度:策略式的系统调度策略使系统资源依据负载自动进行负
载均衡;
♦节能管理:自定义策略降低电源和制冷开销,响应国家绿色节能号
召;
♦镜像管理:创建、管理和供应虚拟桌面镜像,可实现大批量供应桌
面;
♦高级检索功能:大规模桌面部署环境中的快速定位、简化管理;
♦云端传输协议:优化的网络性能,供应类本地PC的运用体验。
3.4.2.L1、桌面云平台架构
桌面云平台是一个一体化的企业级虚拟化平台,主要由桌面云虚拟
化主机、桌面云管理平台、桌面云连接协议套件三人核心组件组成,用户
通过云端传输协议去连接虚拟服务器和桌面,并为用户供应一流的管理和
WebBrowserWebBrowser
CLIShellRESTAPI
AdministratorPortalUserPortal
DirectoryService
PostgreSQL
CTVP
orRDP
HypervisorHypervisor
运用体验。其系统架构与组件如下图所示:
♦桌面云虚拟化主机:简称CTVN,以内核虚拟机技术KVM为
基础,是精简、平安、高效的虚拟基础架构平台。
♦桌面云管理平台:简称CTVM,是一个综合性的统一web管理
限制台,通过它可以查看和管理物理和虚拟化环境内的全部组件和
资源,如物理的主机、存储和网络以与虚拟的模版、镜像、虚拟机,
同时能简洁通过此单一限制台对虚拟化资源进行综合管理,如虚拟
桌面的全生命周期管理和限制、高级检索、资源调度、电源管理、
负载均衡以与高可用和线迁移等功能。
♦桌面云协议套件:简称CTVP,它是一项高性能的远程网络通
讯协议,为用户通过云端传输协议访问虚拟桌面获得一样性的桌面
访问体验。
3.4.2.L2、桌面云平台具有在线迁移、HA、数据备份等高级特性,可
保证整合后平台的稳定牢靠运行。决数据平安问题
•桌面和数据总是驻留在数据中心,终端只显示影像,没有任何实际
业务数据传输到桌面
•终端与数据中心之间的通讯和影像传输已加密且可控
•各虚拟桌面之间相互隔离,互不影响
•远程映射USB设备进行管控和审计
•应用安装限制,上网行为限制,实现集中平安管控
•集中的病毒木马防护,从数量较少的网关处限制互联网平安
•统一的平安互联网出口
3.4.2.2、基础架构提升数据的平安性
•底层平安性:虚拟OS托管在高平安性的Linux之上
•系统高可用性:通过集群动态均衡技术和自动迁移技术,在不影响
用户运用和数据牢靠的状况下,允许1/3的服务器宕机
•高牢靠服务器,冗余电源与高效的散热设计;多网卡配置供应数据
传输冗余
•可用性达99.999%的存储系统,限制器冗余,高级容灾备份,存
储加密技术
3.4.2.3、集成的桌面平安管理特性
•平安准入限制:未知终端准入限制,终端用户认证管理,终端平安
准入限制
•行为平安管控:闲聊行为,上网行为,网络应用运用;OS操作行
为,文件操作,p2P下载
•桌面平安管理:资产管理,外设管理,终端加固;异样监控,违规
外联
•数据平安管理:文档信息加密,移动介质管理;数据平安销毁,敏
感信息检查;数据备份与复原
・平安审计管理:即时通讯审计,上网行为审计;邮件审计,OS与
文件操作审计;文件输出审计
3.5、平安设计
本项目将以天云趋势的平安产品作为平安支撑,天云趋势服务器虚拟
平安解决方案针可对CitirxXenServer虚拟平台供应无代理的平安防护
措施,在每台物理机中应用一台虚拟机安装趋势Elastershield的
virtualAppliance插件,就为每台虚拟主机的多层次平安防护,包括:
防病毒功能、访问限制功能、虚拟补丁、攻击防卫、完整性监控等。部署
Elastershield后模块后,无需在虚拟主机操作系统中Agent程序就可以
实现基础的多种防护功能。
•访问限制
传统技术的防火墙技术常常以硬件形式存在,用于通过访问限制和平
安区域间的划分,计算资源虚拟化后导致边界模糊,很多的信息交换在虚
拟系统内部就实现了,而传统防火墙在物理网络层供应访问限制,如何在
虚拟系统内部实现访问限制和病毒传播抑制是虚拟系统面临的最基本平
安问题。
天云趋势Elastershield防火墙供应全面基于状态检测细粒度的访
问限制功能,可以实现针对虚拟交换机基于网口的访问限制和虚拟系统之
间的区域逻辑隔离。Elastershield的防火墙同时支持各种泛洪攻击的识
别和拦截。
・入侵检测/防护
同时在主机和网络层面进行入侵监测和预防,是当今信息平安基础设
施建设的主要内容。然而,随着虚拟化技术的出现,很多平安专家意识到,
传统的入侵监测工具可能没法融入或运行在虚拟化的网络或系统中,像它
们在传统企业网络系统中所做的那样。
天云趋势Elastershield可以对系统交换机或端口组进行管理,这时
虚拟的IDS传感器能够感知在同一虚拟段上的网络流量。Elastershield
除了供应传统IDS/IPS系统功能外,还供应虚拟环境中基于政策的
(policy-based)监控和分析工具,使Elastershield更精确的流量监控、
分析和访问限制,还能分析网络行为,为虚拟网络供应更高的平安性。
天云趋势Elastershield利用虚拟机在虚拟系统中占用更少的资源,
避开过度消耗宿主机的硬件实力。
•虚拟补丁防护
随着新的漏洞不断出现,很多公司在为系统打补丁上疲于应付,等待
安装重要平安补丁的维护时段可能是一段艰难的时期。另外,操作系统与
应用厂商针对一些版本不供应漏洞的补丁,或者发布补丁的时间严峻滞
后,还有最重要的是,假如IT人员的配备不足,时间又不充裕,那么系
统在审查、测试和安装官方补丁更新期间很简洁陷入风险。
天云趋势Elastershield通过虚拟补丁技术完全可以解决由于补丁导
致的问题,通过在虚拟系统的接口对虚拟机系统进行评估,并可以自动对
每个虚拟主机供应全面的漏洞修补功能,在操作系统在没有安装补丁程序
之前,供应针对漏洞攻击的拦截。天云趋势Elastershield的虚拟补丁功
能既不须要停机安装,也不须要进行广泛的应用程序测试。此集成包可以
为IT人员节约大量时间。在平安管理平安域中建立平安管理中心,是有
效帮助管理人员实施好平安措施的重要保障,是实现业务稳定运行、长治
久安的基础。通过平安管理中心的建设,真正实现平安技术层面和管理层
面的结合,全面提升用户网络的信息平安保障实力。
3.6、计算资源池设计
3.6.1.计算资源池技术路途
计算资源池承载私有云中的全部业务系统的计算需求,在进行计算资
源池设计时,须要留意的两点:
1.依据先进可用的原则,既要保证整个计算平台的运行稳定,又不能
过多的追求高性能,要做到合理选型,合理安排。
2.尽量的利旧,现有可用资源可以依据后续须要设计到整个计算平台
中,防止奢侈。
在服务器选型方面要符合以下几方面的要求:牢靠性、可用性、可扩
展性、易用性、可管理性。
牢靠性
衡量服务器牢靠性的主要指标是平均失效间隔,发生故障时间越少,
服务器的牢靠性越高。对于牢靠性要求很高的业务来说,即使是短暂的系
统故障也会造成难以挽回的损失,所以在服务器的选择上,牢靠性为一项
重要的衡量指标。
可用性
可用性是通过系统的牢靠性和可管理性等一些指标来度量的。通常用
平均无故障时间来度量系统的牢靠性,用平均修理时间来度量系统
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年网络安全初级认证考试题集
- 2026年分析检验员面试常见问题及解答
- 临床治疗面神经炎中成药物适应症、禁忌症及用法
- 2026年针灸推拿理论知识
- 2026年会计初级职称笔试仿真题解析
- 2026年销售员业绩考核方案
- 2026年趣味医学知识问答
- 2026年消防工程师考试仿真题及答案
- 2026年中国乳品评鉴师认证考试模拟试卷精
- 2026年采购经理岗位笔试题库
- 扒渣机培训课件
- 2025年山东省中考道德与法治试卷真题及答案(精校打印版)
- 2025年湖南普通高中学业水平选择性考试生物真题及答案
- 2025年全国统一高考数学试卷(全国一卷)含答案
- 2024北京重点校高一(下)期末数学汇编:立体几何初步章节综合(解答题)
- 酒瓶清理合同协议
- 高中主题班会 守好钱袋子护好幸福家课件-高三下学期防范非法集资宣传月主题班会
- 小学无神论教育主题班会
- CNAS-CC143-2018 业务连续性管理体系审核及认证的能力要求
- 2023年河北省高考化学试卷(答案卷)
- 小学防性侵学习心得体会
评论
0/150
提交评论