版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
云计算解决方案
建议书
前言
浪潮公司非常荣幸能参加本次贵单位云计算建设项目建议。作为国内最大专业服务器、
存储产品及领先云计算解决方案供应商,浪潮为国内政府、教诲、科研、金融、电信、公共
事业等重要顾客提供一流服务器、存储产品、技术和服务,有着领先技术以及近年实行经验。
在本方案建议书中,浪潮公司推荐了一套先进信息系统方案,考虑了系统实用性、高可用
性、安全性、可管理性以及灵活扩展能力。浪潮公司凭借先进技术和出众支持服务,相信通
过双方合伙,可使本项目顺利实行,从而为顾客提供一种完善、安全、高可用业务运营环境,
并进•步建立长期和谐合伙关系。
浪潮公司关注到此项目重要性,现已紧锣密鼓开展本项目支持工作,并将全力以赴配合项
目进行。咱们目的是,依托浪潮在软硬件产品应用丰富经验,充分与贵单位沟通、合伙,枳
极整合公司各项资源,为贵单位提供最佳产品方案,推动贵单位云计算建设。
第一章需求分析
贵单位数据中心是信息化建设重要部门,为了能更好发挥信
息技术在顾客应用中作用,必要运用先进技术手段实现信息
管理科学化和信息化。通过与贵单位信息部门有关领导和技
术人员进一步交流,浪潮对本次贵单位云计算建设项目有了
较为详实理解。
1.1某部信息中心现状分析
当前,贵单位信息中心IT基本架构是典型分散式架构。即各应用使用独立服务器,
WEB.MAIL、FTP、域控制器、0A系统、数据备份等各个应用间互相独立。在此后将进一步
开发和上线其她应用和综合分析等应用。因而,需要规划和建设立足当前,面向将来灵活而
强健系统架构.
•但是当前n•基本架构无法支持实现这些目的和耳。因素如下:
•以应用为单位建设系统,主机、存储等系统构件各异,所使用应用软件均基于不同
平台开发,管理上各有不同单点工具比较复杂;
•系统扩充上无法统i规划,系统资源无法共享;
•增长应用时,需再一次完全规划系统,势必导致重复购买,总体拥有成本较高:
•各系统独立,导致数据形成孤岛,难以共享;
难以实行统一备份,数据抽取和远程容灾等高档应用。
1.2构建综合数据存储系统必要性
1、数据集中化
3.核心数据统一备份管理。
存储网络采用当前主流FC-SAN架构,保证数据安全性和可扩展性;LAN-FREE备份方式,在
不占用网络带宽状况卜,完毕数据备份,为顾客节约有限网络带宽资源。
第二章云计算技术优势
2.1公司级服务器应用挑战
随着信息化不断进一步,在过去几年中,大多数公司都为每种应用服务或每个部门布置
了独立服务器。但是随着业务发展及应用水平提高,原有独立服务器应用模式受到了一定挑
战。
*独立服务器模型成本极高,由于:
*基本构导致本托管、冷却、连接服务器以及为服务器提供电源都会随着服
务器数量增长而导致成本大量增长。仅服务器电力需求•项就占总成本•大块,
预计数据中心1C00台服务器电力成本每年都在45,000美元以上。
*硬件成本每年服务器在容量和计算能力上都呈增长趋势。随着服务器变得
越来越强大,最大化运用这些超强资源也变得更加困难。IT组织和应用服务顾
客习惯为每个应用服务布置一台独立服务器以保证完全控制该应用服务。几平
在所有状况下,布置这些功能祖大服务器将会使服务器过剩50500%o
*软件成本普通服务器需要从操作系统或应用软件厂商那里获取允许证与支
持。
管理成本迄今为止,管理成本是服务器成本中最大一种某些,分析专家预计管理成本占
服务器总拥有成本50-70%。IT技术人员不得不对软硬件进行升级、打补丁、备份以及修复,
布置新服务器及应用,维护顾客账户并执行许多其她任务。随着服务器数量增长,11部门发
现她们面临着满足有关服务器管理需求挑战。
*除了上述成本,今天IT组织还面临着如下问题:
*高复杂性大多数IT部门支持许各种操作系统。仅Windows就以广泛布
置4个重要产品且每种产品有4种不同版本。Linux和UNIX服务器可以布
置许多不同软件厂商各种不同类型和版本。在IT部门添加需要应用服务具备
相称高复杂性。大多数IT部门无法承担复杂IT基本设施管理软件解决方案;
这些复杂解决方案不是投资回报期过长就是主线得不到投资回报,不能协助公
司自如应对广泛IT挑战。大多数IT部门都以为IT基本设施管理是一种奢侈
品,因而采用管理工具主线无法提高服务器投资回报。
低服务水平许多公司都需要IT部门服务水平(SLA)保证。虽然采用独立主机,也很难
承诺、衡量和报告保障性能指标。
低灵活性既有网络上任何变化都会导致服务中断或停用。随着需求增长,需要将应用服
务服务器转移到更为强大硬件匕这经常会导致长时间宕机。低灵活性直接导致成本与复杂
性增长。除了中断服务风险或经常性应用服务迁移外,更为常用是服务器严重过度供应,这
直接导致服务器运用率大大减少,同步还增长了继续布置更多服务器有关成本。
各种研究总结了由公司IT部门报告各种问题,详细如下:
・增长未充分使用独立主机数量(高成木)
*大多数服务器可用于最坏状况负载方案(高成本)
*关于硬件状态和所有权不完整信息(高复杂性)
.缓慢布置新服务器和服务(高复杂性、高管理成本)
.更改需求响应速度缓慢(低灵活性)
人无法迁移服务器或迁移过程困难(低次活性)
大多数公司面临着高成本、高复杂性和IT基本构造低灵活性困扰。虚拟化和自动化软
件有助于公司解决这些核心问题。
2.2云计算概述
2.2.1什么是云计算
云计算是一种基于网络计算服务供应方式,它以
跨越异构、动态流转资源池为基本提供应客户可自治服
务,实现资源按需分派、按量计费。云计算导致资源规
模化、集中化,增进IT产业进一步分工,让IT系统建
设和运维统一集中到云计算运营商处,普通顾客都更
加关注于自己业务,从而提高了信息化建设效率和弹
性,增进社会和国家生产生活集约化水平。
云计算重要包括两个层次含义:一是从被服务客
户端看:在云计算环境下,顾客无需自建基本系统,可
以更加专注于自己业务。顾客可按需获取网络上资源,
并按使用量付费。犹如打开电灯用电,打开水龙头用水
同样,而无需考虑是电从哪里来,水是哪家水厂。二是
从云计算后台看:云计算实现资源集中化、规模化。可
以实现对各类异构软硬件基本资源兼容,如电网支持
水电厂、火电厂、风电厂、核电厂等异构电厂并网;还
可以实现资源动态流转,如西电东送,西气东输、南水
北调等。支持异构资源和实现资源动态流转,可以更好
运用资源,减少基本资源供应商成本。
2.2.2云计算基本特性
云计算基本特性图
基于网络。云计算是从互联网演变而来,云计算木质通过网络将计算力进行集
中,并且通过网络进行服务,如果没有网络,计算力集中规模、服务种类和可获得性
就会受到极大限制,如集群计算虽然也是基于网络计算模式,但是不能提供基于网
络服务,还不能称之为云计算。
支持异构,涉及异构硬件软件资源。云计算可以构建在不同基本平台之上,即
可以有效兼容各种不同种类硬件和软件基本资源。硬件基本资源,重要涉及网络环
境下三大类设备,即:计算(服务器)、存储(存储设备)和网络(互换机、路由器
等设备);软件基本资源,则涉及单机操作系统、中间件、数据库等。从横向维度
考虑,支持异构资源,意味着在同一时期内,可以采购不同厂商软硬件。对云计算平
台构建者而言,这种形式更为灵活:而从纵向维度考虑,意味着云计算平台既可以兼
容当下采购新设备,也可以兼容此前老设备,既可以兼容当前新软件系统,也可以
兼容此前遗留老软件系统。支持异构基本资源这一特性,在有效运用老资源同步,也
保证了新老资源平滑过渡。
支持资源动态伸缩和流转。支持资源动态伸缩,实现基本资源网络冗余,意味
着添加、删除、修改云计算环境任一资源节点,亦或任一资源节点异常宕机,都不会
导致云环境中各类业务中断,也不会导致顾客数据丢失。这里资源节点可以是计算
节点、存储节点和网络节点。而资源动态流转,则意味着在云计算平台下实现资源
调度机制,资源可以流转到需要地方。如在系统业务整体升高状况卜.,可以启动闲置
资源,纳入系统中,提高整个云平台承载能力。而在整个系统业务负载低状况下,则
可以将业务集中起来,而将其她闲置资源转入节能模式,从而在提高某些资源运用
率状况下,达到其她资源绿色、低碳应用效果0
支持异构多业务体系。在云计算平台上,可以同步运营各种不同类型业务。异
构,表达该业务不是同一,不是已有或事先定义好,而应当是顾客可以自己创立并
定义服务。这也是云计算与网格计算一种重要差别。
支持海量信息解决。云计算,在底层,需要面对各类众多基本软硬件资源;在上
层,需要可以同步支持各类众多异构业务;而详细到某一业务,往往也需要面对大最
顾客。由此,云计算必然需要面对海量信息交互,需要有高效、稳定海量数据通信/
存储系统作支撑。
按需分派,按量计费。按需分派,是云计算平台支持资源动态流转外部特性体
现。云计算平台通过虚拟分拆技术,可以实现计算资源同构化和可度量化,可以提供
小到一台计算机,多到千台计算机计算能力。按量计费来源于效用计算,在云计算平
台实现按需分派后,按量计费也成为云计算平台向外提供服务时有效收费形式。
2.2.3云计算层次架构
云计算层次架构如图所示,可分为硬件、操作系统和云
应用软件,在PaaS方案中操作系统和云应用软件之间,还
会有一层云软件开放和运营平台。
硬件设备位于云计算架构底层,是云计算平台基本。由
于数据中心常会同步采购不同厂家各种设备,且新老设备共
存,因此该领域明显特点就是会存在大量异构设备资源。
云计算中心操作系统,是负责云计算数据中心基本软
件、硬件资源管理监控系统软件。通过基本软硬件监控、分
布式文献系统和虚拟计算,云计算中心操作系统实现了云基
本设施即服务层,通过安全管理中心实现资源多顾客共享数
据和信息安全,通过节能管理中心,有效实现基本资源绿
色、低碳运维。而通过业务与资源调度中心,则实现了云平
台即服务层某些内容。
任靖■也在出小《统电子■珀电71•务
云平台即服务层<Pa.S)
证管环绩
云基R&施卸*务层(la«S)
□计算
g样镰■」•用第虚拟资源池
00*KSIQQ、@
诗翼或着X珞也各
云计算层次架构示意图
2.2.4云计算服务模式
云计算平台操作系统、平台软件和云应用软件三
个技术层次,分别对于云基本设施即服务(laaS)、云平
台即服务(PaaS)、云软件即服务(SaaS)是云计算三种服
务模式。
云基本设施即服务(laaS,CloudInfrastructureas
aService):系统供应商可以向顾客提供同颗粒度可度
量计算、存储、网络和单机操作系统等基本资源,顾客
可以在之上布置或运营各种软件,涉及客户操作系统
和应用业务。
云平台即服务(PaaS,CloudPlatformasa
Service):云计算平台供应商将业务软件开发环境、运
营环境作为一种服务,通过互联网提交给顾客。云平台
即服务,需要构建在云基本设施之上。顾客可以在云平
台供应商提供开发环境下创立自己业务应用,并且可
以直接在云平台运营环境中上运营自己业务。
云软件即服务(SaaS,CloudSoftwareasaService):
运营商通过互联网,向顾客提供软件服务一种软件应
用模式。老式SaaS与云SaaS,在客户体验上基本类似,
如新浪邮箱和Gmail邮箱,客户感受是类似。但老式
SaaS直接构建在硬件设备之上,不能实现后台资源多
租户共享,也无法实现资源动态流转,实际并不属于云
计算范畴。云SaaS,规定这些软件业务运营在云平台服
务层或构建在云基本设施层之上。云SaaS优势,体目
先后台资源动态伸缩和流转上,资源可扩展性更强,这
一重大优势是老式SaaS所不具备。
2.2.5“海纳百川”云计算愿景
毫无疑问,海纳百川云计算,必将对公司运营模式和人
们工作生活方式变革产生重大而深远影响。云计算作为一种
新型资源组织和服务方式,可以如大海汇集溪流普通,灵活
高效连接、汇集、整合各地零散资源,形成规模化化、专业
化资源海洋;同步,云计算中心动态为顾客提供按需即取资
源服务,一如大海,以共享海水支撑各类船舶航行,这深刻
变化着资源专用模式,有效节约了资源,实现了绿色工作和
生活理念。
浪潮但愿通过不断推动云计算发展,让顾客尽快享有到
云计算技术价值,以信息化绿色进程推动社会高效集约化发
展。
2.3云计算价值
云计算(CloudComputing)是可以提供动态资源池、虚拟化和高可用性下一
代计算模式。如果把一种计算资源,例如一台服务器,当作一种小水滴,当诸多资源
汇聚在一起时候,它就形成了计算云,正如咱们不关怀水滴是怎么产生,顾客也不
需要关怀计算资源位于哪台物理服务器上。顾客关怀是需要什么样计算能力,需要
什么时刻拥有这些计算能力。云计算管理平台可觉得顾客提供“按需计算”服务。
1)从资源共享方面。
在整合贵单位信息中心既有软硬件资源基本上建设云计算平台。充分发挥云计算平
台虚拟化计算、按需使用、动态扩展特性,为贵单位各个部门提供计算、存储和信
息资源服务,实现软硬件集中布置.、统建共用、信息共享,避免重复投资。
基丁公计算技术建设公共云•服务平台来运营公司正常运营所需要业务,可以将公司
运维中共性业务某些进行提炼和归纳,并实现,可以保证共性业务实现规范性、安全
性、全面性和稳定性,也避免了公共功能模块多次开发实现所导致冗余挥霍乃至系
统不兼容错误。更重要是公共云服务平台可以提供一系列支撑服务,业务应用子系
统在这些支撑服务基本之上进行开发,大大减少了开发难度和成本,使各部门可以
更加专注于其自身综合、深层次、有关联业务需求,而不是基本设施建设,把精力用
在公司高效运营和公司创新核心点业务需求上,比老式建设模式更好把握业务需求,
将会大大提高公司信息化建设效益。
2)从管理工作方面
政府工作本质就是服务。如果各部门业务应用子系统都是按照“政务云计算”统一
原则进行开发实行、注册布置,可以以便对机关各类业务工作进行原则化管理,从统
一管理角度对系统进行规范管理,而不是各扫门前雪,在大大减少管理成本同步,
也大量节约系统运营成本。
3)从安全保密方面
建设公司云服务平台可以按照公安部级别化安全保护三级建设统一安全支撑环境,
涉及公司正常运营公共服务公共数据都按原则存储在“云”端,内置完整安全:呆密
有关功能组件,并对外提供接口,各业务子系统在“公司云平台"安全机制保护之下,
从而使整个公司IT信息中心安全性得到全面提高,也极大以便各子系统扩展。顾客
可以使用虚拟化终端或者云终端通过加密信道直接访问服务,虽然终端丢失也不会
泄密,最大限度保证数据安全性,有效防止数据泄密以及损坏丢失。
4)从技术实现方面
基于云计算公司公共服务平台可以按照SOA松湖合方式来建设,模块间通过原则
合同实现互相调用和消息传递,这种技术架构较为成熟,具备较好扩展性,可以保
证信息系统技术层面可持续发展,更有助于公司不同服务业务之间信息共享,提高
公司各部门业务之间协同。
5)从原则化实现方面
基于云计算公司公共服务平台可以提供一种原则化建设模式,可以统一制定共性办公业务
原则、管理工作实现原则、技术安全原则、保密安全原则、软硬件技术实现原则等,这对电
子政务原则实行和推广具备重要意义。
2.4浪潮云计算方案特点
公司建设云计算中心具备众多优势,它有助于更有效地运用资源和更出众地管理系统。
浪潮作为国内最大也是最专业服务器及存储厂商,在云计算应用推广也起着模范带头作用。
8月19日,浪潮发布云海in_cloud云计算战略,末发布浪潮自主研发云计算操作系统,4月7
日发布浪潮云计算数据中心smart_cloud集装箱。奠定浪潮在云计算领域领先地位。
浪潮云计算解决方案给公司带来如下明显优势:
1.总拥有成本(TCO)整合与减少
许多应用均在未得到充分运用独立服务器上运营,导致投资挥霍。借助云计算核心技术
之一虚拟化,一-种硬件平台可以运营不同操作系统各种例程,其中每个例程均在自己隔离区
(称为“虚拟机”(VM))中运营,由此共享对硬件资源访问,采用服务器虚拟化技术,顾客可
以将自己各种应用系统整合至一种硬件平台中,大大减少需要投入软件、硬件、维护等成本。
2.工作效率提高
公司IT信息中心升级和更新软件是公司网管员常做一项重要任务。云计算解决方案可
提高开发人员和质量保证人员工作效率。顾客可以使用云计算平台兼容应用软件不同版本。
系统开发人员可以通过在隔离虚拟机上执行测试来缩短停机时间和周转时间,通过云计算
提供虚拟测试环境迅速布置测试环境或者恢复到测试之前状态,从而提高测试效率。如果没
有可靠云计算解决方案,则发生故障内核组件也许导致需要重新安装或重建操作系统。
3.业务系统可靠性提高
由于云计算平台虚拟系统硬件平台无关性,将大大提高了业务系统服务可用性。在实行
云计算之前,如果服务器发生硬件故障,普通要停用1~2天时间,来进行硬件更换。如果运
营虚拟系统服务器发生硬件故障,咱们只需要将备份好虚拟服务器配备文献和虚拟硬盘镜
像文献还原到新服务器匕并恢复:近来•次数据备份,就可以恢曳业务系统正常使用“
4.系统升级迁移平滑过度
某些顾客此前服务器面临过保报废,但愿新购服务器对于老旧操作系统平台支持又无
法完美兼容。使用云计算解决方案,可以在体会新一代服务器硬件优越性能同步,低成本高
效率地满足多操作系统异构平台应用整合,并实现原有操作系统和应用系统到新系统体系
平滑迁移。
5.提高服务器运用率
通过在云计算解决方案中对原有物理服务器整合,将应用进行集中到云计算平台支撑
服务器上,从而提高服务器运用率。云计算解决方案让顾客体验到云计算数据中心带来优越:
更少硬件和维护费用、空的系统资源整合、提高系统运作效率、性价比高,持续产品环境。
使用服务器TCO模型来分类和计算成本,云计算解决方案协助公司实现:
减少28%—53%硬件成本
减少72%—79%运作成本
减少29%—64%综合成本
6.商业持续性解决方案
每年成百上千全球数据中心遭遇重大服务中断。这些商业运营将受到顾客错误,病毒,
硬件故障和自然灾害等问题影响。当前商业持续性处在公司IT方略最前沿,并且从管理层
到CEO所有人都非常注重它。
成功商业持续性方略元素包括:
▲应用程序可用殍划
▲包括监控和平台冗余防止办法
▲数据保护
▲劫难恢复方略
▲有效人员筹划
使用云计算解决方案,IT管理员能改进商业持续性所有方面,例如:
▲由于主备服务器之间硬件独立性,使得劫难恢复更快而耗费不多
▲排除筹划内硬件当机,并明显减少筹划内软件当机
▲管理所有虚拟机和监控宿主机单点控制技术
▲为了实现捕获和恢复,完全把主机压缩到文献里去
▲简化和可重复自动程序
*⑴基于虚拟机集群冗余简化
为了实现高可用性,业务部门使用中间软件例如微软和Veritas集群软件,把两台服务
器绑定在一种热备环境。虽然运营在服务器上应用程序有集群感知能力,万一主服务器遭遇
硬件或软件错误,这样安排依然会导致非应用程序当机。冗余能消除单点失败。
随着IT对公司运作而言变得更加重要,高水平服务普遍成为公司需求,越来越多应用
则被规定高度可用。然而,为了实现如上所述高可用性集群,就像诸多服务器运营应用同样,
公司需要预备和管理两次,
采用云计算核心技术之一虚拟化,IT管理员能在运营重要应用实体机和同等配备虚拟
机上创立集群。在待机状态卜,虚拟机并不消耗计算机资源,并且能以非常高比例整合到一
种或几种实体平台上去。成果,公司不必在硬件数量或管理和安装补丁上投入双倍人力和物
力,从而实现高可用性。冗余方式将由2N变为N+1。
*实体到虚拟集群和实体到实体集群同样都支持同样集群软件。同步,节约成本能为更多
负载实现高可用性并订立更多高水平服务合同。
*(2)不必原硬件数据恢复
大多数IT部门使用惯用备份软件,例如TivoliStorageManager,LegatoNetworker,或者
VeritasNctBackup来创立数据和应用程序备份。既然备份方略能抵抗顾客错误和某些状况下
软硬件故障,比较长恢复时间和多恢复点是能被接受.
然而,为了获得备份所带来好处,业务部门必要保证数据的确能被恢复。
业余备份,专业恢复?
为了测试数据恢复,IT管理员需要为每个已备份主机提供一台测试失败转移服务器,安
装操作系统,安装备份代理,尝试在测试失败转移服务器上调节Windows注册表和其她系
统配备。如果系统调节成功,备份服务器和备份代理才干被用来测试数据恢复。
预制新服务器和调节Windows注册表是一种漫长手工过程并且有时并不也许。这样,
在不同失败转移服务器实现数据恢复是存在疑问。
在云计算解决方案中,这些问题将被虚拟失败转移硬件给解决了。此外,操作系统安
装,备份代理安装和Windows注册表调节只需做一次。此后,一种完整已配备VM
模板将被存储在VM模板库内。云计算平台软件能保证:
▲为劫难后测试和恢复,消除硬件资源方面障碍
▲避免系统和备扮代理安装,用虚拟机模板来缩短恢复周期
*▲用原则虚拟化硬仁,使得劫难恢豆更加可靠和可重更
⑶失败转移服务器整合和自动化
对于关联在存储域网(SAN)上重要应用布置,劫难恢复方略普通包括一种劫难恢复热
站,这个站点有在主备之间完全同步数据复制。这种方略提供很少恢复点对象(PRO)o然
而,出于恢复时间对象(RTO)考虑,恢复时间非常依赖于除了数据恢复之外恢复实体服务
器,操作系统,系统参数和应用程序能力。
为了维持较少恢复时间对象(RT。),硬件和系统同一配备需要被维护在失败转移站
点上。这样配备无论在初始资本投入阶段还是在项目运作,升级,维护和支持阶段费
用都是很昂贵。
这种方案两个明显缺陷在于预制了太多新服务器以及普通没有也许为数据恢复去调
节Windows注册表和对不同失败转移服务器其她系统参数进行配备。布置在整个公
司内云计算构架能保证公司:
▲避免在失败转移站点上停滞不前
▲在主备站点.匕从服务器整合角度来减少投入成本
▲使恢复过程自动化,并实现存储管理软件集成
▲改进恢复过程可靠性
第三章存储方案选取
3.1存储架构选取
当前主流存储架构涉及DAS、NAS、SAN,下面针对3种主流应用系统做架构分析。
直连方式存储(DirectAttachedStorage-DAS)。顾名思义,在这种方式中,存
储设备是通过电缆(普通是SCSI接口电缆)直接到服务器。I/O祈求直接发送
到存储设备。
存储区域网络(StorageAreaNetwork-SAN)。存储设备构成单独网络,大多运用光纤连接,服
务器和存储设备间可以任意连接。I/O祈求也是直接发送到存储设备。如果SAN是基于TCP/IP
网络,则通过iSCSI技术,实现IP-SAN网络。
网络连接存储(NetworkAttachedStorage-NAS)。NAS设备普通是集成了解决器和磁盘/磁盘
柜,连接到TCP/IP网络上(可以通过LAN或WAN),通过文献存取合同(例如NFS,CIFS等)
存取数据。NAS将文献存取祈求转换为内部I/O祈求。
DASNASSAN
图:三种主流存储架构
上述几种存储主机扩展性受到限制,主机和存储连接距
方式优劣势分高受到限制,只能实现网络备份,对业务
费用低:适合于单独服务器连接
析:网络压力较大
DAS
高性能,而扩展性:光纤连接距离远:可
连接各种磁盘阵列或磁带库构成存储池.
易于管理:通过备份软件,可以做到
SAN成本较高
Server-Free和LAN-Free备份,减轻服务器
和网络承担。
安装过程简朴:易于管理:运用既有"网络
NAS不支持数据库应用
实现文献共享:高扩展性。
通过以上对比可以看出SAN具备如下长处:
核心任务数据库应用.其中可预测响应时间、可用性和可扩展性是基本要素;SAN具备
出众可扩展性;SAN克服了老式上与SCSI相连线缆限制,极大地拓展了服务器和存储之间
距离,从而增长了更多连接也许性;改进扩展性还简化了服务器布置和升级,保护/原有硬
件设备投资。
集中存储备份,其中性能、数据i致性和可靠性可以保证核心数据安全;高可用性和故
障切换环境可以保证更低成本、更高应用水平;可扩展存储虚拟化,可使存储与直接主机连
接相分离,并保证动态存偌分区;改进劫难容错特性,在主机服务器及其连接设备之间提供
光纤通道高性能和扩展距离。
当前SAN实现方式重要有FC-SAN和IP-SAN两种,其中FC-SAN采用光纤互换机构建
存储区域网,其传播速度可达8Gb/s和4Gb/s,而IP-SAN采用老式以太网互换机作
为连接设备,其传播速度最高为1Gb/s。
考虑到贵中心数据中心详细应用,咱们推荐使用FC-SAN存储架构,选取8Gb/s存储设备。
3.2数据备份方案
数据中心对数据安全性规定非常高,一旦丢失将会带了很大
损失,因而建议对核心数据进行备份,当前主流备份方式有
本机备份、网络备份和LAN-Free备份,每种备份各有优缺
陷,下面分别对这几种备份方式进行简介和对比:
3.2.1本机备份
在本机备份模式中,磁带库直接接在服务器上,并且只为该服务器提供数据备份服务。
在多数状况下,这种备份大多是采用服务器上自带磁带机,而备份操作往往也是通过手工操
作方式进行。
长处是数据传播速度快,备份管理简朴;缺陷是不利于备份
系统共享,不适合于当前大型数据备份规定。
3.2.2网络备份
网络备份中,数据传播是以网络为基本。其中配备一台服务器作为备份服务器,由它负
责整个系统备份操作。磁带库则接在备份服务器上,在数据备份时备份对象把数据通过网络
传播到磁带库中实现备份,
网络备份长处是节约投资、磁带库共享、集中备份管理,缺陷是网络传播压力较大。
F
阵列/磁带库
3.2.3LAN・Free备份
LAN-Free备份是在SAN环境中进行,是指数据不通过局域网直接进行备份,即顾客只需
将磁带机或磁带库等备份设备连接到SAN中,各服务器就可把需要备份数据直接发送到共
享备份设备上,不必再通过局域网链路。由于服务器到共享存储设备大量数据传播是通过
SAN网络进行,局域网只承担各服务器之间通信任务,而不是数据传播。
LAN-Free备份不但可以使网络流量得以转移,并且它运转所需系统资源低于网络备份方式,
这是由于光纤通道连接不需要通过服务器TCP/IP栈,并且某些层错误检查可以由光纤通道
内部硬件完毕。
因而,LAN-Free备份具备备份速度快、网络传播压力小长处,并且具备LAN备份所拥有数据
备份统一管理和磁带库资源共享长处,LAN-Free备份缺陷是成本高。
备份方式对比:长处缺陷
备份方式
本机备份备份速度快备份资源不能共享,不适当多主机环境
网络备份集中备份,充分运用磁带库资源备份过程占用某些网络带宽
LAN-Free备份备份速度快.不占用网络带宽,集中备成本高
份,磁带库资源共享。
综合以上对各种备份方式对比分析,结合贵单位本次数据中
心建设应用及对数据安全性考虑,浪潮建议采用LAN-Free
备份方式对数据进行备份,当计算机软硬件发生故障时,运
用备份进行数据库恢复,以恢复破坏数据库文献、控制文献
或其她文献,保证顾客业务持续性。
3.2.4光纤SAN存储优势
存储局域网络SAN(StorageAreaNetwork)以其突出优势,逐渐为人们所理解并采用。
所谓SAN,是在以太网之外建立一种存储网络,服务器和存储设备均连接到该网络中,架
构如下图:
LAN画域网)厚
uzz第_网二^
E-b存储区楚网〜.
存储子系统rs匀
SAN具备如下长处:
核心任务数据库应用,其中可预测响应时间、可用性和可扩展性是基本要素;SAN具备
出众可扩展性;SAN克服了老式上与SCSI相连线缆限制,极大地拓展了服务器和存储之间
距离,从而增长了更多连接也许性;改进扩展性还简化了服务器布置和升级,保护了原有硬
件设备投资。
集中存储备份,其中性能、数据一致性和可靠性可以保证核心数据安全;高可用性和故障切
换环境可以保证更低成本、更高应用水平;可犷展存储虚拟化,可使存储与直接主机连接相
分离,并保证动态存储分区;改进劫难容错特性,在主机服务器及其连接设备之间提供光纤
通道高性能和扩展距离.
当前SAN实现方式重要有FCSAN和IPSAN两种,其中FCSAN采用光纤互换机构建存储区
域网,其传播速度理论值最高可达8Gb/s,而IPSAN采用老式以太网互换机作为连接设备,
其传播速度理论值可达IGb/soFCSAN优势很明显,在对数据传播速度和可靠性规定较高
应用环境,有着IPSAN无法比拟优势。
第四章某部云计算解决方案
4.1贵单位云计算建设方案
4.1.1整体解决方案物理拓扑图
4.1.2方案阐明
整个方•案采用A计算核心技术虚拟化+四路四核服务器,配合后端FC-SAN存储实
现。采用云计算操作系统软件,将两台四路四核服务器组建HA集群,并配合DRS及VMotion
等高档功能,实现业务持续性,减少筹划内宕机时间,提高资源运用率。
本方案采用两个公司级四路服务器作为贵单位核心数据库平台。满足数据库应用高可用
性,消除单点故障,增强可恢复性,同步,具备错误检测功能。采用数据库双机方案也增强了
应用可扩展性,不断满足叱务不断增长需要。浪潮英信服务器NF8560定位于中高品位四路
服务器市场,采用全新因特尔QPI迅速互联通道互联架构配合因特尔志强7500系列解决器
及SAS6Gbps高性能磁盘控制器,使系统联机解决性能提高2.5倍以上,数据库性能提高3
倍以上,更加合用于基本架构、数据库核心应用。
本方案中云计算平台管理服务器即安装云计算平台管理软件服务器,重要功能是
建立各个云计算计算节点服务器之间联系功能服务器;顾客通过云计算平台管理客户端来管
理云计算平台,同步也实现远程管理,可通过笔记本等设备实现远程管理。
为了保障业务运营高性能和可持续性、可扩展性,咱们选取了FC-SAN模式。一方面,云
计算计算节点服务器通过两块HBA卡全冗余8Gb光纤互换机连接全光纤存储产品,实现从
服务器到存储设备途径完全冗余,数据链路高品质性能保障:另一方面,在保证物理链路连
通同步通过存储链路冗余软件来保证逻辑冗余性;第一:,在基于FCSAN存储guestos(客
户应用)可通过云订•算平台架构实现HA(FailOver),DRS(DistributedResourceScheduler)
和vmotion(LiveMigration)功能来保证业务可持续性云口可扩展性。
在保障了客户应用状况下,咱们可以注意到存储成为一种核
心核心点,如果存储浮现问题也将导致整体业务不可运营,
为此咱们在存储选取上双控制器,多解决器,高可靠光纤
8Gb存储成为首选。基于此咱们对业务物理特性有了保障。
处在对于客户业务系统安全性考虑,建议对所有客户应用数
据做统一备份解决。
在数据统一备份解决上,基于咱们虚拟机文献驻留在共享
SAN存储上,可以使用存储区映像来备份虚拟机文献,这样
做不会在运营虚拟机云计算计算节点主机上引起任何额外
负载。而统一备份功能可以满足缩短虚拟机备份时间,移除
客户应用服务器上备份工作负载,以及从中央服务器中执行
备份工作。而统一备份工作流程是从运作中主机剥离磁盘,
将磁盘链接到专用统一备份服务器上,然后备份磁盘中恰当
文献,只但是原始主机仍能看到该磁盘并能正常工作。通过
此办法可以对整个虚拟机可封装在一组离散文献中特性加
以更好运用;同步咱们原有IPSAN存储也得到较好使用,保
障客户投资是健康有益。
4.1.3应用拓扑
4.1.4SAN集中存储架构
为了达到系统故障迅速切换,本方案中配备后端共享存储,以实现动态HA和迁移,咱
们配备一台IP-SAN存储,这样可以将云计算平台中每个虚拟机文献系统创立在共享SAN集
中存储阵列上,方案采用云计算操作系统vmware作为云计算平台平台支撑软件。VMware
VMFS虚拟机文献系统,是一种高性能群集文献系统,容许各种云计算计算节点同步访问
同一虚拟机存储。由于VMware虚拟架构系统中虚拟机事实上是被封装成了一种档案文献
和若干有关环境配备文献,通过将这些文献放在SAN存储阵列上VMFS文献系统中,可以
让不同服务器上虚拟机都可以访问到该文献,从而消除了单点故障。系统支持一台故障后,
迅速切换到另台功能,切换时间大概在0-10分钟以内。
SharedStorage
4.1.5集中管理与自动化
为了对服务器虚拟架构进行有效管理和监控,方案中建议将一台老服务器配备为独立
Windows服务器来做为云计算平台套件VI4.1云计算平台管理服务器,云计算平台管理服
务器VC服务器为IT环境提供了集中化管理、操作自动化、资源优化和高可用性。基于虚
拟化分布式服务为数据中心提供了前所未有响应能力、可维护性、效率和可靠性级另
J辞J
PliytkAl
如下VC附属产品提供了资源优化和高可用性特性,
使用VMwareDRS将可用资源与预定义业务优先事务协调起来,同步使用VMware分布式资
源调度程序优化劳动力密集型和资源密集型操作。
JgJ
PhyilcaiServers
•使用VMotion,M迁移运营中虚拟机和执行无中断IT环境维护。
•使用VMwareHA实现经济高效、独立于硬件和操作系统应用程序可用性。
日日日日日日日日日;
Rosourc*Pool
位JJ
FhyaicalSerwrt
VC提供了管理任意规模虚拟IT环境所需最高档别简便性、效率、安全性和可靠性。
4.1.6统一整合备份管理
通过使用云计算平台套件VI4.1中包括VMwareConsolidatedBackup软件,可觉得虚拟服务器
提供易于使用、集中化备份工具,它使虚拟机内容可以从一种集中Windows代理服务器(而
不是直接从云计算计算节点)中进行备份,它可与其她商业备份软件完美协调工作,由于只
需要在备份代理服务器上配备商业备份软件Agent,而不是象老式服务器群方式下,每台服
务器都需要配备备份软件Agent,因而可以大幅节约顾客购买这些Agent费用。
VMware整合备份(VCB)
任何时候都可以进行备份
功能
•集中化备份无需代理的虚拟机
优势
•减少备份代理的数量和成本
•消除生产虚拟机的备份负载
・充分利用虚拟机快照和SAN技术
和第三方的备份软件无缝集成
4.1.7光纤FC-SAN优势分析
普通来说IP-SAN存储设备磁盘控制器不是采用FC-SAN存储设备中硬件RAID芯片+
中央解决器构造,而是采用每个磁盘柜中分为各种磁盘组,而每个磁盘组由一种微解决芯片
控制所有磁盘RAID操作(采用软件计算,效率较低)和RAID组管理操作。这样一来,每一
次磁盘I/O操作都将通过IP-SAN存储内置一种类似互换机设备从前端众多主机端口中读取
或者写入数据,而这些操作都是基于IP互换合同,其合同自身就规定每一种微解决芯片工
作时需要大容量缓存来支持数据包队列排队操作,因此普通咱们看到IP-SAN存储都具备几
十个GB缓存。运用这个大缓存区,1P-SAN存储在测试Cache最大读带宽时可以获得
60(),000IOPS甚至以上这样高值,但是这个值并不能真正阐明在实际应用中就可以获得好性
能。由于在具备海量存储时候,不也许所有数据均载入到系统缓存中,这个时候就需要大量
磁盘I/O操作来查找数据,而IP-SAN存储所采用SATA磁盘在这一块切切性能非常弱,并
且还涉及到一种在IP网络上流动iSCSI数据向ATA格式数据转化效率损失问题。也就是说
IP-SAN存储存在•种缓存Cache到磁盘数据I/O和数据解决瓶颈。
而采用FC磁盘FC-SAN存储设备就不存在这样问题。通过2条良:至4条冗余后端光纤
磁盘通道,可以获得一种丰常高磁盘读写带宽,并且FC磁盘读写合同不存在一种数据珞式
转换问题,由于她们内部采用都是SCSI合同传播,避免了效率损失。并且FC-SAN存储设
备由于光纤互换和数据传播高效性,并不需要很大缓存就可以获得一种好数据命中率和读
写性能,普通2Gb或者4Gb即可满足规定。此外由于具备专门硬件RAID校验控制芯片,因
此磁盘RAID性能将比软件RAID性能好诸多,并且可靠性更好。
从连接拓扑构造来看
在FC-SAN中存在着其灵活连接方式,可依照不通应用需求而选取不同连接拓扑,其
重要连接方式有如下三种:
点对点:••方面各个构成设备通过登陆建立初始连接,然后即采用全带宽进行工作,其
实际链路运用率为每个终端光纤通道控制器以及发送与接受数据可获得缓冲区大小来决定。
但其只合用于小规模存储设备方案,不具备共享功能。
仲裁环:容许两台以上设备通过一种共享带宽进行通信与交流,在此拓扑构造中,任意
一种进程创立者在发送一段报文之前,都将一方面与传播介质就如何存取信息达到合同,因
而所有设备均能通过仲裁合同实现对通信介质有序访问。
全互换:通过链路层互换提供及时、多路点对点连接。通过专用、高性能光纤通道互换
机进行连接,同步可进行多对设备之间点对点通信,从而使整个系统总带宽随设备增多而相
应增大,在增多同步丝亳不影响这个系统性能。
在IP-SAN中基于以太网数据传播与存取中,虽然在物理上可体现为总线或者星型连
接,但其实质为带冲突检测多路载波侦听(CSMA/CD)方式进行广播式数据传播总线拓扑,
因而随着负载以及网络中通信客户端增长,其实际效率会随着相应减少。
从网络设备及传播介质来看
rc-SAN:使用专用光纤通道设备
在链路中使用光纤介质,不但完全可以避免因传播过程中各种电磁干扰,并且可以有效
达到远距离I/O通道连接
在FC-SAN中所使用核心互换设备-光纤互换机均带具备高可靠性及高性能ASIC芯片
设计,使整个解决过程完全基于硬件级别高效解决。
同样在连接至主机HBA设计中,绝大多数操作独立解决,完全不耗费主机解决资源。
IP-SAN:使用通用IP网络及设备
在传播介质中使用铜缆、双绞线、光纤等介质进行信号传播,但在普通便宜介质存在信
号衰减严重等缺陷,而使用光纤也同样需要特有光电转换设备等。在IP网络中,可借助IP
路由器进行传播,但依照其距离远近,会产生相应传播延迟。
核心使用各种性能网络互换机,受传播合同自身限制,其实际解决效率不高。
在主机
端普通
使用便
宜各种
信号传播校验方
速率网连接模式数据通道特点传播延迟传播距离RAID方式
式
卡,大量
耗费主
机应用
解决资
源。
可得出
如下光
纤通道
(FC)与
网络
(IP)对
比表,该
对比表
可清晰
表白使
用光纤
通道进
行大数
据量信
息存储
传播与
解决中
在其性
能有着
网络在
现阶段
无法比
拟优势。
类型
光纤通道连接业务物理电路可靠硬件传播高速低延迟较短距离基于硬件
网络(IP)无连接逻辑电路不可靠传播高连接更高延迟更远距离基于软件
从存储可以响应并发嫌作能力来看
从应用上来说,相对于IP-SAN,FC-SAN可以承办更多并发访问顾客数。当并发访问
Storage顾客数不多状况时,FC-SAN对比IP-SAN两者性能相差无几。但一旦当外接顾客数
呈大规模增长趋势时,FC-SAN就显示出其在稳定、安全、以及高性能传播率等方面优势,不
会像IP-SAN由于自身传播带宽瓶颈而导致整个系统被拖垮。面对大规模并发访问,无论是
从外接顾客数规模来说还是从传播性能和稳定性来说,FC-SAN均有着IP-SAN不可比拟优
势。
存储区域网中设备稳定性比较
FC-SAN由于使用高效光纤通道合同,因而大某些功能都基于硬件来实现,如后端存
储子系统存储虚拟通过带有高性能解决器专用RAID控制器来实现,中间数据互换层通过
专用高性能ASIC来进行基于硬件级互换解决,在主机端通过带有ASIC芯片专用HBA来
进行数据信息解决。因而在大量减少主机解决开销同步,也大大提高了整个FC-SAN稳定
性。
IP-SAN使用通用IP合同,而所有合同转换及解决时,绝大某些依赖于软件来实现,而
软件不稳定性因素也随软件复杂度增长而呈指数级增长,从而在大型网络中,整个系统稳定
性也会随之减少。
存储区域网可扩展性比较
在全互换(FC-SWFibreChannelswitchfabric)FC-SAN中,各通信终端通过FC端口登
陆日后进行数据传播与解决,而每个端口会提供专用24位FC端口地址(WWN)来进行数
据通信,依照其地址分派方略,在FC-SW中实FC-SAN与IP-SAN比较际可用地址值达到
1550万,因而在实际公司级应用中,完全可以满足任何规模存储网络建立。
同步在FC网络中,由于所有介质均选用光媒质来进行传播,因此其设备均具备热插拔
能力,因而不论在已有或者新建立FC-SAN网络里可在线完全非中断应用状况下对既有
FC-SAN网络进行扩展,如增长新服务器、增长新存储空间等等,并且完全不影响已有系统
性能。
在IP-SAN中由于借助原有IP网络,因而在其网络连接拓扑也同样具备好可扩展性。但
在使用IP存储时,由于普通使用了专有存储虚拟软件,所有存储分派与虚拟均通过软件来
实现,因此在进行存储扩展时,很大限度取决于存储虚拟软件设计性能以及架构等等。
存储区域网可靠性比较
FC-SAN设计初衷是基于公司级核心数据以及应用而设计,因而在其兴起、发展直至成
熟,对整个系统可靠性均有着很高规定。在整个系统中,除了自身系统即基于高靠环境中外,
所有设备均采用高可靠性硬件及芯片来设计,并且系统核心部件以及有关所有链路等均可
采用热插拔双冗余设计,如存储子系统冗余控制器、冗余电源等;链路可采用多途径冗余或
者负载均衡等等。另大某些设计是基于硬件,因此以便使用高可靠、高性能嵌入式系统来进
行数据解决。
IP-SAN自身即基于不可靠IP网络,因而其可养性必要在已有软件中增长其可靠性设
计,如增长冗余功能、提供HA模式等等。由于是基于软件设计,因而在功能上会有所丰富
体现,但其可靠性也同样是基于软件复杂度增长而减少,同步也也许会引起性能下降副作
用。
存储区域网可管理性比较
FC-SAN自身即一种开放式独立系统,并存储和解决公司核心数据信息,因而对其有和
良好管理与监控也至关重要。在FC-SAN发展与成熟过程中,无论就其系统某个单独子系
统还是整个FC-SAN系统都与产生了相应丰富管理与监控软件。它们可以提供各种方式连
接,如WEB.RS-232等;各种管理界面,如字符界面、命令行界面、GUI图形界面等;各种
集中或独立灵活管理方式.如C/S方式集中管理、直接本地LED或者远程WEB单独监控、
整个存储子系统设备集中管理与配备或单个模块特定监控等等。
IP-SAN基于IP网络设计,其自身很大一某些也是基于软件实现,因而就其管理性而言,由
于可在己有平台或软件中嵌套、重新设计新管理模块,因此也提供了丰富管理功能及方式,
因而也同样有着好可管理性。
综上所述,更稳定,更成熟,更好开放性,以及更高安全性是FC-SAN相对于万兆IP-SAN
优势。虽然FC-SAN在单路带宽上相对万兆IP-SAN有局限性,但是虽然在高品位应用上,应
用“双路聚合技术”后8GB带宽也完全能满足应用需求,同步高品位应用多数是规定高IOPS,
而IP合同自身特点以及高开销直接影响了其I0PS提高,
4.2方案推荐配备
4.2.1方案推荐配备列表(略)
L服
器
务
预算价数共计价
些
某基木配备
格量格
目
项
4U机架,国有知名品牌★解决器:4颗8核
XeonE7-4820(2.00GHz/8c)/5.86GT/18ML3;芯片组:Intel7500:★内
存:128GB,DDR3ECC内存,实现四路交叉存取,最大支持内存容量不
低于256G,板载内存插槽不不大于32个:★硬盘:3块3.5寸300G15,000
转热插拔SAS硬盘,RAID5,最大支持到10块3.5寸硬盘;RAID:RS0805i
SASRAID,512M缓存,支持RAID。、1、5、6等:I/O插槽:至少3个PCI-E2.0
8X插槽,支持PCI-E2.016X:网络:Intel1000M*2,支持网络加速、
核心唤醒、冗余、负载均衡等高档特性。电源及外设:1+1冗余电源,支持1+1+1
数据冗余电源,W1400N,冗余散热电扇,机架安装导机:DVD光驱:★质量
库服认证:IS09001、IS014001、国家服务器免检证书;管理芯片:BMC+KVM
务器管理芯片:管理软件:中文版管理软件,支持Windows/Linux系统跨平
台管理;跨网段集中管理,可生成资产报表、管理员日记、进程日记等,
支持远程顺序启动服务器,可以远程监控运营状态、多重告警等功能。
★备份还原软件:中文版备份还原软件,自主知识产权(提供证书),支
持windows/Linux操作系统本地及网络备份还原功能;服务:三年免费
整机硬件保修:设备厂商工程师三年免费上门服务:提供设备厂家针对
本项目授权原件。
4L•机架;国有知名品牌★解决器:4颗6核
XeonE7-4807(1.86GHz/6c)/4.8GT/l8ML3;芯片组:Intel7500;★内
存:64GB,DDR3ECC内存,实现四路交叉存取,最大支持内存容量不低
于256G,板载内存插槽不不大于32个;★硬盘:3块25寸300G15,000
转热插拔SAS硬盘,RAID5,最大支持到10块3.5寸硬盘:RAID:R持到5i
云计
SASRAID,512M缓存,支持RAID。、1、5、6等;I/O插槽:至少3个PCI-E2.0
算计
8X插槽,支持PCI-E2.016X:网络:Intel1000M*2,支持网络加速、
算节
唤醒、冗余、负载均衡等高档特性。电源及外设:1+1冗余电源,支持1+1+1
点服
冗余电源,14001V,冗余散热电扇,机架安装导轨;DVD光驱;★质量
务器
认证:1S0900K15014001、国家服务器免检证书;管理芯片:BMC+KVM
NF856
管理芯片;管理软件:中文版管理软件,支持Windows/Linux系统跨平
0
台管理:跨网段集中管理,可生成资产报表、管理员日记、进程日记等,
支持远程顺序启动服务器,可以远程监控运营状态、多重告警等功能。
★备份还原软件:中文版备份还原软件,自主知识产权(提供证书),支
持windows/Linux操作系统本地及网络备份还原欢能;服务:三年免费
整机硬件保修;设备厂商工程师三年免费上门服务:提供设备厂家针/寸
本项目授权原件。
2U机架;解决器:2颗XeonE5620(2.40GHz)/5.86GT/12M/1066(四核)解
决器;内存:8GB,ECCDDR3内存,18个内存插槽,最大144GB,支持三
通道读取硬盘:2块300GSAS15000转3.5英寸硬盘,RATD1,最大支持8
个3.5英寸硬盘或者24个2.5寸硬盘::网络:集成Intel高性能双千兆网
卡,1个100V管理网卡,支持网络唤醒,网络冗余,负载均衡等网络高
档特性,支持I/OAT加
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年边防技能考试题库及答案
- 车间计件工资制度方案
- 2025年核电用阀门闸阀技术十年发展报告
- 数字贸易新业态下跨境服务平台开发与跨境电商法规可行性研究
- 2026年有机肥料智能应用技术革新报告
- 高中道德与法治教育中的法治教育对学生法律意识培养的实证研究教学研究课题报告
- 信访回访制度
- 婴幼儿感冒护理技巧
- 云上智农应用培训课件
- 中国双休制度
- 天津市专升本高等数学历年真题(2016-2025)
- DB23∕T 3314-2022 黑龙江省土壤污染防治风险筛选指导值(试行)
- 2025年福建省年省直遴选笔试真题及答案
- 脚手架安全培训
- 2025年检验检测机构内部质量控制标准模拟考试试题试卷
- 江苏省南京市建邺区2026届物理九上期末复习检测模拟试题含解析
- 2025云南昆明元朔建设发展有限公司第一批收费员招聘20人考试参考试题及答案解析
- 2025年格力安装考试试题及答案
- 教育教学创新大赛课件
- 储能材料与器件课件
- 2025房屋买卖合同范本(下载)
评论
0/150
提交评论