数字智慧方案5330丨集管IT基础设施蓝图设计方案_第1页
数字智慧方案5330丨集管IT基础设施蓝图设计方案_第2页
数字智慧方案5330丨集管IT基础设施蓝图设计方案_第3页
数字智慧方案5330丨集管IT基础设施蓝图设计方案_第4页
数字智慧方案5330丨集管IT基础设施蓝图设计方案_第5页
已阅读5页,还剩66页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

集团IT基础设施蓝图设计方案目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施能力需求,现状及关键发现二云数据中心演进路线综述五IT基础设施架构规划目标,原则及方法一企业自身发展和外部市场的挑战对信息化发展提出了更高的要求随着业务的转型发展,企业面临着越来越多的挑战,同时也处于京津冀一体化的巨大机遇中,故集团信息化建设要满足日益变化的发展需求。加强集团统一信息化建设引入新技术,实现云大物移结合数字化技术,发展智慧园区业务板块以云平台为核心,构建统一敏捷应用平台重大产业基地特色产业园区京津冀一体化巨大市场机会信息化统一基础差新业务模式探索现有架构无法支持业务快速发展应用部署操作系统硬件配置实施设计虚拟化层应用部署操作系统硬件配置实施设计虚拟化层应用部署操作系统硬件配置实施设计虚拟化层传统架构下部署模式校园一卡通智能交通外包应用充分利用CFD丰富资源城市服务业发展模式探索未来服务模式战略探索——园区用户分析BJ企业客户CFD企业客户园区企业较高端交互性要求高,资源需求不高需要提供低延迟和一站式应用服务希望使用高效率、的云应用通过多平台及渠道接入,需要良好的网络环境园区工厂制造业企业需要较大规模的数据处理及存储能力对生产、计算及服务的延迟不敏感主要希望使用平台层应用,例如物联网、智能工厂等接入方式比较固定服务拓展策略面向BJ企业客户,提供高效率、低延迟服务,由于国内各大运营商网络节点安置在北京,建设通讯枢纽,利用北京便利的网络环境调用CFD数据中心资源,支撑云业务。面向CFD企业客户,借助自身资源丰富优势,提供IaaS/PaaS层服务,例如物联网、ERP、智能工厂等。并为作为BJ数据中心强有力支撑。特点特点未来服务模式战略探索——目标定位随着XX的转型发展,IT也在随之转型,致力于通过“平台+服务”业务模式打造一个拥有“核心技术、业务解决方案、具有竞争力的产品与服务”的共赢互利生态圈,在数据中心服务方面,定位为入驻园区企业及京津冀地区高端企业提供差异化的增值服务。XX数据中心产业“十三五”发展规划BJ及CFD数据中心定位及特点BJ数据中心CFD数据中心服务于北京园区内高端企业用户具备完善的网络环境临近首自信,本地运维能力强服务于CFD工业园区工业用户为分公司的重资源低延迟的拥有丰富的资源,可作为北京数据中心拓展后备资源分布式云数据中心建设模式数字化技术和企业发展趋势对基础设施架构核心能力提出新愿景基础设施平台核心能力服务集成大数据分析CLOUD云基础设施架构模式企业数字化应用数据中心(北京+CFD)基础网络存储资源池计算资源池网络资源池数据分析服务集成智能制造(物联网)基于XX私有云的基础技术平台…智能制造平台(物联网)数据架构技术架构新需求敏捷、迅速的业务响应能力模块化的灵活开发部署弹性、动态扩展的平台服务高处理能力和业务稳定性ITOT融合实现互联网+转型云管理平台项目目标:以智慧城市、统一管控、园区服务、智能云为核心目标,通过三个阶段工作,为全面数字化转型规划IT基础设施平台核心能力支撑园区服务业务板块,确保数字化与核心产业链结合,促进产业结构优化升级,助力业务价值的实现承接集团管控应用系统,确保数字化与新管控模式结合,助力模式落地为支撑XX打造城市综合服务商和园区智慧城市的目标,打造园区智能基础设施平台和运营平台,从而实现智慧城市落地支撑新数据中心的建设发展,具备快速交付能力,通过绿色、智慧的创新模式布局新兴产业Ⅰ-智慧城市Ⅱ–统一管控Ⅲ–园区服务Ⅳ–智能云演进路线蓝图设计高阶架构设计基于IT基础设施现状和需求分析,规划基础架构蓝图,规划IT基础设施平台的能力框架,统一云平太能力框架,支撑数据分析,构建高效先进的数字化架构,支撑智能工厂、物联网和传统应用的结合根据业务和应用架构方案,结合资源、成本和时间等因素,规划技术架构实施路线图,定义需要完成的具体项目,以及项目的优先级和重要性;分析项目资源需求和依赖关系;制定详细的项目实施路线图基于蓝图设计,规划IT基础设施各组件的能力和架构,统一云平台的组件能力架构,包括计算、存储、网络、云桌面、SAP云化等。规划原则一

共享的基础设施集团公用应用系统Global-ERP人力资源管理决策支持BI运营商网络BG特有应用系统企业业务BG特有应用系统终端业务BG特有应用系统公共应用服务企业搜索单点登录…数据管理/BI服务元数据管理统计分析…集成平台服务集成B2B…技术平台服务应用中间件数据库…研发IT基础设施数据中心容灾中心网络与接入终端管理与服务产品生命周期管理……知识管理某著名企业办公区域微循环IT工具角色频道沟通协作管控服务服务注册服务监控…计算云存储云基础防护安全运营服务面向客户网络和电脑安全保障边界防护桌面云IT服务运营平台服务共享中心组织建设IT架构建设IT运维生产IT办公IT安全IT组织、流程与能力IT流程建设质量体系建设基础能力建设共享基础设施资源池,统一云平台实现基础设施弹性供应绿色数据中心、统一网络、统一服务运营平台、统一备份容灾架构、标准计算、存储架构在集团范围统一构建高效稳定、高可用、架构灵活、成熟先进的公共IT平台及IT基础设施服务,以满足集团各板块的需求。落地举措平台IT规划原则二IT服务连续性为关键业务相关的IT应用系统及IT服务提供相应的灾备机制设立明确的SLA(服务水平保证)指标,并与业务达成共识落地举措规划原则三IT服务全集团化原则描述原则含义公共IT平台和IT基础设施服务应满足各板块的需求,具备全集团的支持能力在符合网络安全的前提下,全集团用户可以在任何时间、任何地点通过指定设备获取IT服务在IT服务的设计时应考虑全集团各种环境下的需求落地举措统一的IT组织,采用统一的流程保障全集团管控类应用的服务通过统一的运维支撑平台及监控平台,及时掌握基础设施、业务应用系统的运行状态,及时处理存在的问题,保障性能云数据中心体系建设规划方法IT基础设施架构蓝图设计云平台蓝图设计基础架构能力框架蓝图框架设计云平台架构高阶设计演进实施路线基础架构高阶设计成果整合发布数据中心功能设计基础设施高阶设计容灾架构设计云平台管理能力设计顶层设计十三五规划XX云计算规划方法论最佳实践/知识库投资预算分析目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施能力需求,现状及关键发现二云数据中心演进路线综述五IT基础设施架构规划目标,原则及方法一本项目规划以战略规划输入为基础,以方法论和技术展望为指导,参考业界最佳实践,深入挖掘并明确IT基础设施建设的能力需求XX方法论:将利用XX在长期实践中形成的架构框架等成熟的方法论,这些方法论帮助多个大中型客户成功地完成了云转型业界最佳实践与趋势:知识经济时代,企业必须积极寻找和传递知识,以提高效率,增强创新能力。通过借鉴大量成功的业界最佳实践,快速地帮助XX构造云体系信息化战略规划输入:企业战略设立远景目标并进行谋划,具有指导性、全局性、长远性、竞争性、系统性;同时承接应用和数据架构对基础设施需求,使得规划具有明确的目标XX技术展望:近16年以来,XX始终坚持系统化地观察全球商业格局,探索并洞察对企业和行业最具颠覆潜力的新兴技术趋势。将根据技术展望的指导,进行规划行业趋势战略规划输入:通过对战略规划解读,明确新产业模式转型,打造数字园区业务板块,构建云化IT基础设施平台,并具备集团集中管控的能力XX十三五信息化规划数据中心园区业务战略规划战略解读XX打造智能数字园区业务板块构建统一云基础架构平台,支撑集团对整体业务的集中管控云基础架构平台应具备:IT资源集中调配管理安全稳定的保障能力全面服务化能力快速敏捷资源调配十三五信息化规划(节选)应用系统架构对基础设施架构的需求分析应用架构对基础设施架构的需求集成需求:管控业务应用进行集成(包括:应用集成和流程集成),通过集成提高业务流程的效率集成分公司SAP系统到集团统一的SAP平台,进行统一管理和分析集中需求:建立资源集中,支持动态扩展、按需定制、快速响应、统一调配的统一平台,支持行业共性应用的集中化部署运行平台需求:推进应用系统的标准化,实现应用运行环境的平台化逐步扩展平台能力,实现对基础类技术能力的共性化、平台化部署集成需求集中需求平台需求数据架构对基础设施架构的需求分析传输需求存储需求运行需求展现需求数据架构对基础设施架构的需求运行需求:计算中心,提供支持数据中心运营的基础环境计算中心支持行业大数据分析运行容灾中心提供历史数据分析统计运行环境能力展现需求:基于数据中心建立商务智能分析相关技术组件企业门户集成商务智能分析展示界面传输需求:提供板块到集团总部间的数据传输通道提供数据ETL技术组件,支持多种方式的数据抽取转换支持以文件方式进行数据传输的需求存储需求:总部数据中心提供海量数据的存储支持能力容灾中心支持数据中心容灾存储能力XX方法论:规划过程中将参考XX成熟的方法论,包括EA、云计算框架等为本项目提供指导企业架构规划方法体系DevOps应用架构

云能力框架关注企业整体架构的可持续性利用已有的行业工具及框架EA框架从业务由IT驱动逐步向IT带来业务价值转变能力框架模型提供端到端的灵活能力SOA架构体系安全模型、部署架构逻辑环境、执行架构架构编排融合技术和运营框架,提供面向服务的云基础架构定义云平台能力自动部署策略配置管理IT服务管理云环境和既有环境的无缝集成运维监控下一代数据中心模型DevOps应用架构

EA框架SOA架构体系方法论:从方法论中获得的对云化的启发启发12354响应快速无缝接入数据服务应用和企业数据架构模型统一平台管理从需求到交付组织架构的设计及组间的协同机制,提供敏捷交付。随着网络的分布,提供方便快捷地接入能力。数据服务应用设计覆盖数据全生命周期的管理能力。企业数据模型支持相关应用可以精确且轻理并调用和外部的数据。打造一体化的管理平台,提供一站式服务,通过实现端到端的流程整合,实现业务管理的高效性,增强企业业务敏捷性,适应骤变的外部业务形势。公共技术组件独立运作数据服务应用可独立地进行开发、管理和加速。在分散的组件中使用微服务架构和平台使部署、管理和服务功能交付变得更加简单。技术展望:新兴技术趋势正在全面崛起,将深刻影响未来行业发展;根据未来技术趋势规划,保证前瞻性数字时代,以人为本技术展望:从技术展望中获得的对XX的启发启发123海量数据管理,大数据处理能力提供智能高效的平台级支撑新生态、新产业企业正努力提供了海量数据仓库的解决方案以及针对企业应用的大数据分析服务。为支撑未来智能工厂,物联网等先进技术,IT基础设施能提供强大的平台级支撑随着数字化经济的进步,云计算和某著名企业技术的快速发展降低平台的使用成本,消除了技术障碍,而且构成了新的市场格局。业界最佳实践:某能源类集团云基础架构案例启发IT基础设施面向服务化:IT基础设施资源池是软硬件资源的集合,提供动态供应资源的能力,在云计算环境下是推动数字化转型的重要推手之一,对于加强资源管控、实现成本领先具有重要意义云平台运营基于业务实现自服务和多租户:云平台及应用的运营职责划分按照信息部门负责基础的、公共的平台资源维护,云平台用户负责应用本身的维护这一大原则展开。案例特点:跨数据中心实现IT基础资源的整合和自动化以云平台运营组织负责云平台、云服务的管理和维护业界趋势:企业数据中心建设发展趋势数据中心是企业信息系统构建与部署的核心区域,其为企业提供IT基础设施服务,支撑企业业务、流程的正常运转。随着新技术的推陈出新及运营模式的发展变革,企业数据中心从传统离散数据中心逐步转型发展到支撑资源融合、高效利用、服务自动化的分布式云数据中心。单一应用系统需要一整套甚至多套基础设施组件进行支撑,资源利用率低软硬件资源缺乏标准化管理及运维成本高企业数据中心建设发展趋势标准化软硬件资源,整合形成基础设施资源池,建立统一调度的资源分配机制弹性扩展容量,简化管理运维复杂度构建云计算平台实现资源调配的服务化、自动化实现资源申请、扩容及审批流程固化进一步降低建设、管理及运维成本数据中心资源呈现“物理分散、逻辑集中”整合跨地域基础设施资源,实现跨地域数据中心资源的服务化共享业界趋势:IT进化速度必须领先行业需求

结合战略规划输入、企业资产及业界最佳实践,以云管理平台、基础设施架构、安全保障等形成基础架构云平台能力要求业界最佳实践与趋势XX行业展望XX资产战略规划打造智能数字园区业务板块构建统一云基础架构平台IT资源集中管控、自动调配安全保障全面IT服务化基础设施统一化资源池服务化共享云管平台自服务化灵活的IT运营模式资源池化统一统一平台管理敏捷交付能力强大的数据分析XX成熟方法论XXIT基础设施能力要求云管理平台基础设施架构安全保障按需自助服务可测量的服务能力资源池化,实现集中管控在线扩容,故障自动接管敏捷弹性伸缩自动化部署能力广泛的网络访问多租户共享灵活的运营模式高效运维体系可靠容灾架构统一安全认证IT基础设施现状建于2000年,设计目标主要服务于钢铁板块资源可用容量趋于饱和没有统一规划,各个子公司都有属于自己的机房数据中心集团计算和存储主要使用传统物理服务器和存储80%的服务器使用年限超过5年技术传统老旧计算存储集团已建立覆盖全公司的IP网络,基于三层网络交换技术主干局域网是千兆以太网,速度不能支持云平台功能和适应园区业务的多样性发展,如语音,无统一身份认证网络在中长期信息化规划中有安全规划内容,但整体性管理稍差总公司和钢铁板块信息安全管理体制和工作机制比较健全其他板块(非钢)管理相对较弱安全总部和分支机构单独建立资源虚拟化虚拟化平台主要运行订单评审和采购平台等新部署的平台各分版块独立虚拟资源,无共享,动态调配虚拟化基础设施架构调研关键发现云管理平台无统一管理平台,各子公司独立管理,重复建设管控弱,集团对下属公司和整体IT资源管控能力弱无智能化,无自动化按需配置资源能力IT运营模式落后,缺乏先进灵活的云运营模式基础设施架构分散,整个集团的IT资源分散在各子公司,无统一集中资源池资源隔离,无法实现资源动态调度,弹性扩展能力僵化,缺乏自动化部署能力网络缺陷,缺少统一便捷的网络访问安全容灾落后,容灾体系薄弱运维薄弱,尚未建立起统一的运维管控体系安全认证混乱,缺乏集团层面的统一安全认证目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施现状及关键发现二云数据中心演进路线和投资预测五IT基础设施项目目标,规划原则及方法一基础设施架构参考模型基于上述分析结论,充分借鉴智能基础设施参考模型,探索适合未来云数据中心建设的目标蓝图云数据中心体系建设目标蓝图综述数据中心(北京、CFD)目标:建设统一、安全、高效的IaaS和PaaS的相结合技术资源云,探索SaaS层建设方式,为集团应用提供资源基础,形成统一资源池的管理能力和弹性扩展、快速响应、可计量云支撑能力运营模式体系基础设施能力框架云管理平台实现跨数据中心资源整合、服务化封装、动态调拨、集中运维,其包括统一门户、云服务管理、统一运维管理、统一资源管理、统一监控管理等组件。基础设施资源池实现单数据中心内各类物理资源及虚拟资源池的集中纳管、资源全生命周期管理、自动化运维及监控,其包括资源池管理平台、计算资源、存储资源、网络资源4个组件。集团级数据中心基础架构建设能力框架包括云管理平台、基础设施资源池、基础网络架构3个部分。云管理平台基础设施资源池可用、健全的基础网络架构是串联各层级信息系统承载并实现各类型数据高效流转的根本条件,其包括数据中心网络、广域网络和无线网络等组件基础网络架构云管理平台总体能力框架服务处理及资源供应运营管理共享基础设施平台业务服务管理配置管理库/CMDB服务计量XX核心网主动运维资源监控服务运营服务目录服务编排与开通自动化部署规则引擎服务器网络服务规则和服务模型服务集成配置管理联邦资产发现设备工具服务器存储网络用户体验资源管理应用服务级别管理可用性管理性能管理容量管理安全管理IT服务管理服务设计/持续改进1345XX私有云两地三中心传统资源服务集成虚拟资源池开发测试环境安全网络计算存储公有云2外部数据应用安全存储安全网络计算存储IaaSPaaSSaaSBPaaS应用/数据应用/数据PAASSAAS建设内容项目收益最佳实践云能力模型为了更好的指导XX基础设施云的建设,本次规划将参考XX的云能力模型,结合业界云管理平台的最佳实践,制定未来XX云管理平台的能力框架目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施能力需求,现状及关键发现二云数据中心建设演进路线综述五IT基础设施项目目标,规划原则及方法一基础设施资源池高阶设计1云管理平台高阶设计2安全保障体系高阶设计4IT服务运营模式高阶设计3计算资源——服务器分级部署统筹设计的原则为最大限度完成整合及虚拟化,实现弹性的基础资源供应,满足未来应用系统建设部署需求并有力支撑未来云数据中心构建,应采用最优的服务器部署架构,加强标准化建设,统筹开展服务器分级部署设计。首先应结合集团《XX管控信息化现状分析报告》专项成果,依据系统重要性评级标准对未来新建系统进行重要性分级,在此基础上根据3层服务器架构标准,从生产环境、测试环境、开发环境分别入手,针对不同级别系统的服务器部署方案进行统筹设计,形成服务器分级部署矩阵,各级别系统尽量采用标准化的部署模式及设备,同时兼顾个别具备特殊硬件性能需求的系统(如存储密集型系统--数据分析型应用),按需选配硬件资源。据此进一步梳理、完善形成系统分级部署规范,为后续建设提供指导,同时细化形成分等级的服务器设备选型标准,为集中采购提供依据。以下从应用层面、技术层面出发,给出服务器分级部署统筹设计的参考原则,并针对服务器选型及虚拟化平台选型提出参考建议。服务器分级部署统筹设计的参考原则应用层面的考量针对新建系统进行重要性分级:通过识别信息系统特性,清晰梳理每一个信息系统的定位、特点,对系统进行重要性等级划分,为未来服务器分级部署统筹设计提供指导,不同重要性等级的系统因其对安全性、可靠性、处理性能的要求及应用场景的差异,在物理部署方式上选配不同级别的服务器。针对未来新建系统,建议依据信息系统重要性评级标准进行分级,尽量针对各级别系统的服务器部署架构、资源配备选取统一规范。针对已建系统考虑投资保护:从投资保护角度出发,针对目前已完成部署并上线运行的信息系统(现有系统已完成虚拟化迁移),原则上不做调整,个别系统性能、操作使用体验存在问题或需要进行硬件扩展,建议结合实际需求进行相关论证后再进行部署模式上的改进。针对服务器资源池硬件组件进行分级:建议面向UNIX、X86服务器设置明确的分级标准(例如区分高/中/低端产品设备,并兼顾存储/计算密集型系统特性设置特定分级),以此为基础构建多套虚拟化资源池及物理资源池(物理服务器集群),根据不同重要性级别系统的实际部署需要统筹设计服务器部署模式。资源池建设及设备配备应以X86环境、设备为主,UNIX环境、设备为辅。规避单个系统不同环境下的异构风险:开发、测试环境应尽量同生产环境采用相同服务器硬件平台(如统一采用X86架构),以确保系统研发、调试之后在切换上线的过程中能够顺畅进行环境、配置迁移,避免异构系统环境带来的相关技术问题(诸如环境变更引起的变量调整、系统配置更改、软件补丁加装、版本变更等)。服务器容量估算:可采用套装软件厂商的容量估算工具,或参考业界公认的基准测试及发布组织(如TPCC、SPEC等)提供的基于Benchmark的简单估算方法进行系统容量估算,作为服务器硬件采购及资源分配时的参考输入。UNIX服务器部署关键应用:出于性能及可靠性方面考虑,部分承载核心业务的系统建议部署于UNIX服务器资源池中,设备尽量选取统一厂商,避免异构。单个系统部署原则:建议依据典型企业级应用系统三层服务器架构标准(WEB-应用-数据库服务器)合理分配服务器资源,数据库服务器优先考虑部署于基于高端配置的服务器架设的资源池中,应用服务器考虑选用中、高端配置虚拟化资源池,Web服务器选用中、低端配置虚拟化资源池。规避单个系统部署的异构风险:尽量规避X86硬件平台及Unix硬件平台之间异构环境交互可能对未来系统部署产生的影响(例如异构系统间底层传输机制的差异所带来的集成影响),不建议单一系统跨异构环境的部署模式(例如数据库服务器部署在Unix环境下,应用服务器部署在X86环境下)。技术层面的考量建立联系(如:XX重要性级别系统的XX环境下的WEB/APP/DB服务器原则上采用XX架构的高/中/低端资源池进行部署)形成服务器分级部署矩阵按需使用,无预付成本终端设备多样化分钟级部署新系统增强信息安全降低TCO自动资源弹性扩展提高客户满意度降低运维成本云桌面传统IT桌面云架构商业价值桌面云架构桌面云应用优势:基础镜像简单:不用预装多种软件,用户可选便捷管理应用安装和升级减少应用部署难度增强某著名企业性虚拟桌面设计原则设计要求扩展性和性能桌面和应用全集团可用能够按需扩缩资源提供稳定的性能保证提供最小初始标准系统安全集成某著名企业ActiveDirectory终端通信加密(PCoIP)无数据存储在客户端消除连接互联网的风险用户数据加密存储与备份多重用户认证成本低成本的客户端标准化服务低运维成本管理集中管理现有工具和流程整合总公司和分支的AD远程部署软件的升级补丁下线集中监控和报警兼容多种平台,Windows,Mac,IOS,Android存储资源——存储资源池部署参考建议参考示例统一存储资源池建设:利用存储虚拟化技术,将原有4台HP存储吸收到云数据中心的统一存储资源池,实现存储资源的集中管理、统筹规划和共享。敏捷支撑业务发展需求:构建存储横向扩展能力,满足未来影院系统扩容需求合理构建混合存储架构:采用存储分层技术,合理搭配SAS/FC/SSD硬盘,降低总体拥有成本及功耗,减小组网复杂度及管理难度,提升存储性能基础网络架构——集团基础网络建设目标未来集团灾备体系建设及云数据中心建设均需实现虚拟资源的跨数据中心(总部CFD双中心内)全局调度及在线迁移,因此核心交换节点间应逐步形成跨地域的大二层组网架构,考虑采用TRILL/SPB技术或基于厂商成熟产品的EVI、OTV等技术加以实现。集团级基础网络的核心站点(数据中心及集团总部机房)内应采用扁平化架构,减少组网结构层次,采用核心+接入二层结构。为进一步降低总体拥有成本及运营成本,提升内网效率,后端存储网同以太网络应逐步融合,引入FCoE技术及CEE增强型无损以太网。为满足未来大规模二层组网对网络管理简化的需求、提升网络资源利用率(例如去除现有STP生成树协议带来的资源浪费问题),建议集团未来引入网络虚拟化技术,包括交换机堆叠技术、虚拟防火墙技术等,并考虑适时引入SDN技术及相关产品,实现网络资源服务化编排及动态调度。随着虚拟化的大范围应用及计算密度的提升,同时为支撑未来云计算数据中心的建设,核心交换设备应满足全线速无阻塞要求,带宽收敛比应尽量达到1:1,确保线速转发并降低丢包率。优化安全域的隔离和控制,结合等保要求合理划分局域网安全域,同时伴随虚拟化技术的引入,VLAN的划分及访问控制列表需要充分考虑到物理机上不同虚机实例的逻辑隔离、不同物理机间的逻辑隔离为降低接入终端的安全风险,建议引入全集团统一的内网准入控制系统,集团统一下发安全策略,实现内网准入认证、鉴权及终端合规性审查。认证方式可选用基于WEB页面的方式或加装客户端方式,同时可实现有线/无线网络一体化准入控制。考虑引入网络安全统一防护系统(SOC),实现全网安全设备及安全事件的统一管理,集中处理FW、IPS、上网行为审计等各类安全设备的日志集中处理、集中分析及报警,简化安全管理工作。集团基础网络建设目标大二层组网网络安全管理无阻塞网络网络虚拟化扁平化架构统一交换网络为支撑未来集团应用系统部署需求,满足灾备体系建设及云数据中心的演进建设要求,在确保可靠性、可用性等基本要求的前提下,引入网络虚拟化、大二层组网、统一交换网络等先进技术,确保基础网络架构能够提供更加坚强稳固的网络服务,为集团业务发展提供坚实的保障。基础网络架构——数据中心网络参照集团基础网络建设目标,充分分析未来应用系统建设部署及云数据中心的建设需求,明确未来集团数据中心局域网络建设方向。遵循扁平化设计原则,考虑大二层组网、网络虚拟化及统一交换技术的引入,同时考虑应用系统的等保要求,未来集团数据中心局域网络应从逻辑上划分为出口层、核心层、接入层三层架构,在此基础上从物理特性及安全性出发进一步细分为核心区、服务器存储及监控区、存储区、办公接入区、互联网区、DMZ区及外部接入区7个区域。出口层是数据中心网络环境同外部交互的纽带,一方面作为集团总部互联网出口,另一方面负责集团下属单位用户的接入访问及部分服务的对外发布。核心层承接并汇集来自出口层、接入层的流量,作为云数据中心二/三层网络分界,负责集中处理流量的高速转发。接入层包含各安全级别系统的生产/测试/开发环境的接入以及存储网络、办公终端的接入。考虑引入网络虚拟化技术,包括交换机堆叠、虚拟防火墙等,提升网络资源利用率、降低总体拥有成本及管理复杂度。考虑适时引入SDN技术及相关产品,实现网络资源服务化编排及动态调度。核心交换设备应具备大二层组网能力,并能够实现无阻塞交换及线速转发。建议采用核心——接入扁平化结构组网,提升整体网络性能。建议依据系统重要性级别、等保要求,将同一安全级别的系统单独划分安全域,采用VLAN+ACL实现逻辑隔离及访问控制。考虑在关键服务器区部署负载均衡、防火墙,可采用虚拟化技术。考虑引入全集团统一的内网准入控制系统,集团统一下发安全策略,实现内网准入认证、鉴权及终端合规性审查。基础网络架构——数据中心间网络互联模式未来北京数据中心作为系统部署、网络流量的核心汇聚中枢,应充分满足日益增多的集中部署系统的访问性能要求及业务连续性要求,因此应构建可靠、冗余的组网架构,引入大二层、密集波分复用等先进技术,以支撑实现资源的高效利用及远程互备,同时架设云管理平台进行集中管控,面向全集团各层级单位输出优质服务。集团级数据中心间的网络互联包含3种关键模式,分别是三层网络互联、二层网络互联及存储网络互联。二层网络互联在两个数据中心内服务器网络接入层构建跨中心的大二层网络,满足应用容灾和资源调配需求。可采用运营商提供的二层高速网络通道来实现,建议关键应用采用多运营商增加冗余。存储网络互联后端SAN存储网络互联,建议借助DWDM单模光纤密集波分复用通道实现数据中心存储设备的数据异步复制三层网络互联即双中心前端网络互联,主要针对下属单位/外部单位的数据访问请求,采用全局负载均衡设备及DNS技术实现,下属单位通过双中心前端网络访问,当主数据中心发生灾难时,前端网络将实现快速收敛,访问将被路由至灾备中心以保障业务连续性。二层高速网络SDH/MSTP基础网络架构——广域网络需求:根据应用架构规划成果,未来应用系统部署及数据流转均遵循集中汇聚,同时考虑到未来数据中心资源整合、远程交付云服务的需求及集中式灾备的建设,未来集团广域网全网结构需要能够满足应用访问、灾备数据传输及虚拟机跨数据中心迁移的带宽需求实现:集中监控管理及统一安全策略部署、采用简洁高效的流量模型、具备足够的高可用及高可靠性、引入先进技术进行流量调度以提升网络服务质量。广域网架构整体采用双核心、层次化的一网双平面模式,具备良好的可用性、可靠性及扩展能力。为有效承载不断扩增的系统部署需求,未来应在现有基础上持续深化建设,重点关注灾备体系的实现、网络服务质量的提升、安全性的提升(尤其需要考量下属单位网络节点的安全性提升举措及监管举措,以确保整网安全性)。广域网优化建设要点整体策略:依托现有双核心、双平面、层次化的树状结构,整体架构不做大的调整,主要完善网络链路及关键设备冗余建设,同时根据各下属单位系统访问量扩增需求及未来灾备建设、云计算建设进一步论证、测算并逐步扩充广域网带宽,避免广域网成为业务开展的瓶颈。满足灾备建设需求:建议集团总部同数据中心间采用裸光纤互联,为数据级/应用级容灾的实现奠定良好基础,同时各二级单位到异地灾备中心的广域网专线铺设工作,实现总部及各二级单位远程集中数据级/主备应用级异地容灾。三级单位通过专线或VPN方式接入异地灾备中心。网络服务质量提升:在现有QoS策略基础上,考虑采用拥塞避免、DPI(深入报文检测)、ACG(应用流量控制)等技术进行精细化的流量识别及控制,实现基于用户组、用户、协议等多个维度的层次化QoS管理,提升链路带宽利用率。考虑引入BFD、NQA等技术对Hub、Spoke间链路进行探测,减少链路故障倒换时间。为满足未来由集团云管理平台向下属单位远程交付云服务的需求,广域网带宽需在深入分析、测算后进行扩容。无线网络能力设计1任何位置的同样的标准基础设施支持企业用户和客户2通过高性能Wi-Fi的高覆盖和能力支持企业的实时应用(如语音通话,定位)3通过新安全控制并部署无线侵入防护,来提高网络安全防护能力4满足或超越企业安全,监管和高性能需求5通过Wi-Fi网络提供实时洞察力,从而提高企业环境管理和监控能力无线网络部署架构办公大楼1办公大楼2基础设施资源池管理平台基础设施资源统一管理调度、监控及自动化运维:资源池管理平台通过资源管理接口向下(各类型虚拟化平台)发送资源管理指令,代理资源访问操作,实现对单一数据中心内服务器、存储、网络虚拟化/物理资源的管控多数据中心的服务调拨和全局管理:通过开放API接口向上层云管理平台提供资源池内各类管理和监控信息,接受云管理平台的集中控制及服务封装实现平台功能组件1、资源管理接口资源管理接口向各单一虚拟化组件平台发送资源管理、监控、操作等指令。2、虚拟化资源管理实现虚拟机实例管理及虚拟化资源全生命周期管理,主要包括:虚拟机实例操作管理(启动、关闭、暂停、迁移、快照等)及性能监控;虚拟机模板管理、镜像管理;虚拟机资源创建、部署、分配、监控和回收;虚拟机资源动态调整、集群配置、安全等级管理、策略制订。3、监控管理实现针对物理、虚拟资源的拓扑管理、性能监控、告警管理等监控管理功能。4、统计分析实现各资源池运行时状态的集中统计、查询、报表分析及资源池管理平台操作日志的查询和导出。5、自动化运维根据自定义/预置策略及应用实时负载进行资源弹性伸缩调度,同时支持运维流程固化,提供统一待办、故障受理、运维流程自动化执行及可视化监控等功能。6、基于角色的访问控制支持同第三方认证服务器集成,实现针对不同域、不同组织、不同角色的访问控制管理。包括用户管理、密码管理、角色权限管理等功能。7、开放API提供能力丰富且基于标准协议的对外接口,供上层云管理平台集成,实现对资源信息、监控数据的获取及对资源的统一调度操作等。目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施能力需求,现状及关键发现二云数据中心建设演进路线综述五IT基础设施项目目标,规划原则及方法一基础设施资源池高阶设计1云管理平台高阶设计2安全保障体系高阶设计4IT服务运营模式高阶设计3云管理平台建设价值云计算是将可扩展的IT能力作为服务,并依托网络将其提供给终端用户的IT服务模式,用户可按资源使用量、服务等级及服务组合来付费。云计算通过高效、弹性的资源供应方式,快速的IT环境部署,动态满足业务部门不断变化的业务需求,加快业务上线速度。云计算使传统意义上的数据中心从原来的成本中心转变成服务中心,支持向集团输出规范的、有质量保证的服务,降低服务成本、运营成本的同时促进IT部门运维模式发展变革,简化系统建设、运维工作,提升工作效率。建议未来深入探索并应用云计算技术打造云管理平台,其可为集团带来以下收益:缩短系统上线周期云计算的引入能够显著缩短硬件资源、平台环境、应用系统的部署周期,支持各单位在最短时间内以“随需即取”的方式获取系统部署所需的一切服务资源,运维管理团队即可根据服务模板实现远程快速部署和动态调整,减少重复性建设工作,支撑业务的快速发展变化进一步实现绿色节能云计算构建于池化的硬件资源基础上,并进一步实现服务化封装及更高层级的细粒度服务复用,从而相应降低对数据中心机房的电力、制冷、空间消耗,实现机房绿色节能促进运维模式发展变革针对业务部门、下属单位提供自助式服务,需求单位依据定制的云服务目录选取所需的计算资源、存储空间、网络服务、基础平台环境等服务项并提交申请,运维管理团队根据定制成型的服务模板,依靠自动化技术及云管理平台来交付规范的、有质量保证的服务,将传统运维模式转变为以服务为中心的方式,降低系统建设、运维、管理工作量为下属单位信息化建设提供便利下属单位有个别系统建设需求但资金支撑力度不足的情况下,云管理平台能够帮助下属单位完成系统软硬件资源、平台环境的快速部署实现,而无需额外投入大量资金,帮助集团降低总体信息化建设成本,为下属单位信息化建设提供便利,同时帮助提升软硬件基础环境标准化程度云管理平台建设价值云管理平台功能架构——整合云服务管理、资源管理、运维管理等功能云管理平台功能定位:资源整合、服务化封装、动态调拨、集中运维:通过与虚拟化管理平台的集成对接,实现整合云服务管理、虚拟化资源管理、运维管理等功能简化服务,加速上线:面向各部门输出优质服务,业务部门可通过自助申请服务来简化、加速IT资源部署、上线进程,降低系统建设开销。云管理平台的服务目录统一定义和发布:未来XX私有云所提供的基础设施云服务(IaaS)、平台云服务(PaaS)资源,在对用户供应服务的同时统一进行成本核算及性能管理、资源调度。ERP系统管控类系统虚拟化管理平台(集中整合/动态调整)IT资源计算机资源池存储资源池网络资源池机房环境PaaS服务开发测试环境服务中间件环境服务数据库平台服务Web服务器平台服务流程平台服务……服务IaaS服务计算资源服务存储资源服务网络资源服务统一云门户用户门户统一资源管理资源部署资源模板云服务管理云服务目录服务水平管理成本管理性能管理服务安全管理用户管理服务供应配置自动化流程自动化报表自动化资源调度资源统计资源回收统一监控管理环境监控设备内控能耗监控性能监控故障监控统一运维管理事件管理变更管理配置管理知识库管理服务台CMBD资产管理问题管理云管理平台资源自动化管理高阶设计服务部署使用户可以通过服务目录,发布服务请求,并通过已经配置好的资源编排引擎接收实时的服务请求输入,按照策略规则分配及部署组件资源服务目录服务请求对云服务资源提出的服务请求进行需求管理队列策略规则针对服务目录中各项内容及其关联关系的一些策略规则,如SLA,服务运维等级资源模型资源模型能够以逻辑视图的形式洞察整个云平台资源的运行状况及各服务组件的实时状态,确保资源编排及供应能够准确及时交付XX服务目录服务编排与开通自动化部署规则引擎安全服务器存储网络外部服务规则和服务模型自动化部署与规则引擎通过自动化工作流管理及维护各服务资源组件,实现自动化分配及部署使用规则引擎的可以预测及执行无人为干预的可重复性操作,减少误操作几率并提升执行效率自动化执行输出资源编排引擎通过与工作流的配合实现自动化部署供应资源集成输入将现有资源进行整合后,输入到服务部署域CMDB集成通过统一的CMDB平台对资源使用情况以及可用情况进行监控服务设计输入接收主动运维域的服务设计请求,对服务目录的的内容进行更新数据应用云管理平台资源监控和服务管理高阶设计服务计量主动运维资源监控服务运营设备工具服务器存储网络用户体验资源管理应用服务级别管理可用性管理性能管理容量管理安全管理服务设计/持续改进服务计量基于详细的服务资源组件使用情况、服务费用计量模型以及在服务提供过程中对服务水平协议的遵从情况生成费用清单依据服务水平协议评估服务资源组件的交付质量,并生成相关告警/评估报告服务运营服务资源组件利用率、系统消息、故障警报、复杂事件等信息被实时传递至此,自动生成关联变更请求并反馈至资源编排及供应模块,资源编排及供应模块会综合当前运行状况、故障现象、策略规则、未完成服务请求等统筹安排下一步动作资源监控通过资源域的监控输入,实时监控资源的使用情况以及运行情况服务设计/持续改进根据服务运营的情况以及业务需求,设计新的服务或新的服务组合与CMDB集成将资源使用情况传递到CMDB中,并对资源的使用情况与可用程度进行统计包含了4个模块:服务计量、资源监控、服务运营以及服务设计/持续改进,同时它还要与配置管理域CMDB进行集成PaaS平台特性和技术架构开放架构:服务原子化解耦和高性能云化服务调度框架,服务能力可对外开放业务支撑:厚平台、薄应用、组件标准化,标准的技术组件和业务组件,应用只需要关注业务逻辑敏捷开发:利用微服务和DevOps模式,实现快速迭代,持续集成,实现自动化无状态化应用:实现动态伸缩,数据分布式部署,在线扩容,故障自动替换应用级线性扩展:微服务在线容量自动扩展,实现高性能应用在PaaS平台上设计示例:微服务设计原则微服务的拆分既创造了灵活的单点变化也扩展造就了整体的僵化。细小的服务划分不能解决这个问题,因为服务越多,规约越多,实施成本越高。单个服务的简化造就了整体的复杂。因此需要在业务需求、服务封装粒度与应用打包粒度之间有一个平衡。参考开发运维模型,规划DevOps开发运维服务能力蓝图软件项目工程管理:该功能模块管理项目的构建,报告和文档的软件项目管理工具;配置管理:该功能模块统一管理开发环境的工具软件配置,开发过程中的所需的库存配置以及存储、追踪开发目录和文件的修改历史;持续集成:该功能模块能够管理高频次的开发代码集成,通过自动化构建验证代码;自动化测试:该功能模块用于软件测试的全过程实现自动化,提高测试效率;持续交付:该功能模块将通过了自动化测试的改动自动部署到测试和生产环境DevOps服务能力蓝图软件项目工程管理配置管理持续集成持续交付自动化测试目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施现状及要求二云数据中心建设演进路线综述五IT基础设施项目目标,规划原则及方法一基础设施资源池高阶设计1云管理平台高阶设计2安全保障体系高阶设计4IT服务运营模式高阶设计3云数据中心体系运营模式分析——采用云计算IT建设模式,快速、灵活支撑自身业务发展重新定义XX应用云支撑驱动业务发展XX业务对应用的要求:管控统一化;服务标准化,开发简单化,部署敏捷化,管理高效化;用户体验卓越化“云架构”弹性敏捷支撑业务在云架构下通过标准化组件,模块化快速开发部署对后端支撑平台的要求:资源标准化、供应集中化、运营专业化、服务共享化XX应用XX云生态环境平台云应用云大数据云桌面云财务管理投资管理供应链管理信息管理营销管理园区运营研发管理园区建设产品管理人力管理生产管理监察纪检管理基础设施云园区企业企业运维业务人员金融板块开发测试设计深化改革新技术服务型政府转型消费方提供方PAAS应用1PAAS应用2PAAS应用n硬件配置设计IAAS资源集中管理云环境下部署模式实施应用1应用部署操作系统部署硬件配置实施设计虚拟化层应用2应用部署操作系统部署硬件配置实施设计虚拟化层应用n应用部署操作系统部署硬件配置实施设计虚拟化层传统架构下部署模式办公管理IT运营模式的变化传统IT管理架构

竖井式

复杂度高(覆盖架构、系统、软件、应用)

技术人员冗余

业务和应用团队结构僵化云管理架构

资源共享

简化运维技术复杂度

建设专业化技术团队

多模式租户管理适应业务和应用不同管理要求组织转型运维转型架构转型架构转型云计算给企业带来的不仅仅是基础架构的转型,更是运维模式和组织架构的转型。云化企业IT运维模式,为建设横跨业务系统的专业化IT技术团队提供平台条件;云化组织转型,优化企业IT能力和职责,提升效率。云服务运营管理高阶设计云管理平台安全管理体系和标准化管理体系计算资源池存储资源池网络资源池数据中心基础设施云(IaaS)平台服务云(PaaS)用户合作伙伴园区公司用户集成服务数据服务安全服务…技术组件业务组件人员信息管理邮件服务IOT服务OA……动态监控应用承载于基础云平台,基于公司的云架构规划,未来目标是基础设施逐步云化,所有应用利用其实现海量存储和强大的计算能力,提升资源利用能力和数据共享能力。借助其一体化的安全保障体系,统一实现灾备功能。多租户模式实现按公司或部门为单位进行资源申请、管理、运维,极大提高了运营的灵活性和自主性A区总公司Q区金融园区VMAppOSVMAppOSVMAppOSVMAppOSVMAppOSVMAppOSVMAppOS基础设施云服务Queue存储DBService物理服务器物理服务器存储物理服务器以API驱动服务

自服务门户应用管理共享资源池目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施能力需求,现状及关键发现二云数据中心建设演进路线综述五IT基础设施项目目标,规划原则及方法一基础设施资源池高阶设计1云管理平台高阶设计2安全保障体系高阶设计4IT服务运营模式高阶设计3灾备关键指标——恢复时间目标(RTO)及恢复点目标(RPO)对于不同级别的灾备建设水平可直接采用容灾能力指标RTO(恢复时间目标)、RPO(恢复点目标)进行量化体现,其中RTO(恢复时间目标,RecoveryTimingObjective)指灾难发生造成业务中断后能够容忍的系统停顿时间,RPO(恢复点目标,RecoveryPointObjective)指当灾难发生时允的数据量,即数据能够恢复到达到何种程度的时间点。灾备建设等级RTORPO第1级2天以上1天至7天第2级24小时以上1天至7天第3级12小时以上数小时至1天第4级数小时至2天数小时至1天第5级数分钟至2天0至30分钟第6级数分钟0RTO/RPO指标定义国标中定义各级别灾备能力对应的RTO/RPO值业务影响分析结合各应用系统业务连续性具体要求及系统定位、重要性程度等因素,对各系统业务中断所导致的经济性/非经济性影响进行评估,从而划分各系统灾备等级,明晰各级别对应RTO、RPO指标要求,明确灾备建设目标,为技术架构及技术路线的选取提供依据。结合本次规划应用架构规划成果,对应用系统进行灾备等级初步规划:业务影响分析及集团系统灾备等级规划蓝图下表:系统灾备等级评定方法注:经分析,目前尚未存有1级灾备等级系统灾备等级为2级的系统包括:审计内控系统纪检监察系统安全环保系统知识管理系统资本股权系统工会管理系统企业文化管理系统灾备等级为3级的系统包括:财务管理法律事务系统信息安全管理系统人力资源管理灾备等级为4级的系统包括:投资管理系统企业信息门户ERP系统战略规划系统风险管理系统灾备等级逐步增高投资成本逐步增多系统灾备级别划分1级,指标要求:RTO无要求,RPO≦24h2级,指标要求:RTO无要求,RPO≦12h3级,指标要求:2h≦RTO≦8h,RPO≦2h4级,指标要求:分钟级≦RTO≦2h,RPO≈0参考国内及相关国际标准,根据XX经验和XX的实际需求,将系统灾备级别划分为如下4级:对于已建系统,建议基于上述初步评估成果,进一步与系统需求、建设、运维部门协商并明确各系统灾备评级及指标(RTO、RPO)。对于待建系统,建议在未来系统建设阶段确认系统灾备需求,明确指标要求,作为非功能性需求中的一项。营销管理系统供应链管理系统综合办公系统行政管理系统数据仓库系统MES系统运行维护中容灾架构的选择容灾架构选择:包括离线容灾、数据级容灾(在线)和应用级容灾三种架构,具体描述如下:方式:磁带或者是磁盘备份,然后把数据拷贝到异地,或者定期把备份磁带取出,同城保存特点:成本最低,但恢复时间长,损失代价大方式:通过网络将主中心数据复制到远端灾备中心,灾难时将备份数据切换为主数据或恢复到主中心设备;仅仅是容灾数据,涉及存储、网络或SAN环境;不提供应用接管特点:仅容灾关键业务数据,成本较低方式:远程数据备份+应用环境。灾难时自动或者人工切换。如果一个环境发生故障,可以切换到另外的环境。涉及数据、应用程序和硬件环境。是比数据容灾更高层次的容灾特点:适用于关键应用,保护业务连续的基本需求离线容灾数据级容灾应用级容灾钢铁板块:根据钢铁行业特性,各子公司的生产经营活动与生产设备及生产环境密切相关,当突发情况,如火灾和地震发生时,如生产设备或生产环境出现无法恢复的损坏,即使相关信息系统实现异地运行也无法恢复正常生产经营,基于以上原因,建议信息系统实现异地的数据级容灾目前执行的金融单位:根据金融行业特性,和金融监管机构对IT基础架构的管控和安全要求,在灾难发生时需要快速恢复系统运行,并且数据丢失达到最小。基于以上原因,建议信息系统实现应用级容灾各级系统灾备建设建议信息系统应用系统容灾指标灾备策略数据复制技术建议灾难恢复需求同城灾备中心异地灾备中心RTORPO数据备份冷备热备双活数据备份冷备热备双活4级系统分钟级<RTO=<2hRPO≈0√√√智能存储方案存储网关方案3级系统2h<RTO=<8hRPO=<2h√√√智能存储方案存储网关方案2级系统无要求RPO=<12h√√基于传统备份解决方案1级系统无要求24h<RPO=<48h√√基于传统备份解决方案灾备部署参考模式—异地灾备解决方案异地灾备中心为北京数据中心及各二级单位提供远地数据级/应用级(主备)容灾场地。CFD灾备中心与北京中心网络采用大二层高速传输通道。针对关键应用,采用主备模式,当北京数据中心发生故障,容灾中心激开始应用开始运行,尽快恢复业务。在CFD(距北京300KM)设立异地灾备中心,通过异地数据级/应用级(主备)容灾,打造关键业务零中断、RTO及RPO分钟级的高可用性灾备体系,该方案融合了虚拟化、云计算及最新组网技术。信息化安全保障体系技术架构设计审计合规响应恢复内容安全访问控制身份控制终端层安全应用及中间件层安全数据安全系统层安全网络层安全物理层安全主机入侵检测网络入侵检测物理设施安全(机房环境、建筑环境、水、电、消防、空调等)安全扫描时间同步综合监控业务连续性计划恢复方案设备冗余备份加密防病毒补丁信息资产管理内容过滤网络服务网络传输安全主机访问控制边界安全数字证书及统一身份认证授权用户身份生命周期管理安全区域划分终端准入控制终端行为管理应用行为审计数据库审计加密防病毒安全开发安全运维平台功能框架规划支持功能管控IT服务管理基础设施安全管理资产管理业务连续性安全运维平台管理风险管理风险模型及定义风险评估风险决策流程风险识别弱点管理弱点扫描改进跟踪弱点分析及报告运营监控安全监控事件分类分析及报告合规监控日志管理安全事故处置安全事故识别事故响应事故后分析事故分类沟通管理

安全运维服务绩效管理及持续改进安全运维管理平台逻辑模型是对安全运维中心必需具备的安全运维能力和管控能力的逻辑描述:目录未来云数据中心建设目标蓝图三云数据中心基础架构高阶设计四IT基础设施能力

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论