云计算数据中心建设方案

1分布式存储概念及特点 32云计算的概念及特点 43分布式存储在云环境下的应用场景 43.1分布式存储系统架构 4 7 83.2.2为云平台提供分布式数据库存储资源 9 4.1组网规划 4.2节点网口规划 4.3硬件安装和软件部署 4.4分布式存储测试与上线 1分布式存储概念及特点系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，挑战的重要助力。从20世纪80年代开始，历经几十年的演进，分布式存储已经走过了四个阶段：第一阶段是1980年代的网络文件系统，通过少量服务器实现网络环境下的简单文件共享；第二阶段是1990年代的共享SAN文件系统，已经能够外接SAN设备实现更大的文件系统；第三阶段是2000年代的Share-云计算是网格计算、分布式计算(DistributedComputing)、并行计算狭义云计算指IT基础设施的交付和使用模式，指通过网“云”赋予了用户前所未有的计算能力；2)虚拟化：云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形互换等措施来保障服务的高可靠性；4)通用性：云计算不针对特定的应用，在增长的需要；6)按需服务："云"是一个庞大的资源池，你按需购买；7)廉3分布式存储在云环境下的应用场景云和AI时代，数据迎来海量增长。高速5G通信、高清8K视频、自动驾驶和大数据分析等越来越多的新兴应用正逐步推高对数据存储的需求。企业不高效、在线业务承载更可靠。其系统架构如下图1图1分布式存储系统架构图和存储管理组成，如图2所示，此外还会提供文件服务对象服务HDFS服务DROS(分布式关系型对象服务层)告警存储分布式存储系统具有海量数据储存更经济、多样性数据使用更高效、在线业务承载更可靠等优势，已被广泛应用于如下场景：1).HPC(HighPerformanceComputing)场景：在气象、基因、石油等HPC高性能计算场景，应用对分布式存储的性能要求高。文件服务提供的DPC可减少跨网络传输延迟，并提供标准接口给应用，在不修改应用的情况下提供比标准协议更高的性能。2)内容存储、备份归档场景：高性能、高可靠的企业级对象存储资源池可满足互联网数据、在线音频/视频、企业网盘等实时在线业务吞吐量大、热点数据频繁访问的业务需求，以及长期保存、在线访问需求。例如应用于金融电子票据影像、双录(录音/录像),医疗影像、政企电子文档和车联网场景存储、备份或归档。3)大数据分析场景：大数据计算存储分离解决方案可整合传统数据孤岛，构建统一的企业大数据资源池，结合大比例EC、存储和计算分离按需部署和扩容等企业级能力，实现大数据业务效率提升及TCO降低。例如应用于金融大数据分析、运营商日志留存大数据和政务大数据等。4)云/虚拟化场景：为云和虚拟化提供按需获取、弹性扩展的海量存储资源池，基于通用服务器大幅提升存储资源的部署、扩展和运维效率。例如应用于金融互联网渠道接入云、开发测试云，运营商BOM域业务云化、B2B云资源池、政务云等。双活、稳定低时延等企业类关键业务数据库、数据仓库高效稳定运行。数据管理层是云存储最为核心的部分，也是最复杂的部分。数据管理层采用集群技术、分布式存储技术，实现多存储设备之间的协同工作，对外提供高可用性、可扩展性的服务，同时还负责数据加密、备份、容灾以及必要的计费等设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维件为媒体/视频监控/HPC提供服务、以分布式对象为备份归档提供服务，以分3.2.1为云平台底座提供基础存储资源为了应对互联网金融带来的业务浪涌，除核心账务系统采用集中式高端全类、外联三方类、数据服务类、办公管理类),在与金融云平台和分布式存储架云平台适用性低慢高低低快中高高快低高高慢低低高低慢高高低高慢高高快低在云计算平台中，传统数据库以Oracle、DB2或者MySql的关系型数据库为务核心数据库使用场景需要支持应用高峰期的密集访问，要求磁盘具有持续稳定的高性能和低时延，通过选用超高性能的磁盘类型，可以实现超强性能与超度的严苛性能要求。能够充分考虑，如果多个AZ在百TB级别以上，建议进行较为合理的规划。部署多用于云平台管理区域服务的使用，分布式存储多用于用户业务使用。根据交换机组网形态分多种组网形态和部署方案，如存储节点前后端共享网络和前后端独立网络部署方案，以前后端独立部署为例，按照前后端网口的类型又可分为10GE、25GE、100GE、IB网络四种类型(10GE前端+10GE后端、25GE前端+25GE后端等),本文以10GE前端+10GE后端独立组网为例，阐述云平台内分布理网络平面进行合理规划，如图4和图5所示，针对各个网络平面进行规划设计。同时，针对物理硬件设备进行角色梳理和机柜位置合理规划，管理节点(管理分布式事务进程的服务器，负责块存储服务的告警、监控、日志、配置等操作维护功能)、存储节点(提供存储资源的服务器)、计算节点(运行应用系统的服务器),根据不通功能角色规划不同网络平面地址。2)BMC/管理网络：BMC网络，用于接入节点Mgmt接口，提供远程硬件设备带外管理功能。3)存储网络：用于VBS和OSD间或者OSD和OSD间数据通信。4)容灾复制网络：用于主端存储系统和从端存储系统间网络的数据传输。计算节点计算节点a图4分布式存储组网架构BMCBMC/管理同格普aw点图5分布式存储物理组网根据组网规划，分别对计算节点、存储节点的网口进行规划，保持同一类型的节点网口位置和功能一致，方便实施和后续运维。计算节点按实际需要进行环境规划各计算节点接口的用途和上行链路。对存储节点的规划，可根据服务器物理接口，如图6所示：SLOT3-1图6存储节点接口示例↵规划各存储节点接口的用途和上行链路，以表2为例建立计算和存储节点的节点总网络规划。4.3硬件安装和软件部署物理硬件初始化完成后进行分布式软件系统的安装部署，期间硬件安装的如图7所示。接口类型。接入网络·210GE/25GE/100GE/IB接口存储前端网络连接到存储前端交换机。210GE/25GE/100GE/IB接口存储后端网络连接到存储后端交换机。GE接口↵GE接口↵BMC网络↵连接到BMC交换机。根据分布式存储软件的安装指南，进行分布式存储系统的安装，以华为OceanStorPacific分布式存储在华为云环境下的部署为例，主要安装流程如图8所示，主要流程如下况面板件2)准备管理虚拟机3)配置Fusionstorage-Block角色通过云平台底座虚拟化系统的安装部署界面，为计算节点配置5)配置节点管理网络6)安装分布式存储软件根据技术能力和实际场景可部署GFS、Ceph等开源分布式存储软件，以置SSH免密登录),进入HDFS集群配置(安装master和slave的hadoop文件、配置core-site文件调优、集群环境变量、并启动集群和web管理),完成与云7)配置交换机流控并加载存储License值