阿格利亚解决方案建议书-万兆卡方案new.doc

北京东睿视讯科技有限公司 阿格利亚苹果非编实验室共享解决方案建议书2012年12月19日1应用存储系统总体方案设计1.1非编应用存储结构选择存储结构的选择将会很大程度上影响存储系统的实现的效果，下面结合项目的情况来看选择什么样的存储结构更适合本项目。目前，应用较为广泛的主流网络集中存储技术主要分为DAS、NAS、SAN（FC、IP）等三种形式，本方案在构建存储平台时，建议采用以SAN为核心的高性能集群存储体系。2.2以阿格利亚共享文件系统为核心的集群存储系统NAS是一种比较能够实现文件级共享访问的存储方式，但NAS最大的问题就是，由于受到NAS其物理组成(例如:控制器性能，总线性能，磁盘驱动器的数量，所连接服务器的数量，内存大小，NAS头的性能等)的限制，以及功能上的局限(例如:支持文件系统的容量，元数据和数据处理通路的耦合，快照或复制的数量等)，造成了存储系统瓶颈的出现。 如何在SAN的基础架构上为用户提供方便使用的文件级共享访问能力，又可以避免NAS网关在性能上的瓶颈，充分发挥SAN的高性能并发数据访问能力，成为存储一体化设计必须解决的核心问题，阿格利亚共享文件系统可以为SAN上文件共享提供高性能的解决方案。阿格利亚共享文件系统采用了带外存储访问配合元数据服务的方案。所有挂载文件系统的主机都能够通过SAN（IP或FC的）访问共享的存储设备，由元数据服务（Meta Data Servce）负责为应用服务中所有的主机数据访问操作进行协作，对共享文件系统提供统一的支持。可以看到，既便在以太网应用方式下，元数据服务器虽然和NAS网关一样，为所有访问文件系统的主机提供共享访问的支持，但其并不位于数据通路上，主机发出的读写请求可以直接通过高速的FC或IP SAN网络直接发送到存储设备上。在这种情况下，元数据服务器不再成为整个系统IO的瓶颈，从而极大地提高了IO带宽、数据访问的并行性和IO的可扩展性。在文件系统层面上，阿格利亚共享文件系统提供符合POSIX语义的文件访问接口，并兼容NFS的文件共享语义，可以向几乎所有的应用程序提供二进制兼容性。在文件系统环境下，可以大大提升整个系统的文件共享规模，使得文件系统可以保证数百台以至上千台主机的无阻塞并发访问。在存储设备的管理上，阿格利亚共享文件系统采用支持多卷聚合的虚拟化体系结构，通过条带化或线性分配的方式将存储设备提供的物理卷虚拟化为文件系统使用的逻辑卷。此外，文件系统通过在不同存储设备之间进行条带化访问，可以提供更高的访问带宽，以充分满足存储一体化设计所带来的并发访问带宽的需求。阿格利亚共享文件系统把后端的存储设备虚拟成一个统一的全局命名空间，使得各个独立的存储设备空间能够充分的、有效的利用，同时实现了容量、数据文件的无缝共享，发挥了各个存储设备的聚合性能。基于以上分析，阿格利亚储基于非线性编辑应用有以下特点：（1） 阿格利亚共享文件系统采用元数据“带外”传输，极大提高存储性能（2） 阿格利亚共享文件系统通过增加盘阵可实现同一目录/盘符容量无缝扩展，并且对前端非线性应用无任何影响（3） 阿格利亚共享文件系统可对前端应用提供文件级共享，满足多台非线性编辑服务器同时工作（4） 专业的团队提供强大的本地化服务，对突发事件能够及时响应。因此，针对本项目情况，我们推荐采用基于SAN存储架构设计的网络存储基础平台加上先进的阿格利亚共享文件系统的虚拟化，可高性价比的满足本项目应用存储系统的需求。3存储方案建议3.1建议方案拓扑图3.2建议方案配置1. 配置两台BW1000存储设备（主柜加从柜）2. BW1000集群统一存储配置2块万兆卡（每台存储配置1块万兆以太网卡）3. 配置一台有万兆以太网接口的交换机3.3方案描述1. 本方案由2台BW1000的存储系统直接接入万兆以太网交换机，为前端15台苹果工作站提供高性能共享存储系统。2. 本项目需求的性能是前端15个苹果FCP非编一同工作，每台客户端的性能上限为80MB。本方案通过BW1000中内嵌文件系统的管理，将两台万兆BW1000设备聚合性能后为前端非编应用提供1200MB/s的共享存储服务。3. BW1000集成SAN文件系统BWFS，前端MAC工作站分别安装BWFS客户端，可以本地盘符的方式访问文件级统一命名空间，对存储进行并发访问，而且多个异构平台的工作站都能够共享后端存储中的数据。 4. 随着存储规模、容量的不断增加可以通过在线添加存储设备的方式，扩展系统的容量、IO带宽和负载能力。3.4应用效果文件系统在使用方式上坚持“以人为主”，界面简明易懂，管理员能够在短时间内上手操作，极大的缩短培训时间，降低培训成本。 1. 在Web浏览器的地址栏中输入阿格利亚共享文件系统MDC的服务IP地址http:/:，即可访问文件系统登录界面。-14-2. 进入阿格利亚共享文件系统首页后在页面的左侧目录树中点击“配置向导”，进入配置向导的界面。3. 在“配置向导”中，对配置文件系统各步骤都有具体说明，如果没有特殊需求则依次点击下一步，即可完成文件系统配置。4. 以Windows为例：安装客户端后加载服务器的导出路径，就可以在Windows操作系统中看到和本地磁盘一样的盘符。l 在前端非编应用中，阿格利亚共享文件系统只是显示为一个盘符，多个非编服务器可同时使用这一个盘符，从而实现文件级共享。例如：在Windows共享空间中拷贝一些文件。l 在Linux客户端挂载共享空间后，可以查看并读取在Windows共享空间拷贝的文件。l 在MAC客户端也可以挂载共享空间，查看并读取在Windows共享空间拷贝的文件。l 文件系统支持各种异构平台，从而达到平台间文件级共享，对于前端非编应用无局限性，极大提高了前端应用效率。3.5方案优势3.5.1高性能l 本方案采用带外（out-of-band）数据传输架构，有效地解决并发访问时存储系统的I/O带宽瓶颈问题，为应用提供高效的数据访问和查询效率。l 在本方案中阿格利亚存储系统的整体IO性能为系统中所有磁盘阵列的聚合性能，可以随着磁盘阵列数量的增多系统的整体IO性能、负载能力呈线性增长。l 阿格利亚存储系统采用了独立的元数据卷和日志卷的结构，元数据卷和日志卷的读写操作均以事务处理类随机访问为主，独立的元数据卷和日志卷有利于对其采用与数据卷不同的IO策略，单独将元数据卷配置为面向IOPS优化，将数据卷配置保留为面向ThroughPut优化，可以明确地区分两类数据流，在不影响系统最大数据吞吐率的前提下获得更好的并发访问与大规模文件查找性能。3.5.2高扩展性l 存储系统支持应用平台从小规模到大规模的平滑扩展、无缝升级，存储容量可根据实际的应用按需购买，真正保护用户的投资，规模的扩展可分为工作站节点的扩展和容量的扩展： 工作站节点的扩展：可以在线增加工作站节点，只需要把工作站节点的网络与存储系统所在网络连通并进行简单配置即可完成扩展，无需进行系统的停机，不会中断业务的运行，扩展后，应用系统的整体服务能力会得到提升以支撑前端应用的高效运行。 容量的扩展：容量的扩展可以分为纵向扩展和横向扩展两种，纵向扩容是通过在线添加扩展柜的方式进行容量扩展，横向扩容是通过在线添加从柜的方式进行扩容，这两种扩容方式，都不需要停止当前的业务，扩容后对应用没有任何的影响，而且随着容量的不断增加，存储系统的整体IO带宽、负载能力呈线性的增长。l 存储系统具有强大的可扩展能力，支持2PB的巨型文件，支持上亿规模的目录和文件数量。l 充分发挥集群存储优势，具有良好的系统负载平稳性，既能在单文件单通道情况下挥单通道最高性能，又能在多文件多通道情况下发挥聚合性能，可实现随着标准存储设备数量的线性增加，存储系统的聚合带宽性能呈线性增加，采用分布式结构，具有卓越的扩展能力。l 支持多种设备，广泛支持多种品牌多种型号通用SAN存储设备，合理利用原有资源，以降低升级成本。3.5.3高可靠性l 阿格利亚文件系统提供了数据的高保密性，只有被授权的用户才能访问权限内的数据文件。l 支持文件系统的故障检测与修复，对系统异常掉电等故障所造成的文件系统损坏，进行检测与自动修复，减少意外情况造成的损失。l 同时借助日志技术，存储系统可以在保证性能的同时，最大可能的保证数据的完整性与一致性，缩短因意外掉电或系统故障所带来的业务中断时间。3.5.4高可用性l 在线扩容，存储扩展不影响用户业务持续运行。3.5.5异构跨平台共享l 数据的全局共享避免了信息孤岛，提高了空间的利用率；同时提高了数据处理效率。l 支持多操作系统、异构平台之间实现无缝共享和访问数据。实现海量数据集中存储，采用全局命名空间，对应用提供统一的访问接口(1块硬盘或者1个目录)l 采用带外（out-of-band）数据传输架构，把多台存储设备的存储空间都整合起来，纳入到1个命名空间的管理之下。3.5.6高可维护性l 阿格利亚存储系统的控制界面采用友好的全中文WEB显示方式的同时也支持便捷的控制台命令行方式，管理员可以通过单点管理整个存储系统；管理员可不需要长期专业培训，只要几个小时就可以熟练掌握操作流程