网盘解决方案

概 建设背 建设目 云平 设计目标与规 云系统方 系统优势和特 系统架 系统基本组 系统功能描 工作机 数据写入机 数据读出机 关键技 负载自动均衡技 高速并发技 高可靠性保证技 高可用技 分级技 接口描 POSIX通用文件系统接口NFS接口CIFS接口应用程序API接口调 cStor高可靠 cStor数据完整 cStor快照技 cStor数据备份与恢复系统功 cStor异地文件恢 技术选 总体介 总体技术构 系统设计原 系统优 系统概 功能描 主要功能 主要特 系统概 功能描 技术构 集群方 企业内部应用场 集群特 工作原 服务器配 概建设背上传、管理和共享、文档、。建设目集中用户所有数据，分类管理，控制，合理规划企业用户空间快捷的文件从数据传输到安全，均采用的安全策略，专为企业打造专有的二、为了满足点播系统的需求，需要提供用于数据流及点播内容保存的空间。三、用于数据中心业务系统的备份，采用目前成熟、先进的云技术，构建基于数据集中模式的数据、备份的信息基础架构;在此基础架构上设立数据中心，实现多个关键应用系统实时数据的和备份，确保各应用系统在因误操作（或逻辑错误）而数据错误时具备快速、可靠的恢复;保障各种关键性业务应用达到四、用于应用系统现有数据 业务总体户数据的集中。，信息，信息管理及信息共享均集中于统一的平台之上平台的任何故障会造成巨大的影响。因此平台的数据安全性和系统高可靠性尤为重要。，系统的防计算机形式及途径日趋多样化网络防工作已不再是简单的单台计算理系统来设置和防护策略这里的多层次防护体系是指在企业的每台客户关安装基于Internet网关的防系统。对企业来说，防止的并不是保护某一用服务器的全面保护，这样才能保证整个网络不受计算机的。系统的高性系统要大量的数据信息,支持服务器的业务并发写要求由总的数据量会很大,如何在这么大数据量情况下满足这么多客户机的并发，整个存系统的可扩展性/可扩充，作为集中的基本要求系统应能支持巨大的容量，可以集中不同平台的企业数据从而使企业在保留分布式处理好处的同时实现信息的集中和，多新业务系统会不断产生，因此对系统的可扩展性有很高要求。尽管我们在本方案中已经充分考虑了系统容量空间的预留，但随着业务的发展，对系统的可扩展性要求仍将非常迫切这主要表现在对系统容量的平滑扩充以及对新的主（HOST）由于系统的数据量比较大如何有效的管理大量的数据包括数据备份/恢复，都对系统的管理提出了巨大的系统管理人员需要有高效的方法实现全面的存行灵活的划分和调度也是为系统的管理提出了巨大的。数据共享要统一的信息需要让前端的多台业务服务器共享存取作为集中的最大优势就是部门工作的顺利进行。因此共享要求可以说也是共享系统的一个要求系统用于点播的空应用系统的数据文件/文件夹的操作（文件，创建文件夹，文件/文件夹删除，文件/文件夹文件XP，Win7等主流Windows系统容量要54TB。云平云系统平台设设计7×24小时不间断。云系统方采用业界已经成cStor云资源管理系统，在多台普用服务器上构建高cStor云资源管理系统部署示意系统cStor云系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分可以广泛应用于需要大量数据的应用场（如安防广电电信互联网、银行等领域。该系统相比传统系统有如下技术优势：高度可系统采用云架构，数据被分块在不同的节点上，数据采用先进的1:17×24优异性cStor采用控制流与数据流分离的技术，数据的或实际上是与各个节点上并行读写，这样随着节点数目的增多，整个系统的吞吐量和IO性能将呈线性无限容1024×1024×1024PB(1G个PB容量)。伸cStor云资源管理系统扩容非常方便支持不停止服务的情况下动态加入新的系统自动缩小规模而不丢失数据，在此节点上的数据将会重新备份到其他节点上通用易cStor云系统提供符合POSIX标准的通用文件系统接口无论是哪种操作系统下的API接口，供开发人员调用。智能管提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使所有节点实行实时用户通过界面可以清楚地了解到每一个节点和磁盘的运行提供用户安全认证及对不同用户进行设置与权限管理功能满足应用的日常和系统架吞吐带宽，最大程度降低系统瓶颈。下面具体说明cStor云资源管理系统的基本组成和主要功能系统基本组cStor云资源管理系统采用分布式的机制，将数据分散在多立的Server储节点服务器（ChunkServer）和挂接客户端以及管理中心服务器的结构构成虚拟统一的海量空间。在每个服务器节点上运行cStor云资源管理系统的相应cStor云资源管理系统架ChunkServer负责具体的数据工作，数据以文件的形式在ChunkServer上，ChunkServer的个数可以有多个，它的数目直接决定了cStor云系统的规模；挂接客户端即为服务器对外提供数据和服务的窗口，通常情况下，客户端可以部署在ChunkServer上每一个块数据服务器既可以作为服务器同时也可以作为客户端服务器由一对元数据服务器及其管理的服务器节点所提供的空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量空间。管理中心提供统一易用的WEB配置管理平台提供设备空间、时，只需要添加具体的ChunkServer即可，而不需要添加整套设备。在实现大规模扩展cStor系统功能描cStor云资源管理系统从功能上划份为三大部分 cStor分布式文件系分布式文件系统实现文件数据可靠性容错可伸缩性保证高可用保证、2)接cStor提供符合POSIX规范的文件系统接口，通过cStor挂接程序可将云空间挂接为本地或磁盘。同时可提供的API接口，支持业务应用层程序对云系统的直接。3)管理中管理中心提供帐户管理、设备管理、系统、卷管理、告警管理、故障cStor分布式文件系因元数据频繁，故系统将元数据加载缓存至内存中管理，提高效率。由于块数据是指文件数据被按照一定大小（64MB）分割而成的多个数据块，分布到不同的节点服务器上，并通过编容错算法产生相应的冗余块。器上的磁盘空间文件数据块，并实现相应的编功能。由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的空间称为一个卷。卷管理服务器负责将多个卷虚拟化整合，对外提供统一的整体云空间。文件系统采用中心服务器模式分布式架构控制流与数据流分离通过增加节点之间实现根据空间比例进行优化配置数据优先的空间利用比例相对较低的磁盘或服务器上cStor分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被或编码后到的正常的服务器节点上。接cStor分布式文件系统提供符合POSIX规范的文件系统接口。支持Linux、Windows、MaxOSX等操作系统平台。可将云系统提供的空间挂接为本地或本地盘符来使用。用户操作云空间和操作本地文件相同另外cStor提供的高速存取API接口，供性能要求很高的高端应用程序对管理中管理中心为系统管理员配置和cStor云资源管理系统的有效工具，充分体现了系统的可性。设备管系统告警信告警配告警日故障处帐户管添加帐工作机数据写入机（1（1）、CHKCHK数据读出机CHKCHK对未能读出的数据块或无效块通过同编码组内其它数据块进行，获得完整关键技负载自动均衡技器上，文件则划分为多个节点在不同的节点服务器上。主卷管理服务器了一个统一名空间，同时掌握整个系统内节点服务器的使点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上自动节点服务高速并发技客户端在云时，首先主卷管理服务器节点，获取将要与之进行交互的节点服务器信息，然后直接这些节点服务器完成数据存取。点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。高可靠性保证技法工作的时候，另外一台备管理服务器可以迅速其工作。对于节点服务器，采用编的方式实现容错，分布在不同的节点服务器上。该数据块编冗余到其他节点服务器，从而确保数据块的一定的冗余容错，进行自动，系统增减节点不必停止服务，可增减节点节点和元数据节点间通过，不停止节点采用编冗余备份机制如采用4:2编码容错任意损失两个节点，分级技采取不同的方式分别在不同性能的设备上通过分级管理实现数据客过将不经常的数据自动移到层次中较低的层次释放出较高成本的空间给一级本地磁盘所占用的空间，还可加快整个系统的性能。传统的数据一般分为(On-line)和离线(Off-line)两级方式而在储三级方式。）（1是指将数据存放在高速的磁盘系（如闪存介质FC磁盘或SCSI器或数据库对数据的速度要求。）近线是指将数据存放在低速的磁盘系统上，一般是一些存取速度和价格的不常用的文件归档，或者说量并不大的数据存放在性能较低的设备上。但对这些设备的要求是寻址迅速传输率高因此近线对性能要求相对来说并不高，但又要求相对较好的性能同时多数情况下由于不常用的数据要占总数据量的较大，这也就要求近线设备在需要容量上相对较大。近线设备主要有SATA磁盘阵列、DVD-RAM光盘塔和光盘库等设备。离线指将数据备份到磁带或磁带库上大多数情况下主要用于对离线通常采用磁带作为介质，其速度低，但价格低廉的海量。分级，是根据具体应用可以变化的，这种级别的划分是相对的，可以分为多种级别。如可以采取FC磁盘－SCSI磁盘－SATA磁盘这种三级结构，也可以采取SSD盘－FC磁盘－SCSI磁盘－SATA磁盘－磁带这种五级结构，具体采用哪些级别需要根据具体应用而定。、cStor系统采用了分级技术把信息根据信息的重要性频率等对信息进行了分级，将文件的元数据等频繁的重要信息时刻保持，开机后保存在内存中，可以随时和修改，以满足前端应用服务器或数据库对数据的速度要求。将其它备份数据、冗余容错的数据等量小的数据等采用廉价的SATA硬盘存储。对于量小的数据采用离线，一旦需要这些数据可以使用相应的唤醒策略来实现将离线转为，如通过网络唤醒机制等。对于与时间紧密相关的数据（如新闻、电视等内容信息）的，这些数据随着时间的推移，它们的使用频率越来越少， 、信息的节点可以让其一直处于待机状态一旦要使用可以通过网络唤醒让其工作起接口描作为云平台基础架构层的cStor云系统，主要支持两种方式：①POSIX通用文件系统接口；②通过API。具体描述如下。POSIX通用文件系统接口cStor客户端挂接程序支持Linux/Unix/Windows/MacOS接口规范，通过客户端将云系统挂载成本地 或磁盘一样使用云空间。FTP、NFS等服务器的方式，对外提供基于FTP和NFS的数据。NFS接口供文件的查找、创建、移除、、写入、重命名等基本操作。CIFS接口支持CIFS/SMBv1/v2协议，可以Internet计算机上的文件并要求此计算机的服务。CIFS使用客户/应用程序API接口调cStor云系统对外提供应用程序API接口可以根据实际应用的需要编写应用程序，通过调用相应的接口直接cStor云系统。cStor高可靠快速恢不管如何终止服务，元数据服务器和服务器都会在几秒钟内恢复状态和运行。每个数据块都会被备份到放到的不同服务器上。对不同的和文件，用户可要来数据块。cStor数据完整每个服务器都利用校验和来检验数据的完整性cStor快照技 cStor自动备持续备完全备增量备件修改消息后，实时备份新修改的文件。差异备次文件修改操作获后，仅备份相对于初始完全备份后所变化的文件数据内容。定时备cStor用户可以使用恢复功能将文件从异地cStor备份系统到本地硬盘，也可以进行网络云盘网盘系统平台设技术选 服务在业务处于领地位，其底层采用cStor云系统，cStor云系统已经积累了大量的客户，以及实际运营规模网络集群和服务的经验和能力。总体介、云创网盘系统包括【文件同步管理系统【文件服务系统【文件分析系统。云创网盘系统提供了一套完整的用户数据应用、管理的应用系统。云创网、、系统作为基础数据应用系统，为企业员工提供个人数据、检索等服务同时保PC客户端、Android端、版本、网页版云盘产品。具备基本文件上传、音频浏览、文件等基础功能，同时也包含了 恢复文件秒传等特色功能帮助企业员工有效解决文件多终端同步并备份的需求。检索系统的解决方案可以实现快速实施、快速、简单易用、便于、总体技术构系统采用基于云的平台设计模式，打造的同步检索云云创网盘系统包括【文件同步管理系统【文件服务系统【文件分析系统。中大量各种不同类型的设备通过应用软件集合起来协同工作共同对外提供数据存索，同时对等相关文件进行格式转换，供员工进行浏览。文件服务系统采用cStor云系统，为文件管理服务端提供底层数据及管理服务。可以作为标准的系统为网盘应用系统提供标准的数据。系统设计原高可用性原则：7x24统一前端、分布中端、统一后端架系统优权限，从而有效地保护私人。操作直观方便简单：根据所使用的网络硬盘直接在网上使用文件同步管理系系统概 特色功能，让用户更方便协作、为文档编辑提供补偿机制、提供API文档与外部接口，同时提供丰富的插件来满足不同用户的个性化需求。同时提供用户自主功能描基于云平台的多终端数据同步服务为为企业员工提供个性化的数据管理方式。据应用系统，为为企业员工提供个人数据、服务，保护数据安全等基础服务。 满足员工安全特性，通过的控制，可以达到安全的要求，同时对用户数据集进行模块化分析，防止用户数据用。收集数据集中为为企业员工提供安全可靠的数据集中环境随时随地数据提供基于PC、web、Android、/iPad等终端设备的数据同步客户端：备份联系人，快速整理：端增量备份，网页实时查看搜索：本地同步上传，同步：端wifi智能同步笔记备份同步：端添加记事笔记，实时同步元/流分离设计模式，支持秒传机制，版本历史，列表等OAuth可以支持网络银行SSL加密技术，文件加密和传输。Pc支持浏同步系统与系统结合从两个方面降低IT成本：大幅减低资源：在同等备份情况下，采用同步系统方式，可以节省资源70%以上，系统采用去间的占用，大幅减少资源的使用：同时也重复占用服务器空间可减少对资源的占用。主要特元/到任cStor云系统。如果服务器存在相同内容的文件，则使用服务器上已经的提供标准REST云创网盘系统开放了rest风格的API，以便开发者使用。云创网盘系统使用的客户端/移动端均是基于API进行开发的。基于OAuth2.0Oauth/（用户名和，为之后的API服务提供了简单的、标准的方式插件机我们提供了40多个功能各异的插件，另外，企业开发相关需求也可以开发一些插可移植云创网盘系统支持跨平台，可以在Windows、Linux、MACOS提供AD（LDAP）CAS文件分析系系统概员工收集到信息后怎么让员工方便快捷的查找文档成为提高用户体验一个非常重功能描对员工在云系统中的数据进行全文索引处理员工可方便的对自己拥有文档进针对员工的office文档、电子邮件、合同，单据等非结构化数据在数据量很大的统一查询接统一查询接统计报用户管系统查询界分索分索索引优索更新索创建索分词准确分词运算时多种分词方分词功能索引分词模数据分时间控权限控分类控模型模结构化数非结构化数非结构化数各种类型数据导系统日志记提供对Word、Excel、、PDF、TXT以及其它文档内容的查询提供对上述文件内容的浏览功能与同步系统完美融合，适配权限分配，对查询信息进行灵活处理系统方案具备云检索弹性扩展能力，当资源不足时，可随时无扩充硬件提供API接口能够灵活支持各种应用接入，同时支持关系数据库数据导入方，云检索平台内置功能度监测检索平台及节点运行质量，平台调度系统根据数据调度资源保障检索服务稳定提供。，集群应用技术架技术构高扩展性：提供容量和并发的动态扩展能力，满足数据和流量的增长需求。高可靠性：根据上层应用的不同需求，提供高质量的服务水平约定（A集群技术方案采用gx其中元数据中为数据库保存系统的元数据元数据节点负责对整个网盘系统or负责具体的数据工作数据以文件块的形式在r上or文件系统具备数据冗余、数据备份等功能，保证每条数据存在多个备份。、这种分布式系统最大的好处是有利于系统的扩展在小规模的数据扩展要添加整套设备。同时通过数据冗余备份及自动恢复技术，为企业提供数据安全、集群方数据数据库服主负载节点备负载节点交换服务服服LVSNginx负载均衡技术，分发大数量用户发起的大规keepa