银行灾备专项方案

云存放项目大数据平台处理方案

目录1 概述 31.1 建设背景 31.2 设计范围 31.3 总体设计标准 32 云存放系统平台设计 52.1 项目需求 52.2 设计思想 52.3 云存放系统方案 62.4 系统优势和特点 73 系统架构 93.1 系统基础组成 93.2 系统功效描述 104 系统安全性设计 174.1 安全保障体系框架 174.2 云计算平台多级信任保护 194.3 基于多级信任保护访问控制 234.4 云平台安全审计 265 工作机制 295.1 数据写入机制 295.2 数据读出机制 306 关键技术 306.1 负载自动均衡技术 306.2 高速并发访问技术 316.3 高可靠性确保技术 316.4 高可用技术 326.5 低功耗存放技术 326.6 分布式、分级、动态存放技术 327 接口描述 347.1 POSIX通用文件系统接口访问 347.2 应用程序API接口调用 358 当地容错和诊疗技术 358.1cStor高可靠性 358.2cStor数据完整性 358.3cStor快照技术 369 异地容灾和恢复技术 369.1 cStor数据备份和恢复系统功效 369.2 cStor异地文件恢复 379.3 cStor数据迁移归档 37

概述建设背景伴随银行数据集中处理实施，银行业务运作、经营管理将越来越依靠于计算机网络系统可靠运行。银行所提供金融服务连续性和业务数据完整性、正确性、有效性，会直接关系到银行生产、经营和决议活动。一旦因自然灾难、设备故障或人为原因等原因引发计算机网络系统停顿造成信息数据丢失和业务处理中止，将会给银行造成巨大经济损失和声誉损害，受到致命打击。生产运行系统灾难备份系统就显得格外关键。我们认为，一旦实施银行数据集中，灾难备份系统应该和生产运行应用系统同时投入使用，确保银行数据集中处理系统运行安全。设计范围本技术处理方案针对海量数据集中存放和共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入和软件和应用之间接口等方面全方面设计叙述。总体设计标准针对此次工程实际情况,充足考虑系统建设建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“优异、安全、成熟、开放、经济”为总体设计标准。优异性标准在系统总体方案设计时采取业界优异方案和技术，以确保一定时间内不落后。选择实用性强产品，模块化结构设计，既可满足目前需要又可实现以后系统发展平滑扩展。安全性标准数据是业务系统关键应用最终保障，不仅要确保整套系统能够7X24运行，而且存放系统必需有高可用性，以确保应用系统对数据随时存取。同时配置安全备份系统，对应用数据进行愈加安全数据保护，降低人为操作失误或病毒攻击给系统造成数据丢失。在进行系统设计时，充足考虑数据高可靠存放，采取高度可靠软硬件容错设计，进行有效安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠方法，提供统一系统管理和监控平台，进行有效故障定位、预警。成熟性标准为确保整个系统能够稳定工作，软件平台将使用优异、完善、易于管理和稳定可靠云存放资源管理系统，对于和应用集成接口，提供统一通用稳定访问接口。开放性标准系统建设含有开放性标准体系，提供符合POSIX标准通用文件系统访问接口，开放应用API编程接口，提供人性化应用和管理界面，以满足用户需求。遵照规范通用接口标准，使全系统中硬件、通信、软件、操作平台之间互联共享。充足考虑系统升级和维护问题，维护采取在线式，即在系统不停止工作情况下，能够更换单元备件。系统维护和升级操作由系统管理员即可完成。经济性标准现有业务系统存放数据量较大，且数据增加速度较快。所以在建设系统存放架构时，应从长远角度考虑，建设一个长久存放架构，除了能够应对存放硬件设备升级速度外，还必需考虑到对前期存放设备投资保护，在确保不停提供功效和性能提升同时，存放架构在较长时间内能够保持相对稳定。结合优异云平台技术架构优势，依据此次项目建设实际容量需求设计，同时充足考虑应用发展需求，实现系统可弹性在线平滑升级。经过软件实现在较廉价一般服务器上实现高度容错，同时能够在较低冗余度情况下实现高度可靠容错，大大节省和降低系统建设硬件成本。1项目建设目标建立灾难备份中心目标是：以最合理代价保护应用数据完整性和安全性，在灾难发生后立即恢复运行，降低业务停立即间，尽可能不中止或不影响业务正常进行，使灾难造成损失降到最小。即不管两个系统相离多远，当一个数据中心出现问题时，另一个数据中心就应能快速接替运行，既要确保业务数据完整性，又要确保关键业务连续性。伴随商业银行业务发展及竞争日益加剧，国外商业银行又提出了业务连续性要求。这种要求产生背景是：（1）商业银行承诺向用户提供“3A”服务（即任何时间Anytime，任何地点Anywhere，任何方法Anyways）。因为家庭银行、企业银行、网络银行、电话银行、ATM/POS等电子银行出现，用户不受银行终端用户上下班时间及位置限制，享受银行提供金融服务。（2）伴随银行金融服务和金融市场拓展，商业银行比较重视银行间相互联网。这么，当用户外出时，无需携带大量现金，也无需在当地银行、外币找换店及酒店兑换外币，可直接在当地自助设备上提取当地货币，还可办理多种存取款、转帐、申请结单或支票等业务，既节省时间，又极大方便了用户。要求银行服务含有连续性。（３）在开放金融市场环境下，为适应市场需求，发达国家商业银行从重视规模效益转为重视深度效益。重视用户关系及用户价值是变革关键，而深度效益内涵是对具体用户信息和市场信息组织和分析，利用数据仓库(DATAWAREHOUSE)、数据采掘(DATAMINING)技术从业务数据中提取可供辅助决议用信息。数据仓库是将银行各自分散原始数据（如主机中帐务数据）聚集和整理成为单一管理信息数据库、用户信息数据库，面向专题和时间组织数据，并对数据进行集成。使用数据采掘技术从数据仓库中提取隐藏估计性信息，为银行提供完整、立即、正确商业决议信息，为银行经营决议人员提供辅助决议支持。它要求原始数据含有实时性、连续可用性，并含有很好完整性和长时间延续性。保持业务连续性要求灾难恢复系统实现更高目标：除了以最合理代价保护应用数据完整性和安全性，在灾难发生后立即恢复运行，降低或尽可能消除业务停立即间外，还应做到：（1）确保业务连续性和延续性，即确保业务数据连续性，为银行决议支持系统提供连续完整基础数据；（2）缩小或取消应用系统用于批处理和数据备份（如磁带备份）时间，确保关键业务服务二十四小时不中止，使应用系统服务时间达成7X24，满足银行互联及用户需求；云存放系统平台设计项目需求灾难类型需求常见银行灾难关键包含以下多个方面：（1）自然灾难：造成计算机灾难自然灾难有：火灾、水灾、雷击、台风、地震、鼠害等。依据相关资料，XXXX地域发生毁坏性地震可能性不大，而且，现有生产运行中心所在地--XXXX大厦，在修建时作了抗7级以下地震设计。XXXX地域周围无大江大河，不会出现洪涝。所以对我们生产运行系统来讲，自然灾难关键是指水灾、火灾、雷击和鼠害。（2）计算机系统故障：引发计算机系统故障原因有下述几点：a.主机系统故障：关键指：数据库系统故障、系统软件故障、硬盘损坏、网卡故障、电源故障、应用系统缺点、其它故障b.主机房故障：关键指：主机房电源故障、主机房通讯故障、主机房水灾、主机房火灾、主机房鼠害c.整幢楼房故障：关键指：整幢楼房电源故障、整幢楼房火灾或水灾、整幢楼房其它灾难（４）人为原因：因为应用系统缺点、误操作、人为蓄意破坏、外来暴力事件等全部将直接影响系统安全运行。。吞吐量需求为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可经过规模增加实现平滑增加。扩展性需求未来依据业务应用改变和发展，需要快速实施系统资源升级，能够在业务服务不间断状态下平滑扩展，不会造成架构发生根本性改变，为不停产生和改变业务需求提供连续支持，支持业务系统快速整合和布署对关键系统基础架构尤其要求。低成本需求要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充足提升资源利用率，简化管理，并能灵活、可连续扩展。可维护性需求要求系统含有自适应管理能力，安装、维护、升级简易方便，提供统一易用WEB配置管理监控平台，实现智能化管理。接口需求要求能够提供通用文件系统接口，方便用户及应用系统访问，降低和应用集成或开发工作量，实现系统快速布署和集成。设计思想采取业界成熟优异云平台架构思想，采取软件实现对大量一般商用服务器存放空间资源进行虚拟化整合，实现软硬件故障高度容错，将系统控制流和数据流分离，同时使得数据在逻辑上集中、物理上分散，每台服务器同时对外提供服务，以达成多并发高吞吐量性能要求，采取自注册机制、故障自动屏蔽、自动冗余重建技术实现系统自我维护和平滑扩展，系统服务7×二十四小时不间断。系统采取优异编解码容错技术，可依据数据可靠性要求设置合适冗余编解码策略进行系统布署，能够以极小磁盘和硬件冗余度，实现高度可靠性数据容错。云存放系统方案采取业界已经成熟cStor云存放资源管理系统，在多台一般商用服务器上构建高性能高可靠云存放系统，作为此次系统云数据中心存放平台，其应用布署示意图以下图所表示。cStor云存放资源管理系统布署示意图系统优势和特点cStor云存放系统是一套软件和硬件相结合系统，其中专有技术和软件是高附加值部分，能够广泛应用于需要存放大量数据应用场所（如安防、广电、电信、互联网、银行等领域）。该系统相比传统存放系统有以下技术优势：高度可靠存放系统采取云架构，数据被分块存放在不一样存放节点上，数据采取优异1:1容错机制进行容错，可在任意损坏一个存放服务器节点情况下实现数据完整可靠，系统对外存放访问服务不间断。云存放管理节点采取了主备双机镜像热备高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点工作，成为新主管理节点，待故障节点修复并重启服务后，它则成为新备管理节点，保障系统7×二十四小时不间断服务。优异性能cStor采取控制流和数据流分离技术，数据存放或读取实际上是和各个存放节点上并行读写，这么伴随存放节点数目标增多，整个系统吞吐量和IO性能将呈线性增加。同时，cStor采取负载均衡技术，自动均衡各服务器负载，使得各存放节点性能调整到最高，实现资源优化配置。无限容量系统容量仅受限于卷管理服务器内存，可支撑容量靠近无限，经推算，理论容量为1024×1024×1024PB(1G个PB容量)。在线伸缩cStor云存放资源管理系统扩容很方便，支持不停止服务情况下，动态加入新存放节点，无需任何操作，即实现扩容；同时，无需人为干预，也能够摘下任意节点，系统自动缩小规模而不丢失数据，存放在此节点上数据将会重新备份到其它节点上。通用易用cStor云存放系统提供符合POSIX标准通用文件系统接口，不管是哪种操作系统下应用程序，全部能够不经修改将云存放当成自己海量磁盘来使用。同时，也提供专用API接口，供开发人员调用。智能管理提供基于WEB管理控制平台，全部管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便能够轻松管理整个系统。经过管理平台，能够对cStor中全部节点实施实时监控，用户经过监控界面能够清楚地了解到每一个节点和磁盘运行情况；同时也能够实现对文件等级系统监控，支持损坏文件查找和修复功效。系统提供用户安全认证及对不一样用户进行配额设置和权限管理功效，满足应用日常维护和安全管理需求。

系统架构在此次系统建设中，云存放系统属于基础平台支撑层，以用于数据集中存放和共享，实现对数据统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。下面具体说明cStor云存放资源管理系统基础组成和关键功效。系统基础组成cStor云存放资源管理系统采取分布式存放机制，将数据分散存放在多台独立存放服务器上。它采取包含卷管理服务器、元数据管理服务器（MasterServer）、数据存放节点服务器（ChunkServer）和挂接访问用户端和管理监控中心服务器结构组成虚拟统一海量存放空间。在每个服务器节点上运行cStor云存放资源管理系统对应软件服务程序模块。系统架构框图以下图所表示。cStor云存放资源管理系统架构其中，MasterServer保留系统元数据，负责对整个文件系统管理，MasterServer在逻辑上只有一个，但采取主备双机镜像方法，确保系统不间断服务；ChunkServer负责具体数据存放工作，数据以文件形式存放在ChunkServer上，ChunkServer个数能够有多个，它数目直接决定了cStor云存放系统规模；挂接访问用户端即为服务器对外提供数据存放和访问服务窗口，通常情况下，用户端能够布署在ChunkServer上，每一个块数据服务器，既能够作为存放服务器同时也能够作为用户端服务器。由一对元数据服务器及其管理存放服务器节点所提供存放空间称为一个卷空间，不一样卷空间由卷管理服务器虚拟化统一管理，对外可提供统一海量存放空间。管理监控中心提供统一易用WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功效，实现智能化管理。这种分布式系统最大好处是有利于存放系统扩展和实现，在小规模数据扩展时，只需要添加具体ChunkServer即可，而不需要添加整套设备。在实现大规模扩展时也可方便地添加整个卷设备。系统功效描述cStor云存放资源管理系统从功效上划份为三大部分：cStor分布式文件系统分布式文件系统实现文件数据存放、可靠性容错、可伸缩性确保、高可用确保、负载均衡和流量分担等功效。存放访问接口cStor提供符合POSIX规范文件系统访问接口，经过cStor访问挂接程序可将云存放空间挂接为当地目录或磁盘。同时可提供专用API接口，支持业务应用层程序对云存放系统直接访问。管理监控中心管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功效。 下面逐一具体介绍各部分系统功效。cStor分布式文件系统cStor分布式文件系统包含卷管理、元数据管理、块数据管理服务。参考上面系统架构框图左侧部分。元数据是指文件名称、属性、数据块位置信息等，元数据管理经过元数据服务程序完成。因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提升访问效率。因为元数据关键性，元数据损坏或丢失则相当于文件数据丢失，所以实现了元数据服务器主备双机高可用，确保７×２４小时不间断服务。经过元数据远程多机冗余备份功效，实现在多台其它机器上备份元数据，当元数据服务器损坏，能够经过备份元数据重新恢复服务，切保数据能够完整找回。块数据是指文件数据被根据一定大小（默认64MB）分割而成多个数据块，分布存放到不一样存放节点服务器上，并经过编解码容错算法产生对应冗余块。块数据服务是运行在每个存放节点服务器上块数据管理程序，负责使用存放服务器上磁盘空间存放文件数据块，并实现对应编解码功效。相比较传统业界云存放采取块数据简单备份冗余容错机制，编解码容错方法大大降低了硬件资源冗余度，提升了磁盘利用率。由一对主备元数据服务器及其所管理块数据服务器管理节点设备及其所提供存放空间称为一个卷。卷管理服务器负责将多个卷虚拟化整合，对外提供统一整体访问云存放空间。文件系统采取中心服务器模式分布式存放架构，控制流和数据流分离，经过增加存放节点系统采取自动注册机制，实现系统高可伸缩性，增加或降低存放节点规模，不影响系统正常提供存放访问服务。该系统架构实现了统一调度，负载均衡和流量自动分担功效，多个存放节点同时对外提供数据流服务，系统依据磁盘空间使用百分比进行资源优化配置。同时在多个不一样存放节点之间实现依据空间百分比进行优化配置，数据优先存放空间利用百分比相对较低磁盘或存放服务器上。cStor分布式文件系统含有自动冗余重建功效，确保损坏数据块能够被解码或编码后存放到在线正常存放服务器节点上。存放访问接口cStor分布式文件系统提供符合POSIX规范文件系统访问接口。支持Linux、Windows、MaxOSX等操作系统平台。可将云存放系统提供存放空间挂接为当地目录或当地盘符来使用。用户操作云存放空间和操作当地文件相同。另外cStor提供专用高速存取访问API接口，供性能要求很高高端应用程序对接使用。管理监控中心管理监控中心为系统管理员配置和维护cStor云存放资源管理系统有效工具，充足表现了系统可维护性。管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功效。以下为部分系统管理界面。设备管理

系统监控告警信息告警配置告警日志故障处理卷管理帐户管理添加帐户系统安全性设计安全保障体系框架NSA提出信息安全保障技术框架（IATF），以下图所表示。IATF依据“深度防护战略”理论，要求从整体、过程角度看待信息安全问题，强调人、技术、操作这三个关键标准，关注四个层次安全保障：保护网络和基础设施、保护边界、保护计算环境、支撑基础设施。图表基于深度防护战略IATF模型IATF模型从深度防护战略出发，强调人、技术和操作三个要素：人：人是信息主体，是信息系统拥有者、管理者和使用者，是信息保障体系关键，是第一位要素，同时也是最脆弱。正是基于这么认识，安全组织和安全管理在安全保障体系中是第一位，要建设信息安全保障体系，首先必需建立安全组织和安全管理，包含组织管理、技术管理和操作管理等多个方面。技术：技术是实现信息安全保障关键手段，信息安全保障体系所应含有各项安全服务就是经过技术机制来实现。当然IATF所指技术是防护、检测、响应、恢复并重、动态技术体系。操作：也可称之“运行”，它表现了安全保障体系主动防御，假如说技术组成是被动，那操作和步骤就是将各方面技术紧密结合在一起主动过程，运行保障最少包含安全评定、入侵检测、安全审计、安全监控、响应恢复等内容。信息安全保障体系实现就是经过建立安全组织、安全管理和防护技术体系，协调组织、技术、运作三者之间关系，明确技术实施和安全操作中技术人员安全职责，从网络和基础设施、区域边界、计算环境、支撑基础设施等多层次保护，从而达成对安全风险立即发觉和有效控制，提升安全问题发生时反应速度和恢复能力，增强网络和信息整体安全保障能力。对于云计算安全参考模型，云安全联盟CSA（CloudSecurityAlliance）提出了基于3种基础云服务层次性及其依靠关系安全参考模型,并实现了从云服务模型到安全控制模型映射。该模型显示PaaS在IaaS之上,SaaS在PaaS之上。该模型关键特点是供给商所在等级越低,云服务用户所要负担安全能力和管理职责就越多。依据资源或服务管理权、全部权和资源物理位置不一样,CSA也给出了不一样云布署模型可能实现方法及其不一样布署模式下共享云服务消费者之间信任关系,以下图所表示。图表云布署模型实现此图显示,对于私有云和小区云,有多个实现方法,能够和公共云一样,由第三方拥有和管理并提供场外服务（off-premises）,所不一样是共享云服务消费者群体之间含有信任关系,局限于组织内部和可信任群体之间。对于每一个云布署实现方法,全部能够提供3种基础云服务。云布署实现不一样方法和基础云服务组合组成不一样云服务消费模式。结合云服务安全参考模型,能够确定不一样云服务消费模式下供给商和用户安全控制范围和责任,用户评定和比较不一样云服务消费模式风险及现有安全控制和要求安全控制之间差距,做出合理决议。云计算平台多级信任保护云计算可信平台实现系统平台（计算环境）认证、应用系统完整性认证、分布式资源信任认证和用户身份认证4个层次。多层信任保护具体结构以下图所表示。图表多级信任保护在上图中，平台认证是基础，为其它3种认证提供一个可靠计算环境。平台认证、应用认证、资源认证和用户认证全部经过统一证书机制来实现。（1）云平台信任保护因为TPM（trustplatformmodule）规范能够支持现有公钥基础设施，而且TPM内部认证密钥和64位物理唯一序列号全部能很好地实现本身和平台绑定。所以可信平台之间信任关系能够借助基于可信第三方证书机制来保障。即每一个节点将能够代表本身特征关键信息以可靠地方法提交到可信第三方（如CA中心），可信第三方在核实这些数据真实性和完整性后对其署名，并为其颁发一个平台证书。以后，该平台在和其它平台通信时能够出示该证书，以表明自己正当身份。平台在向可信第三方提交平台信息和验证其它平台证书正当性时，全部需要借助TPM硬件支持。在下图所表示实例中，云平台A和B全部从证书颁发中心取得自己平台证书。当B请求和A建立连接并向A出示自己证书后，A借助TPM验证B出示证书有效性。图表基于可信第三方平台认证为了确保云端用户访问云平台可信性，并确保远程节点含有期望完全保障条件，基于可信计算平台多级信任保护方法结构包含下表中多种关键原因平台证书。数据名称数据类型数听说明Cert_NumChar证书编号Cert_TypeShort证书类型Cert_DistributeTimeByte[20]颁发时间Cert_LimitTimeByte[20]使用期限TPM_IDByte[8]TPM序列号Hardware_CodeByte[20]平台硬件标识Software_CodeByte[20]平台软件标识SecureComponent_CodeByte[20]安全组织组件标识………CA_SignatureByte[128]CA署名信息图表关键原因平台证书在图中，TPM和端系统唯一绑定；硬件标识码代表了端系统中多种硬件设备完整性信息，包含CPU序列号、主板型号、硬盘序列号、内存容量等；软件标识码代表了端系统中包含操作系统版本、补丁、关键服务等软件完整性信息；安全组件标识码是多种安全组件完整性度量结果，包含防火墙类型、安全补丁、防病毒软件名称等。为了获取这些数据完整性度量结果，采取Hash函数对系统中硬件标识信息、软件版本信息或安全组件描述信息进行计算，得出一个代表该系统相关信息完整性度量值。此处，选择SHA-1算法作为完整性度量函数。署名信息是可信第三方对证书内容数字署名，署名信息存在确保了证书正当性和不可篡改性。（2）应用信任保护有了云平台认证，用户就能断言远程协作者在确定节点和环境中进行工作。但在网络计算等复杂应用中，一个节点可能承载了多个应用系统、担负着多个计算任务。所以，需要确保单个应用系统不一样部分间（如用户端和服务器端）可信。Seshadri等人研究了代码远程完整性验证方法。该方法从数据完整性角度处理了授权实施远程应用可信性。借鉴她思想，采取认证应用系统中进程完整性措施对应用系统进行信任保护。即端系统控制各个应用进程，只有经过完整性认证并授权实施进程才能被开启。为此，系统为每个关键分布式应用定义若干个进行完整性证书，证书关键内容以下表所表示。数据名称数据类型数听说明………………Process_IDByte[20]进程IDProcess_IntegrityByte[20]完整性度量值………………TPM_SignByte[20]TPM署名信息在图中，进程完整性度量值是采取单向散列函数对进程代码进行计算后得出值。进程完整性证书中。进程完整性认证能够确保远程协作进程可信性，一定程度上降低病毒和木马进行插入攻击风险。（3）资源信任保护多级信任保护方法仍然采取证书机制实现对资源信任保护，即端系统基于TPM给平台中共享网络资源颁发完整性证书并署名。其它对等端系统需要访问该资源时，能够验证该证书正当性并从证书中得悉资源完整性度量数据。因为采取单向散列函数计算出资源完整性度量值能够代表该资源可信性，所以远程用户能够据此决定是否访问该网络资源。考虑单纯采取单向散列函数计算资源完整性消耗时间过长，实际实现时依据资源可信要求不一样采取了部分灵活方法。如部分可信要求不高资源文件，只针对资源文件基础属性或按样条规则抽出部分数据进行完整性度量；资源完整性证书关键数据组员以下表所表示。数据名称数据类型数听说明………………Process_IDByte[20]资源标识IDProcess_IntegrityByte[20]资源完整性信息………………TPM_SignByte[20]TPM署名信息（4）用户信任保护用户信任保护需求在现有分布式应用中已经普遍存在，但现有基于身份认证用户信任保护方法仅仅针对用户实体进行认证，无法将用户实体和计算环境和用户物理存在性联络起来。基于可信平台多级信任保护方法在系统平台认证和应用认证基础上深入进行用户身份认证，从而能够将系统中用户锁定到具体计算平台和具体应用系统。多级信任保护方法中用户身份证书关键数据组员以下表所表示。数据名称数据类型数听说明………………User_IDByte[16]用户IDApplication_IDByte[16]应用IDPlatform_IDByte[16]平台ID………………App_SignByte[16]应用署名TPM_SignByte[16]TPM署名在上表中，用户ID是系统中用户惟一标识，能够使用用户编号（用户名称）或用户拥有智能卡（SKEY）序列号；所属应用ID是用户所属应用惟一标识，能够使用应用完整性度量值来替换（单进程应用能够使用进程完整性数据替换，多进程应用能够将各个进程完整性度量数据拼接后，计算出新整个应用完整性度量数据）；平台ID是创建该用户端系统标识，能够使用和平台绑定TPM惟一序列号。基于多级信任保护访问控制用户管理和权限控制子系统接口关系以下图所表示，各模块间接口关系以下：身份服务模块在用户提交进入系统申请后向身份管理系统模块提交用户信息和身份申请；身份管理系统模块在确定用户信息后将身份管理指令和身份信息反馈至身份服务模块；认证服务模块对用户身份进行验证，确定用户正当性；访问控制模块接收用户授权请求后，向授权管理系统模块提交用户授权和相关信息；授权管理系统模块依据用户信息（如用户所对应角色、所在安全域等）为用户分配对应权限或回收对应权限将结果反馈给访问控制模块；访问控制模块得到用户权限信息后依据信息内容和用户请求实施需要具体操作。数据隔离、数据校验（防篡改）、数据加密和数据保护模块提供对存放数据安全保护。图表云存放安全子系统接口关系图在云平台中，用户有不一样访问权限，针对不一样权限用户能够设定不相同级操作。同时存放在底层资源池中资源也一样划分为不一样安全等级，不相同级资源，访问路径是不相同。本项目提出了基于可信平台多级信任保护方法，其关键目标是能够认证访问云平台应用（进程）、资源和用户可信性，从而能够很方便地服务于多级访问控制技术，为其提供良好基础。简单地，能够将系统中资源按可信性需求程度分为高、中和低3个等级。资源可信要求越高，对访问该资源用户可信性也要求越高。具体步骤以下图所表示：图表基于多级信任保护多级访问控制步骤为了愈加好保护虚拟资源池数据安全，首先要建立一个可信资源访问控制，能够利用网闸和访问控制器建立一套监控机制，对访问资源池请求进行监督，只许可外部连接经过专用协议进行访问，而对其它非可信访问一律拒绝，以预防恶意非法入侵和攻击，包含漏洞攻击、DDoS攻击和带宽攻击等，建立一个数据安全交换平台，以下图所表示。图表数据安全交换平台具体实现方法包含：会话终止：请求端经过网闸和资源池建立连接时，网闸对外网络接口会经过模拟应用服务器端，终止网络之间会话连接，这么可确保在不可信和可信网络之间没有一条激活会话连接；协议安全检验：对来自连接数据包进行基于内部RFC协议分析，也能够对一些协议进行动态分析，检验是否有攻击成份；数据抽取和内部封装：在协议检验同时，将协议分析后数据包中数据提取出来，然后将数据和安全协议一起经过特定格式压缩、数据封装转化成网闸另一端能接收格式；基于安全策略决议审查：安全策略决议是运行在访问控制器上，由系统管理员定义。它分析外部来数据，关键是源地址、目标地址和协议等信息，而且和规则库进行匹配，看是否许可经过或丢弃；编码和解码：对静态数据块进行编码，编码是相对复杂而且基于随机关键字。一旦编码，则打乱了数据或命令原有格式，使数据中可能携带可实施恶意代码失效，阻止恶意程序实施。一旦数据经过了内容检测且确定是安全，它就被解码，准备发送到内部网络；会话生成内部服务器模拟应用用户端，将经检测过数据发送到内部网络，和内部网络上真正应用服务器建立一个新连接，接着生成符合RFC协议新通信包。同时，经过外部集成入侵检测系统IDS，对网络通信进行安全审计，立即发觉和追踪各类非法连接行为；经过外部集成负载均衡设备，为访问用户提供虚拟IP地址，确保物理机器对用户不可见，避免非法用户对真实物理机直接访问，避免对物理机可能操作动作。云平台安全审计云平台安全审计任务由分布于网络各处功效单元协作完成，这些单元还能在更高层次结构上深入扩展，从而能够适应网络规模扩大。云安全审计体系结构以下图所表示。图表云存放安全审计体系结构它由三部分组成：主机代理模块：在受监视系统中作为后台进程运行审计信息搜集模块。关键目标是搜集主机上和安全相关事件信息，并将数据传送给中央管理者。局域网监视器代理模块：关键分析局域网通讯流量，依据需要将结果汇报给中央管理者。中央管理者模块：接收包含来自局域网监视器和主机代理数据和汇报，控制整个系统通信信息，对接收到数据进行分析。在云安全审计体系结构中，代理截获审计搜集系统生成审计统计，应用过滤器去掉和安全无关统计，然后将这些统计转化成一个标准格式以实现互操作。然后，代理中分析模块分析统计，并和该用户历史映像相比较，当检测出异常时，向中央管理者报警。局域网监视器代理审计主机和主机之间连接和使用服务和通讯量大小，以查找出显著事件，如网络负载忽然改变、安全相关服务使用等。对于安全审计系统来说，数据源能够分为三类：基于主机、基于目标、基于网络，下面分别对每类起源进行叙述。（1）基于主机数据源基于主机（包含虚拟机）数据有以下四类：操作系统日志、系统日志、应用日志和基于目标信息。（2）基于目标数据源评定出系统中关键或是有特殊价值对象，针对每一个对象制订信息搜集和监视机制，该对象即为审计目标；对于审计目标每一次状态转变，和系统安全策略进行比较，所出现任何异常全部进行统计或响应。最常见基于目标审计技术是完整性校验，其审计对象多为文件。采取消息摘要算法，计算需要保护系统对象（如关键文件）校验值，并存放在安全区域。周期性地对目标进行检验，能够发觉目标是否被改变，从而提供一定等级保护。（3）基于网络数据源网络数据源基础原理是：当网络数据流在网段中传输时，采取特殊数据提取技术，收取网络中传输数据，作为安全审计系统数据源。在计算机网络系统中，局域网普遍采取是基于广播机制IEEE802.3协议，即以太网（Ethernet）协议。该协议确保传输数据包能被同一冲突域内全部主机接收，基于网络安全审计正是利用了以太网这一特征。安全审计方法描述：为系统描述方便，用T表示安全服务器，和外部网络隔离，它通信安全性可由多种方法实现，如抵赖令牌、VPN安全信道、SSL安全信道等，如内部网络中安全服务器、安全电子证据搜集设备或安全中央服务器等；用U表示不安全系统，轻易受到攻击却统计着日志计算机系统，它在物理位置上并不安全，也就是说它是接入网络，也没有有效防御方法来确保不被攻击者控制，如个人PC、防火墙、入侵检测系统或其它应用系统等；用V表示一些授权用户使用计算机，安全性介于U和T之间，它能被信任查看一些日志统计，但不能修改统计，也就是说并不支持全部操作，如内部工作站等。本系统创建新安全日志文件时，由U随机产生初始认证密钥，并由安全信道发送到T保留。U产生原始日志信息，经过多个加密标准工具对原始日志每条统计进行保护后写入安全审计日志文件中，并定时将安全审计日志文件备份到T中保留。安全审计时，T发送认证码给V，指定V查看或审计U和T中日志文件部分日志统计，也可由T直接对U中日志文件进行安全审计，出现可疑信息时和T中备份日志数据进行比较，发觉确实不一致则可初步判定U可能遭受攻击。安全日志审计系统结构以下图所表示。图表安全日志审计系统结构图U开始创建日志文件时和安全认证系统T共享一个密钥，用这个密钥创建日志文件。对于分布式安全审计系统具体实现来说，应用Agent技术是一个很好处理方案，该技术已经在部分实际安全审计系统中得到了应用。Agent最早起源于人工智能，现广泛地应用于人工智能、网络管理、软件工程等领域。我们将Agent（代理）定义为“一个自治实体，它能够感知环境，而且对外界信息做出判定和推理，来控制自己决议和行动，方便完成一定任务”。基于Agent安全审计系统是将Agent分布于系统关键点上，包含提供各项服务服务器、关键工作站、内部网关和防火墙上，完成大部分安全审计和响应任务。因为代理本身含有自治性，能够针对特定应用环境编程和配置，使得代理占用系统资源最小；在将代理放入具体复杂环境前能够对它进行独立测试；同时经过Agent间有限交互（包含数据和控制信息），能够取得更复杂信息，有利于处理网络中协作入侵活动。安全审计中Agent经过探查所在系统日志文件，捕捉网络数据包或其它信息源获取数据。另外，将审计任务分配到多台计算机上有利于降低监控计算机负荷，而且能提升系统处理速度和效率，提升系统实时性；最终，Agent能够自动升级，而且对系统其它部分保持透明。工作机制数据写入机制数据写入过程参考下图：用户端向元数据服务器请求写入文件数据，元数据服务器返回写入服务器列表；用户端进行文件切块写入有块数据服务器；用户端每写入一定量块数据后，通知元数据服务器，由元数据服务器开启一个编码任务，进行编码；而用户端继续写数据，真到写完成为止；元数据服务器调度一个或多个块数据服务器进行编码任务；被调度块数据服务器，获取需要原始信息块组进行编码，产生冗余数据块；数据读出机制数据读出过程参考下图：用户端向元数据服务器请求读出文件数据，元数据服务器返回数据块位置列表；用户端进行数据块读出；用户端进行数据块校验；对未能读出数据块或无效块经过同编码组内其它数据块进行解码，取得完整正解文件数据。关键技术负载自动均衡技术采取中心服务器模式来管理整个云存放文件系统，全部元数据均保留在主管理服务器上，文件则划分为多个节点存放在不一样节点服务器上。主卷管理服务器维护了一个统一命名空间，同时掌握整个系统内节点服务器使用情况，当用户端向元数据服务器发送数据读写请求时，元数据服务器依据节点服务器磁盘使用情况、网络负担等情况，选择负担最轻节点服务器对外提供服务，自动均衡负载负担。另外，当某有一个节点服务器因为机器故障或其它原因造成离线时，主卷管理服务器会将此机器自动屏蔽掉，不再将此节点服务器提供给用户端使用，同时存放在此节点服务器上数据也会自动编码冗余到其它可用节点服务器上，自动屏蔽节点服务器故障对系统影响。高速并发访问技术用户端在访问云存放时，首先访问主卷管理服务器节点，获取将要和之进行交互节点服务器信息，然后直接访问这些节点服务器完成数据存取。用户端和主卷管理服务器之间只有控制流，而无数据流，这么就极大地降低了主卷管理服务器负载，使之不成为系统性能一个瓶颈。用户端和节点服务器之间直接传输数据流，同时因为文件被分成多个节点进行分布式存放，用户端能够同时访问多个节点服务器，从而使得整个系统I/O高度并行，系统整体性能得到提升。通常情况下，系统整体吞吐率和节点服务器数量呈正比。高可靠性确保技术对于元数据，经过操作日志来提供容错功效，当主管理服务器发生故障时，在磁盘数据保留完好情况下，能够快速恢复以上元数据。为了预防主管理服务器根本死机情况，还提供了主管理服务器远程实时备份，这么在目前主管理服务器出现故障无法工作时候，另外一台备管理服务器能够快速接替其工作。对于节点服务器，采取编解码方法实现容错，分布存放在不一样节点服务器上。数据块分布策略考虑了多个原因，如网络拓扑、机架分布、磁盘利用率等。在其后过程中，假如相关数据块出现丢失或不可恢复等情况，主管理服务器会自动将该数据块编解码冗余到其它节点服务器，从而确保数据块一定冗余容错，进行自动冗余容错重建。在有多个节点服务器情况下，任意损失一个节点，数据全部不会丢失，而且伴随节点服务器数目标增多，整个系统可靠性越大。高可用技术系统中全部服务节点均是经过网络连接在一起，因为采取了高可靠容错机制，系统增减节点无须停止服务，可在线增减存放节点，存放节点和元数据节点间经过注册管理机制自适应管理，实现自动伸缩。元数据服务器采取主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存放节点采取编解码冗余备份机制，如采取4:2编码容错，任意损失两个节点，数据不丢失，服务不停止。低功耗存放技术服务器功耗取决于各个配件总体功耗，而关键耗电大户则是处理器、芯片组和存放器了。低功耗存放技术关键是改善这些配件能够进而实现节能，这么服务器乃至数据中心整体功耗则会得到愈加好控制。伴随嵌入式技术飞速发展，嵌入式性能有了很大提升，嵌入式性能和计算机差距不停缩小，尤其是在专用计算机领域。因为嵌入式系统是应用在特定环境下，针对特殊用途来设计系统。所以不一样于通用计算机系统。一样是计算机系统，嵌入式系统是针对具体应用设计“专用系统”。它硬件和软件全部必需高效地设计。“量体裁衣”，去除冗余，努力争取在较少资源上实现更高性能。和通用计算机系统相比，它含有功耗低，体积小、集成度高、成本低等优点。能够被应用在近线存放、离线存放存放节点设计上，有效降低成本和使用功耗，同时对应散热系统也能够简化。分布式、分级、动态存放技术云存放系统，就是将数据分散存放在多台独立设备上。传统网络存放系统采取集中存放服务器存放全部数据，存放服务器成为系统性能瓶颈，也是可靠性和安全性焦点，不能满足大规模存放应用需要。分布式网络存放系统采取可扩展系统结构，利用多台存放服务器分担存放负荷，利用位置服务器定位存放信息，它不仅提升了系统可靠性、可用性和存取效率，还易于扩展。云存放系统将一般商用PC机或工作站经过高速网络互联在一起组成机群，能够依据系统需要随时增加新硬件，提升系统可伸缩性和可用性，从而能够在价格低廉中低端平台上获取高端或超级计算机系统才含有高可伸缩性、高可用性和高性能。分级存放是依据数据关键性、访问频率、保留时间、容量、性能等指标，将数据采取不一样存放方法分别存放在不一样性能存放设备上，经过分级存放管理实现数据客体在存放设备之间自动迁移。数据分级存放工作原理是基于数据访问局部性。经过将不常常访问数据自动移到存放层次中较低层次，释放出较高成本存放空间给更频繁访问数据，能够取得愈加好性价比。这么，首先可大大降低非关键性数据在一级当地磁盘所占用空间，还可加紧整个系统存放性能。传统数据存放通常分为在线(On-line)存放和离线(Off-line)存放两级存放方法。而在分级存放系统中，通常分为在线(On-line)存放、近线（Near-line）存放和离线(Off-line)存放三级存放方法。（1）在线存放是指将数据存放在高速高性能云存放系统存放设备上，适合存放那些需要常常和快速访问程序和文件，其存取速度快，性能好，存放价格相对昂贵。在线存放，是工作级存放，其最大特征是存放设备和所存放数据时刻保持“在线”状态，能够随时读取和修改，以满足前端应用服务器或数据库对数据访问速度要求。（2）近线存放是指将数据存放在低速磁盘系统上，通常是部分存取速度和价格介于高速磁盘和磁带之间低端磁盘设备。近线存放外延相对比较广泛，关键定在用户在线存放和离线存放之间应用。就是指将那些并不是常常见到（比如部分长久保留不常见文件归档），或说访问量并不大数据存放在性能较低存放设备上。但对这些设备要求是寻址快速、传输率高。所以，近线存放对性能要求相对来说并不高，但又要求相对很好访问性能。同时多数情况下因为不常见数据要占总数据量较大比重，这也就要求近线存放设备在需要容量上相对较大。近线存放设备关键有采取低功耗架构云存放系统。（3）离线存放，指将数据备份到磁带或磁带库上。大多数情况下关键用于对在线存放或近线存放数据进行备份，以防范可能发生数据灾难，所以又称备份级存放。离线存放通常采取磁带作为存放介质，其访问速度低，但价格低廉海量存放。此次云存放系统方案，就采取了分级技术，把存放信息依据信息关键性、访问频率等对信息进行了分级存放，将文件元数据等访问频繁关键信息时刻保持在线存放，开机后保留在内存中，能够随时读取和修改，以满足前端应用服务器或数据库对数据访问速度要求。将其它备份数据、冗余容错数据等访问量小数据等采取廉价SATA硬盘存放。对于访问量小数据采取离线存放，一旦需要访问这些数据能够使用对应唤醒策略来实现将离线转为在线，如经过网络唤醒机制等。对于和时间紧密相关数据（如新闻、电视等内容信息）存放，这些数据伴随时间推移，它们使用频率越来越少，我们能够依据时间来对这些信息进行分级动态存放，如将前多个月历史数据存放到离线存放设备上，它们元数据信息也不需要存放在元数据服务器内存中，直接存放在元数据服务器硬盘中，假如需要访问时能够将其调入内存中。对于这些存放这些过时信息存放节点能够让其一直处于待机状态，一旦要使用能够经过网络唤醒让其工作起来。接口描述作为云平台基础架构层cStor云存放系统，关键支持两种访问方法：①POSIX通用文件系统接口访问；②经过专用API访问。具体描述以下。POSIX通用文件系统接口访问cStor用户端挂接程序支持Linux/Unix/Windows/MacOS等操作系统，而且支持POSIX接口规范，经过用户端将云存放系统挂载成当地目录或磁盘后，用户能够如同操作当地目录或磁盘一样使用云存放空间。同时，对于基于当地文件系统应用程序，能够不加修改，直接应用在云存放系统上。通常情况下，能够经过在用户端基础上布署FTP、NFS等服务器方法，对外提供基于FTP和NFS数据存放访问。应用程序API接口调用cStor云存放系统对外提供给用程序API访问接口，能够依据实际应用需要编写应用程序，经过调用对应接口直接访问cStor云存放系统。当地容错和诊疗技术8.1cStor高可靠性快速恢复 不管怎样终止服务，元数据服务器和存放服务器全部会在几秒钟内恢复状态和运行。实际上，我们不对正常终止和不正常终止进行区分，服务器进程全部会被切断而终止。用户机和其它服务器会经历一个小小中止，然后它们特定请求超时，重新连接重启服务器，重新请求。数据块恢复 每个数据块全部会被备份到放到不一样存放服务器上。对不一样目录和文件，用户能够设置不一样备份等级。在存放服务器掉线或是数据被破坏时，元数据服务器会根据需要来复制数据块。元数据备份 元数据服务器采取双机热备技术，在主元数据服务器发生异常中止时，能够在秒级内切换到备元数据服务器，而不会中止业务。 另外还能够采取冷备份机制，单独将元数据备份到另外第3台机器中，从而确保万无一失。8.2cStor数据完整性 每个存放服务器全部利用校验和来检验存放数据完整性。 在读数据时，存放服务器首先检验和被读内容相关部分校验和，所以，服务器不会传输错误数据。假如所检验内容和校验和不符，服务器就会给数据请求者返回一个错误信息，并把这个情况汇报给元数据服务器。用户机就会读其它服务器来获取数据，而元数据服务器则会从其它拷贝来复制数据，等到一个新拷贝完成时，元数据服务器就会通知汇报错误服务器删除犯错数据块。写数据时校验和计算优化了，因为这时关键写操作。我们只是更新增加部分校验和。在空闲时间，服务器会检验不活跃数据块校验和，这么能够检验出不常常读数据错误。一旦错误被检验出来，服务器会拷贝一个正确数据块来替换错误。8.3cStor快照技术 快照操作几乎在瞬间结构一个文件和目录树副本，同时将正在进行其它修改操作对它影响减至最小。异地容灾和恢复技术 伴随企业规模扩展，用户原有意识中数据备份已经无法满足关键业务对系统可用性、实时性、安全性需要。更关键是备份数据往往会因为多种原因而遭到毁坏，如地震、火灾、丢失等。所以需要异地容灾备份技术，从而深入提升数据抵御多种可能安全原因容灾能力。cStor数据备份和恢复系统功效自动备份 用户可依据工作需要