基于云计算技术监督数据存储研究(1)

1、基于云计算的技术监督数据存储研究技术方案2014年11月一、 总述1、 项目背景目前贵州电力试验研究院随着技术监督业务的不断扩展和延伸，技术监督中心需要存储的数据量不断激增，并发访问的用户不断增加，因此给数据的存储提出了新的问题和要求，对于如何确保数据的一致性、安全性和可靠性，如何实现存储资源管理等等问题的解决需要根据现实情况提出新的解决办法。此外于人为的误操作、软件缺陷、硬件故障、计算机病毒、黑客攻击、自然灾难等诸多因素，均有可能带来数据的丢失，从而给整个贵州电力试验研究院带来无法估量的损失。随着云计算技术的快速发展，如何在云技术保证贵州电力试验研究院数据的安全，就需要对基于云计算技术下的技

2、术监督数据进行深入研究因此，对本课题研究，显得尤为必要2、 项目目标贵州电力试验研究院的系统存放着许多技术监督数据，通过本次的课题研究需要对云计算下数据存储达到以下研究目标：l 对贵州电力试验研究院的基础数据建立标准；l 保证存储数据的安全、可靠，提出解决策略；l 提出解决存储的数据不丢失以及丢失过后能尽快恢复的方案；l 方案对抵御灾难性事件对信息数据的破坏提出解决办法；l 设计出高效、安全的存储架构；l 对存储资源管理提出解决策略。二、 总体思路1、 工作方式、方法l 工作思路本次课题研究将以实地调研为基础，以理论研究为辅，从实地调研中得出客观结论，即实地调研，理论分析对比借鉴，数据分析总结

3、归纳，提出建议 现实应用，实践检验。 l 研究方法 实地调查法。 问卷调查法。 信息分析法。 对比分析法。 数据分析法。2、 工作流程对贵州电网电力研究院技术监督数据进行详细研究，进行数据编码设计对贵州电网电力研究院所有存储设备情况进行了解；规划总体架构根据贵州电网电力研究院对数据的安全等级需求，规划存储的安全及备份策略。根据贵州电网电力研究院对存储资源的管理需求对资源管理策略进行优化。三、 技术方案1、 基于云计算的技术监督基础数据标准基础数据标准体系既是贵州电力试验研究院信息化标准体系的重要组成部分，又涉及贵州电力试验研究院信息标准体系的多个方面。为此，要进行数据标准化总体设计，应在数据指

4、标体系、基础数据指标定义、数据分类、数据编码、数据交换格式与共享规范、数据文件命名规则和质量控制标准、系统转换接口、主题数据库的定义、主题数据库数据的使用维护机制等方面进行标准化。这样，数据才能在企业整体信息化中发挥相应的作用。1.1 基础数据标准化管理的原则l 统一标准的数据定义：减少数据定义的二义性；l 统一标准的企业数据模型：该企业数据模型必须是一个全企业范围的定义库，能适跨应用、跨业务地完整表述企业数据的统一的完整数据视图；l 统一标准的存储管理：统一规划使用存储资源，提高存储资源使用效率；l 统一标准的性能管理：根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要；

5、l 统一标准的数据质量管理：数据管理需要通过应用标准方法论和原则，实现对有价值的商业信息和数据进行完整的生命周期的管理，从而支持贵州电力试验研究院的业务。l 其它管理：提供对数据的其他统一标准化管理，包括统一编码标准；1.2 企业级数据标准化策略通过对广东电网公司现行的数据标准化建设的现状了解和评估，结合中国电力行业标准化的策略和毕博在国内外电网公司数据规划的经验，制定符合广东电网公司实际情况的企业级数据标准化的策略。企业级数据标准化策略举例如下：l 在贵州电力试验研究院设立具有权威性的企业数据标准化管理组织，专门的人员组织负责标准化管理工作，确定人员职责；l 确立可遵循的可重复使用的统一的标

6、准化工作流程和工作步骤；l 企业级数据标准的制定首先参考国家标准委员会制定的电力行业系统标准，其次参考国际标准化组织IEC61970，IEC61968等关于电力行业的标准。2、 基于云计算的技术监督数据存储安全策略2.1 存储安全策略云存储应用中的存储安全包括认证服务、数据加密存储、安全管理、安全日志和审计。l 认证服务：访问控制服务实现用户身份认证、授权，防止非法访问和越权访问。主要功能包括：用户只能对经管理员或文件所有者授权的许可文件进行被许可的操作；管理员只能进行必要的管理操作，如用户管理、数据备份、热点对象迁移，而不能访问用户加密了的私有数据。l 加密存储：是对指定的目录和文件进行加密

7、后保存，实现敏感数据存储和传送过程中的机密性保护。l 安全管理：主要功能是用户信息和权限的维护，如用户帐户注册和注销等，授权用户、紧急情况下对用户权限回收等。l 安全日志和审计：是记录用户和系统与安全相关的主要活动事件，为系统管理员监控系统和活动用户提供必要的审计信息。2.2 加密方式随着存储系统和存储设备越来越网络化，存储系统在保证敏感数据机密性的同时，必须提供相应的加密数据共享技术。必须研究适用于网络存储系统的加密存储技术，提供端到端加密存储技术及密钥长期存储和共享机制，以确保用户数据的机密性和隐私性，提高密钥存储的安全性、分发的高效性及加密策略的灵活性。在海量的加密信息存储中，加密检索是

8、实现信息共享的主要手段，是加密存储中必须解决的问题之一。加密检索技术有线性搜索算法、基于关键词的公钥加密搜索、安全索引、引入相关排序的加密搜索算法。l 线性搜索算法首先用对称加密算法对明文信息加密，对于每个关键词对应的密文信息，生成一串长度小于密文信息长度的伪随机序列，并生成一由伪随机序列及密文信息确定的校验序列，伪随机序列的长度与检验序列长度之和等于密文信息的长度，伪随机序列及检验序列对密文信息再次加密。在搜索过程中，用户提交明文信息对应的密文信息序列。在服务器端，密文信息序列被线性的同每一段序列模2加。如果得到的结果满足校验关系，那么说明密文信息序列出现，否则，说明密文信息不存在。线性搜索

9、方法是一次一密的加密信息检索算法，因此有极强的抵抗统计分析的能力。但其有一个致命的缺点，即逐次匹配密文信息，这使得这种检索方法在大数据集的情况下难以应用。l 基于关键词的公钥加密搜索算法由Boneh等人提出的，其目的是可以在用户端存储、计算资源不足的情况下，通过访问远端数据库获取数据信息。此算法首先生成公钥、私钥，然后对存储的明文关键词用公钥进行加密，生成可搜索的密文信息。此算法可以解决两方面的问题：第一，存储、计算资源分布的不对称性，即用户的计算存储能力不能实时满足其需求；第二，用户在移动情况下对存储、检索数据的需求，比如Email服务等。l 安全索引由Park等人提出，其机制是每次加密所用

10、的密钥是事先生成的一组逆Hash序列，加密后的索引被放入布隆过滤器中。当检索的时候，首先用逆Hash序列密钥生成多个陷门，然后进行布隆检测。对返回的密文文档解密即可得到所需检索的文档。针对有新用户加入、旧用户退出的多用户加密信息检索，这是一种解决方法。但其存在的缺陷是需要生成大量的密钥序列，随着检索次数的增加，每多进行一次检索，其计算复杂度均线性增加。这在实际应用中很难被接受。l 引入相关排序的加密搜索算法Swaminathan等人提出了保护隐私的排序搜索算法。在这一算法中，每一文档中关键词的词频都被保序加密算法加密。提交查询给服务器端后，首先计算检索出含有关键词密文的加密文档；然后对用保序算

11、法加密的词频对应的密文信息进行排序处理；最后把评价值高的加密文档返回给用户，由用户对其进行解密。这一种方法可以在给定多个可能相关文档的情况下对加密文档进行排序，进而把最可能相关的文档返回给用户。但这一种算法首先不适用于一个查询包含多个查询词的情况，其次算法只利用了文档中的词频信息，无法利用词的逆文档频率，进而向量空间模型无法直接应用。3、 基于云计算的技术监督数据存储的架构设计方案3.1 基础架构云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共

12、同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。云存储系统的结构模型由四层组成，分别是：存储层、基础管理层、应用接口层和访问层。l 存储层存储层是云存储最基础的部分。云存储中的存储设备往往数量庞大且分布地域很广，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。l 基础管理层基础管理层是

13、云存储最核心的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。l 应用接口层应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。l 访问层任

14、何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。3.2 拓扑结构参考云状的网络结构，创建一个新型的云状结构的存储系统系统，这个存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。4、 基于云计算的技术监督数据存储的备份方案4.1 备份软件部分cStor 分布式文件系统 备份软件包括黑方实时备份系统，此备份软件系统包含：备份软件、备份服务器、 备份介质，操作系统四个方面。此信息安全系统具有 4S 备

15、份架构的功能和作用。其中， 备份介质采用上面的 cStor 云存储分布式文件系统。 黑方实时备份系统可用来实时备份 HIS 服务器数据库，在线备份 HIS 服务器 Win2003 操作系统，更好的保障 HIS 系统的正常运营。备份操作系统时，可将操作系统下的所有 应用程序也一起备份下来。 4.2 数据库备份 数据库备份支持主流的操作系统，如 Oracle 和 MS SQL Server。下面以 Oracle 数据 库为例说明数据库的实时备份和定时备份。 Oracle 实时备份：通过在操作系统核心层中植入文件过滤驱动程序，实时截获数据 库实例相关文件的 I/O 操作。实时备份模块经由文件过滤驱动

16、拦截到文件改写操作时， 将每次 I/O 操作生成 I/O 操作日志文件，并自动实时备份至远程云存储 IDC 存储空间中。 黑方备份 Oracle 数据库采用热备份方式，不需要停止数据库，所以在备份时不影响数据 库的使用，用于业务系统不能停机时的备份。 定时备份：黑方在对 Oracle 数据库实时备份的同时可以做数据库定时备份，可保留 多个数据库历史版本，保障数据库的安全，防止人为删除数据或磁阵硬件错误造成数据丢失。 Oracle 数据库定时备份采用黑方在线热备份技术，可以设置自动备份时间，如每周 日晚上 2 点完全备份、周一至周六晚上 2 点进行增量备份、每 4 个小时进行归档日志备 份，根据

17、用户的要求，可以保留多个数据库完整版本。 4.3 操作系统和文件备份 黑方系统，支持文件数据的实时备份，通过领先的 CDP 技术保障数据安全。支持 WIN2003 操作系统的在线备份，保留操作系统的多版本，同时可备份操作系统下所有的 应用程序和文件数据。支持大文件备份，对于 PACS 影像库文件，同样可以备份到远程 IDC 云存储中心，防止本地逻辑错误或物理错误而造成的损失。 对 PACS 服务器，根据用户要求，进行指定现在存储上的目录或文件进行自动备份， 将医疗影像文件备份至远程 IDC 云存储中心。黑方的系统备份模块，全部采用在线完全 备份与差量备份相结合的技术，可保留多个系统镜像，优化存

18、储空间。5、 基于云计算的技术监督数据存储资源的管理策略l 存储池管理云存储池管理为用户提供分配和使用存储资源所需的资源部署、变更和回收功能，包括用户存储资源配置的申请、审批与落实，基于业务策略的资源自动部署、迁移和回收等。l 存储资源模板管理存储资源模板是系统可对用户发布的存储资源的清单，包括存储资源的创建、修改和删除等功能。ll 存储资源监控根据存储资源的分布、变新和回收情况动态采集和更新资源信息，并将相关信息通过不同的方式展现出来，具体包括统计数据分析和展现、关键日志记录和查询等。l 用户管理可提供用户注册、用户配置更改、用户授权、用户删除等用户管理功能。用户必须经过认证且只能在权限许可

19、范围内进行系统操作或数据访问。四、 项目实施方案1、 实施计划项目实施阶段计划如下：最终交付成果物：基于云计算的技术监督基础数据标准基于云计算的技术监督数据存储安全策略基于云计算的技术监督数据存储的架构设计方案基于云计算的技术监督数据存储的备份方案基于云计算的技术监督数据存储资源的管理策略用户报告总结报告2、 项目管理根据软件工程的过程，制定以下工作流程，并规定了各个重要环节需要提交的交付物。各阶段需提交的文档：l 立项：项目申请表，软件需求报告或设计方案。l 需求分析：项目研发主计划、需求规格说明书l 总体设计：概要设计说明书或功能模块描述l 详细设计：详细设计说明书，包括软件接口说明、单元

20、测试计划。l 软件实现：软件功能说明、源代码说明或者注释l 产品测试：测试报告l 产品发布：产品说明书、使用手册l 产品维护：问题反馈记录l 项目总结：提交客户方的项目总结和公司项目汇报的PPT。3、 质量保障措施软件质量保证工作涉及软件生存周期各阶段的活动，应该贯彻到日常的软件开发活动中，而且应该特别注意软件质量的早期评审工作。因此，对于所负责系统，要按照本计划的各项规定进行各项评审工作。软件质量保证小组要参加所有的评审与检查活动。评审与检查的目的是为了确保在软件开发工作的各个阶段和各个方面都认真采取各项措施来保证与提高软件的质量。在软件开发过程中，要进行如下几类评审与检查工作：l 阶段评审

21、在软件开发过程中，要定期地或阶段性地对某一开发阶段或某几个开发阶段的阶段产品进行评审。在软件及其所属各子系统的开发过程中，应该进行以下三次评审：第一次评审软件需求、概要设计、验证与确认方法；第二次评审详细设计、功能测试与演示，并对第一次评审结果复核；第三次是功能检查、物理检查和综合检查。阶段评审工作要组织专门的评审小组，原则上由项目总体小组成员或特邀专家担任评审组长，评审小组成员应该包括项目所有成员、质量保证人员、和上级主管部门的代表，其他参加人员视评审内容而定。每一次评审工作都应填写评审总结报告（RSR）、评审问题记录（RPL）、评审成员签字表（RMT）与软件问题报告单（SPR）等四张表格。l 日常检查在软件的工程化开发过程中，各子系统应该填写项目进展报表，即软件进展报表表头、软件阶段进度表、软件阶段产品完成情