媒体聚合平台解决方案.docx

新媒体聚合平台台解决方案1 / 23新媒体聚合平台解决方案新媒体聚合平台台解决方案1概述1.1 建设背景云存储平台为本次新媒体内容聚合平台总体解决方案的一部分。主要针对海量的音 视频文件、用户 ugc 数据、转码后生成文件、共享资料及其它各类数据的集中存储与 共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平 台。为新媒体内容聚合平台数据存储提供便捷、统一管理和高效应用的基础平台支撑。1.2 设计范围本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、 硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。1.3 总体设计原则针对本次工程的实际情况,充分考虑新媒体内容聚合平台建设的建设发展需求，以实 现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、可靠、可扩展、高可 用、易用和可管理、开放、可移植”为总体设计原则。1.3.1先进性原则在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选 择实用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统发展平滑扩 展。1.3.2安全性原则数据是业务系统核心应用的最终保障，不但要保证整套系统能够 7x24 运行，而且 存储系统必须有高可用性，以保证应用系统对数据的随时存取。同时配置安全的备份系 统，对应用数据进行更加安全的数据保护，降低人为操作失误或病毒袭击给系统造成的 数据丢失。10 / 231.3.3可靠性原则整个云存储系统在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软 硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全 可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。1.3.4可扩展性原则云存储系统支持横向扩展(scale-out)。通过先进的分布式计算和存储架构，支持在 存储容量和系统性能两个维度上的扩展。通过动态地添加存储节点，实现在线不停机的 扩容功能。用户无需中断业务运行，即可动态线性的增加存储容量和系统。通过云存储系统的横向扩展能力，存储容量、系统带宽、处理能力、文件 iops 能 力可线性增长，具有良好的可扩展性和灵活性。1.3.5可用性、易用性和可管理性原则存储数据会按照存储策略进行分片，分布到各个存储节点中去，使得读写操作也可 以在各个存储节点上并发执行，大大提升性能。因此云存储系统可支持大并发用户读写， 支持大规模商用系统。为确保整个系统能够稳定工作，软件平台使用先进、完善、易于管理和稳定可靠的 云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。提供基于 web 的人机操作界面和维护界面，提供详细的文档和联机帮助与提示信 息，可以通过 web 操作界面完成系统参数的维护与管理，可方便地对网络设备、操作 系统、存储节点、磁盘、cpu、内存等进行有效地监控、管理与维护。1.3.6开放性原则系统建设具有开放性的标准体系，提供符合 nfs、cifs、posix 标准的通用文件系统 访问接口，支持开放的应用 api 编程接口，提供人性化的应用和管理界面，以满足用户 需求。遵循规范的通用接口标准，支持主流的操作系统，包括 windows，suse、centos、 redhat 等 linux，使全系统中的硬件、通信、软件、操作平台之间的互联共享。支持和 第三方系统的互连。充分考虑系统的升级和维护问题，维护采用在线式的，即在系统不停止工作的情况 下，可以更换单元备件。系统的维护和升级操作由系统管理员即可完成。1.3.7可移植性原则现有业务系统存储数据量较大，且数据的增长速度较快。因此在建设系统存储架构 时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升 级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高 的同时，存储架构在较长的时间内能够保持相对稳定。cstor 云存储系统，结合先进的云平台技术架构优势，根据本次项目建设的实际容量 需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现 在较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容 错，大大节约和降低系统建设的硬件成本。2系统安全性设计2.1 安全保障体系框架nsa 提出的信息安全保障技术框架（iatf），如下图所示。iatf 依据“深度防护战 略”理论，要求从整体、过程的角度看待信息安全问题，强调人、技术、操作这三个核 心原则，关注四个层次的安全保障：保护网络和基础设施、保护边界、保护计算环境、 支撑基础设施。图表 基于深度防护战略的 iatf 模型iatf 模型从深度防护战略出发，强调人、技术和操作三个要素：人：人是信息的主体，是信息系统的拥有者、管理者和使用者，是信息保障体系的核心，是第一位的要素，同时也是最脆弱的。正是基于这样的认识，安全组织和安全管 理在安全保障体系中是第一位的，要建设信息安全保障体系，首先必须建立安全组织和 安全管理，包括组织管理、技术管理和操作管理等多个方面。技术：技术是实现信息安全保障的重要手段，信息安全保障体系所应具备的各项安 全服务就是通过技术机制来实现的。当然 iatf 所指的技术是防护、检测、响应、恢复 并重的、动态的技术体系。操作：也可称之“运行”，它体现了安全保障体系的主动防御，如果说技术的构成 是被动的，那操作和流程就是将各方面技术紧密结合在一起的主动过程，运行保障至少 包括安全评估、入侵检测、安全审计、安全监控、响应恢复等内容。信息安全保障体系的实现就是通过建立安全组织、安全管理和防护技术体系，协调 组织、技术、运作三者之间的关系，明确技术实施和安全操作中技术人员的安全职责， 从网络和基础设施、区域边界、计算环境、支撑基础设施等多层次保护，从而达到对安 全风险的及时发现和有效控制，提高安全问题发生时的反应速度和恢复能力，增强网络 与信息的整体安全保障能力。对于云计算安全参考模型，云安全联盟 csa（cloud security alliance）提出了 基于 3 种基本云服务的层次性及其依赖关系的安全参考模型,并实现了从云服务模型到 安全控制模型的映射。该模型显示 paas 位于 iaas 之上,saas 位于 paas 之上。该模型 的重要特点是供应商所在的等级越低,云服务用户所要承担的安全能力和管理职责就越 多。根据资源或服务的管理权、所有权和资源物理位置的不同,csa 也给出了不同的云 部署模型的可能实现方式及其不同部署模式下共享云服务的消费者之间的信任关系,如 下图所示。图表 云部署模型的实现此图显示,对于私有云和社区云,有多种实现方式,可以和公共云一样,由第三方拥 有和管理并提供场外服务（off-premises）,所不同的是共享云服务的消费者群体之间 具有信任关系,局限于组织内部和可信任的群体之间。对于每一种云部署实现方式,都可以提供 3 种基本的云服务。云部署实现的不同方 式和基本云服务的组合构成不同的云服务消费模式。结合云服务安全参考模型,可以确 定不同的云服务消费模式下供应商和用户的安全控制范围和责任,用户评估和比较不同 云服务消费模式的风险及现有安全控制与要求的安全控制之间的差距,做出合理的决 策。2.2 云计算平台的多级信任保护云计算可信平台实现系统平台（计算环境）认证、应用系统完整性认证、分布式资 源信任认证和用户身份认证 4 个层次。多层信任保护的具体结构如下图所示。图表 多级信任保护在上图中，平台认证是基础，为其他 3 种认证提供一个可靠的计算环境。平台认证、 应用认证、资源认证和用户认证都通过统一的证书机制来实现。（1）云平台信任保护由于 tpm（trust platform module）规范能够支持现有的公钥基础设施，并且 tpm内部的认证密钥和 64 位物理唯一序列号都能很好地实现自身和平台的绑定。因此可信 平台之间的信任关系可以借助基于可信第三方的证书机制来保障。即每一个节点将能够 代表自身特征的关键信息以可靠地方式提交到可信第三方（如 ca 中心），可信第三方在 核实这些数据的真实性和完整性后对其签名，并为其颁发一个平台证书。此后，该平台 在和其他平台通信时可以出示该证书，以表明自己的合法身份。平台在向可信第三方提 交平台信息和验证其他平台证书合法性时，都需要借助 tpm 的硬件支持。在下图所示的 实例中，云平台 a 和 b 都从证书颁发中心获得自己的平台证书。当 b 请求与 a 建立连接 并向 a 出示自己的证书后，a 借助 tpm 验证 b 出示的证书的有效性。图表 基于可信第三方的平台认证为了确保云端用户访问云平台的可信性，并确保远程节点具有期望的完全保障条 件，基于可信计算平台的多级信任保护方法构造包含下表中各种主要因素的平台证书。数据名称数据类型数据说明cert_numchar证书编号cert_typeshort证书类型cert_distributetimebyte20颁发时间cert_limittimebyte20有效期限tpm_idbyte8tpm 序列号hardware_codebyte20平台硬件标识software_codebyte20平台软件标识securecomponent_codebyte20安全组织组件标识ca_signaturebyte128ca 签名信息图表 主要因素平台证书在图中，tpm 和端系统唯一绑定；硬件标识码代表了端系统中各种硬件设备的完整 性信息，包括 cpu 序列号、主板型号、硬盘序列号、内存容量等；软件标识码代表了端 系统中包含操作系统版本、补丁、主要服务等软件完整性信息；安全组件标识码是各种 安全组件的完整性度量结果，包括防火墙类型、安全补丁、防病毒软件名称等。为了获 取这些数据的完整性度量结果，采用 hash 函数对系统中的硬件标识信息、软件版本信 息或安全组件描述信息进行计算，得出一个代表该系统相关信息完整性的度量值。此处， 选择 sha-1 算法作为完整性度量函数。签名信息是可信第三方对证书内容的数字签名， 签名信息的存在确保了证书的合法性和不可篡改性。（2）应用信任保护 有了云平台认证，用户就能断言远程协作者在确定的节点和环境中进行工作。但在网络计算等复杂应用中，一个节点可能承载了多个应用系统、担负着多个计算任务。所 以，需要确保单个应用系统不同部分间（如客户端和服务器端）的可信。seshadri 等 人研究了代码的远程完整性验证方法。该方法从数据完整性的角度解决了授权执行的远 程应用的可信性。借鉴他的思想，采用认证应用系统中进程完整性的办法对应用系统进 行信任保护。即端系统控制各个应用的进程，只有通过完整性认证并授权执行的进程才 能被启动。为此，系统为每个重要的分布式应用定义若干个进行完整性证书，证书的主 要内容如下表所示。数据名称数据类型数据说明process_idbyte20进程 idprocess_integritybyte20完整性度量值tpm_signbyte20tpm 签名信息在图中，进程完整性度量值是采用单向散列函数对进程代码进行计算后得出的值。进程完整性证书中。进程完整性认证可以确保远程协作进程的可信性，一定程度上降低 病毒和木马进行插入攻击的风险。（3）资源信任保护 多级信任保护方法仍然采用证书机制实现对资源的信任保护，即端系统基于 tpm给平台中共享的网络资源颁发完整性证书并签名。其他对等的端系统需要访问该资源 时，可以验证该证书的合法性并从证书中获悉资源的完整性度量数据。由于采用单向散 列函数计算出的资源完整性度量值能够代表该资源的可信性，因此远程用户可以据此决 定是否访问该网络资源。考虑单纯采用单向散列函数计算资源的完整性消耗的时间过 长，实际实现时根据资源可信要求的不同采取了一些灵活的措施。如一些可信要求不高 的资源文件，只针对资源文件的基本属性或按样条规则抽出部分数据进行完整性度量；资源完整性证书的主要数据成员如下表所示。数据名称数据类型数据说明process_idbyte20资源标识 idprocess_integritybyte20资源完整性信息tpm_signbyte20tpm 签名信息（4）用户信任保护用户信任保护的需求在现有分布式应用中已经普遍存在，但现有基于身份认证的用 户信任保护方法仅仅针对用户实体进行认证，无法将用户实体和计算环境以及用户的物 理存在性联系起来。基于可信平台的多级信任保护方法在系统平台认证和应用认证的基 础上进一步进行用户身份认证，从而能够将系统中的用户锁定到具体的计算平台和具体 的应用系统。多级信任保护方法中的用户身份证书的主要数据成员如下表所示。数据名称数据类型数据说明user_idbyte16用户 idapplication_idbyte16应用 idplatform_idbyte16平台 idapp_signbyte16应用签名tpm_signbyte16tpm 签名在上表中，用户 id 是系统中用户的惟一标识，可以使用用户编号（用户名称）或者用户拥有的智能卡（skey）的序列号；所属应用 id 是用户所属应用的惟一标识，可 以使用应用的完整性度量值来代替（单进程应用可以使用进程的完整性数据代替，多进 程应用可以将各个进程完整性度量数据拼接后，计算出新的整个应用的完整性度量数 据）；平台 id 是创建该用户的端系统标识，可以使用和平台绑定的 tpm 的惟一序列号。2.3 基于多级信任保护的访问控制用户管理与权限控制子系统的接口关系如下图所示，各模块间接口关系如下：身份 服务模块在用户提交进入系统的申请后向身份管理系统模块提交用户信息和身份申请； 身份管理系统模块在确认用户信息后将身份