案例-cctv存储系统深化设计

根据业务场景分析业务流、根据技术指标进行支撑硬件平台的设计（网络和迁移服务；、根据业务流程与业务功能要求进行软件平台的设计第二 系统需求分第一节业务需求分一、统一数据备遵循“数据在一定的生命周期确保至少存在两份”的原则统一数据备份为全台各个制播系统的文件提供安全保障体系。涉及到的作用系统包括岛、混合岛、常规岛、音频岛和媒资备播区等作用对象为数据文件以及制作相关的工程文件和中间作用统一数据备份和应急主要包括统一的数据备份存储统一的系统应急其关联系统包括混合制作岛常规制作岛、高端制作岛、媒资备播等；其作用对象为数据与数据库数据。：快速数据恢复内容包括通稿上载域的通稿素材，综合制作系统当天新上载的素材当天制作的相关素材编辑列表EDL、，：全数据恢复内容包括综合制作系统所有的数据及资产管理系统中所有待播成品数据。快速数据恢复的时间不应超过2小时全系统数据恢复时间不12小时通过与各业务系统的交流，对需求2.0做了修订，具体如下表媒资工作区的备播APPLE保存周14772141411414APPLE14大部分和素材可以按周期删除但长制作周期的目需要长时间保留；保存数据量不超过14天的生1414媒资备播区规划了保存7天量的容量空间但入库存在论上只需要在近线保存7天；二是播前一周前入库，这部分必分的备份周期还不能完全确定，暂时按7天来规划。周期的与素材这就要求备份不仅至少能满足备份数据可保存14天，而且可满足部分数据的长期备份。备份数据的删除管理策略总结份的删除操作。数据备份系统做备份数据的删除管理例如数据备份系统可定期删除岛的备份数据。业务系统和数据备份系统共同做备份数据的删除管理一般空间后，数据备份系统主动清理已经备份的数据。二、统一数据库业务场应对物理或逻辑层面的数据库。按物理和逻辑来区分应对。业务系统数据库的物理硬件故生产数据库故主机故自然业务系统数据库的逻辑误操管理员误操生产误操软件故作用全台统一数据库备份系统的保障对象是制作系统资产管理根据目前的需求统计，备份系统的作用域如下基础数以下以CCTV新台址情况的假设值以及Sobey业务数据库在其50CCTV202业务带网络带3数据指对比指应对场2DG/Q1CDP10故障：0主机故障：100三 数据长期保数据长期保存通过构建统一近、离线系统来实现，提供全作用工作区的与素参照需求2.0和实际交流结果，目前新址近、离线系统仅为媒资数据量与保存周新址近、离线系统目前仅根据媒资管理系统提供的需求来做划中包括30小时的通稿、10小时的补充素材、130小时的综像资料馆做异址容灾备份。素材近线保存周期在需求2.0中规划的素材长期保存区（近线（含通稿+补充素材（新址综合类素材时间（天容量合计容量媒资管理系统需要长期保存的来自媒资上载区和备播区，其中包括130小时的新址综合类、40小时的外来综合类。并不是所有都做码率的长期保存，目前的规划是：70按码率来保存其它的30%只保存归档码（即检索码率。在近线的保存时间按一年规划。长期保存需求数据如下表所示长期保存区（近线新址综合时间（天量（小时/日实际容量计算容量合计容量第二节需求分根据需求2.0和实际的业务需求本设计书将会对备份、近线做同一的需求分析与统一规划。一、备份与应备份与应急数常规一视音频文件、、附件、工程文件、元数据文件。每天131DVCPROHD编码，实际码率13.7MB/S，每天约有4192GB的备份量。音频音频岛保留14天数据16TB每日备份数据16/14=1.14TB其它制作综合制作每天所生产的约为130小时，片比1:3计算（素3倍，1倍去除常规一的17个小时的，则其它制作岛每日备份数据量为：(130-17)*4*45/5=4.1TB业务支备份系统的业务支持特点如下备容量大、无实时要求、数据吞吐压力方式，适合FC方应容量中、实时要求、带宽压力很方式，FC与IP方式均可基础数通过与各业务系统的深入交流以及老台相应系统的长期运行数业务支备份分为历史数据备份区域和系统应急区域两部分基础数逻辑容量带宽合计低码率/业务支媒资管理系统主要用于支持素材长期保存和成品备播。从层次上分，媒资管理系统可划分为三级：、近线离线。码率区、元数据区、资料柜,其中的元数据区是属各制作系统的素材和备播主要通过素材筛选制作和审核、生成检索码率等业务流程将数据迁移到媒资以EMB总线方式交互数据。媒资中的综合制作系统是包括新址和现址两部份。现址的制作系统的素材透过现址的SATA缓存区和新址的平台进入媒资。同样素材的回迁也是如此。媒资的业务支持特点如下上载缓存区、缓存容量中，实时要求，带宽压力方式，适合FC方建议逻辑上独立其他工作区，需要使用FC设备备播容量中，无实时要求，带宽压力安全性/可靠性要求最方式，适合FC方性能要求很高，所以建议逻辑上独立，需要使用FC存低码率/关键帧容量高，实时要求，带宽压力并发多，IOPS方式，适合IP方低码率区容量要求很大，I/O性能要求不高，IOPS要求较高，建议逻辑上独立其他工作区，可以使用IP存四、EMB基础数

通过与EMB系统集成商的交流，EMB的基础数据如下表5.5TB/日(100小时/日100“交换平台”120Mb/s7Actor4业务支

主要是为各业务系统间数据的交换而建立的是面向全台的交换平台业务系统的数据传输主要是IP和FC两种方式即在平平台主要交换方式有三种：直接交换、缓存交换EMB的业务支持特点如下作为交换cache，缓冲作容量小，无实时要求，带宽压力方式，适合FC方式五、资料柜基础数通过与媒资管理系统集成商的交流资料柜的基础数据资料时间（小时量容量计算逻辑写带宽读带宽资料柜业务支各制作系统中主要有收录、上、编辑等业务子系统，这些子系统在制作阶段需要保存临时制作的素材即以资料柜的形式作为临时素材的单元。资料柜一般按栏目进行分配，也可以按进行分配。如按栏目分配时，共有200个栏目。资料柜是媒资管理系统的一部分由媒资管理系统来统一定义各制前台的制作系统通过媒资统一门户保存和调用栏目下面的素材资源，栏目是以结构显示在用户界面上，用户无须知道资源存放的实际物理位置资源在处于共享的状态。资料柜的业务支持特点如下：容量大、无实时要求、数据吞吐压力并发多、IOPS方式，FC或IP方式均者FC设备均可

基础数素材长期保存区（近线（含通稿+补充素材（新址综合类素材时间（天容量合计容量保存区（近线新址综合时间（天量（小时/日容量合计容量业务支近线带库支持数据的长期归档业务和备播的临时备份。容量数据吞吐量大，总体带宽需求较业务及时性不强，工作窗口相对较第三节系统设计要一、业务定，从广义上讲系统主要应对备份和归档两大业务需求，下面，从业务形态的角度来划分数据备份业务：通过系统提供的服务接口，以EMB为数据通道实现文件从应用系统到备份的迁移。数据近线备份业务：通过系统提供的服务接口，实现文件从应用系统到近线带库的迁移。部分文件恢复业务：通过系统提供的服务接口，以EMB为数据通道，实现少量受损文件从备份到应用全部文件恢复业务：应对应用系统的系统级故障实现所有备份数据从备份到应用系统的迁系统直接为应用系统提供应急，并提供应急数应急业务：应对应用系统的系统级故障，系统仅为应用系统提供应急。宕机条件下业务再继续的基本，根据生系统的需求提供归档业务：通过系统提供的服务接口，实现文件从应用系统到近线带库的迁移，实现文件的长期回迁业务：通过系统提供的服务接口，实现文件从从作用对象的角度来划分数据：包括数据备份业务、部分文件恢复业务、部文件恢复业务、数据应急业务、应急业务、数据从硬件支持平台的角度来划分业务包括数据备份业务部分文件恢复业务、全部文件恢复业务、数据应急业务、应急业务、数近线业务：包括数据近线备份业务、归档业务和回迁业二、对系统需要与制播系统、各综合制作系统、媒资管理系统制定相应的开发接口，以实现数据备份和长期归档没有直接的信息交互，主要是在数据库层、或卷层、或系统为应用系统提供的服务需要到ESB，从而实现系统可以使用全台基础网络和资源三、系统应系统将集中提供统一数据备份与应急统一数据数据库及硬件支撑平台的不同，系统可划分为三个子系统：统一数据备份系统，包括备份接口、备份调度、备份管理、备份迁移器等模块，以应对制播系统和综合制分文件恢复、全部恢复、数据应急等功能需求。统一数据库备份系统，采用第成系统方案来实现，从逻辑可包括数据库备份、数据库备份管理等模块，以数据长期归档保存与临时备份的业务需求，实现数据归档、数据备份、数据回迁等功能需求。从硬件支撑平台的角度讲系统除了包括支撑以上三个子系、EMB和资料柜。以及项目所涉其它系统的平台将统一规划。四、设计原高质量系统的服务质量主要体现在两个方面：业务效率和对应用系统的影响系统需要建立完善的业务策略和数据传输机这是对系统的基本要求。可管理系统建设的的是支撑平台，建立完善的数集中化系统涉及的资源多，软件模块多。系统需要提供集中化管理的，实现统一规划，软件统一配置，松耦合在信息交互上，系统和业务系统之间、系统的可扩展长远考虑、分步实施，使系统在性能上、功能上、规模先进性系统在规划和设计时，采用已经成熟并大规模应用先进五、安全需系统需要符合高可用性、高安全性原则，其安全性需要达支撑硬件平台的安全是系统安全的基本保障设备如磁盘存储、带库、关键服务器网络交换设备等需达到99.999%的安全指标。同时设备不允许存在单点故障需要应用主备集群资源浮动或其它等效的安全保障技术。：，建立完善的数据安全保障体系系统中的主要数据可大致分为两类文件以及相应的元数据、系统管理及服务的相关管理支持数据，两类数据都需要从性和完整性加以考虑。建立完善的用户管理与权限管理用户或无权限用户无法数据，从而加强数据的性。系统数据库也需要做同一数据库备份，要在磁带用保存一份，以便增强数据恢复的。：，建立完善的业务策略与资源调配机制可在业务期时做相应的调配，以避免出现安全隐患；同时建立机制，以防患于未然。第三 系统业务与架构设第一节统一数据备一、基本对外业用于数据对象是全台网安全设计中数据高可用性的有力支 常规岛（Media相关文件 （Media相关文件业务系统（Media相关文件业务系（应急状态应急备 部分恢 全部恢 应急备份业备份业务完成数据从业务系统到备份 存在两份的设计原则备份业务为恢复、应急业务提供数据支撑备份业务为恢复、应急业务的快速响应提供技术条件恢复业恢复业务完成数据从备份到业务系统应急业应急业务应对业务系统 故障后的业务快速恢备份系统提供应急时间内在应急上准备业务继续所需要的数据。二、业务场景分备份场针对在制作过程中的不同阶段制作数据的备份需求也场景下备份需求。对于当天已上载和已编辑完成的，可以由制作系统发起数据备份的请求，对已经编辑完成的，包括素材、编辑列表合成等进行准实时的数据备份对于正在编辑的，也可制定相应的策略，由制作系统发起数据备份的请求，定期对备份编辑列表、合成等进行准实时的数据备份。备份场景如下图完素材入查询备份进人工挑选素策略选择素完业务驱动备份人工发起备份完 策略发起备份备份各关键点的规划如下obeyMaterialListerverD的系InterPlay工程文件准确的获知所使用的素材所以制作岛具备主动发配业务需求的备份策略例如及时备份定时备份人工备份等等份服务到ESB,面向各制作岛提供备份业务的交互。这种设计不备份数据的迁移：EMB执行迁移任务。数据备份是常态Actor执行备份任务。迁移任务集中化管理，有助于优化服务质量，份数据落到备份上以后，继续保持和结构的一致份数据，可通过规划一定的服务接口，由制作岛主动发出删除请求部分恢复场系统管理员系统管理员 恢复完成,提交恢复恢复进度查业 继续作,调用件迁移 检查;设备故障且修复, .小损恢复的典型流程生产期间由业务通过应用软件来检查当下正在使用的文件是否册到ESB,面向各制作岛提供部分恢复业务的交互恢复数据的迁移：EMB执行迁移任务。部分恢复属异态侦听与处理来自各业务子系统的恢复请求，并根据策略组织迁移任Actor执行恢复任务。全部恢复场管 ,需执行全恢从管理平动恢复任 备份系统,文恢异系统管理员 检查全损恢复的典型流程业务异常,素材不系统管理员检查业备故障，大量文件丢失; 启用应急流程支持业务 业务系统的业务发现业务异常，大量素材无法业务系统管理检查业务，磁盘损坏，大量文件失业务系统请求备份系统启动应急，支持业务业务修复，业务在配置完成和格式化后，可通过备份系统组织需要恢复的数据，将数据从备份迁移到业务。全部数据恢复完成，业务重新接入到业务系统，业务系统可重新使用业务继续业务。应急场 检查场景描场景一：数据迁移方业务系统的业务发现业务异常，大量素材无法业务系统管理检查业务，磁盘损坏，大量文件丢失业务系统请求备份系统启动应急，支持业务备份系统按照一定的策略组织需要应急的数据备份系统将应急数据从备份迁移到应急应急数据准备完成，应急通过跳线接入到业务业务系统启用应急，继续业务。业务系统的业务发现业务异常，大量素材无法业务系统管理检查业务，磁盘损坏，大量文件丢失业务系统请求备份系统启动应急，支持业务网络系统管理打通业务系统备份的路由业务系统管理完成各个业务主机对备份的系统挂业务系统启用应急，继续业务应急技术分基础架构在客观上存在多样性。制作业务系统可能使用的操作有：Windows、Linux、MACOS等；制作业务系统可能使用的NewAuto、DY等，这些不仅增加了系统耦合的复杂度，而且要求业务平台与应急的接入层在物理层、文件协议层、业务接口层有统物理层制作业务平台对应急的物理链路可以是FC和IP方式，通过IP交换机和路由器或FC导向器和路由器来实现两种物理层的连文件协议层接文件协议根据其物理层的链路而不同当业务平台对应急以IP方式进行时，传输协议可以是CIFS、NFS、FTP以及定制优化的IP传输协议。当业务平台对应急以FC形式进行时，应急需要考虑业务原生态的共享文件系统以便实现在文件系统上的兼业务平台的接应急业务本质上是解决业务平台舒畅接入到应急的问题对于使用了私有协议的业务平台从技术上讲应该是无解决应急问题。从目前掌握的信息看，备份系统无法为AVID系质量问题。下面以SNFSCIFS两种文件协议来解析两种应急方式备份内嵌文件系统，支持 FC基于以上分析，如果备份采用IP方式接入，则存在备份区直接应急的可能性，这种方式称为IP方式应急。IP方式应急没有了有了2.0中的2小时应急和12小时应急的过程，本设计书中将三、业务数据定成结果、附件等由业务系统选择需要恢复的文件，涉及素材、相关数果、附件等果、附件等四、业务关系分数据依赖 决策流管理在什么情况下启动什么处理流程。操作流程如下图：3030分业 丢部恢恢完可 数 重故分磁故不修故其它件故应通应操应完 修全恢恢完业务异常主要体现在两个方面：数据丢失和故障数据丢失一般是由应用系统异常或操作而引起这种情况可故障，需要通过换用配件来解决，若故障不响应则需要启用应急操作磁盘发生故障会造成数据损坏由于一般会有RAID保护，作以保证数据的可用性但会对性能有所影响若数据不可恢复，到单个文件系统，则只需应急单个文件系统的数据；若整个业务全部数据恢复操作应对业务故障修复后的数据重服务质业务，同时备份系统还对外提供应急。下表对各业务的服务质量做一粗略的定义五、系统架构设 常规（Media相关文件 （Media相关文件业务系统（Media相关文件业务系统（应急状态系备控 数 应急基于大容量磁盘的备份架构数据一次，备份策略简单磁盘随机寻到时间短、实时性强的物理特性，便于灵活采用RAID技术，数据安全得到加强数据保持，利于支持数据的快速恢复可利用备份区数据直接提供应急服务，效率高，成本低基于SOA思想的统一备份接口平针对当天上载、收录、编辑的，制作系统及时提供备份数据式，以文件形式对各制作系统的数据进行备份。IP方式应急备份区数据与制作业务的数据保持一结构，同时备份采用CIFS文件系统协议管理备份数据。制关键通数据备份是常态业务,备份系统每天都需要与各制作业务统保持连接并将各制作业务系统的新增数据与编辑所用到的数据备份到考虑到台已经建立了一套用于岛间的备备份与部分文件恢复数据通备份接入到全台万兆网，为各岛提供备份、恢复应急服务备份业务中，备份系统完成和各岛的直接业务交互，负责组织并启动迁移任务，具体的文件迁移工作由EMB来完部分恢复业务中，各岛完成文件的组织，并向备份系统提交恢复请求备份系统负责组织并启动迁移任务，具体的文件迁移工作由EMB来完成。系统全部数据恢复是发生在故障且修复后的一种业务形态可预知但也属于一种非常态业务该业务一般发生在非生在备份系统。跳线接数据通规划恢复跳线，将制作岛接入到备份系统，备份迁移器可直接；备份系统按照策略组织恢复任务，由备份系统的迁移器完成数据从备份到的文件迁移。系统应急是突发形态，应急在正常情况下，与各岛并无直接连接仅在某业务子系统的发生了罕见的全面的储与各业务子系统可采取临时跳线的方式进行连接将应急直连数数据应急IP通应急数据准备阶段，可将应急和业务系统之间的逻辑链 制作业务系统各业务主机系统可直接挂载应急的文件系

备份管理策 常规（Media相关文件 （Media相关文件业务系统（Media相关文件（应急状态任务管任务拆将备份任务拆分为可EMB迁移任务基本单位，为带宽控任务控管挂载点配制作系统的一个卷对应到备份系统的一 制作系统的一个固 可对应到备份系统的一 一致 删除管备份系统定期删除过期数IP应急规应急时的流程分为两个部分，一个是业务故障时的应急步应急操作步序阶操作步执时①业务系统向决策者通报故510分决策者命令系统启动应急程5②与备份的网络通路，网络55③发起执行“”的指10钟10钟合25分以上步骤如下图所示否系法检故是通 应求应否VLAN否是检查两是恢据同步回业务系统，相应的操作步骤如下：序阶操作步执时①业务故障恢复配置MDC区业务系统20预配置计入恢份系统Actor，可业务系统10②贝Actor急区数据拷贝至业务系统560560③储接拷贝完毕，将业务系统与系统1040发起执行“断开”系统10与备份的网络通系统5网络系统5件，恢复对业务的业务系统10合600分第二节统一数据库备一、基本对外业岛岛（数据库常规岛（数据库业务系统（数据库业务系（应急状态统一数据库备份系应急数数据镜 数据恢 数据应数据镜应急数据库为生产数据库的数据备份提供数据源数据恢数据恢复业务提供利用备份数据集的恢复方式，从而实现生产数据库与应急数据库的数据一致性,主要应对生数据应二、业务关系分数据恢复和数据应急三类业务；从统一数据库备份系统自身的角度数数据应急数据备份应急数据备份数据数据镜像数据恢复恢复数据集统一数据库备份系生产数据磁生产数服务器生产业务系数据应急和数据恢复业务是统一数据备份系统的最终价值体现，数据镜像业务产生的应急数据来为生产业务系统的业务再继续提供数据备份业务是统一数据库备份系统的业务其的主要工作是基于应急数据来生成备份数据，为恢复数据集的产生提供数据基三、技术路线分设备等，本设计书会从多个层面做综合考虑，但设计的重点主是从数据库中间件、主机、设备三个层面出发如OracleMAA（最高可用性体系结构、DB2的构建坚韧基础架构解决方案（HighAvailabilityTechnologiesContributingResilientInfrastructure，HA的技术体系结构可归纳为下图所示应用终应用终应用服数据编编交OracleDB2OracleDGDB2OracleASMDB2RAW数在数据库服务层面主机系统通过采用RACHACMP等技术实库服务的高可用性但主机集群系统本身在共享方面并没有冗余是本地介质的数据镜像，比较典型的技术有OracleASM、LV像等二是利用数据库系统自身的中间件技术例如OracleDGIBMHADR通过日志分发方式建立第二数据库来实现数据冗余备份对逻辑。本系统的设计可以从两条路线出发：原生技术方案和CDP技术方案。

CDP生产数据库物理应对技在备份系统中部署应急服务器、CDP服务器及保证生产数卷镜像技术SunSVM/DiskIBMHPLinuxOracle逻辑应对技术在数据库备份系统中部署CDP服务器及保存不同时间点的数据集；依策略调用CDP服务器快照接口以生成不同时间点的数据

原生技生产数据库物理应对技、部署应急服务器保证生产数据库的硬件冗余；使用数据库、Q逻辑应对技依策略调用生产数据库备份接口以生成不同时间点的数据集；在备份系统中部署备份保存不同时间点的数据集技术方案比术，技术成熟度高；CDP方案需要从多个方面来综合考虑，仅从卷镜像的角度讲，技术成度较高，像ASM、LVM都有广泛的应用，设从对应用服务的来讲日志同步方案对应用服务并不一定完全透明，因数据库类型而异。例如Oracle数据库，可以使用统一名空间来数据实例，可以做到对应用服务的完全透明；但DB2数据库就需要应用服务来支持二次路由。CDP方案仅限于数据从对数据库的来讲日志同步方案基于数据库自身的中件技术来实现，对数据库本身不透明；CDP方案基于数据库服务器、正是CDP方案的技术特点决定了该案对应用系统的影响较小、系统整体架构较简单方便，同时考虑到日志同步方案在方案预研阶段已经和用户做过细致的沟通，故本设计书主要针对CDP、CDPRTO（数量级物理（日志同步物理（卷镜像逻辑（快照（日志同步（卷镜像（快照备份窗口（数量级Oracle/IBMOracle/DB2CDPAgentCDPAgent原生技术部署、复FalconStor四、分CDP（ContinuousDataProtection持续数据保护）是快照的逻辑储的状态。和每隔一段时间的数据快照拷贝以及数据不同持续的捕获并数据，保存每一个中的变化CDP技术通过保障镜像数据库与业务数据库的一致性务器可以快速切换至镜像，从而完成对业务数据库的应急。CDP技术分为基于、网络和主机三类，结合本方案的实际需求，主要靠基于的镜像技术和基于卷的镜像技术。基于的镜像技基于镜像的方案务数据库和备份系统的设备采用同种设备，两套之间设定为镜像的模式。当业务数据库服务器对业务数据库进行写操作时业务数据库首先在本地磁盘进行写操作，同时将此I/O操作镜像到应急存储进行同样的写操作只有在应急完成写操作后才会返回给业务数据库服务器一个操作完成业务数据库服务器继续进行下一个I/O操作。而对数据的则直接在业务数据库上进行。基于卷的镜像技基于CDP的方案中，需要在业务数据库服务器上安装卷管理软件，通过卷管理软件保障业务数据库和应急的数据一致性在操作系统看来，业务系统对磁盘的一个写I/O需要经过卷管理操作成功的消息，继续进行下一个I/O操作。可以自动应对数据应急业务需求卷数据反同步为数据恢复需求的对提供技术条件从以上分析可以看出，基于的镜像技术具有一定得制约性，以广泛的应用，例如OracleASM，LVM等。所以本设计案将采用CDP的方案中，统一数据库备份系统对于备份数据生成完全快照技术的思想是COFW，即CopyOnFirstWrite，具体到备份划分为两个区：应急数据区和备份数据区，应急数备份管理服务器三部分信息：应急数据区的数据块状态数据到来时备份管理服务器负责完成数据地址的分配，数据完毕后，更新相应的数据块状态信息；备份管理服务器根据策略启动快照动虚拟备份管理服务器采用带内方式对应急数据进行管理。从技术上讲备份管理服务器是一个虚拟的后端控制器采用PiSCSI、InfiniBand等协议对后端进行协议的封装，向数据库主机系统提供虚拟的磁盘卷从而了后端的硬件特性而只保留其统一的逻辑特性这为应对生产业务系统中的数据库硬件的多样性和数据库备份统一构建提供技术支撑条件。备CCTV新台址各业务系统的数据库形态可能各不相同有的业务系统是以设备做为数据库存放形态有的是以文件系统做为数据库PI或独立接口套件。如acle的Rman、IBMDB2的Backup/Restor、ver的_e等等。为保证备系统所产生的备份集拥数据库备份可以选用GuestScripts和BackupClient两类不同的技加易于管理，因此我们采用第软件进行数据库备份。第软件（BackupClient）是数据库认证开发商为不同软硬件平台、不同数据库系统开发出的备份客户端，如NBU、NetVault等恢五、业务流程规CDP技术的镜像流备备备份管理服务数据库服务数据镜像流生产数备份数应急数卷管理数据库服卷管理器将文件读写操作转化为磁盘IO操作，在将IO操作写到生成数据所在卷的同时，还将IO操作应用到应急卷；备份管理服务器接收到来卷管理器的IO操作请求后数据写入到备份的应急数据区卷管理器在接收到生产数据卷和应急卷的IO操作成功反CDP技术的快照备份流关键流程步骤如下图所示变变更数检备备份管理服务数据库服务数据备份流生产数备份数应急数卷管理数据库服备份管理服务器根据策略定时启动对应急数据的快照操份的应急数据块CDP技术的数据应急流备备份管备备份管理服务数据库服务数据应急流生产数备份数应急数卷管理数据库服因介质故障导致生产数据不可用损坏的IO操作，同时将所有的IO操作自动转移到应急卷生产修复后，同时卷管理器实现数据从应急卷到应急操作步骤见下图CDP技术的数据恢复流关键流程步骤如下图所示根据生产数据的故障类型来组织恢复数据集操作步骤见下图原生技术的数据备份流临晨1点在生产主机启动offline每周日临晨1点启动在生产主机启动online每两小时启动一次ArchiveLog、RedoLog、ControlFile原生技术的数据恢复流在查询服务器上restore备份中的最近一次备份集rollforward日志到最后一个日志如果能够找到所需数据，exp数据，再imp所需数据至生产主机；脱机全备份查询服务器数据库，拷贝备份集至生产主机shutdown生产数据库，restore备份集，启动数据库。恢复原生技术的数据恢复流程如下图所示原生技术的数据应急流生产主机故障后，启动应急决策流程在应急主机failover数据库，由应急主机对业务系统提供服务生产主机修复后，restore备份中的最近一次脱机全备mount生产主机，与原应急主机重新握手；生产数据同步

在非业务时间，switchover应急主机。生产恢第三节统一近一、基本对外业归回管归回管近关数据删实例自动异址多实例异址归档制作系 媒资系上载综合制作 综合制作 综合制作 制备播如上图所示，近、离线系统对外提供归档、回迁和管理三类基近线系统在技术上应对全台各个制播系统的数据长期保归档业务实现数据从业务到近线的迁移，在应对数据长期保存基本需求的基础上，仍可满足回迁业务实现数据从近线到业务的迁移，在应对数据回调基本需求的基础上，仍可实现自动选择支持灵活的应用层管理，资料集的生成、过期数据和备二、业务场景分

归上归近需要长期保存的内容主要是素材和成品这些数据可以通过网络方式提交给媒资管理系统也可以介质方式交送给媒资管理业、。部门然后由媒资业务通过上载工作站将介质内容上传到媒资管理系统。媒资管理系统根据数据的业务特性向近线系统提交归档请其中包括通稿补充素材专题类素材和综合类素材具有归档需求的包括外来上载来专题和综合类从保存价值的角度讲对于具有长期保存价值的数据可保存其码率的内容对于不具有长期保存价值的数据可保存其低码率的内容对于播后则只需在新址近线保存一份。从入库时间的角度讲若是在播前一周内入库则只需在新址近线保存一份若是在播前一周前入库则需要在新址近线保存两份，在媒资回迁送播后，可删除一种的一份。、。综上所述，各类数据的归档需求汇总如下有无有保存一份码无无一份码一份码无一份码无无无保存无无无无两份码无无无无媒资管理系统提交的归档请求，确认迁移器、带机和磁带资源后行任务调度，完成数据从媒 到近线的迁移

回送播近媒资管理系统触发回迁业务的场景包括介质通过媒资管理系统工作站发起请求，把所需的相应素材到用户指定的PⅡ、蓝光等介质上，但素材存在于近线；制作系统回在于近线；未送主要针对播前一周前入库的，在播前一周内媒资需要把回迁到，然后送播；已播重媒资管理系统接收到重播的任务后，需要将所需近线回迁到选择。片段回迁主要来作系统的回调请求，制作系统可以指定媒行任务调度，完成数据从近线到媒资的迁移。数据管档数据的删除和资料集的管理。数据删一周前归档的具有长期保存价值的，媒资管理系统在档的不具有长期保存价值的，媒资管理系统在回迁送播后，需要删除两份备份数据

资料资料集是一组具有相似 数据的集合从应用系，的角度讲资料集的创建有利于信息的快速索引，同时要求近线题资料集的创建是通过关联技术来实现关联是将保存在不同磁带上的相关数据整理到一盘磁带或多盘磁带上并允许加入，资料集本身具有可扩展性，允许同的内容不断的增加三、业务数据分归档数据分文件格式列码率AVCMXFMpeg2MXFMXFDVCPROProResMpeg2IMXFMPEG-2MXF新址系MPEG-2MXF归档数据组本单位，是一组具有内容相关性的需要在近线保存的数据的集归档对象由一个或若干个Package组成。Package是由一组在存储位置上具有相关性的文件组成。基于Package方式的归档对象的数据组织方式有利于灵活应对各种业务需求，例如指定Package回迁数据，以Packege为基本单位进行资料集的组织等。四、系统架构设等系统提供统一的近线服务根据不同策略实现台内各类数据的总体架构如下图所示媒资系控制信系统本地带设备异控制信系统本地带设备异址带系Actor资源统一近线服制作系统制作系统提供统一近线服务，媒资管理系统SOAPHTTP协集中化的资源管高可用的系统设从数据层面讲，近线系统支持多实例归档，可以在址带库，实现异址灾备并通过全台统一数据备份系统来保障，同时，元数据通个带库出现故障，可通过资源池和归档组的二次规划，使得下面对系统规划设计中涉及到的典型技术做重点介绍1.资源管带库管理模带库管理模式如下页图所示磁带库磁带库设备管理器设备管理器设备管理器是近线系统的底层组件提供带库信息的直接访备管理器和系统管理平台之间采用了SOA的设计思想。设备管理器对上提供提供接口服务，了带库在物理上和控制协议上的差异等相应的接口；设备管理器对下负责完成带库的直接和控制。磁带管理方归归档组磁带池磁带池磁带池磁带库磁带库归档组归档组近线带库需要规划3个基本的磁带池：归档磁带池、备份磁池、灾备磁带池。归档磁带池中的磁带只用于数据的长期的时间内（例如1年）不会被删除。备份磁带池中的磁带用于数据的备份，磁带上的数据可能会被频繁的删除。灾备磁、现形式也不同。从媒资的角度来看，归档组可以分为：通稿组、补充素材组、专题素材组、综合素材组、外来组专题组和综合组从近线系统角度来看，除了包括以上归档组外，还包括通稿灾备组、补充素材灾备组、专题素材灾备组、综合素材灾备组、外来备份组、专题备份组和综合备份组。从以上划分方式来看，异址灾备和本地备份的归档组对业务系统来说、统看到的通稿归档组，在近线系统对应着两个归档组：新闻通稿归档组和通稿灾备组，同时也就用到两个磁带池：

迁移器与带磁带库磁带库迁移器是资源的直 者，带机是近线资源的直接，源在物理的性的业务只使用近线的局部资源，同样近线的移器并都需要到所有的带机这就需要迁移器资源和带机资源做，素材带机、带机和灾备带机等。迁移器的分组需要从多个方面来考虑。从技术上讲，若一个迁外握手交互越频繁。这种常连接产生的IO数据块小、交互频繁，连规划中，尽量缩小迁移器和带机支撑的业务范围。迁移器的分组素材异址灾备仅使用灾备迁移器组归档优先使用归档回迁迁移器组其次回迁归档迁移器组，再回迁一般发生在白天时段，优先使用回迁归档迁移器组，其关联使用浮动迁移器组磁带整理使用浮动迁异址灾技术架异址近线异址近线异址区域灾备迁移器组本地迁移器组本地近线器#2设备管理器#1近线新址区域统一带库管理平灾备迁移器带库的磁带也就仅限于灾备迁移器组。数据迁移方方式一 方式二方式一方式二异址异址近本地近线存器组器组异址本地近线存器组器组方式需要从资源配置和带宽压力等多方面来考虑本设计书规划方式据迁移，另一个任务执行异址数据迁移。这种方式也称为“两读两线的带宽压力大。方式但策略复杂片段回片段回迁的需求主要来作系统的素材网络回调制作系统首对文件进行片段回迁的前提就是需要对该文件做索引在磁盘的指定位置上并且在磁带中紧跟其所属的文件保存一份片段回迁通过插件来实现同时支持多种编码格式和文件格件容器再根据文件格式来加载相应的插件针对以后出现的文件之间的耦合度，增强了系统的可扩展性和可性。多格式片段回插件的技术架构如下图所示归档归档时生成索入信入输入片段回片封位信归档时索引生近线系统在执行归档任务同时执行索引生成的工插件将索引信息交付给迁移器，由迁移器完成入库操作回迁时片段生并将位置信息反馈给迁移器迁移器根据数据片段的起止位置，从磁带片段数据，据直接写到磁盘，并进行文件格式的封装。本地缓量需求不至少要大于800GB要求不高要大于120MBps一般是迁移器服务器通过多块本地磁盘做RAID0来实现。磁带碎片整关联关 时将磁带上已有的若干个对象的数据重新组织并且驱动器频繁的二次启动也会影响其使用。比较适宜的实现方式为：首先将需要关联的源对象的数据到迁移器的本地磁盘上，然后再批量迁移到新的磁带上以形成关联对象异址灾种策略相对简单但效率较低的式。它是以需要灾备的实据量达到一定门限后，首先将实例数据到迁移器的本地磁第四 资源设第一节系统的的主要目标就是将所有子业务系统的统一进行规划，采用共享池的方式，对外提供服务。这样，即能够统一调配池的容量和带宽资源避免业务系统单独进行设备所造成的资源浪费，同时，也方便对的统一管理。因此，需要根据系统的业务特点选择适合的架构再根据相应的架构，选择适合的产品。DY等，增加了系统耦合的复杂度，要求平台与备份和应急物理层接对应全局业务的备份、应急是两套独立的体系结构业务平台对备份和应急的物理链路可以是FC和IP。各业务与备份和应急的联接是通过IP的交换机和路由器或由FC根据需求备份分为和近线备份近线备份使带库。由于业务平台的实时性、高带宽和大IOPS的要求，备份必进行实时备份，应急的2小时恢复当天数据和12小时复14天数据的指标物理层接入需要满足高性能和兼容性好的设备文件协议层接文件协议根据其物理层的链路而不同当业务平台对备份的备份及应急以IP进行时，传输协议可以是CIFS、NFS、FTP以及定制优化的IP传输协议。当业务平台对备份的备份和应急以FC形式进行时，备份和应急需要考虑业务原生态的共享文件系统，在文件系统上的兼容性，同样地，在备份和应急间也会考虑到应急将同时使用FC结构的业务子系统与使用IP的业务子系统,同时系统所应对的业务基本没有实时性的要求因此需对业务特点进行分析以得出符合应有场景的架构。业务分本无恒定码流的需求因此可以考虑采用FC或IP方式来实现详细业务名主要业务形对稳定流要接入方素材筛选有要求,FC可以、IPFC、IPFC、IP低码率/区低码率有要求，码流FC、IPFC、IPEMBFC、IPFC、IPFC、IP合分析后，可考虑采用FC或者IP架构的方式。技术分基于FC架构的和基于IP架构的都有各自的特点通过前期测试的结果，FC对恒定流的支持比IP较好，但是维护和扩展，同时由于采网架构，需要部署专门的MDC，在使用方式上很不灵活。而IP仅通过以太网链路来实现数据的传FCIPIPNAS<SANNASFC延时低，对业务稳IP方式采用备份区应急，省去数据拷贝FC接入方式，不宜使用备份区应急，应急带宽需求高，IP接入方式，可使用备份区应急，省去应急数据拷贝过程，IP应急可行性分采用IP应急的本质，是采用备份区作的数据作为应急数据，当业务系统故障发生时，利用IP区挂载方式灵活的特点，直系统的应急需要面对不同种类的文件系统，如Stornext、连通要求，因此需要验证在不同文件系统下，各业务系统对IP应急IP常态下，业务系统与备份不连除了业务新增尚未备份的素材之外备份素材包含业务载挂载的备份区 结构与业务系统 结果一稳定流的支持情况编已测试验证通通过对各个业务系统所可能使用的主流文件系统进试得IP应急可行的结论。带宽和容研和对媒资提供的数据的整理得到系统容量和带宽求如下区总带宽容量带宽/EMB低码率/备份区（常态备份区（应急态备注：高性能按平均带宽/容量=1800/110=17/1，高容量平均按带宽/容，由于对设备而言，根据对主流的分析容量是比较，资源配由于高性能区和高容量区都可以采用FC或者IP架构的因区接方应急区新建应急区（有数据拷贝备份区应急（无数据拷贝由于IP应急区域可以直接使用备份区，因此在这种方式下可以去除数据拷贝过程，降低带宽和容量需求，由于在FC架构下，三、实现方室1”全程参与了前期相关测试，采用先进的测试方法对FC、IP(以DDN9550为例)“读极限9.6Gbps、写极限9.4Gbps、混合读写11Gbps带宽”。1索贝公司为保证系统集成质量，设立的专职第产品测试部门。包括：、网络交换等设备性能定位在1800MBps，中端的性能定位在800MBps，作为方案设计中性能的参考指标。方案设方案1：高性能区和高容量区该方案采用全FC架构，高性能区和高容量区分别采用高端态状况，但是仍然需要预留容量和带宽，以应对应急态下的需求。在高性能区和高容量区中为充分利用设备的带宽，性能需求设计按照应急态的峰值需求来计算。为满足应急的带，方案该方案采用FC与IP混合架构的方式高性能区和高容量区分别求。由于应急为非常态状况，但是仍然需要预留容量和带宽，以应，在高性能区和高容量区中为充分利用设备的带宽性能需求设计按照应急态的峰值需求来计算。为满足应急的带宽需求，因此需要有比常态更高的带宽支持能力，而该带宽资源又，常态大量闲置方案3和方案4（高性能区该方案采用纯IP架构的方式，高性能区采用高端IP。由于高容量区采用IP架构，因此，可以使用备份区来应急，因此大由于IP有IP集群和NAS+SAN两结构，因此，针对不同的结构，有以下的设计方案：NAS+SAN结构 IP集群结2上备播区图2上备播区备播区 备播区 根据高性能区对带宽和容量的需求按照目前主流的参数指标，可得到相应的设备规划方式。上表列出了在IP集群存储和NAS+SAN结构下，参考的几款主流的型号。方案3和方案4（高容量区该方案采用纯IP架构的方式，高容量区采用中端IP。由于高容量区采用IP架构，因此，可以使用备份区来应急，因此大有以下的设计方案备份备份低码率备份低码率资料柜资料柜低码率3应急态应急态应急态2.方案比能3FC53303FC3FC存NAS（高容量FC网+FC网+常态带宽闲置（备份降级带宽闲置带宽（1000 ）*0.7+（1480-常态带宽闲置（业务应急带宽根据总师汇报结果，采用方案三和方案四的纯IP架构来实现第二节一、资源规磁素材长期保存区的数据分析如下，LTO4磁带容量为800GB，考按照700GB计算。按照磁带数=容量/磁带容量，得到磁带数量需求如下容量需求磁带容量磁带数量（盘合计（盘带率按照100MB/秒计算，作为计算带机需求数量的基础数据。带机按照业务功能可分为以下四种归档带机按照每日的归档迁移量时/日(TB/日度32146T/250回迁带机需求量（小时/日3005分钟/4量（时/日(TB/日21碎片整理带机需求整理时间1年1个带机工/12天二、方案设按照对磁带的分配，相同业务应部署在同一库体中，具体配置下库体库体库体材备播、外来目备播、外低码率低码率综合类素材综合类素材新址综合素材553112665第五 系统管理软件设第一节总体设一、软件范本设计书仅对数据备份和长期归档保存所涉系（即数二、软件定数据备份和数据的长期归档保存虽然在业务形态和口服务，实现数据备份、数据长期归档保存和全台统一等业务的具体交互，具体包括备份接口、近线接口和接口等子模块。管理模块是系统的管理平台，实现系统配置、资源管理、数据管理、业务和迁移管理等功能，包括备份系模块数据迁移模块是数据备份和数据长期归档保存业务实现过程的任务执行模块，实现数据在应用系统存储和备份之间、应用系统和近线之间设备管理模块仅针对近线实现带库的直接与控制，三、逻辑架系统软件平台的逻辑架构如下图制制作系备份接子模接子模近线接子模备份迁移管理 备份系统管理近线系统管理 近线迁移管理子模 子模 子模 子模设备管子模媒资管理备份接口子模块通过ESB和制作系统进行数据备份相的业务交互备份迁移子管理模块通过备份接口子模块获取数据备份相关的任务信息，并启动EMB或备份数据迁移子模块实现媒资管理系统可通过ESB调用近线接口子模块的相关服务，近线迁移管理子模块通过近线接口子模块获取相关任务信近线系统管理子模块通过近线迁移管理子模块获取业务信实现数据的磁带读写操作；接口子模块从备份系统管理子模块和近线系统管理子模块获取软件状态和事件信息并通过ESB提交给全台监控系统。第二节模块设一、对外接对外接口模块通过Webservice方式对各个制作系统媒资管理系统和全台统一系统提供数据备份数据长期归档保存备份接制作系统调用备份服务,制作系统调用部分恢复服务,备份/制作系统调用作业进度查询服务,备份/备份系统调用作业结果通知服务,作系统备份/恢复/近线接单系统提交需要归档的文件单系统提交需要回迁的文件IDID接获知系统的工作状提供系统的各种业务状态信系统调用该服务向全台系统提交本系统生的事件（告警事件、关键操作日志等全台系二、管管理模块是系统的管理平台实现系统配置资源管理、数据管理、业务和迁移管理等功能。从支撑的业务形态讲，，，管理模块需要支持业务和近线业务的管理；从业务职能看管理模块实现系统管理和迁移管理两部分内容，所以管理模块，，技术架备份系统管理子模块和近线系统管理子模块通过B/S架构实现，将客户将客户端式,提交给务将服务器数据UI组数据对数据持久业务逻辑模展现展现框架控制业务逻辑数据层驱动层主要实现系统配置信息和业务元数据的长期保存，采用成数据库技术来实现；数据层属于数据库中间件层，实现数据库操作的具体封逻辑层属于支撑服务的具体实现业务层对外展现为一组Web服务控制层完成控制信息的协议封装，一般采用SOAPHTTP协如上图所示，迁移管理模块可划分为五个逻辑层：IO接口层、IO线程层、信息层、主线程层、执行接口层。IO接口层主要实现对系统管理模块接口和对外接口模块接口的封装，实现任务的获取和信息的反馈；IO线程层包括任务获取线程和线程，任务获取线程定对外接口模块，及时获取业务相关任务，并将新任务加入到任务池，线程及时获知任务状态和系统资源状态，对对外接系统管理接任务获取线线程任务池状态池任务调度线资源迁移信息层主要包括任务池和状态池着整个系统的任务状态并调度资源和迁移资源，实现任务的下达；执行接口层包括资源和迁移两部分，资源主要是针对特殊的硬件资源的控制，例如带库，迁移实现和功能规备份系统管备份系统管理按照业务可划分为八大功能模块：资源管理基础设备管理、策略管理、业务管理、和统计分析，如下图功能要迁移等模块提供统一的配置平台，配置包括：公共服务的URL，迁移器的IP地址等；分区信息管理为数据迁移过程的地址提供查询表，涉及到得包括业务系统、备份等；备份配置与策略管理，包括备份的卷使用、备份窗口、带宽限制、数据保留时间、备份使用告警线等相关统、备份时间、信息、关键字等方式的查询；恢复与应急的统一管理：提供操作流程，提供灵活的数据组织方式：按天、等；提供系统功能呈现系统关键的动态信息，例如当前活动的任务、迁移器的当前状态、的容量等；提供报表与分析功能：备份任务统计与分析、数据量统计与分析、使用量统计与分析、迁移性能统计分析、恢迁移器状态异常、容量超过门限等；软件日志一般只记备份迁移管备份迁移管理模块是数据备份系统的业务调度主要实现备份、迁移器等资源的分配和数据迁移任务的调度。任任务调状态控数据分任务启管理接备份接数据管功能要通过备份接口模块接收来自各个制作系统的业务请求，通过管理接口接收来自的操作控制，实现状态任务调度是备份迁移管理模块的功能，主要实现软件状迁移资源，同时将任务信息传递给相应的迁移模块；实现备份资源的策略分配，根据备份数据的来源系统，确定所要使用备份空间。文件交换平台的接互，迁移实现和备份数据迁移器的接互EMB主要应对备份和部分恢复业务的相关迁移任务，迁移主要应对全部数据恢复业功能，监测各个迁移器的软件状态；定时检测卷容量使用信息，超过一定门限产生时间；及时检测任数据管理功能，按策略执行备份数据的管理，对于过期近线系统管功能要迁移器管理设定IP信息、迁移器角色（例如归档、回迁、复任务管理实现任务任务查询和任务操作等几部分功能。管理平台实时任务状态，将所有任务分为活动任务和历 据等条件查询，同时提供实例、关联、异址灾备等多种管理，确保数据的安全性。用次数等条件查询，同时提供磁带、磁带整理、磁带离线等管理。提供系统功能呈现系统关键的动态信息，例如当前活动的任务、迁移器的当前状态、的容量等；系统主要是对近线的资源状态做整体呈现，其中涉及到分还规划了事件板，用以及时呈现产生的关键事件，以提示管理做及时的与处理。近线迁移管近线迁移管理模块是近线系统的业务调度，主要实现迁移任任务调资源调数据分任务启数据管管理接近线接设备管事功能要通过管理接口模块和近线接口模块，接收来自各个档、回迁、数据管理、磁带、磁带整理等相关操作。任务调度是近线迁移管理模块的功能主要实现迁移器、任务的排队和调度。任务调度模块向设备模块下达磁带加载指令，同时向迁移模块下达数据迁移指令。模块实现系统状态的以及事件的产生，需要监同时模块需要依据预配置的策略产生缺带、磁带使用次设备管理实现与设备管理模块的直接交互，主要实现磁迁移模块主要实现和近线数据迁移器的直接交互，实现三、数据迁数据迁移模块划分为备份数据数据迁移和近线数据迁移两个子模块备份数据迁移子模块主要应对数据的备份业务近线迁移子模块主要应对数据的近线迁移相关业务两者在技术架构两者都是数据迁移模块的子集。技术架构如下图所示：日日志模控制接数接介数据片段插件容写数读数数据缓冲任务执行模功能要控制接口实现迁移任务的接受、迁移状态与进度的反馈任务执行模块根据数据的来源于去向选择相应的介质理，进行数据的读写操作，并实现带宽的控制备份数据迁移子模块中介质支撑本地盘方式、共享盘方式；近线数据迁移子模块中，介质支持本地盘方式、共享盘方式、带机方式。四、设备管设备管理模块是近线系统的模块，负责与近线设备通向磁带库发送scsi指令，扫描和显示带库当前状态信息，初接管磁带库的硬件设备的管理现装载磁带、卸载磁带、卷带、从驱动器出磁带、磁带入库、磁带出库、使用带驱动器等功能。统一调度磁带库资源，防止资源调用第三节流一、备备份流程应对数据备份业务实 数据从业务系到备份的迁移。基本流程如下图所示业业务系备份发起（ML或其他Online1系753备份接备份系统管Backup624备份迁移管备份数据迁业务系统的管理平台主系统发起备份请求，通ESB向备份接口提交需要备份的文件备份迁移管理依据策略向EMB增加数据迁移任务EMB调度交换平台的迁移资源，实现数据从业务到备份的迁移。EMB向备份迁移管理返回迁移任务的执行结果备份任务完成，备份迁移管理通过ESB向业务系统反馈二、部分恢业务系恢复发起（ML或其他Online1系753备份接备份系统管Backup624备份迁移管备份数据迁业务系恢复发起（ML或其他Online1系753备份接备份系统管Backup624备份迁移管备份数据迁业务系统的管理平台主系统发起恢复请求，通ESB向备份接口提交需要恢复的文件备份迁移管理及时向EMB增加数据迁移任务EMB调度交换平台的迁移资源，实现数据从备到业务的迁移EMB向备份迁移管理返回迁移任务的执行结果迁移任务完成，备份迁移管理向备份系统管理提交恢复务执行结果恢复任务完成，备份迁移管理通过ESB向业务系统反馈三、归归档流程应对数据的长期保存业务实现数据从业务在线到近线的迁移。其基本流程如下图所示。（媒资管理平台Online1Nearline 274953线接口提交需要归档的文件。务，进行任务排队和调度设备管理通过SCSI指令直接控制带库完成磁带加载和设备管理向近线迁移管理反馈磁带准备结果近线数据迁移模块完成数据从媒资到带库的四、回回迁流程应对已归档数据的回调业务实现数据从近线（媒资管理平台Online1Nearline86274953线接口提交需要回迁的文件。设备管理通过SCSI指令直接控制带库完成磁带加载和设备管理向近线迁移管理反馈磁带准备结果近线数据迁移模块完成数据从带库到业务的第六 系统拓第一节系统拓扑结整个系统的构建以服务器和相应为主基本上没有客户端，皆为运行设备。采用IP单网架构，数据库存储则采用FC以满足数据库高IOPS的要求，近线带库则通过光数据库备份 管理域 迁移器池 媒资管理系统数据 数据 接 服务器 服务器× 服务器× 管理/调 近线设服务器 服务器 管理器× 带库迁移器组交换 备份调度服务器 近线/备份管工作站×FC导向以太交 以交换以太交换FC交换 FC交换 以太交机数据库备异址带库× 新址带库× 应 高性 高容异 新图以太 FC网线 线第二节设设备列表如下所示管理/22近线/2114CDP2111121《和设备测试报告\分册和设备测试报告\分第一章测试方案总体概 第一节测试需 第二节测试方 第三节测试资源需 第四节测试时间和第五节系统结 第二章基础性能测 第一节极限读 第二节恒定码 第三节协议比 第三章业务场景测 第一节连通性测 第二节大卷稳定 第三节低码率大 第四章安全性测 第一节节点可用 第二节NAS+SAN可用 第五章关键功能测 第一节NAS+SAN兼 第二节挂载效 附录：NAS头测试报 第一章测试方案总体概CCTV系统选型在即，系统架构已经定位于基于IP接入方式的，针对该架构，目前有IP集群、NAS+SAN、分布式多种可选结构和待选设备。由于系统的架构已经确，才能满足系统的基础性能需求和业务场景需求，实现本次测试就是针对上述问题对不同结构和技术的设备进行，特别说明：由于测试环境及条件等因素的影响部分的测试目前仅做了少量技术验证性的测试而正式的选型测试将在后续，第一节测试需由于本次设备测试的目的是针对系统项目的设计一、基础性区，皆为IP架构。高性能区的带宽需求是3.6GB，容量需求是185TB，高容量区的带宽需求是2.3GB，625TB。因此，对于设急情况下，还应提供1GB的应急带宽，满足业务系统的应急需求。，和稳定流读写两种方式，针对不同的读写方式会有不同的性能，表区区素材筛选有要求,载MD5EMB区低码率/关键二、业务场在系统中，备份提供故障情况下的IP应急功能，因此故障情况下，业务系统对IP的挂载的可行性，是非常重要的一件，则直接决定IP应急挂载的方式。通过对业务系统的调研，IP应三、安安全性是系统必须重点考虑的部分，对于数据应用而由于此次测试的对象包括IP集群、分布式、NAS+SAN，这些不同类型的，用着不同的安全机制，因此需要针对不同的结构特点，进行相应的安全性测试。四、关键功对于IP，客户端对的采用的是挂载相应的IP工作站对相应节点的挂载机制是否高效决定了客户端对的效率，因此需要对IP的挂载机制的效果进行验证。同时对于NAS+SAN还需要验证NAS头与NAS体的容性，得到NAS头与NAS体的适配范围第二节测试方“应用场景测试”“安全性测试”和“关键功能测试”这四个部分具体表RAID6CIFS协 按RAID6构建，客户端用CIFS1GBps的支撑CIFSNFS的IP应急IPNAS+SAN架构，NASRAID6NAS+SAN架构，前端NASNASNASSAN指导客户端对挂载方式的设NAS+SANNAS测试采取主机优先的方式。即，在每台工作站优先启动一个线开始执行3分钟后，记录稳定后的数值第三节测试资源需测试资源需求如下表表Apple1CPU3.011MDSCPU3.02GB，FC2Sobey1Apple12）5484324GB1194KVM848142U，11板备注：功率需求41KW，场地需求300平方米第四节测试时间按照测试需求，将测试所需耗时计算如下表并试时间（天（天并试27恒定流回放和试测27CIFSNFS133IOPS177224NAS总并试7N+X122NAS25 RAID6Rebuild盘25并时间（天（天NAS+SAN155总备注：IP总数估算为7套，其中，集群2套，分布式2套，NAS+SAN3测试工作将分为2班倒，每班由1名测试经理和7名测试组成，共计16人20第五节系统结本次测试分为集群测试、NAS+SAN测试和分布式测试，以IP集群为例，系统结构如下：图第二 基础性能测第一节极限读一、极限写带宽表测试目的：得出各设备在既定配置下的写带宽峰12、30台工作站上分别开启StorCube1/2/3个进程持续写数据（用极限方式直至端口总流量达到峰值，同时记录该流量值；如果2进程/台和3进程/台的总带3二、极限读带宽表测试目的：得出各设备在既定配置下的读带宽峰1230台工作站上分别开启StorCube的1/2/3个进程持续读数据（用极限方式直至端口总流量达到峰值，同时记录该流量值；如果2进程/台和3进程/台的总带宽3三、极限并发读写带宽测表测试目的：得出各设备在既定配置下的并发读写带宽峰1230台工作站上分别开启StorCube1/2/3个进程持续读数据和1/2/3个进程持续写程/3进程/台的总带宽差别不大，则这时的带宽为极限带宽；3第二节恒定码一、回放性能测表测试目的：高码率并发环境下（回放）对比各设备的读性12个音频文件码率读测试文件（工作站数量根据实际情况做相应增减3、记录最大支持的站点数量，的应用极限带宽（MB/s4二、性能测表测试目的：高码率并发环境下（）对比各设备的写性1码率写测试文件（工作站数量根据实际情况做相应增减3、记录最大支持的站点数量，的应用极限带宽（MB/s4三、回放并发性能测表测试目的：在站点确认的情况下，对比各设备能支持的最大读站点12、在30台工作站上分别开启StorCube的1/2/3个进程模拟120Mbps码率的视音频，和120Mbps码率的视音频文件回放（回放：=7：334第三节协议比一、极限并发读写带宽测表测试目的：得出设备在NFS协议下的并发读写带宽峰1、选择两款，建立测试环境2、客户端使用NFS协议，对IP进行挂载330台工作站上分别开启StorCube1/2/3个进程持续读数据和1/2/3个进程持续写程/3进程/台的总带宽差别不大，则这时的带宽为极限带宽；4CIFS二、回放并发性能测表测试目的：得出设备在NFS协议下的应用极限带宽峰1、选择一款，建立测试环境2CIFSNFS3、在30台工作站上分别开启StorCube的1/2/3个进程模拟120Mbps码率的视音频，和120Mbps码率的视音频文件回放（回放：=7：345CIFS第三 业务场景测第一节连通性测一、制播连通表测试项目：系统客户端对IP连通测试目的：基于Windows+Stornext+E7的制播客户端，到IP后业务的可性1、用一台客户端与一台FC模拟客户端状态，客户端基3、将FC上的相应数据拷贝到另一台IP4、将客户端与光纤断开，然后执行，到IP5storcube读写数据；6、观察读写状况和工作站此时 结构二、常规岛连通表测试项目：常规岛客户端对IP连通测试目的：验证基于MAC+XSAN+FCP到IP的可行性以 结1、用一台客户端与一台FC模拟客户端状态，客户端基于MAC+XSAN+FCP；2storcube，持续读写数据；3、将FC上的相应数据拷贝到另一台IP4、将客户端与光纤断开，然后执行，到IP5storcube6、观察读写状况和工作站此时 结构第二节大卷稳定表测试目的：验证相关IP在大卷情况下的文件系统的稳定12200TB30TB、100TB、200TB3305StorCube10GB4、持续读写72小时5第三节低码率大表测试目的：在低码率并发环境下（回放）对比各设备的读性1220StorCube310/20/301.5Mbps（具体数量根据实；4第四章安全性测第一节节点可用一、磁盘冗余表测试目的：通过磁盘冗余性测试，来验证各设备的可用125StorCube1G3、在读、写同时，分别在卷上随机拨出1/2/3块硬盘4、检测正在读、写和未作的数据是否正确二、群集可用表测试目的：通过Accelerator/Director节点冗余性测试，来验证各群集的可用125StorCube1G31/2/3Accelerator/Director节点（断电4、检测正在读、写和未作的数据是否正确5、在读写同时，增减节点6表测试项目：测试节点冗余测试目的：通过节点冗余性测试，来验证各设备的可用125StorCube3、在读写同时，分别随机切断1/2/3台节点（断电4、检测正在读、写和未作的数据是否正确第二节NAS+SAN可用一、NAS头故障切换测表测试项目：NAS测试目的：NAS125StorCube1个进程持续写数据（用极限方式3NAS4NAS5NASNAS二、RAID6Rebuild效表测试项目：Raid6的RebuildRAID6Rebuild12RAID635StorCube33TB（用极限方式45、磁盘做Rebuild操作，记录恢复所有3TB数据所需要的时间表测试项目：Raid6的RebuildRAID6Rebuild1230台工作站上分别开启StorCube1/2/3个进程持续读数据和1/2/3个进程持续写程/3进程/台的总带宽差别不大，则这时的带宽为极限带宽；345Rebuild6第五 关键功能测第一节NAS+SAN兼表测试项目：NAS+SANNASNAS12NASNAS3、检查通过NAS头是否能够到相应NAS体45StorCube5第二节挂载效一、群挂载效表测试项目：集群挂载效12、将30台工作站到集群上3storcube45二、NAS+SAN挂载效表测试项目：NAS+SAN（分布式）挂载效12、将30台工作站到NAS头上3storcube45附录：NAS头测试报特别说明：目前仅做了硬件NAS的测试。下面是基本的测试情测试连接图图测试项目1：极限带测试说同时以尽可能高的速度对阵列进行数据写入和测试完成后记录表全读全写7:）3310测试项目2：稳定支持带测试说使用StorCube模拟音文件进行和回放操作，以帧率不低于23帧/最大时延不超过3000ms为标准来找到能够支持的不使用100Mb码表回放（路（路回放7:100MbI251522回放：12测试项目3：故障切换测试断网线故障测表在往上写入和的时候，拔掉当前管理的NAS的网线，观应用是否中断以及客户端重新建立连接的响应时写入和全部中断，客户端能够重新的时间在35S-40S之HNAS电源故障测表用是否中断以及客户端重新建立连接的响应时写入和全部中断，客户端能够重新的时间是3分25手动切表观察应用是否中断以及客户端重新建立连接的响应时写入和全部中断，客户端能够重新的时间是25测试项目4：编辑延迟测1357使用StorCube模拟非编的编辑过程，记录使100Mbps码率素材进行编辑时多台同编1357测试项目5：兼容性测将除了日立以外的其他厂商的接到HNAS上，测试通HNAS是否能管理和使用该表UtStorSR530-将连接到HNAS上以后，通过HNAS可以看到的大能对该进行操作，其他连接到HNAS的日立状态正常可以正常管理和《和设备测试报告\数据库分册第一章CDP测试方案概 第一节测试需 第二节测试环 第三节测试时间和第四节测试系统示意 第二章可用性测 第一节架构兼容性测 第二节功能测 第三节易用性测 第三章可靠性测 第一节数据一致性测 第二节服务可靠性测 第四章性能、效率测 第一节基础性能测 第二节CDP资源占用测 第五章典型应用场景测 第一节日志前 第二节CDP服务中 附录CDP测试报 第一 CDP测试方案概传统备份技术基于数据拷贝或增量数据拷贝来保障用户数据的安全随着的快速发展和用户备份数据的不断增长传统备传统备份技术很难实现数据的持续保护。生。CDP技术的实现