服务器集群技术在电视台视频编辑网络中的扩展应用.pdf

山东大学 硕士学位论文 服务器集群技术在电视台视频编辑网络中的扩展应用 姓名 于晋达 申请学位级别 硕士 专业 电子与通信工程 指导教师 曹叶文 20070420 原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独 立进行研究所取得的成果 除文中已经注明引用的内容外 本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果 对本文的研 究作出重要贡献的个人和集体 均已在文中以明确方式标明 本声明 的法律责任由本人承担 论文作者签名 立叠垦日期 鲨 关于学位论文使用授权的声明 本人完全了解山东大学有关保留 使用学位论文的规定 同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版 允许论 文被查阅和借阅 本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索 可以采用影印 缩印或其他复制手段 保存论文和汇编本学位论文 保密论文在解密后应遵守此规定 论文作者签名 盘耄垒导师签名 日期 竭 篁 笪 山东大学硕士学位论文 摘要 集群服务在企业组织部署关键业务 电子商务与商务流程应用起到了日益重 要的作用 广电行业中电视台节目制作网络由于对数据完整性 可靠性和安全性 等方面的严格要求 也对服务器集群技术有着广泛而深入的应用 随着本文详细 阐述了服务器集群的概念 优点 实现模式 组件及组件之间的相互作用关系 集群故障转移发生的条件和实现过程 故障恢复的过程 分析了电视台视频网络 通常选择的集群模式 并结合实例 说明了由于服务器集群的出现 给电视台的 视音频编缉网络带来了巨大的变化 关键字 服务器集群电视台 山东大学硕士学位论文 A B S T R A C T C l u s t e rS e r v i c ei s b e c o m i n gm o r ea n dm o r ei m p o r t a n t i n k e yo p r e r a t i o n e l e c t r o n i cc o n l l n e r c ea n db u s i n e s sf l o wi nt h ee n t e r p r i s eo r g a n i z a t i o n B e c a u s et h es t r i c t r e q u i r e m e n ti ni n t e g r a l i t y d e p e n d a b i l i t ya n ds e c u r i t yo fd a t a t h ep r o g r a m p r o d u c e n e t w o r ki nT Vs t a t i o ni sa l s og o i n gd e e pi n t ot h ea p p l i a n c ei nC l u s t e rS e r v i c e T h e t h e s i s e x p o u n d st h ec o n c e p t i o n e x c e l l e n c y r e a l i z a t i o n t h er e l a t i o n s h i pb e t w e e n m o d u l e s a n dt h ec o u r s eo ff a i l u r et r a n s f e r e n c ea n dr e c o v e r a b i l i t y T h et h e s i sa l s o a n a l y s e st h em o d e lo fM S C Sw h i c hT Vs t a t i o n su s u a l l yc h o o s e a n de x p l a i n st h e d e v e l o p m e n to f M S C Sa n dt h el a r g ec h a n g e sb r o u g h tb yM S C Si nB r o a d c a s ti n d u s t r y 2 K e yw o r d s s e r v e r c l u s t e r T Vs t a t i o n 山东大学硕士学位论文 序言 视频网络的搭建和应用给电视台带来的是技术上的变革 节目制作理念的转 变 工作效率的提高 同时 由于网络自身的原因 也给整个节目制作过程带了 一些不稳定因素 比如网络瘫痪 带宽堵塞 素材丢失等 可用性成为评定视频 网络好坏的重要标准 而服务器的可用性在很大程度上又决定了视频网络的可用 性 因为服务器是整个网络的心脏 它担当着素材 数据库和硬件设备的管理工 作 当然 随着许多先进技术的应用 充分保证了服务器的可用性 其中 比 较经济 有效的一种技术就是服务器集群技术 一 服务器集群技术概述 集群服务在企业组织部署关键业务 电子商务与商务流程应用起到了日益重 要的作用 集群是在一组计算机上运行相同的软件并虚拟成一台主机系统为客户端与应 用提供服务 计算机通过缆线物理连接并通过集群软件实现程序上的连接 可以 使计算机实现单机无法实现的容错和负载均衡 W i n d o w sS e r v e r2 0 0 3 家族产品将提供两种类型的集群服务 1 集群服务 M S C S 2 仅用于W i n d o w sS e r v e r2 0 0 3 企业版和D a t a c e n t e r 版 该服务为像数据库 消息系统 文件与打印服务这些关键业务应用提供了高可用性和可扩展性 在集 群中的多个服务器 节点 保持不问断的联系 如果在集群中的某一节点因出错 或维护不可用时 另一节点会立刻提供服务 以实现容错 正在访问服务的用户 可以继续访问 而不会察觉到服务已经由另一台服务器 节点 提供 W i n d o w sS e r v e r2 0 0 3 的企业版和D a t a c e n t e r 版都可以支持最大达8 个节点 3 山东大学硕士学位论文 的集群配置 这一改变增强了部署的灵活性 尤其对于地理分散部署的集群配置 而言 并且支持主机的N I 配置 N 个主动节点 1 个备用节点 N I 模型将为将 来利用W i n d o w sS e r v e r2 0 0 3 部署大型M i c r o s o f tE x c h a n g eS e r v e r 提供非常重要 的支持 2 网络负载均衡 N L B 2 6 在W i n d o w sS e r v e r2 0 0 3 家族的所有版本中都可用 该服务可在集群内均衡 分布访问的l P 流量 网络负载均衡增强了W e b 服务器 流媒体服务器 终端服 务器等I n t e m e t 服务器程序的可用性和扩展性 作为负载均衡架构并提供了控制信 息管理在W M I 结构之上的应用 网络负载均衡可与现存W e b 服务器群结构无缝 集成 山东大学硕士学位论文 二 服务器集群的优点 优势 描述 高可用性集群被设计用千避免单点失效 应用程序可分布在多台计算机上并行运行并提供失 效恢复 以提供更高的可用性 扩晨性l 可以通过为集群增加更多的处理器与计算机以提供更高的计算能力 可曹理性 对终端用户 应用和罔络 集群均帔当M 台单 韵系统处理 针对本地和远程的 管理员也提供了革点的苗理功能 1 高可用性 8 集群技术可以用来避免单台服务器的资源或应用程序出现故障 使用集群技 术 资源的所有权 如磁盘驱动器和I P 地址将自动地从有故障的服务器上转移到 可用的服务器上 当集群中的系统或应用程序出现故障时 集群软件将在可用的 服务器上重启失效的应用程序 或将失效服务器的工作分配到剩余的服务器上 结果是 用户只是觉得服务器暂时停顿了一下 2 可扩展性 8 可以很方便地通过添加更多的服务器 来提高集群的计算能力和网络的可用 性 3 可管理性 8 可以使用集群管理器来管理集群 并管理应用程序 可以通过拖放集群对象 在集群里的不同服务器之间移动应用程序 也可以通过同样的方式移动数据 可 以通过这种方式来手工平衡服务器的负荷 卸载服务器 从而方便地进行维护 可以从网络的任意地方的客户端和资源处 监视集群的状态 山东大学硕士学位论文 1 基础特性 2 易于安装和配置 支持更大的集群 集成话动目录服务 t 6 4 位服务 t 增强的皤管理性 5 簖使的资源配铤 6 三 服务器集群的特性 集群服务作为W i n d o w s S e T v e t 2 0 0 3 操作系统的一个主要部分 不再是一个可选的组件 这l 使服务器集群节点的配置不需要安装的媒介 并允许利用集群管理工具在远程服务器上创l 建节点和更改服务嚣集群配置 设置服务器集群配置不再需要重启 1 从服务器集群中删除一个节点就像将他从集群中退出一样简单 所有属于这个节点的集群 配置信息被自动删除 且不需要重启 j 在配置服务器集群节点时 配置流程会校验 置之前检测出所有已知的不兼容问鲤 许多 简便快捷地搭建服务器集群 在安装完成后 理工具进行定制 软件和硬件配置信息以确保在完成集群服务配 配置选项都给出了默认值 可以依照最佳实践l 工作的服务器集群还可以利用服务器集群管l 一 一 一一 一 开放接口 这使得应用程序可以无缝地设置服l集群的配置架构为第三方软件供应商提供了 务器集群资源 井在服务器集群安装时更改配置信息 就像通过集群管理图形界面一样 服务器集群的安装还可脚本化和通过命令行进行安装 W i n d o w sS 唧盯2 0 0 3 D a t a c c n t e r 到8 个节点 版所最大支持的节点数日已从W h d o w s2 0 0 0 的4 节点增加i 一 一 一 W i n d o w ss e r v d2 0 0 3 企业版所最大支持的节点数目已从W i n d o w s2 0 0 0 的2 节点增加到8 i 个节点 i 通过增加服务器集群的节点数目 管理员在部署应用和提供容错策略时有了更多的选择以l 匹配商务需求和风险要求 像传统的节点与 或应用失效转移一样 大的服务器集群提供了l 更高的灵活性以建立多站点 地理分散的集群来提供容错能力 l W h d o w sS e x M c r 2 0 0 3 企业版与D a t a c e n t e r 版的服务器集群集成了活动耳录 服务 这一集成l 确保了 虚拟 出来的计算机对象在活动目录中注册 这使得应用程序可以使用K e r b e f o 协l 议认证与委派运行于集群上的服务 这一计算机对象也提供了默认的存放位置以便支持A D 4 的服务发布服务控制点 服务器集群完全支持运行6 4 位W i n d o w sS e t v e l 2 0 0 3 的计算机 应用可以受益于6 4 位 W i n d o w sS e r v e r 2 0 0 3 操作系统增加的内存地址 也能够受益于灾难转移所提供的高可用性 l 当服务器集群使用的存储结构支持动态卷增长 集群磁盘可利用新的内置工具 D i s k P a r t 动l 态在线扩展 i 很容易配置集群打印机 配置M S D T C M i c r o s o nD i s t r i b u t e dT r a n s a c t i o n 一样一只需要配置一次 配置信息就可以复制到全部节点中 应用可以通过脚本语言例如V i s u a lB a s i c S c r i p t 与J s 妒实现对集群的支持 这使得为应 用编写特定的资源插件以监测与控制服务器集群更为方便 j 山东大学硕士学位论文 F 一 i 8 品酝匠并蟊源若矗i 茬 元孬蔷葫丽 奚箨磊苗爵釜i 石i 哥荐j 百而磋南 罐 i l 理其它资源 增强了对微软消息队列 M s M Q 的支持t 包括对齄发器的支持 它允许基于可 l 靠的消息架构所提供的全部特性构建高可用性的应用 譬一 一 忘磊骟面蠢矗赫函嚣磊j 蟊面酝满鞴函磊瀛磊 函磊 誊 ll 现在在仲裁 q u o n 蛆 所有权决定之前所有节点公共通讯的罔络状态都会被纳入考虑 卜 二 二 二 7 山东大学硕士学位论文 o K e r b e r o s 支持 器 M u l t i c a n B e t w e e nN o d e s 备建立集群 利用新的仲裁机制可以建立额外的集群拓扑 倒如 无共享磁盘服务嚣集群 多数节点集也使得创建和配置多站点 地理分散的集群更为容易 W i n d o w s s e r v 盯2 0 0 3 提供了一种方法来测量一个单独的组在群集中的可靠性 记录了足够 事件信息的日志群集有用事件被添加到时间日志中 使得你能够计算群集资源组的有用性 之一特征使得管理员能够评估群集中一个单独组的有用性 群集服务将在系统事件日志中记录组移动 在线或离线的成功或失败 另外 群集内部节 点时钟偏移事件也被记录到系统事件习志中 通过查看在线和离线时间间隔 考虑交叉节点 的时间偏差 对所有的群集节点的事件日志流进行分析 可以计算一个组在线和离线的对比 量 当客户端使用群集虚拟名称访问一个群集中的资源时可以使用K e r b e r o s 身份认证方式 当 使用这 特征时 就会在活动目录中创建一个虚拟对象 这将以活动目录对象的形式提供 1 给群集通知或活动日录通知应用程序 来发布提供服务给它们的虚拟服务嚣的相关信息 M u k i c a m h e a d b 翻舡b e t w e e n n o d e s i nas e r v e r c h l s t c rc a nr e d t l c e t h e a m o u n t o f c h m t e r h e a r t b e z i H 删恤9 忸 廿a 伍cb f t w 咖D O d C Si nal a r g e rc h t s t c r 这将有助于减少网络和计算机中央处理嚣 U 的 使用 这一特征默认已启动 要修改配置请使用命令行工具和c l u s t e r e x e W M l 支持服务嚣群蹇 远程廊奉宿主支持 服务嚣群集提供W m d o w M a n a g e m e n tk t r u m e n t a t i o n6 V M I 支持群集控制和管理函数 应l 用程序和群集状态信息 另外 使用W M I 来查看群集状态改变事件 应用程序也可以订l 阅W M I 事件来显示信息如应用程序失败和重启以及节点失败 这将简化管理员对群集的监l 枧和管理 1 一 l 群集资源脚本宿主简化开发群集应用程序的过程 通过提供运行时环境捕获所有的复杂事 务 它允许简易创建新瓷源类型 W i n d o w s 脚本宿主支持以下资源 t 资源娃康监视和应用程序或服务的使用 实现一个新资源类型的简单进程 简化产生应用程序群集通知的脚本化应用程序的使用 运行时宿主环境 再利用存在的通用组件模型 C O M l 自动控制服务器 8 山东大学硕士学位论文 2 负载均衡 N L B 特性 2 特性描述 W i n d o w sS c t n c f 2 0 0 3 中的这一新工具可单点配置与管理N L B 集群 N L B 管理嚣可用于l 创建新的N I B 集群井自动传播机群参敷与端口规则到集群中全体主机 它也可以传播主机参数 到集群中特定的主机上 从N L B 集群中添加与删除主机 辫络负载均衡管理 自动增加服务器集群口地址到T C P 佃P 嚣 通过连接现存主机或从文件中读取主机信息管理现存主机并保存这些信息便于以后使用 配置N L B 以均衡在一个同络负载均衡中的多个w 曲站点或应用 这包古了将所有集群口地址 添加到T C P I P 以及控制发送到集群中特定主机上特定应用程序的流量 诊断不正确配置的集群 W i n d o w s S e l f y e f 2 0 0 3 中的这一新特性用于f 为不同的集群砰地址配置不同的端口规则 而每一口地址可对应到N L B 集群中一个网站或应 虚拟集群 用程序 过滤发送到集群中指定主机上指定的W e b 站点或应用的数据流量 选择发送到集群中指定W e b 站点或应用的数据由集群中哪一主机处理 W i n d o w s S f r v e r 2 0 0 3 将负载均衡绑定在多块N I C 卡上 使用户可以I 在同一主机上运行多个网络负载均衡服务并分别置于完全独立的网络中 i 多瞬卡 N l c 成持 在多台前端防火墙或代理服务器需要均衡负载的场景中利用N L B 来为防火墙或代理服务嚣提供 负载均衡 1双向配合 B i D i r e c t i o n a lA f f i n i t y 常用于I S A 代理与骑火墙的集群负载均衡 N L B 通常用于I S A 一 W e b 发布和服务器发布环境中 W e b 发布不需要双向配合 而服务器发布需要 双向配合为同一 双向配合 主机创建多个N L B 实倒协力工作以确保发布服务器的回应信息被路由到集群中适当的璐A 服务 萝 i 军嚣上 i 薹 i t 新特性限制了交换机 扩歉 交换机 扩散 即S w l t c h f l o o d i n g 起因于N L B 算法使得N L B 每 9 一主帆都能察看集群每个接受包的地址 4 G M P 协议支持 l1 0 M P 支持限制扩散仅产生到交换机连接N L B 主机的端口以保护网络资源 注 I G M P 支持仅在 i N L B 配置为多播模式下才能启用 豁 女 9 山东大学硕士学位论文 四 服务器集群模式 根据使用服务器集群的目的不同 服务器集群有三种主要的集群模式 一种 是使用静态负载平衡的高可用性集群模式 另一种是具有最大可用性的 热备份1 集群模式 第三种是混合型集群模式 模式A 使用静态负载平衡的高可用性集群模式 1 1 在负载均衡的思路下 多台服务器为对称方式 每台服务器都具有同等的地 位 可以单独对外提供服务而无须其他服务器的辅助 通过负载分担技术 将外 部发送来的请求按一定规则分配到对称结构中的某一台服务器上 而接收到请求 的服务器都独立回应客户机的请求 提供服务的一组服务器组成了一个应用服务器集群 c l u s t e r 并对外提供一个 统一的地址 当一个服务请求被发至该集群时 根据一定规则选择一台服务器 并将服务转定向给该服务器承担 即将负载进行均衡分摊 通过应用负载均衡技术 使应用服务超过了一台服务器只能为有限用户提供 服务的限制 可以利用多台服务器同时为大量用户提供服务 当某台服务器出现 故障时 负载均衡服务器会自动进行检测并停止将服务请求分发至该服务器 而 由其他工作正常的服务器继续提供服务 从而保证了服务的可靠性 假定某公司内部网络依赖一台运行了两个大型数据库应用程序的服务器 这 两个数据库对全天反复连接进来的大量客户来说都是非常关键的 但在高峰连接 时间 出现服务器不能满足需求和保持性能的问题 要缓解这个问题 必须将另一台服务器连接到过载的服务器上 形成集群以 平衡负载 如图1 所示 系统中有两台服务器 每台运行一个数据库应用程序 如果一台服务器出现故障 系统将回到性能降低的初始状态 但这是暂时的 在 故障服务器恢复正常后 它运行的应用程序就会执行故障恢复 同时操作恢复正 常 l O 山东大学硕士学位论文 模式B 具有最大可用性的 热备份 集群模式 9 在这种模式下 两台服务器只有一台是处于联机状态 它会支持所有的客户 请求和操作 而另一台服务器却空闲着 它只是一个专用的 热备份 如果联机服 务器出现故障 热备份 服务器就以接近或等于联机服务器的性能 接管全部操做 并继续为客户提供服务 模式C 混合型集群模式 9 1 1 混合型集群模式是上面两种模式的结合 它只针对关键应用进行故障转移 这样可以对这些应用实现可用性的同时让非关键的应用在正常运作时也可以在服 务器上运行 当出现故障时 出现故障的服务器上的不太关键的应用就不可用了 但是那些关键应用会转移到另一台可用的服务器上 从而达到性能和容错两方面 的平衡 山东大学硕士学位论文 五 电视台视频网络集群模式的选择 从以上集群模式的分类可以看出三种集群模式各有自己的特点和用途 理想 的集群模式应该是模式C 即集群中的两台服务器都同时处于联机状态 也就是 在两台服务器上同时运行应用程序 当一台服务器出现故障时 运行在出现故障 的服务器上的应用程序就会转移到另外的没有出现故障的服务器上 切换时间一 般在5 秒内 这样 服务器的应用会在5 秒恢复正常 对于电视台来说 应用程 序并不是计算量很大的程序 因此从计算能力上看 单台服务器的处理能力完全 可以满足需求 但是由于广电级别视音频流文件规格较大 所以负载均衡主要作 用在数据流的传输上 服务器集群主要应用于m d c s e r v e r 和d b s e r v e r 本方案通 过前者分配从客户端到存储设备的数据流向 从上面可以看出 模式A 侧重于系 统高性能 模式B 侧重于系统高可用性 在本文所涉及的系统中 两种模式有部 分的混合使用 山东大学硕士学位论文 六 服务器集群组件及实现过程 集群是由许多组件组成 这些组件相互协作来管理集群对象 下面就对集群 组件如何在单一集群服务器内相互作用关系进行阐述 t 甄 集群组建之间的相互作用关系如图3 所示 集群主要有以下组件构成 8 集群服务 资源监视器 资源 集群管理器 集群数据库 集群网络驱动程序 集群服务是集群的核心组件 它管理所有集群指定的活动 在集群中的每台 服务器上都运行着集群服务的一个实例 集群服务主要管理集群对象和配置 与 集群中集群服务的其他实例协调 促进其他软件组件之间的通讯和执行故障转移 操作 资源监视器是担当集群服务和资源之间媒介的集群组件 当集群服务请求资 源时 资源监视器将它的请求传输给相应的资源 每台集群服务器都运行着一个 山东大学硕士学位论文 或多个资源监视器 默认情况下 集群服务只启动一个资源监视器与此服务器中 的资源交互作用 9 l 集群资源是具有如下特征的所有物理或逻辑组件 能够联机和脱机 能够在服务器集群上进行管理 每次只能属于一台服务器 W i n d o w s2 0 0 0A d v a n c e dS e r v e r 定义了几种资源类型 主要有物理磁盘资源 类型 网际协议资源类型 文件共享资源类型等 一些资源可以组成一个资源组 一个资源组存在于一个上 但同时只能在一个服务器上 组是集群可以进行故障 转移的最小单元 管理员使用集群管理器管理应用程序的配置 控制和监视集群 集群管理器 是一个图形界面 我们通过它来管理集群对象 建立组 进行故障转移 处理维 护工作和监视集群行为 集群数据库常驻在每台集群服务器上的W i n d o w s2 0 0 0 注册表中 它包含集 群的所有物理和逻辑元素的信息 包括集群对象 对象属性和配置数据 集群中的每个服务器都运行集群网络驱动程序的一个实例 集群网络驱动程 序负责 监视节点之间所有网络路径的状态 路由消息 检测通讯问题 每台服 务器的集群网络驱动程序都要和其他服务器上的集群网络驱动程序定期交换消 息 称为 信跳 如果没有成功地响应这种 信跳 消息 则此服务器上负责故障检 测的集群网络驱动程序会通知启动故障转移的集群服务 从以上对集群组件的分析可以看出 服务器集群的实现过程是 首先 资源 监视器根据管理员通过集群管理器设定的时间间隔对资源进 行L o o k A l i v e 和I s A I i v e 两种级别的检查 一旦发现某一个资源不可用 就会试图 重新启动该资源 根据阀值的设定 如果在某一时间段内 资源不可用的情况达 到了设定的阀值时 就会发生故障转移 经过故障转移的过程 对应的资源组在 另外一台服务器上重新启动了 继续为客户机提供服务 对客户来说 工作没有 影响 这就完成了一次故障转移 当出现故障的服务器恢复正常以后 如果事先 对该资源组设定了首选服务器 就会把该资源组移回该首选服务器 山东大学硕士学位论文 七 故障转移和故障恢复 1 故障转移 如果服务器集群上的个别应用程序执行失败 但是服务器没有问题 集群服 务会尝试重新启动同一服务器上的应用程序 如果失败了 集群服务会移动此应 用程序的资源并且在服务器集群的其他服务器上重新启动它们 这个过程称为故 障转移 负责监视资源的资源监视器一旦发现资源出现故障 它就会通知集群服 务 集群服务会根据事先定义好的策略触发对应的事件 虽然发现的是个别资源 的故障 但是 集群还是会把整个资源组进行故障转移 故障转移会在三种不同的情况下发生 人工 一般是因为管理员的请求 自 动 或者在特定的时间 由集群管理软件设定 自动故障转移又包含了三个阶段 9 1 故障发现 2 资源重新定位 3 重新启动应用程序 当达到资源组的故障转移阀值时 自动的故障转移才会发生 阀值是可以设 定的 一般又管理员来完成 故障转移包括如下步骤 9 1 集群服务使组中的所有资源按组的从属关系级别所决定的顺序脱机 首先是依 存资源 紧随其后的是它们所依存的资源 例如 如果某个应用程序依赖于一 个物理磁盘资源 则集群服务首先使此应用程序脱机 允许应用程序在磁盘脱 机前将更改写入磁盘 集群服务通过资源监视器调用管理此资源 从而使该资 源脱机 如果这个资源没有在指定的时间期限内关闭 则集群服务将强行中断 此资源 2 当所有资源脱机后 集群服务会尝试将组转换到列在首选服务器的组列表下面 的服务器中 3 如果集群服务成功地将组转移到其他服务器 则它会尝试将所有的组资源联 机 当所有的组资源在新服务器上联机后 故障转移便告结束 山东大学硕士学位论文 2 故障恢复 当服务器由于某种原因转变为非活动状态时 集群服务将故障转移到由此服 务器控制的任何组 当该服务器重新转变为活动状态时 集群服务能够对最初由 此服务器控制的组进行故障恢复 集群服务使用同故障转移中一样的过程对某个组进行故障恢复 首先集群服 务使组中的所有资源脱机 然后移动这个组 最后使组中的所有资源联机 1 6 山东大学硕士学位论文 八 服务器集群技术在视频网络中的扩展应用 1 项目概述 电视台新闻资讯中心制作网是一个具有信号收录 演播室上载 节目资料共 享 视音频制作的全数字环境的智能化 自动化的数据化制作网络系统 它能支 持山东电视台各频道节目制作业务的运转 并承担大部分节目的生产任务 在节目制作网搭建之前 电视台曾根据不同部门需求建立了一系列基 于M J E P G 格式的新闻网 其服务器系统一般只有一台服务器构成 素材管理 管理网络程序 数据库应用程序都在一台服务器上完成 成本虽然很低 但安全 性不能得到保障 服务器出现一点小小的故障就会影响到系统的使用 系统安全 性和可靠性无法保证 为了避免这种劣势 新搭建的节目制作网在可靠性上有了 很大的改进 充分考虑到了节目素材 文稿 管理数据的安全问题 可靠性主要 体现在服务器的建设方面 节目制作网采用了大量的服务器 关键服务器还配置 了双机容错的机制 系统中一共配置了5 台服务器 2 台作为管理 数据库服务 器 通过集群方式达到自动冗余的功能 2 台M D C M e t aD a t aC o n t r o l l e r 服 务器 1 台日志管理服务器 服务器系统结构图如图5 所示 1 7 山东大学硕士学位论文 2 项目准备 1 数据流传输带宽占用计算 4 7 电视台的视音频编辑软件一般最多采用3 轨视频 4 轨音频的配置 各轨道素材所 占用的带宽总和 即单个客户端满负载时数据流占用的最大带宽 通用视频码流 为2 5 M b s 即3 1 2 5 M B s 音频码流为1 2 8 K b s 即1 6 K B s 单台占用带宽 3 3 1 2 5 M B s 4 1 6 K B s 9 4 3 9 M B s 2 可支持客户端数量的计算 从以往对D I S KA R 冈吖的测试数据来看 其通常写入速度为9 0 1 0 0 M B s 这个 带宽限值取决于磁盘阵列控制器的性能 依此计算 单控制器单通道的情况下 假设客户端全部都具备上传下载素材的功能 本系统最大支持客户端数为不超过 1 0 个 这完全不能满足项目需求 因此 我额外扩展了另一个磁盘阵列控制器 在双控双通道的情况下 客户端的流量负载可以分摊到两个通道上 系统最大支 持客户端数可以达到2 0 个 3 c l u s t e rn o d e s 数量的选择 A 系统容错功能实现 本功能的实现需要为每个功能服务器设置一个备用服务器 即集群系统内有4 台 服务器 同时我单独添加了一台日志管理服务器 备份m d c 和数据库服务器产生 的日志文件 使安全性更高 B 负载均衡功能实现 本功能的实现需要把磁盘阵列各逻辑分区分别映射到两个控制器上 然后两个控 制器的光纤分别连接到两台m d c 服务器上 以此把访问不同逻辑分区的流量引导 至不同的光纤通道 磁盘阵列控制器到m d c 服务器的光纤卡 4 传输媒介和交换设备选择 4 同 C 高低品质素材传输媒介和设备选择 上传下载工作站和精编工作站传输无压缩高品质视音频流 采用光纤 稳定 传输 速度1 2 0 M B s 保证传输速度和稳定性 粗编和文稿工作站传输低品质视音频流 采用超五类双绞线 完全可以满足需求 对应的就是光纤交换机和千兆以太交换 机 山东大学硕士学位论文 D 网络交换设备 不管什么服务器和客户端 素材传输之外的数据交换全部采用千兆以太交换机 数据流量小的文稿工作站和日志管理服务器可采用百兆以太交换机 5 存储设备配置 1 7 根据电视台频道划分原则 将1 4 8 G 2 0 块 5 组的磁盘阵列划分为6 个逻辑分区 分别映射到两个控制器端口上 3 服务器集群的拓扑结构 集群技术在服务器中应用是山东电视台新闻资讯中心节目制作网的一个重要 的技术特色 其服务器集群拓扑结构如图6 所示 从图中可以看出 此集群是由 两台名称为S Q L S e r v e r 0 1 和S Q L S e r v e r 0 2 的数据库服务器 以及两台名称为 M D C S e r v e r 0 1 和M D C S e r v e r 0 2 的域控制服务器组成的集群系统 集群名称 叫S D F V C L U S T E R 集群系统管理着网络的域控制器和登录帐号 节目制作网的 高低压缩比素材 S Q L 数据库应用程序 其中M D C S e r v e r 0 1 和S Q L S e r v e r 0 1 是主服务器 一直处于O n l i n e 状态 而M D C S e r v e r 0 2 和S Q L S e r v e r 0 2 是备份 服务器 平时处于O f f l i n e 状态 只有在D a t a S e r v e r 0 1 出现故障 集群发生故障 转移时 D a t a S e r v e r 0 2 才把资源控制权接管过来 C I i e n tP C so rN e t wo r kPr i n t e r s L o c a IH D P C IS C S II D7 P C IS C S II D7 1 e r m i n a t 口r L o c a IH D P C S C S II D7 P C IS C 豇I D6 T b r m i n a t o r D i s kA r r a y N o d e l 和N o d e 2 分别为群集中的两个服务器 D i s kA r r a y 为两台服务器所共享的S C S I 盘塔 S C S IB u s 采用的介质不建议采用内置S ES C S I 线缆 应该外置L V D 线缆 1 9 山东大学硕士学位论文 P C IS C S II D7 和6 分别为配置在两台服务器中的S C S I 卡 建议本地S C S I 数据盘与外 接S C S I 盘塔使用不同的S C S I 卡 H e a r t b e a t C a b l e 为群集中两台服务器间的内部通讯渠道 物理介质为对等 P e r T oP e r 双绞线 所以 除了连接到H u b S w i t c h 上的网卡外 还需要另外的网卡用于连接 H e a r t b e a tC a b l e 4 系统平台硬件组成 1 M D C 服务器 本系统中由两台M D C 服务器组成完整的M D C 服务器集群 其主要实现的系 统功能如下 主备域控制器双机热备 山东电视台新闻咨询中心后期编辑网络中的所有客户端均加入到相同的域中 执 行管理员通过活动耳录 A c t i v eD i r e c t o r y 设定的组策略 访问域内资源 本系统内 M D C S e r v e r 0 1 为主域控制器 M D C S e r v e r 0 2 为备用域控制器 二者 之间在域用户资源访问和服务提供方面是对等的 通过多主复制技术U p d a t e S e q u e n c eN u m b e r s U S N 完成二者的同步 每个服务器跟踪其复制伙伴的最新 U S N 列表 保证及时更新并且更新不会有冲突或相互覆盖等 主备域控制器之间用信跳线连接 随时保持数据同步和相互侦测 平时各种服务 和资源由主控制器承担 一旦主控制器故障 备用域控制器便会通过信跳线侦测 到对端故障 然后立即接管主控制器的服务和资源 数据流向控制 两台M D C 服务器通过光纤与系统存储设备控制器相连 同时作为所有域用户访问 存储设备中文件资源的唯一通道 由于视音频文件格式较大 同时视音频编辑客 户端要求的读写速度均较快所以文件读写对带宽要求很大 在本系统中 M D C S e r v e r 0 1 和M D C S e r v e r 0 2 分别管理一部分存储资源 以实 现集群的负载均衡 N L B 功能 这样 域用户通过不同的域控制器访问不同的存储 资源 使数据流量由两台服务器分担 减轻带宽不足的压力 例如 存储设备划分为E F G H I J 六个逻辑分区 M D C S e r v e r 0 1 管理 山东大学硕士学位论文 E F G 三部分 M D C S e r v e r 0 2 管理H I J 三部分 访问邑F G 的 用户通过M D C S e w e r 0 1 访问存储设备 访问H hJ 的用户通过M D C S e r v e r 0 2 访问存储设备 2 数据库服务器 本系统中由两台数据库服务器组成完整的数据库服务器集群 其主要实现功 能如下 主备数据库服务器双机热备 电视台对数据的完整性和安全性要求极高 但是数据库流量对带宽要求却不是很 高 因此集群采用安全性较高的双机热备模式 两台服务器之间通过信跳线连接 当其中一台故障时 另一台立即接管所有服务和资源 建立数据索引 数据库服务于客户端软件 主要保存通过视音频采集到存储设备中的视音频文件 的信息 为视音频文件建立索引 3 存储设备 本系统采用美国D D N 公司的磁盘阵列S 2 A 存放客户端采集的视音频资料 共享的存储空间也是服务器集群重要的组成部分 S 2 A 同M D C 服务器 客户端以及交换设备共同组成了存储区域网络 S A N 结构 4 网络交换设备 以太交换机 E t h e m e tS w i t c h 网内所有服务器和客户端均通过以太交换机进行数据交换 为了保证带宽 两台 百兆交换机之间的级联通过自带的千兆网口绑定为t r u n k 实现2 0 0 0 M 级联通信 除去瓶颈的存在 光纤交换机 F CS w i t c h 连接M D C 服务器和磁盘阵列的控制器 F C 高速传输保证视音频素材读写无瓶颈 5 服务器集群的创建 1 软硬件的配置要求 软件要求 2 l 山东大学硕士学位论文 安装集群的一个首要条件是配置集群的每台服务器必须是安装了微软 的W i n d o w s2 0 0 0 A d v a n c e dS e r v e r 或W i n d o w s2 0 0 0D a t a C e n t e rS e r v e r 具有 某种名称解析手段 如域名系统 D N S W i n d o w s 互连网命名系统 W I N S H O S T S 等 硬件要求 集群服务器的硬件 必须满足W i n d o w s2 0 0 0A d v a n c e dS e r v e r 或 W m d o w s2 0 0 0D a t aC e n t e rS e r v e r 的硬件要求 共享的磁盘有独立的P C I 存储适 配器 S C S I 或光纤 集群里的每台服务器有两块P C I 网络适配器 有外部存储 单元 它跟所有的服务器相连 它被作为集群磁盘使用 2 配置步骤 1 如上图实现物理连接 2 两台服务器 以下简称S e r v e r l 和S e r v e r 2 分别安装M i c r o s o f tW i n d o wS e r v e r 2 0 0 3 3 两台服务器分别升级到D C 并安装D N S 4 在磁盘管理器中确认S C S I 盘塔的磁盘是否正确 然后将S C S I 盘塔划分为两 个分区 P 盘存放心跳交换数据 至少5 M B 建议大小1 0 0 M B Q 盘存放 M S S Q L 等数据 大小为盘塔剩余所有的空间 5 S e r v e r l 和S e r v e r 2 如果均安装了两个网卡 则分别设置其l P 地址 但需保 证两对网卡分别在两个网段中 如 S e r v e r l 的I P 是1 9 2 1 6 8 1 1 和 1 9 2 1 6 8 1 2 S e r v e r 2 的I P 是1 9 2 1 6 8 2 1 和1 9 2 1 6 8 2 2 6 在两台服务器上依次安装 群集服务组件 操作如下 控制面板 添加删除 程序中点击 添加删除W I N D O W S 组件 勾上 群集服务 依据提示点击 下 一步 然后进入群集服务配置界面 点击 哦理解 选 群集中的第一个节点 山东大学硕士学位论文 点击下一步 填上群集名 m 膏酬 一 一瓣辫黼嚣搿缫瓣豢滗缀瓣蕊瓣瓣麓瓣 l 蠹蠹 麓鞴赫i 魄一 x 群集名 您必须裔名籀群集 j为瓤群舞睦入名称 鹣嬲熙蟛i 豢i i 勰鑫纛 lii 灏 i 一 上一步讴 i 万翮取消 名与域名相同会造成解析错误并导致安装失败 山东大学硕士学位论文 点击下一步 将P 盘和Q 盘选为 被管理的磁盘 点击下一步 按提示选择容量为1 0 0 M 的小盘 山东大学硕士学位论文 点击下一步 指定其中的一对网卡用于内部群集通讯 点击下一步 指定另一对网卡用于客户访问 山东大学硕士学位论文 实际上所有通讯也可以通过唯一的网络路径实现 即只用一对网卡 只要指 定它们用于所有的通讯即可 但多少会影响其工作效率 通常 用于内部通讯 的数据包会以1 b i t e s 的速度接发 点击下一步 键入群集的l P 地址和子网 掩码 点击下一步后 屏幕提示完成C L U S T E R 安装 山东大学硕士学位论文 7 添加第二个节点的操作步骤基本一致 仅有几点需要注意 其它依据提示操作 即可 在添加第二个或者是下个节点时 选择 群集中的第二个或下一个节点 键入要加入的群集名 正确的域用户和密码 并选择域 山东大学硕士学位论文 I 挂习引 苜 E l 戮戮缀缀缀餮浚缀霪缀熏瑟i 慧篓一 一 5 一 点 群集名 簧擒入群集 经磐须提供群集名称 麓入簧加入的群集的名称毽 L L 舻用下葱帐尸连接蚕 薛熊 用户名奄静 密码 域唾 B a c k u pD a t a b a s e 在出 现的窗E l 中 B a c k u p 选项中依次为全数据库备份 增量备份 日志备份等 一般 情况下 适合大洋网络的备份方式主要为以上的三种 这里 主要讲解全数据备 山东大学硕士学位论文 份的操作步骤 在D e s t i n a t i o n 选项中点击A d d 按钮 添加一个备份目录 注意 这里一定要填写文件名 在O v e r w r i t e 选项中选择O v e r w r i t ee x i s t i n gm e d i a 点 击确定 此时出现备份进程窗口 备份完成后可以在所设路径下看到备份文件 可以在上图R e s t r o eD a t a b a s e 菜单中实现数据的恢复 数据恢复窗口如下 山东大学硕士学位论文 在B a c k u p 窗口最下面的S c h e d u l e 选项中 勾选S c h e d u l e 然后点击后面的按钮 则弹出如下的窗口 点选C h a n g e 按钮 弹出编辑窗口 在编辑窗口中 可以根据需要 选择合适的维护窗口进行数据的备份 山东大学硕士学位论文 1 t 2 8 瓣戮戮滋燃缀 滋 纛i j 2 9 知bn t 堪 J o b 一 一n 1 带n t i l y z q j 撕b rZ e e l d y rm o n t h l y 一D b 驰 q 广o 罐 万翁j r 疗o e 嘁 e v e r y 汪 翌瞬飘 习S t e x t j n g 蠢砩 轴街w 圆嚣誓 倭 一虹t t i o 融 t I T u e 卜1 4 暖r 肛ad a t e l t n e 2 0 0 3 1 一 4 带H o n d 瓤t e 匠 慧恐 她 基本操作如上述描述 实际应用中可以根据具体情况灵活处理 6 系统优势 与当前很多电视台使用的视音频编辑系统 本系统在各方面性能上 均具备 明显的优势 当前电视台使用的编辑系统一般包括如下几种 A 对编 即两台录像机一台用于播放 一台用于录像 把放机上的片断最终按顺序录到录 机种的录像带上 这种系统的劣势很明显 第一 操作风险大 因为一旦录机的 录像带完成制作后却发现还有地方需要修改 那只能把这盘录像带重新录一边 费时费力 第二 由于录像带反复的录放操作 造成信号质量在经过一定次数的 操作后会变差 第三 素材无法共享 只能靠录像带的不停翻录才能达到共享的 目的 这无疑会降低工作效率 B 单机工作站 这是指对编之后出现的非线编工作站 基于配有视音频采集卡的电脑主机和相配 套的软件 非线编的出现使视音频编辑进入了对编之后的新时代 但是仍然无法 解决素材共享的问题 C 无服务器集群的视音频编辑网络 这是指由若干未组成服务器集群的独立服务器以及若干客户端组成的视音频编辑 山东大学硕士学位论文 网络 这个网络通过文件共享 很直接的解决了素材共享的问题 但是该系统同 样有很明显的弊端 第一 服务器宕机会直接造成系统瘫痪 第二 由于网络负 载过重而造成的系统不稳定 或者由于升级或添加设备从而增加网络承载能力而 造成的高系统成本 D 引入服务器集群技术的视音频编辑网络 由于引入了服务器集群技术 本系统具备了如下特点 第一 容错功能 本系统 集群中两节点彼此双机热备 除非两台服务器同时宕机 否则系统运行不会暂停 因此安全性方面本系统比无服