【毕业学位论文】（Word原稿）内容分发系统的设计与实现-软件工程

硕士学位论文 （专业学位） 内容分发系统的设计与实现 姓 名： 学 号： 所在院系：软件学 院 职业类型：工程硕士 专业领域：软件工程 指导教师： 副 指 导教师： 二 一三 年 三 月 A in 2013 内 容 分发 系统的设计与实现 同济大学 学位论文版权使用授权书 本人完全 了解同济大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日同济大学 硕士学位论文 摘要 I 摘要 随着宽带网络和宽带流媒体应用（如数字电视）的兴起，内容分发技术作为一种提高网络内容，特别是流媒体传输的服务质量，节省骨干网络带宽的技术，在国内外得到越来越广泛的应用。本文主要是对内容分发技术在数字电视系统中的实现进行分析和研究。 本文以 实际需求为背景，分析内容分发技术在系统中应用的可行性，以软件工程的思想作为指导，设计并开发了内容分发系统，从而实现了 内容文件的接收以及内容文件的 分发功能，将内容文件从有线电视网络运营商前端媒体库传输到最接近用户的边缘设备（边缘内容分发节点或流服务器）。 在系统的开发过程中，采用 向对象的分析方法对系统进行分析和设计 ，以 C+作为系统开发语言，以 为系统的后台数据库，结合 系统加以实现。 系统概要设计中描述系统的主要功能模块，以及模块之间必要的接口，同时还构建关系数据库。在详细设计中具体描述了各个子模块的功能。 本系统是根据本文作者所在的单位的需求来做的，该系统是为国外 容分发系统由 面管理， 成。 容分发任务 ，并按照时间，优先级以及带宽等限制条件对任务进行调度 。 功能是 对分发内容进行分割加密，然后进行传输 。 功能是接受传输文件，进行解密合并以及加水印操作 ， 还有 统计边缘服务器信息 ，如 存， 磁盘使用率 。 关键词 ： 流媒体，数字电视 ， 内容分发， I of of V, at as to of of of is on of in V is on of DN in to as is to be of V it be by to or In of we ML to + as 000 as CE to of of is on of is it is a is is of in is on of it is to do to it is to on V, 硕士学位论文 目录 录 第 1章 引言 . 1 题背景 . 1 . 1 . 2 . 3 . 3 第 2章 相关技术 . 5 . 5 . 7 000 简介 . 8 第 3章 系统的需 求分析 . 10 求分析 . 10 体功能设计 . 11 统用例分析 . 12 统总用例 . 12 例分析 . 13 例分析 . 14 例分析 . 14 例分析 . 15 . 16 例分析 . 16 第 4章 系统的详细设计 . 18 划分与功能设计 . 18 要功能模块的设计 . 20 . 20 . 26 . 27 . 28 . 32 . 35 据库设计 . 36 第 5章 系统的实现 . 49 统部署 . 49 . 51 同济大学 硕士学位论文 目录 务管理 . 55 动升级任务 . 58 务调度策略 . 60 密解密管理 . 62 跳任务 . 66 第 6章 结论与展望 . 68 论 . 68 一步工作的方向 . 68 致谢 . 69 参考文献 . 70 个人简历、在读期间发表的学术论文与研究成 果 . 71 第 1 章 引言 1 第 1 章 引言 题背景 随着科学技术特别是数字技术的迅猛发展，人类社会已经进入数字化、信息化时代，当今世界各国都在加快广播电视数字化进程。随着数字电视的蓬勃发展，观众直接打开电视机就能收看到更多的节目频道，甚至是高清数字电视节目，还可以进行点播，录播，回看。数字电视的功能还不止这些，随着交互技 术的不断发展，电脑和电视的界限进一步模糊。数字技术的发展使得数字电视机的功能日渐强大，可像电脑一样进行文字录入、上网浏览、收发邮件、电视购物、远程教学、远程医疗、股票交易、信息咨询等。然而数字电视系统在网络性能，媒体数据存储，并发等多方面一直存在诸多难题，数以百万计的用户群体和海量的多媒体数据对系统构成非常严峻的考验。如何尽可能地提高系统服务质量，改善用户体验，是数字电视发展之路上必须攻克的难题之一。实现将内容分发技术应用于数字电视系统媒体数据的分发，可以改善网络拥塞，网络延迟等问题。在数字电视系统中引入内 容分发技术，将内容服务从原来单一的中心结构变为分布式结构，在保证高质量服务品质的前提下，大大降低了主干网络的压力，具有较好的研究价值。 视网是总部位于美国纽约的有线电视网络媒体公司 , 全天候播出电影、音乐、纪录片、体育赛事等娱乐节目 ， 总订户已达 3500 万，占到美国付费电视频道市场的 90%。然而订户 分散在各个 地区 ， 以及庞大的用户群使得主干网络和服务器压力巨大， 所以在不同的核心区域分布节点服务器群成为必然 ，这样才能提高用户访问的性能以及减轻中心设备以及骨干网络的压力，从而更好的提供用户体验。 如何灵活地部 署节点并且快速、有效地将片源内容分发到临近用户群体的各个节点就是本论文的研究课题。 内外研究现状 数字电视拥有广阔的发展前景，纵观全球，大力发展数字电视及其相关产业已经成为近期一些国家电视传媒的主导工作，并且相继取得了突破性进展。 在技术领域，美国不仅完成了数字电视三大标准的制订工作，而且已经率先实现了商用播出。 1998年美国数字电视订户突破 150万，到 2003年底已经膨胀同济大学 硕士学位论文 内容分发系统的设计与实现 2 到 2150 万户。美国的有线数字电视已基本覆盖全国，有线网络实现了光纤化，数字化，双向化改造，数字平台不仅提供数字电视节目，还开 展信息服务等多种增值服务业务。从 2009年 6月 12日开始，美国各主要电视台均停止发送模拟电视信号，从而进入数字电视时代。 中国大陆于近年来大力推行由电视模拟信号向数字信号的转换。至 2007 年已有北京、上海、青岛、江苏、杭州、佛山、深圳、广州、大连等地开通了数字有线电视播出。 2010 年 1月 13日国务院召开国务院常务会议，决定加快推进电信网、广播电视网和互联网三网融合。随着“三网融合”时代的到来，必将推动数字电视的快速发展。 目前的数字电视系统通常采用客户端 /服务器模式提供服务。由于服务器输入 /输出“瓶颈“的限 制，一台服务器只能支持有限的并发流。要解决上百万用户同时收看的问题，不仅需要大量服务器，还需要极大的网络带宽。在这种体系架构下，对边缘服务的配置和服务能力要求都非常高，边缘服务器需要处理大量的并发媒体流并提高带宽来满足流媒体的传输。 随着视频应用的兴起， 容分发网络）作为一种提高网络传输，特别是流媒体内容传输的服务质量，节省骨干网络带宽的技术，在国内外得到广泛的运用。全球 场的规模从 1999 年正式商业运营的 2500 万美元到 2008 年超过 10 亿美元，年均复合增长率达到了 市场发展迅猛。 初期我国 场发展缓慢， 2006 年后市场陡然升温。国内整体 场规模、运营成熟度、服务能力和技术研发均较国外存在较大差距， 2008 年国内整体 场规模约为 元。第一代 要用于静态、动态网页的加速，目前正在向第二代以提供视频流媒体业务为主。视频分发已是大多数 务商提供的关键服务之一。目前 用基于文件拷贝的技术体制，即以整个文件为单位进行内容分发，调度和服务。 题研究目的 本课题的研究目的是对内容分发技术进行研究 ，在了解 求的基础上，应用 术， C+语言，数据库等，设计和开发一个内容分发系统。通过该系统，用户可以根据分发时间要求，优先级以及带宽的不同，合理的安排分发任务，对每次任务做到详细的记录，进行实时的调整（比如增加、删除或者修改媒体数据，抑或是修改时间或者优先级），并对失败的分发任务进行自动的重传机制，从而实现全面自动的管理。 第 1 章 引言 3 题研究内容 本课题设计以本文作者所在单位的实际需求为背景 ，采用软件工程的理论为指导 ， 使用 以 后台数据库， 结合 终实现了内容分发系统 。 ，该系统是为了国外有线电视网络媒体公司 于 了方便和客户交流，所以在对模块进行划分的时候，将各个模块定义为英文名称。这样，客户可以更好的理解各个模块的作用，并且最终也能更好得使用内容分发系统。 主要研究内容包括： (1) 对 实际需求 进行分析，整理其基本点需求。并在此基础上进行内容分发的功能设计，对需求进行详细研究，设计出相应的 图。 (2) 进行内容分发系统的总体设计，该系统由 理界面，后台应用服务，数据库构成。根据需求进行模块划分 理界面，割，传输文件。 并文件，统计边缘服务器信息。 (3) 研究如何管理分发任务，并且根据时间和优先级进行任务调度，对失败的任务采用重传机制，进行内容分发系统的详细设计。 (4) 研究如何存储内容分发任务的信息，包括任务内容，接受者等，还有边缘服务器的基本信息，包括 盘信息等，进行数据库设计。 (5) 采用 C+， 005， 术，进行编程开发。 文结构 本文分为 五 个部分： 第一 部分 介绍了内容分发系统的项目背景、国内外的研究现状和本文的主要研究内容 。 第 二 部分介绍了 内容分发 系统所 涉及的相关技术基础。 第三部分对 内容分发 系统进行需求分析，确定了系统设计重点，明确了设计思路。 本部分中对系统进行模块划分，并且画出了各个模块的用例分析图。 第四部分 介绍 了所设计的 内容分发 系统 的详细设计 。 本部分介绍各个模块的同济大学 硕士学位论文 内容分发系统的设计与实现 4 具体工作流程，并画出了时序图，并进行数据库设计。 第 五 部分 介绍 了所设计的 内容分发 系统 的实现 。 本部分对内容分发系统中重要功能实现进行介绍。 第 六 部分 是对全文的总结和展望。本部分总结本文内容并且指出进一步工作的方向。 第 2 章 相关技术 5 第 2 章 相关技术 间件技术 中间件是一类位于系统平台和上层 应用之间的软件系统和通用服务，作为应用支撑软件为分布式应用开发提供跨越网络及系统平台的透明性和交互性支撑。采用中间件技术，能够方便的集成异构应用系统，共享重要的应用服务和资源，实现软件应用的快速开发和部署 1。 简称， 指 于客户端和服务端程序的开发提供了很大的便利 。 其主要设计目标是：提供适合于异种环境的面向对象中间件平台；提供一组完整的特性，支持广泛领域中实际的分布式应用开发；避免不必要的复杂性， 使平台更易于学习和使用；提供一种在宽带网络 、 内存使用和 销方面都很高效的实现；提供一种具有内建安全性的实现，使它适合于不安全的公共网络。 一种面向对象的中间件平台。从根本上说，这意味着 构建面向对象的客户服务器应用提供了工具、 库支持。 用适合于异构平台环境中使用：客户和服务器可以采用不同的编程语言，可以运行在不同的操作系统和机器架构上，并且可以使用多种网络技术进行通信。无论部署环境如何，这些应用的源码都是可移植的。 括 持广泛的语言，包括 C+，C#（和其他 语言，例如 包括所有的 如 。 服务器平台 。 面向对象的语义 线路上”完全保留了 面向对象范型。所有的操作调用都使用迟后绑定，所以操作的实现的选定，是根据对象在运行时的 （而不是静态的）实际类型决定的。 支持同步和异步的消息传递 供了同步和异步的操作调用和分派，并且通过 供了发布订阅消息传递机制。这样，你可以根据你的应用的需要来选择通信模型，而不必把你的应用硬塞进某种模型里。 支持多个接口 同济大学 硕士学位论文 内容分发系统的设计与实现 6 通过 象可以提供多个不相关的接口，同时又跨越这些接口、保持单一的对象标识。这提供了极大的灵活性，特别是在这样的情况下：应用在发生演化，但又需要与更老的、已经部署的客户保持兼容。 机器无关性 客户及服务器与底层的机器架构屏蔽开来。对于应用代码而言，像字节序和填充这样的问题都隐 藏了起来。 语言无关性 客户和服务器可以分别部署，所用语言也可以不同 （目前支持 C+、 及 户端）。 客户和服务器所用的 义建立两者之间的接口合约，这样的定义也是它们唯一需要达成一致的东西。 实现无关性 客户不知道服务器是怎样实现其对象的。这意味着，在客户部署之后，服务器的实现可以改变，例如，它可以使用不同的持久机制，甚至不同的程序设计语言。 操作系统无关性 全是可移植的，所以同样的源码能够在 编译和运行。 线程支持 全是线程化的，其 线程安全的。 作为应用开发者，（除了在访问共享数据时进行同步）你无需为开发线程化的高性能客户和服务器付出额外努力。 传输机制无关性 前采用了 P 和 为传输协议。客户和服务器代码都不需要了解底层的传输机制 （你可以通过一个配置参数选择所需的传输机制）。 位置和服务器透明性 负责定位对象，并管理底层的传输机制，比如打开和关闭连接。客户与服务器之间的交互显得像是无连接的。如果在客户调用操作时，服务器没有运行，你 可以通过 务器可以迁移到不同的物理地址，而不会使客户持有的代理失效，而客户完全不知道对象实现是怎样分布在多个服务器进程上的。 安全性 通过 以使客户和服务器完全安全地进行通信，这样，应用可以使用不安全的网络安全地进行通信。你可以使用 现安全的请求转发，并且完全支持回调。 第 2 章 相关技术 7 内建的持久机制 使用 建持久的对象实现变成了一件微不足道的事情。 B18的内建支持。 开放源码 管要使用 台，并不一定要阅读源码，通过源码你可以了解各种事情是怎样实现的，或把这些代码移植到新的操作系统上。 总而言之， 供了一流的分布式计算开发和部署环境，比我们所知道的其他任何平台都更完整。 向对象的系统分析方法 一建模语言 象管理组织 997年公布的标准），是一种用来建模和开发软件系统的图形化语言。它提供了软件开发的各个阶段的可视化建模支持，包括从需求分析到规格书写，以及系统开发和建 立等。采用 可视化建模的目的在于能够通过图形化的表示使开发者捕捉到与系统相关的重要细节，如项目的需求分析是否能被真正理解，解决方案是否得到有效执行等。 作为一种支持面向对象的分析与设计的建模语言， 提供了若干方式来表示各基本功能模块之间复杂的相互关系，这种相互关系蕴涵在 这种建模语言的最大用途是利用图形来描述真实世界各个对象的符号表示，让所有系统设计者在构建系统时从系统流程分析、系统需求、对象模型化定义到对象设计的整个开发过程完全标准化 2。 9种图形） 3： 1. 用例图，显示一组包括用例（ 参与者（ 它们之间的关系。 2. 静态图，包括类图、对象图和包图。其中类图描述系统中静态结构；对象图是类图的实例，几乎使用与类图完全相同的标志；包图用于描述系统的分层结构。 3. 行为图，描述系统的动态模型和组成对象间的交互关系。其中状态图描述类的对象所有可能的状态以及事件发生时状态的转移条件；活动图描述满足用例要求所要进行的活动以及活动间的约束关系，有利于识别并行活动。 4. 交互图， 描述对象间的交互关系。其中时序图显示对象之间的动态合作关系；合作图描述对象间的协作关系，显示对象间的动态合作关系。 同济大学 硕士学位论文 内容分发系统的设计与实现 8 5. 实现图，其中构件图描述代码部件的物理结构及各部件之间的依赖关系；部件图有助于分析和理解部件之间的相互影响程度；配置图定义系统中软硬件的物理体系结构。 通过绘制这些图形，就可将这个系统的功能以及事件发生的状况描述清楚，以便进一步编码实现，实际应用中会依据情况采用一种或几种图形综合使用。 在本系统中，我们采用 中使用 来展示系统需求，各种静 态图来进行详细设计，并利用交互图和行为图进行建模。为以后快捷、高效地实现系统的各个功能模块奠定了一个良好的基础。 000 简介 000 是微软公司开发的一个具有客户 /服务器体系结构的关系型数据库管理系统（ 它使用 过微软扩展的数据库查询语言 客户机和 1客户机 /服务器体系结构 客户机程序负责执行业务逻辑和显示用户界面，它可以运行在一台或多台客户机上，也可以运行 在 000服务器上。 000 服务器负责管理数据库并在多个用户请求之间分配可用的服务器资源，如内存、网络带宽和磁盘操作等。 该软件功能强大，使用方便，拥有广大的用户群体，它是后台数据库服务器的首选产品。 2关系型数据库管理系统（ 体包括维护数据及数据之间的关系；在不违反定义数据之间关系的规则的前提下保证数据能被正确存取；在系统出现故障的情况下，恢复所有数据到已知的一致点等。 3 000 使用 为它的数据库查询和编程语言，使用 言，可以访问数据，查询、更新和管理关系数据库系统。增加了许多扩展项来提供更多的功能。 000 由一系列相互协作的组件构成，能满足最大的4。 000 提供了在服务器系统上运行的服务器软件和在客户端运行的客户端软件。服务器程序负 责创建和维护表和索引等数据库对象，确保数据完 第 2 章 相关技术 9 整性和安全性，能够在出现各种错误是恢复数据。客户端程序完成所有的用户交互操作，将数据从服务器检索出来后，生成副本，以便在本地保留，也可以进行操作 4。 000 的客户 /服务器提供了与多传统主机数据库所没有的先进功能。数据访问并非局限于某些已有的主机数据库程序。 000 的一个主要优点就是与主流客户 /服务器开发工具和桌面应用程序的紧密集成。可以使用许多方法访问 000数据库。例如，可以在 +和 访问 000 数据库。在进行数据库应用程序的开发时，可以使用数据库访问对象（ 远程数据对象（ B， 4。 第 3 章 系统的需求分析 10 第 3 章 系统的需求分析 求分析 随着宽带化和个性化发展的宽带业务，造成网络主干和分支的流量急剧上升，同时也会对流媒体服务器造成巨大压力，因此传统的中心化服务器在宽带流媒体业务中难以胜任，当前的发展趋势是由 原来的单个或少量的中心服务器转化为多个甚至是大量的因特网边缘服务器。 以 容分发系统的部署分为两端： 统通过宽带网络或者卫星通道，从 送视频文件或者其他类型文件到 体功能如下： 从 输文件 至 输出过程中分割并加密文件； 接收后解密并重组文件； 对重组文件进行 加水印 操作 ； 系统能够 自动重 传未成功的任务； 系统能够 监控传输过程； 系统能够 自动升级 图 C o n t e n t D i s t r i b u t i o n S y s t e mD i s t r i b u t i o n M a n a g e r ( D M )T r a n s m i s s i o n H e a d - e n D i s t r i b u t i o n M a n a g e r A g e n t ( D M A )C a t c h e e d i a L i b r a r dP a r t y S y s t e m i n v o k e D M i n t e r f a c e t o i n p u t d i s t r i b u t i o n t a s k o r i n p u t t h e t a s k f r o m D M w e b U i n v o k e T r a n s m i s s i o n S y s t e m i n t e r f a c e t o c r e a t e a t r a n s m i s s i o n t a s k , T r a n s m i s s i o n S y s t e m ( T S ) r e t u r n t h e s c h e d u l e r t o D S q u e u e t h e t r a n s m i s s i o n t a s k w i t h c o m p u t e d l o o k a h e a d w i n d o c o p y t h e f i l e s t o l o c a l s t o r a g e a n d t r a n s m i t t i n g t h e m t o C a t c h e r s a c c o r d i n g t h e q u e u eC a t c h e r r e c e i v e t h e f i l e s a n d s a v e t o l o c a l s t o r a g a t c h e r r e p o r t t h e r e c e i v i n g r e s u l t t o T a t c h e r n o t i f y D M A t h a t f i l e s a r e r e a d y f o r i m p o r t i n g 898D M A i m p o r t i n t e g r a t e w i t h r e g i o n V O D s y s t e m t o i m p o r t t h e r e c e i v e d d a t a a n d c o n t e n t f i l e s t o l o c a l V O D s y s t e A r e p o r t t h e L o c a l V O D i m p o r t i n g r e s u l t t o D MT h i r d P a r t y S y s t e mF i l eF i l eW e b U I I n p u dP a r t y S o f t w a r eO p e n I n t e r f a c eO p e n I n t e r f a c e ?I n t e g r a t i o n I n t e r f a c r a n s m i s s i o n S y s t e 容分发系统简单流程 图 1. 页界面创建 2. 用 口创建传输任务， 任务排时间表，并把时间表信息传回给 间表； 同济大学 硕士学位论文 内容分发系统的设计与实现 11 3. 据时间表预加载任务； 4. 贝传输文件到本地，进行加密并分割，传输到指定 体功能设计 首先，对整个系统进行模块划分。采用模块化原理的优点是： 1. 可以使软件结构清晰 ，容易设计，容易阅读和理解，容易测试和调试。因为程序错误通常局限在有关的模块及它们之间的接口中，所以模块化使软件容易测试和调试 5。 为变动变动往往只涉及少数几个模块 5。 个复杂的大型程序可以由许多程序员分工编写不同的模块，并且可以进一步分配技术熟练的程序员编写困难的模块5。 按照实际需求和部署考虑，内容分发系统分为以下七个模块： 功能是提供 理界面，方便用户进行系统配置和管理分发任务，包括创建，修改，取消和查看任务信息，以及查看且可以删除远端 功能是为 供接口创建，修改，删除分发任务。根据优先级，时间，带快为已有任务排时间表。 功能是提供接口为 传输文件进行加密，并对从用户的角度来说，他们最为关心的网络信息安全与保密问题是如何保证他们的涉及个人隐私或商业利益的数据在传输过程中受到保密性 、 完整性和真实性的保护。避免其他人（特别是其竞争对手）利用窃听 、 冒充 、 篡改 、 抵赖等手段对其利益和隐私造成损害和侵犯，同时用户也希望他保存在某个网络信息系统中的数据，不会受其他非授权用户的访问和破坏 6。用隐藏的信息来保护文章 、 音乐 、 电影和艺术通常被称为“水印” 7。它们的目的是传输合法接收者的信息而不是数据来源者的信息，主要来识别数据的单个发行拷贝。这很像软件产品的序列号，对监控和跟 踪流通数据的非法拷贝非常有用。这一类应用在发行的每个拷贝中嵌入不同的水印，通常称之为“数字指 第 3 章 系统的需求分析 12 纹” 8。 功能是创建脚本调用 功能是解析 生成的任务报告文件，包括传输结果和系统信息等。自动维护 磁盘空间，当磁盘空间过小时，删除已经完成的任务文件。 功能接受 发送来的文件，生成报告文件。提供接口给 集系统信息，以及进行磁盘空间