【毕业学位论文】（Word原稿）分布式媒体资产管理系统的设计与实现-软件工程

硕士学位论文 （专业学位） 分布式媒体资产管理系统的设计与实现 二一年十月 姓 名： 学 号： 所在院系：软件学院 职业类型：工程硕士 专业领域：软件工程 指导教师： 副指导教师： 二 一三年九月 in 2013 1021170344 分布式媒体资产管理系统的设计与实现 李佳佳 同济大学 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动 。 学位论文作者签名： 年 月 日 经指导教师同意，本学位论文属于保密，在 年解密后适用本授权书。 指导教师签名： 学位论文作者签名： 年 月 日 年 月 日 济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论 文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日同济大学 硕士学位论文 摘要 摘要 随着社会的进步，我国经济的快速发展，现在社会和经济已经和世界完全接轨，信息产业化已经成为社会发展的主题。信息量膨胀带来了许许多多的问题，例如怎样存储、管理、寻找、利用这些信息等等，特别是对于视音频相关资料的应用，对于目前广播电视事业的发展具有重要的作用。 在此背 景下，本文在当前广电媒体机构视音频内容数字化存储业务迅速发展的背景下，提出了在各个单位媒体资产管理系统的基础上构建基于网络的分布式视频素材检索系统，通过面向服务的体系结构（ 在各个视音频素材管理机构现有的媒体资产管理系统的基础上，对各个媒体资产管理系统以标准数据模型构建统一数据接口和协议，实现异构、异地进行数据检索处理。同时针对分布式事务处理模型在数据处理效率上的差异，采用轮询请求 /答复的异构响应结构实现分布式视频检索系统与各媒体资产管理系统的检索数据异步通信；在检索结构上，面向于媒体资产内容，采用 符合目前国家规范的四层结构，实现基于内容和关键帧的快速检索和定位。 本项目的研究，为改善广电传媒机构媒资系统分块建设、孤岛运营现状，共享视音频媒体资源做了有益的尝试。传统的媒资管理系统不能合理地管理素材资料，并且在使用时对素材的损耗较大、利用效率低，通过使用基于 术的分布式视频检索系统，我们可以将视频素材有效的进行管理，提高其重复利用性。同时，通过 实现，该系统的兼容性大大提高，不再受到不同编程语言的限制，也不会因为多个不同媒资管理系统的架构不同而导致无法调用视频素材。对 于一个完整的媒资管理系统而言，视频检索的速度往往决定了系统运行的效率，该系统使用分布式计算技术不仅降低了视频使用时的损耗，也大大提高了视频检索时的速度，解决了对大数据量检索速度慢的问题。 关键词 :布式；视频检索； 构响应 I of of in up of of as to so of an in of At of of in s to a on on of in on of in in in a At in of of in to On in of to on of a of of in of t it of of OA we an on At of be no to of t it t of of a of of So of it of of of in a 济大学 硕士学位论文 目录 录 第 1章 绪论 . 1 题背景 . 1 内外研究现状 . 1 究目的及意义 . 3 究内容 . 4 文内容组织安排 . 4 第 2章 技术分析 . 6 . 6 介 . 6 . 6 . 7 布式计算 . 8 术 . 9 . 9 术 . 9 术 . 11 章小结 . 12 第 3章 系统需求分析 . 13 统总体需求 . 13 统功能需求分析 . 14 现内容的创建 . 14 现内容的调度 . 14 现内容的检索 . 14 现内容的研发以及主题服务 . 15 现内容的共享 . 15 . 16 性需求 . 16 第 4章 系统概要设计 . 18 架设计 . 18 据访问模式设计 . 19 步数据访问模式 . 20 同济大学 硕士学位论文 目录 步数据呈现模式 . 21 据模型设计 . 21 . 22 频语义描述对象（ . 24 目语义描述（ . 27 段语义描述（ . 29 景语义描述（ . 30 头语义描述（ . 30 索对象（ . 30 据通信设计 . 31 据模型 转换 . 31 据通信协议和载体 . 31 章小结 . 31 第 5章 系统详细设计和实现 . 32 境架构 . 32 行环境 . 32 务器架设 . 32 发工具 . 36 频上传转码处理业务实现 . 38 能概述 . 39 据字典 . 39 户接口与软件接口 . 40 目业务的实现 . 41 能概述 . 41 据服务设计 . 41 要数据接口 . 46 务流程设计 . 49 户接口与软件接口 . 50 频检索业务模板 . 51 能概述 . 51 索类型描述 . 52 . 52 件接口 . 53 布式检索的实现 . 53 同济大学 硕士学位论文 目录 总体架构 . 53 体检索的实现 . 55 统测试 . 59 章小结 . 60 第 6章 总结与展望 . 61 结 . 61 望 . 61 致谢 . 63 参考文献 . 64 个人简历、在读期间发表的学术论文与研究成果 . 65 同济大学 硕士学位论文 基于分布式的媒体资产管理系统的设计与实现 1 第 1 章 绪论 随着社会的进步，我国经济的快速发展，现在社会和经济已经和世界完全接轨，信息产业化已经成为社会发展的主题。信息量膨胀带来了许许多多的问题，例如怎样存储、管理、寻找、利用这些信息等等，因此，本章将着重介绍该项目的意义和需求。 题背景 近年来，各个广电媒体机构为了更好的管理和应用视音频媒体资源，纷纷构建了媒体资产管理系统，通过信息化处理实现对于电视节目以及视音频素材等数据化存储和有效管理，并在媒体资产管理系统基础上，以相应的公共数据服务接口，与制作系统、播出系统等其他广电业 务系统进行整合，在广电媒体机构内部，构建广电应用业务平台。媒体资产管理系统作为内容资源存储、管理及再利用的基础平台，建立一个视音频内容共享平台，直接关系到相关机构提高视音频资源利用率，开展多种业务，提供新的经济增长点。资源共享，首先需要解决的是异地异构系统的检索问题。 在各个广电媒体机构之间，由于其应用业务平台多数处于封闭状态 ,且大都是在不同阶段、针对不对的业务需求、采用不同的技术开发的 ,这种异构特性和孤岛运行模式使得系统 内 部 、外部的软件无法协同 工作，媒体资源也就无法进行异构异检索。 传统的系统集成技术和传统 的 术则存在系统封闭、厂商依赖性较强、耦合度高、重用性较差 ,不能很好的和上下游 部门 的系统建立统一的接口等问题 2。 为了实现对各个媒体资产管理系统的视频资源的调用，需要在专用网络或者是广域网络环境中构建一个统一的视音频素材业务应用平台，对分布于各个媒体资产管理系统中的视频资源进行检索，以便资源共享、交流和交易。 内外研究现状 无论是互联网的出现还是物联网的出现，它们都快速促进了多媒体信息爆炸性地增长，也使得人们能够在网上或许各类信息并且能够尽享分享交互。在世界各地也涌现出了许许多多的 多媒体服务供应商，从而它们对这些多媒体信息的检索要求也在不断提高。 一些比较有名的网站，例如： ，都开始第 1 章 绪论 2 进行对基于 大量用户分享信息进行检索，而其中视频检索更是成为了重中之重。他们主要进行的就是服务于社会媒体 (信息检索，他们会根据不同的人群的需求和生活情况去帮助用户进行多媒体内容的管理、检索3。其中比较关键的问题包括了如何在爆炸性增长的数据中进行快速检索、用户与服务器交互性质的检索、视频图像关键帧的检测和分析等。 视 频检索系统出现至今已经有很长一段时间了，而其检索形式也是各有不同。目前 ,国内外已研发出了多个视频检索系统 ,其中比较有代表性的主要有： 在国内，深证市的久凌软件技术有限公司拥有先进的智能监控技术，其主要技术包括视频浓缩、视频分类检索，该公司还提供了视频监控整体解决方案，其中包括了目前比较流行的智能视频监控网络云计算平台，能够利用云技术来处理监控到的视频资料，同时，该解决方案还包括了 图像信息核查录入系统 以及监控管理平台。 统 :随着计算机技术的快速发展，基于“基于内容”的视频检索系统也应运而生，而其典型代表就是 究中心开发的 y 这类检索方式往往是通过视频的内容、颜色、纹理等进行检索的，因此， 许用户通过图画或者草图对视频进行检索。 统 :另一个“基于内容”的检索工具，它主要是由美国哥伦比亚大学 电子 工程系与电信研究中心图像和高级电视实验室共同研究的一种既能对图片，也能对视频进行基于内容检索的工具。 统 :要是在原来的检索方式上发展起来的，有点像包括了对视频的内容、颜色、纹理进行检索，而哥伦比亚大学的 间等的检索，让它更加得智能。 统 :这不仅仅是一个简单的视频搜索工具，它是由清华大学开发的视频节目管理系统，因此，它有更多的功能，主要包括了视频入库，视频浏览以及视频检索，它也包含了其他视频检索工具 的基本功能，同时，还支持用户自定义的分类，更契合用户的使用习惯 4。 以上是一些典型的例子，而从实际的现状和未来的发展来看，国内的公司和研究院更加倾向于算法的分析和研究，因此，当涉及到实际开发等问题的时候我们的实现情况往往不如国外。虽说如此，但是国内仍有一些很有作为的研究院能够独树一帜，比如国内的微软亚洲研究院，他们在用户的交互性和界面上下了很多功夫，从而做出了一些非常有趣和实用的应用，从而使得检索系统更加多样和完善。 正如前面所言，国外视频共享网站有很多，所以相对于国内的算法研究，国外的研究更加倾向于 对大数据量的数据库和多媒体检索等方面的研究，这也同济大学 硕士学位论文 基于分布式的媒体资产管理系统的设计与实现 3 正是商业推动科技发展的典型例子之一。这样根据商业需求进行的研究，完成的视频检索系统也更能满足用户的需求，更加贴近实际应用。 总的来说，随着国内外技术的成熟以及公司企业间的合作，国内对于视频检索的研究也在不断深入。通过国际上各种各样的会议讨论以及项目合作，国内的不少产品也在趋于国际化，在不远的将来，我们国内的研究成果也将更加实用，为我们的生活提供便捷。 究目的及意义 随着广播电视行业 以及网络的迅速 发展，节目量 与日俱增 ， 庞大的视频数据量给存储以及使用带来 了很大的压力。而 传统的以磁带为介质的节目保存、使用方式 将 面临 许许多多的 问题 ，主要有以下几点 ： （ 1）因为 磁带寿命有限， 在使用过程中往往会快速损耗磁带的磁性，所以大量的、珍贵的视音频资料需要不断更换存储的磁带，而严重的话甚至会丢失这些资料 。 （ 2） 在存储视音频的时候往往存在 多种格式介质并存 的现象，所以常常会要进行格式的转换，而这也将导致视音频质量下降，对电视台内部的素材造成不利的影响，同时，电视台内的节目交换、利用也将导致视音频效率变低。 （ 3） 随着网络技术和计算机技术的快速发展 ，传统的磁带 存储以及 传输方式 都 无法适应 视频的实时、互动点播，难以满足快节奏的现代化工作和生活 。随着技术的发展，一方面电视台数字化进程的完成，另一方面，网络技术的普及，为电视台建立媒资管理系统的建立提供了土壤 5。 正如上面所说，目前的台内的检索往往会面临庞大的数据量，而解决这一问题的方法，在这里用到了分布式技术。其实，分布式计算就是将一个巨大的问题分割成很多小部分，然后把这些小部分再分配给多台计算机，让它们一起工作去处理掉这些小问题，接着再把这些处理好的结果综合起来返回给用户，从而将这个巨大的问题解决掉。其实，分布式计算已经被广泛 得使用在了我们的日常生活中，在世界各地已经有很多志愿者将个人电脑的闲置计算能力贡献出来，这样，当要去解决一个极大问题时就能够通过分布式计算取使用这些计算能力。通过互联网，我们可以去寻找外太空隐蔽的黑洞或者外星球的生命；我们可以破解人类 生物密码；我们可以解决数学上较为复杂的问题等等。而以上这些例子都告诉我们使用分布式计算将会大大改善我们的计算能力，所以，我们将这一技术使用在视频检索上将会有效提高检索的速度。 媒体和业界对于节目和素材的重视程度非常高，它们作为电视台资产的重要组成部分，其价值甚至超过了一 些固定的硬件设备。媒体资产管理 章 绪论 4 （ 系统帮助用户对视音频进行有效的管理和高效的检索。媒体资产的管理主要是对不同类型的文字、音频、视频等媒体资料的存储、管理、使用。而检索的功能则是使用中最为关键的一步，检索速度的快慢和有效性往往决定了工作效率的高低，因此，在有效保存资料的前提下，高效地检索能够使得资料最大化得使用，并且 创造良好的经济效益和社会效益。 究内容 在当前广电媒体机构视音频内容数字化存储业务迅速发展的背景下，本文提出了在各个单位媒体资产管理系 统的基础上构建基于网络的分布式视频素材检索系统，通过面向服务的体系结构（ 对各个媒体资产管理系统以标准数据模型构建统一数据接口和协议，实现异构、异地进行数据检索处理。同时针对分布式事务处理模型在数据处理效率上的差异，采用轮询请求 /答复的异构响应结构实现分布式视频检索系统与各媒体资产管理系统的检索数据异步通信。本项目的研究，为改善广电传媒机构媒资系统分块建设、孤岛运营现状，共享视音频媒体资源做了有益的尝试。传统的媒资管理系统不能合理地管理素材资料，并且在使用时对素材的损耗较大、利用效率低，通过使用基于 术的分布式视频检索系统，我们可以将视频素材有效的进行管理，提高其重复利用性。同时，通过 实现，该系统的兼容性大大提高，不再受到不同编程语言的限制，也不会因为多个不同媒资管理系统的架构不同而导致无法调用视频素材。对于一个完整的媒资管理系统而言，视频检索的速度往往决定了系统运行的效率，该系统使用分布式计算技术不仅降低了视频使用时的损耗，也大大提高了视频检索时的速度，解决了对大数据量检索速度慢的问题。 文内容组织安排 第一章，简要介绍视频检索系统的研究背景和国内外现 状以及本课题的主要研究目的和意义。 第二章，对于目前在视频检索、媒体资产管理以及面向于服务的体系结构相关知识进行了简要的介绍和分析，并进一步确定了项目整体的实现技术框架和技术解决方案。 第三章，概要介绍了基于 术的分布式视频检索系统，阐述了视频检索的研究内容和研究方法，包括 术的简介，分布式计算的实际应用以及视频检索的概念。 同济大学 硕士学位论文 基于分布式的媒体资产管理系统的设计与实现 5 第四章，从项目整体的角度，简要的介绍了系统的框架设计、数据访问模式的设计、数据模型设计和数据通信设计，为项目的设计提出了整体的框架。 第五章 详细介绍了基于 术的分布 式视频检索系统设计方法，具体展示了如何将 术和分布式计算应用于视频检索，从而使得视频检索更加高效。 第六章 总结全文，指出自己所做工作以及设计和论文需要进一步改进的地方。 第 3 章 系统分析 6 第 2 章 技术分析 在介绍了项目的背景和研究意义的基础上，对于相关开发技术和关键性处理过程进行分析和研究，确立了本课题的整体设计思想和技术框架。下面对于本课题实现过程中的关键性技术和处理方法进行进一步的分析和阐述。 术的应用 介 面向服务的体系结构（ 一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。 术出现至今，已经经过了 20 多年的时间，可是它一直没有成为 随着 务以及 业的成熟， 得十分热门。使用 术使得基于 B/S 结构系统更加灵活，能够随着需求的改变而改变。对于一套完整的系统而言，增加新的业务功能往往会要大动干戈，然而 能够在顺利利用现有系统功能的情况下，又可以准备完成一些其他功能，从而满足未来的业务交互需求 7。 从专业的 角度上来看， 非一种语言，也非一种技术，而是一种比较典型的软件架构。因此，它与现有的面向对象编程技术并不冲突，而是相互补足，两者能够同时使用，并且更好得去完成一项功能或一个系统。在某些情况下，对于 言，它更加倾向于一种模式，它能够提供一种架构让程序员去使用，使得程序的开发和应用更加便捷、快速，同时，能够积极应对不同需求的改变。 使用 说到 不得不提到 正是 准的成熟和广泛普及才使得 够如此迅猛地 进入人们的视野当中。 为为合适的实现者，它为 架提供了一个基础平台，而其中的众多协议如何去实现 所需如下所示： （ 1）独立的功能实体： 实现的每一个功能都是一个独立的实体，它不会去干涉别的功能实现，别的功能也不会来干涉它。同时，通过 硕士学位论文 基于分布式的媒体资产管理系统的设计与实现 7 （ 录服务的目录查找功能，我们能够注册和发现不同的 而在不改变客户端应用程序配置和环境 的前提下，改变以个服务的提供方，进而改变数据甚至功能的实现。并且所有的访问都是由 进行的，所以只要 够有效封装，那么客户端程序是无法直接访问到服务器数据的，这也有效得保证了数据的安全性。 （ 2）大数据量低频率访问：对于数据量膨胀的现代，数据交互是每一个系统都必须要面对的难题，而高频率的访问往往使得服务器压力不断增大。 们可以实现能一次性接收大量数据的接口，从而缓解高频率访问所带来的压力。 （ 3）基于文本的消息传 递：首先，所有的 其数据的传输格式使用的是 同版本之间可以使用不同的 以辨别和区分，这就给我们带来了一个非常大的好处，就是无论是什么编程语言，只要进行方法的调用，都可以以 形式返回数据，这就解决了不同编程语言之间不能调用的难题以及使得不同系统、平台能够得到兼容，大大减轻了系统开发者的压力，同时，也为公司、企业的业务工作带来了便利。因此只需要我们为不同的版本提供不同的处理就可以轻松实现版本控制的目标 8。 术 简单对象访问协议是在分散或分布式的环境中交换信息的简单的协议，是一个基于 协议，它包括四个部分： 装 (封装定义了一个描述消息中的内容是什么，是谁发送的，谁应当接受并处理它以及如何处理它们的框架； 码规则（ 用于表示应用程序需要使用的数据类型的实例 ; 表示远程过程调用和应答的协定 ;定（ 使用底层协议交换信息。 虽然这四个部分都作为 为一个整体定义的，但他们在功能上是相交的、彼此独立的。特别的，信封和编码规则是被定义在不同的 ，这样使得定义更加简单。 就意味着有一些传统消息系统或分布式对象系统中的某些性质将不是 范的一部分 11。 是这样的一个开放协议 用 为底层通讯协议； 为一致性的调用 途径， 作为数据传送的格式，允许第 3 章 系统分析 8 服务提供者和服务客户经过防火墙在 行通讯交互。 用 送 管 是有效率的通讯协议，而且 需要额外的文件解析，但是两者的通信速度低于其它方案。但是 一个开放、健全、有语义的讯息机制，而 一个广泛又能避免许多关于防火墙的问题，从而使 11。 布式计算 分布式计算是利用 互联网 上的计算机的 中央处理器 的闲置处理能力来解决大型计算问题的一种计算科学 。也正如我前面所说的那样，其实它就是将一个大问题分成很多小问题，然后来解决，最后再将结果综合起来的一种计算科学。在我们的日常生活中也许并没有这样大的问题需要去解决，但是，一个公司、一个企业或者是一个项目，那么就需要这门科学去解决了 9。下面的几个例子都是需要使用到分布式计算去解决的： 寻找最为安全的密码系统，例如要去 破解 研究疾病的病理，例如要寻找出 疫苗。 信号接收与处理，例如我们要去寻找地球以外的生命和文明。 以上仅仅只是一部分需要使用到分布式计算的例子，这些例子都需要惊人的计算能力去进行计算，单单只依靠一个人的计算机要去完成这样庞大的计算量几乎是不可能的，而如果要使用一台超级计算机去解决这个问题又是不合理的。首先，对于我们来说，构建一台超级计算机所要花费的代价是巨大的。其次，即便是我们有拥有了这样的超级计算机，那么它的计算能力就能够轻松帮助我们解决掉这些问题吗？答案是否定的。因此，我们就需要一 种能够提供超级计算能力，并且廉价、高效的计算方法 分布式计算。 随着计算机价格的下降，计算机已经走进了千家万户，随之而来的便是大量闲置计算能力的浪费，即便是我们在办公时，依然有大量的计算资源是被闲置的。让我们设想一下，在我们使用计算机时，比如使用 么我们打字间隔以及思考的时候，计算机的等待时间其实是在被浪费的，然而即使是我们在打字，其实 大部分计算资源还是被浪费了，因为它的计算效率是非常高的，我们连他的十分之一的能力都没有使用到。而这些寂静的浪费积少成多，每一份家庭的计算机都在消耗和浪 费，要是把这些闲置的能力利用起来，那么它将是一台比超级计算机计算能力强上很多很多的巨无霸。 也许以前无法实现闲置资源的利用，但是互联网的出现使得这一切成为可能。对于那些非常复杂，但又适合被分成许多小部分来解决的大问题来说，我们可以使用分布式计算来解决，这无疑是非常高效和廉价的。首先，我们能够同济大学 硕士学位论文 基于分布式的媒体资产管理系统的设计与实现 9 通过某个大型的研究机构利用服务器将这个大问题分解，然后，再通过互联网将这些小部分分配给那些将个人计算机闲置资源贡献出来的计算机，最后，将这些计算结果返回给服务器进行综合，从而得出最终的结果。也许，一起开始，计算能力并不是 很强大，但是随着加入计划的人数变多，那么它的计算能力也将随之变强。现在很多分布式计算项目的处理能力已经非常强大，甚至超过了目前世界上最快的巨型计算机。 视频中所含的信息量巨大，而要从大量的视频中进行检索，必定需要很大的计算量，而要提高这一效率就需要使用分布式计算。分布式计算当然也包括了分布式存储，我们使用分布式存储能够对视频资源更加合理地分配，当我们需要使用时，它也将更快得被我们搜索到，从而进行利用。因此，在使用分布式技术的使用，我们不应该忽略了分布式存储所带来的好处。 术 术概述 一个集成在 的组件，它支持生成和运行下一代应用程序与 有两个主要组件：公共语言运行时和 库。 公共语言运行时是 基础。 您可以将运行时看作一个在执行时管理代码的代理，它提供内存管理、线程管理和远程处理等核心服务，并且还强制实施严格的类型安全以及可提高安全性和可靠性的其他形式的代 码准确性。 事实上，代码管理的概念是运行时的基本原则。 以运行时为目标的代码称为托管代码，而不以运行时为目标的代码称为非托管代码。 另一个主要组件是类库，它是一个综合性的面向对象的可重用类型集合，您可以使用它开发多种应用程序，这些应用程序包括传统的命令行或图形用户界面 (应用程序，也包括基于 提供的最新创新的应用程序（如 体和 由非托管组件承载，这些组件将公共语言运行