（计算机应用技术专业论文）基于感兴趣区的多媒体传输技术的应用研究.pdf

l i l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l lr l l l l 17 3 6 9 11 t h er e s e a r c ha n d a p p l i c a t i o n o fm u l t i m e d i a t r a n s m i s b a s q ! do nt h er e g o fi n t e r e s t r a n s m i s s i o nd a s e0 nt l l er e g i o n0 i1 n l t e r e s t at h e s i ss u b m i t t e df o r t h ed e g r e eo fm a s t e r c a n d i d a t e ：c h e nc h a o s u p e r v i s o r ：p r o f w a n gs h i h u i h u b e iu n i v e r s i t y w u h a n ，c h i n a 湖北大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 论文作者签名：子尔超 日期：2 , t c ，o 年6 月) e t 学位论文使用授权说明 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本；学校有权保存并向 国家有关部门或机构送交论文的复印件和电子版，并提供目录检索与阅览 服务；学校可以允许采用影印、缩印、数字化或其它复制手段保存学位论 文；在不以赢利为目的的前提下，学校可以公开学位论文的部分或全部内 容。( 保密论文在解密后遵守此规定) 作者签名：了糸起 指导教师签名：二l ，略勿今 日期：6 哆 日期：矽易) 摘要 随着互联网的发展，多媒体技术的影响领域和应用范围正在日益扩大。而基于多媒 体的传输技术的研究也越来越受到重视。目前大多数多媒体传输技术的研究主要集中在 c s 和p 2 p 架构下的流媒体传输上，对于基于感兴趣区的多媒体传输，性能优化等文章 较少。而在真实的传输过程中，人们关心的往往只是一部分感兴趣的内容，尤其在网络 拥塞的情况下，只传输感兴趣区部分的数据可以比较好地节省宽带，并提高接收方对信 息的获取质量。 本文首先对感兴趣区的种类进行了区分，对现有的计算机获取感兴趣区的方法进行 了总结，并对现有的基于感兴趣区的图像传输方式进行了比较。然后结合线程池技术对 多媒体的传输应用做了研究，并结合c r c 分片校验生成快照表的快速比较方法，对基于 缓存的快照技术做了深入研究，指出了传统缓存技术的缺点，还对传输相似度高的多媒 体数据提出了传输策略，避免了相同内容的重复传输。此外，本文还结合了人工获取屏 幕区域的方法提出了人工获取视频感兴趣区的一种实现思路。 最后，本文在传统软件工程方法的基础上，提出了在开发过程中对软件需求不确定 等情况下的补充思路，并结合被动池、任务池技术对线程池技术做了优化。 关键词：感兴趣区；传输策略；线程池；任务池；c r c 分片校验 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e m e t ，t h ei m p a c ta n da p p l i c a t i o no fm u l t i m e d i at e c h n o l o g ya l e e x p a n d i n g t h et r a n s m i s s i o nt e c h n o l o g yw h i c hb a s e d0 1 1m u l t i m e d i ai sb e c o m i n gm o r ea n dm o r ep o p u l a r m o s tm u l t i m e d i at r a n s m i s s i o nt e c h n o l o g yr e s e a r c hf o c u s e so nc sa n dp 2 ps t r e a m i n ga x c h i t e c t u r e ，b u tt h e r e s e a r c ho nt h er o i - b a s e dm u l t i m e d i at r a n s m i s s i o n , p e r f o r m a n c eo p t i m i z a t i o na n do t h e rr e s p e c t sa r ev e r y p o o r n e v e r t h e l e s st h et r a n s m i s s i o np r o c e s si nr e a l ，p e o p l ea r eo i i e i ic o n c e r n e da b o u tt h ec o n t e n to fi n t e r e s t 目录 第一章绪论1 1 1 本论文选题背景1 1 2 当前的研究现状1 1 3 本论文组织和结构2 第二章图像技术和视频压缩标准3 2 1 视频压缩的必要性3 2 2 视频压缩编码的种类3 2 3 主流的视频压缩编码4 2 4 主流的图像格式6 第三章感兴趣区的研究现状8 3 1 图像检索技术：。：8 3 2 感兴趣区的分类9 3 3 基于感兴趣区的图像传输方式：1 1 第四章基于感兴趣区的多媒体传输方案1 3 4 1 传统的视频传输方案1 3 4 2 线程池技术在视频传输中的应用1 4 4 3 基于缓存技术的c r c 分片校验快照2 1 4 4 感兴趣区的人工获取方案2 5 第五章软件设计与实现的改进方案2 7 5 1 基于软件工程角度的改进方案2 7 5 2 对线程池技术的改进和优化2 9 总结与展望3 8 参考文献3 9 致谢4 1 攻读研究生期间所发表论文及参加项目4 2 i l l 第一章绪论 第一章绪论弟一早珀1 = 匕 1 1 本论文选题背景 随着互联网技术应用的不断发展，多媒体计算机技术逐渐成为人们关注的热点之 一。多媒体技术是一种迅速发展的综合性电子信息技术，它给传统的计算机系统、音频 和视频设备带来了方向性的变革，将对大众传媒产生深远的影响。多媒体计算机将加速 计算机进人家庭和社会各个方面的进程，给人们的工作、生活和娱乐带来深刻的革命。 近年来，世界向着信息化社会发展的速度明显加快，而多媒体技术的应用在这一发 展过程中发挥了极其重要的作用。多媒体改善了人类信息的交流，缩短了人类传递信息 的路径。应用多媒体技术是2 0 世纪9 0 年代计算机应用的时代特征，也是计算机的又一次 革命。 而随着网络拥塞问题的出现，多媒体技术传输的实时性、可靠性面临着极大的挑战。 而基于感兴趣区的多媒体传输技术，可以极大地弥补网络拥塞情况下的视频传输能力不 足等问题，具有很强的现实意义。 1 2 当前的研究现状 已有的对多媒体传输方案的研究主要集中在对p 2 p 技术的流媒体研究上，大致集中 在对缓存管理机制的优化，对节点服务能力的评估，对共享系统的机制研究，以及流量 识别技术和负载均衡等几个方向。 而目前对感兴趣区的研究大多局限于计算机获取感兴趣区的算法上，大多只提出了 基于各种图像格式的提取感兴趣区的优化算法和算法策略，而提取后的内容大多也只是 保存在本机上，并没有结合网络上的传输，尤其是实时传输。对于提取视频感兴趣区的 方法也只有基于h 2 6 4 标准的研究，而对于基于视频的感兴趣区的传输方案则更少。 湖北大学硕士学位论文 1 3 本论文组织和结构 本论文共计五个部分，分别讨论了论文的选题背景，图像技术和视频压缩技术的相 关标准，对已有的感兴趣区的定义和分类以及基于感兴趣的传输方式进行了总结。然后 在总结了传统网络传输技术的基础上，提出了在网络拥塞的情况下，避免感兴趣区重复 传输的解决方案，以及可能遇到的性能瓶颈。文章最后结合了任务池、被动池技术，提 出了对已有思路的改进方案，并从软件工程的角度分析了在实际开发项目中应当注意的 问题，对将来的发展进行了展望并给出了参考文献，详细说明如下： 第二章图像技术和视频压缩标准 第二章图像技术和视频压缩标准 2 1 视频压缩的必要性 随着多媒体技术的广泛应用，人们对视频信号的需求越来越大。而视频信号本身数 据量巨大，现有的传输技术无法承受如此庞大的数据量，无论是对视频信号的存储，还 是实时传输，都带来了极大的挑战。为此，必须对视频信号进行压缩，通过减少原始视 频信息中的冗余信息，如时间冗余，空间冗余，视觉冗余等来使用更少的比特表达原始 信息，以节省传输带宽和节省存储量，使得传输大量视频数据成为可能。从而，研究人 员提出了各种视频压缩算法，以在尽量保持不失真的情况下，减少视频信号的数据量。 而视频压缩是视频监控系统的核心技术，尤其是基于网络传输的远程数字监控系 统，它直接影响视频的存储、传输和播放等各个环节。 2 2 视频压缩编码的种类 图像作为一个信源，描述信源的数据是信息量和信息冗余量之和。信息冗余量有许 多种，如空间冗余，时间冗余，结构冗余，知识冗余，视觉冗余等，数据压缩实质上是 减少这些冗余量。所以在减少冗余量的同时要尽量不能够减少信源的信息量。另外在一 些情况下，允许图像有一定的失真，而并不妨碍图像的实际应用，那么数据量压缩的可 能性就更大了。通常将图像的压缩编码方法分为无损压缩编码和有损压缩编码两类n 引。 1 ) 无损压缩编码1 无损压缩编码利用图像信源概率分布的不均匀性，通过变长编码来减少信源数据冗 余，使编码后的图像数据接近其真实信息源而不产生失真。 2 ) 有损压缩编码 有损压缩编码则是根据人眼视觉特性，在允许图像产生一定失真的情况下，利用图 像信源在空间和时间上具有较大的相关性这一特点，通过某种信号变换来消除信源的相 关性、减少信号的方差，达到压缩编码的目的。 在视频通信应用中，编码方法的选择不但要考虑到压缩比、信噪比，还要考虑到算 法的复杂性。太复杂的编码算法可能会产生较高的压缩比，但也会带来较大的计算开销， 软件实现时会影响通信的实时性。所以在软件设计时，需综合考虑各种需求，尽量做到 一个最佳平衡点。 湖北大学硕士学位论文 许多类型的资料都含有统计冗余，可以进行无损压缩。然而，对于图像和视频数据 来说，无损压缩的效率非常低，目前所能达到的最佳压缩比约为3 - 4 倍n 钔。另一方面， 图像和视频数据本身正好具有数据信息的非均匀性、被人类感官察觉的灵敏度不同等因 素，因此图像和视频数据更加适合采取有损压缩来消除数据中的主观冗余，以及各种对 图像视觉效果影响较小的分量。采用有损压缩的方法后，解码后的图像质量与原始图像 相比会有一定下降，但是得到的压缩比却显著提高。 2 3 主流的视频压缩编码 视频编码主要的目的，是在确保图像质量的前提下，以尽可能少的比特数来表征原 始的视频信息。因此，压缩编码技术是流媒体技术体系中最主要和最关键的技术。 随着数字视频技术的发展，使得数字图像压缩在各个方面得到广泛的应用，但各种 压缩方法只有标准化后才能降低编解码硬件的价格和解决不同厂商设备之间的相互操 作问题。i t u - i 与i s o i e c 是制定视频编码标准的两大组织，i t u t 的标准包括h 2 6 1 ， h 2 6 3 ，h 2 6 4 ，主要应用于实时视频通信领域，如可视电话、会议电视；m p e g 系列标准 是由i s o i c e 制定的，主要应用于视频存储、广播电视、因特网或无线网上的流媒体等， 广泛使用的有m p e g - 1 、m p e g - 2 、m p e g - 4 等编码标准。两个组织也共同制定了一些标准， h 2 6 2 标准等同于m p e g 一2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g 一4 的第 1 0 部分。该标准标准的主要目标是力求设计简单有效的编码技术，并达到高效的压缩性 能和易于网络传输的能力，以满足日益增长的视频应用的需求。 2 3 1h 2 6 4 标准及新特点 h 2 6 4 是国际标准化组织( i s o ) 和国际电信联盟( i t u ) 共同提出的继m p e g 4 之后 的新一代数字视频压缩格式，它即保留了以往压缩技术的优点和精华又具有其他压缩技 术无法比拟的许多优点。 ( 1 ) 更高的编码效率：同h 2 6 3 等标准的特率效率相比，能够平均节省大于5 0 的 码率。 ( 2 ) 高质量的视频画面：h ：2 6 4 能够在低码率情况下提供高质量的视频图像，在较低 带宽上提供高质量的图像传输是h 2 6 4 的应用亮点。 ( 3 ) 提高网络适应能力：h 2 6 4 可以工作在实时通信应用( 如视频会议) 低延时模式 下，也可以工作在没有延时的视频存储或视频流服务器中。 4 第二章图像技术和视频压缩标准 ( 4 ) 采用混合编码结构：同h 2 6 3 相同，h 2 6 4 也使用采用d c t 变换编码加d p c m 的 差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、多帧预测、基于 内容的变长编码、4 x 4 二维整数变换等新的编码方式，提高了编码效率。 ( 5 ) h 2 6 4 的编码选项较少：在h 2 6 3 中编码时往往需要设置相当多选项，增加了编 码的难度，而h 2 6 4 做到了力求简洁的“回归基本 ，降低了编码时复杂度。 ( 6 ) h 2 6 4 可以应用在不同场合：h 2 6 4 可以根据不同的环境使用不同的传输和播放 速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和误码。 ( 7 ) 错误恢复功能：l - i 2 6 4 提供了解决网络传输包丢失的问题的工具，适用于在高误 码率传输的无线网络中传输视频数据。 ( 8 ) 较高的复杂度：h 2 6 4 性能的改进是以增加复杂性为代价而获得的。据估计， h 2 6 4 编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。 2 3 2m p e g 4 压缩编码标准 m p e g - 4 与b i p e g - 1 和m p e g 一2 有很大的不同。m p e g - 4 不只是具体压缩算法，它是针 对数字电视、交互式绘图应用、交互式多媒体等整合及压缩技术的需求而制定的国际标 准。该标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环 境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普 遍采用的统一数据格式。 m p e g - 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编 码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经 过复用传输到接收端，然后再对不同的对象分别解码，最后再来组合成所需要的视频和 音频。这样既方便对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类 型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。与之前版本的标 准相比，该标准具有如下优点： ( 1 ) 丰富的内容交互性 m p e g - 4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、上下载、删除 等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象 有关的内容，并提供了内容的操作和位流编辑功能，可应用于交互式家庭购物，淡入淡 出的数字化效果等。该标准提供了高效的自然或合成的多媒体数据编码方法。 5 湖北大学硕士学位论文 ( 2 ) 高效的压缩性 同已有的或即将形成的其它标准相比，在相同的比特率下，它基于更高的视觉听觉 质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时，它还能对同时发生 的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数 据流。 ( 3 ) 通用的访问性 它还支持基于内容的的可分级性，即把内容、质量、复杂性分成许多小块来满足不 同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端。这些特点 必然会加速多媒体应用的发展，同时也为远程视频监控的发展提供了技术基础。 2 4 主流的图像格式 2 4 1j p e g j p e g 是联合图像专家组的缩写，它本身只有描述如何将一个影像转换为字节的数据 串流，但并没有说明这些字节如何在任何特定的储存媒体上被封存起来。它用有损压缩 方式去除冗余的图像数据，在获得极高的压缩率的同时能展现十分丰富生动的图像，支 持多种压缩级别，j p e g 格式压缩的主要是高频信息，对色彩的信息保留较好，适合应 用于互联网，可减少图像的传输时间，可以支持2 4 b i t 真彩色，也普遍应用于需要连续 色调的图像。 j p e g 格式又可分为标准j p e g 、渐进式j p e g 及j p e g 2 0 0 0 三种格式： ( 1 ) 标准j p e g 格式：此类型图档在网页下载时只能由上而下依序显示图片，直到图 片资料全部下载完毕，才能看到全貌。 ( 2 ) 渐进式j p e g 格式：渐进式j p g 为标准j p g 的改良格式，可以在网页下载时，先 呈现出图片的粗略外观后，再慢慢地呈现出完整的内容( 就像g i f 格式的交错显示) ，而 且存成渐进式j p g 格式的档案比存成标准j p g 格式的档案要来得小，所以如果要在网页 上使用图片，可以多用这种格式。 ( 3 ) j p e g 2 0 0 0 格式：新一代的影像压缩法，压缩品质更好，并可改善无线传输时， 常因讯号不稳造成马赛克及位置错乱的情况，改善传输的品质。此外，以往浏览线上 地图时总要花许多时间等待全图下载，j p e g 2 0 0 0 格式具有r a n d o ma c c e s s 的特性，可让 浏览者先从伺服器下载1 0 的图档资料，在模糊的全图中找到需要的部分后，再重新下 载这部分资料即可，如此一来可以大幅缩短浏览地图的时间。 6 第二章图像技术和视频压缩标准 2 4 2j p e g 2 0 0 0 j p e g2 0 0 0 与传统j p e g 最大的不同，在于它放弃了j p e g 所采用的以离散馀弦转 换为主的区块编码方式，而改采以小波转换为主的多解析编码方式。小波转换的主要目 的是要将影像的频率成分抽取出来。 j p e g 2 0 0 0 的优点： ( 1 ) j p e g 2 0 0 0 作为j p e g 升级版，高压缩( 低比特速率) 是其目标，其压缩率比j p e g 高约3 0 9 6 左右。 ( 2 ) j p e g 2 0 0 0 同时支持有损和无损压缩，而j p e g 只能支持有损压缩。无损压缩对 保存一些重要图片十分有用。 ( 3 ) j p e g 2 0 0 0 能实现渐进传输，这是j p e g 2 0 0 0 的一个极其重要的特征。也就是对 g i f 格式影像常说的“渐现 特性。它先传输图像的轮廓，然后逐步传输数据，不断提 高图像质量，让图象由朦胧到清晰显示，而不必是像现在的j p e g 一样，由上到下慢慢 显示。 ( 4 ) j p e g 2 0 0 0 支持所谓的“感兴趣区域 特性，你可以任意指定影像上你感兴趣区 域的压缩质量，还可以选择指定的部份先解压缩。这样就可以很方便的突出重点了。 7 湖北大学硕士学位论文 第三章感兴趣区的研究现状 3 1 图像检索技术 近年来，图像检索技术n 2 1 逐渐变成了一门热门技术。现今的图像检索技术，已不仅 仅限于早期基于文本的图像检索技术，而是对图像的内容语义，如图像的颜色、纹理、 布局等进行分析和检索的图像检索技术，同时还包括对动态视频、音频等其它形式多媒 体信息的检索技术。 在检索原理上，主要包括三方面：一方面对用户需求的分析和转化，形成可以检索 索引数据库的提问；另一方面，收集和加工图像资源，提取特征，分析并进行标引，建 立图像的索引数据库：最后一方面是根据相似度算法，计算用户提问与索引数据库中记 录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。 3 1 1 图像检索的分类 图像检索大致分为： ( 1 ) 基于文本的图像检索1 基于文本的图像检索沿用了传统文本检索技术，回避对图像可视化元素的分析，而 是从图像名称、图像尺寸、压缩类型、作者、年代等方面标引图像，一般以关键词形式 的提问查询图像，或者是根据等级目录的形式浏览查找特定类目下的图像。图像所在页 面的主题、图像的文件名称、与图像密切环绕的文字内容、图像的链接地址等都被用作 图像分析的依据，根据这些文本分析结果推断其中图像的特征。 ( 2 ) 基于内容的图像检索阻1 基于内容的图像检索根据图像、图像的内容语义以及上下文联系进行查找，以图像 语义特征为线索从图像数据库中检出具有相似特性的其它图像。因为图像的规模一般要 大于纯粹的文本信息，因此，基于内容的图像检索在检索的速度和效率上要求更高。 基于内容的图像检索方法主要分为两大类：全局特征方法和感兴趣区特征方法 1 。 其中，基于感兴趣区的检索技术不仅利用了图像的局部特征，而且消除了次要信息的干 扰，从而在一定程度上实现了物体层次的图像检索，改善了检索效率。然而，理论分析 和实验结果表明，现有基于感兴趣区的图像检索方法均不同程度存在以下不足：( 1 ) 感 兴趣区的提取多在空间域内进行，且仅仅考虑了图像的灰度信息，未能充分利用人眼视 觉系统的感知特性；( 2 ) 没有准确描述并利用图像中感兴趣区域的位置等空间特征；( 3 ) 相似度计算模型不够合理，与人的感知特性存在差异。 r 第三章感兴趣区的研究现状 3 1 2 图像检索的主流技术 相关反馈和感兴趣区检测是两个主流技术： ( 1 ) 相关反馈是一种查询修正技术，起源于文本检索。近年来，相关反馈从基于启 发式的技术发展到最优化学习算法，通过多次交互反馈信息，获取用户的查询意图，从 而提高检索性能。然而，大多数采用用户手工标记正例反例进行反馈，人机交互方式不 友好，影响反馈信息的数量和质量。 ( 2 ) 基于感兴趣区域的图像检索方法n 羽，选取图像中的关键区域来描述图像内容， 它区分了区域的重要程度，也在一定程度弥补语义鸿沟感兴趣区检测是由用户手工指定 图像中的感兴趣对象或区域。然而，手工指定感兴趣区再进行图像分割得到的感兴趣区 并不准确，难以实现对感兴趣区的客观描述。 3 2 感兴趣区的分类 对于感兴趣区，从用户需求的角度，大致分为两类：用户自定义的感兴趣区和计算 机自动识别的感兴趣区。 对于用户自定义的感兴趣区，由于涉及到用户与计算机的交互和反馈，不容易一次 性定义准确，需要多次反复，且实现机制上也存在一些问题，如人机交互方式不好等。 即使反复交互了多次后，可能仍然无法较准确地反应用户的真实需求，造成对感兴趣区。 认识的偏差。 对于计算机自定义的感兴趣区，目前已经有了一些相关模型，其中，比较普遍的有： 视觉感知、视觉注意、分级位平面偏移、神经网络等。 3 2 1 视觉感知 视觉感知的理论是口3 1 ：当人们浏览图像时，视觉系统将图像信息传递给大脑，大脑 则控制人眼的相关感知来判断对图像的哪些部分感兴趣，这个过程称为视觉感知。目前 的主要方法是，从心理活动和生理反应两个方面入手，通过对视觉感知的研究来定义感 兴趣区，利用计算机自动识别，提取感兴趣区中的内容。 但是，基于视觉感知的算法有很多种，各种算法的侧重面也不一样，不同的对象， 感知方法也不同。所以依据其定义的感兴趣区的准确度也有待考查。 9 湖北大学硕士学位论文 此外，根据视觉感知的理论，较偏重于人为的感知。而对于一些已定义好的，为满 足客户特殊要求的感兴趣区内容，该方法就不适合了，所以其应用也有一定的局限性。 3 2 2 视觉注意 视觉注意定义感兴趣区的主要原理是n 射：使用分水岭方法分割图像区域；根据生物 的视觉注意机制特性，选用中央周边差的采样方式提取图像特征，将不同维的图像特征 融合为显著图；显著点经过竞争得到的注意焦点作为分水岭分割的种子点，然后融合显 著图和分水岭分割区得到感兴趣区；遵循返回抑制和邻近优先的准则选择并转移注意焦 点，从而计算区域的重要性或兴趣度。该方法符合生物的视觉注意机制，在自动检测感 兴趣区时可以有效减少过分割，也能较好的处理大对象。 它利用生物的视觉注意机制计算图像中最显著的部分并将其表示为一幅灰度图，即 显著图，然后根据注意焦点，得到感兴趣区。尽管利用注意机制可以检测感兴趣区，但 是检测的区域边界几乎是不准确的，特别是对于大对象的处理，显然，这种方法难以获 取c b i r 所需的区域特征。虽然目前已经有了改进方法，但是效果均不甚理想。 现有基于对象的图像分割方法存在主观、耗时等缺点，而这种图像分割方法符合生 物的视觉注意力机制。该法为进一步实现基于感兴趣区的图像检索、基于感兴趣区的图 像压缩等奠定了基础。 3 2 3 分级位平面偏移 分级位平面偏移法定义感兴趣区的主要原理是n 引：将所有r o i 与背景位平面按重要 性不同分为重要r o i 与背景位平面区、一般重要r o i 与背景位平面区及不重要背景区。 但是这也是基于图片内容的分层，并没有基于用户需求的分层，所以得到的感兴趣区往 往准确率也不够。当图像中含有多个r o i 时，通过调节每个r o i 在g s r b 区的位平面偏 移量支持不同兴趣度下的多r o i 编码。多感兴趣区图像编码是r o i 编码的重点与难点问 题。其目的是对一幅图像观察者感兴趣的多个区域给予比背景更高质量的编码。但是在 网络拥塞的情况下，这样并不能够大幅减少数据的传输量。其主要优点可以归纳为： ( 1 ) 无需编码r o i 形状信息即可实现任意形状的多r o i 编码与传输； ( 2 ) 具有较低的r o i 编码复杂度并且消耗较少的存储空间： ( 3 ) 能够根据需要在全部r o i 解码结束之前进行b g 系数的解码； ( 4 ) 仍然采用了位平面偏移的基本策略，便于同j p e g 2 0 0 0 中的r o i 编码标准衔接。 l o 第三章感兴趣区的研究现状 3 2 4 神经网络 基于b p 神经网络的方法定义感兴趣区，其主要原理是，在j p e g 2 0 0 0 格式图像的基 础上，根据神经网络原理，在人工训练网络的基础上，实现计算机对图像的自动分割。 但目前该技术的应用范围较为有限，只能够应用于特征比较明显的图片信息上，在背景 区多，或者特征不明显的图像上的应用尚有一定困难。 3 2 5 人工定义 虽然研究人员在感兴趣区自动选择上做了大量工作，但是目前还没有一种成熟的算 法能有效和快速地确定感兴趣区。因此，本文采用了人工手动选择感兴趣区的办法。在 确定了整幅图像中的感兴趣区后，从整幅图像中人工剪切掉感兴趣区，得到背景区图像。 然后采用差影法，即用整幅图像减去背景区图像得到感兴趣区图像。 3 3 基于感兴趣区的图像传输方式 基于感兴趣区图像传输技术是指先传输图像中的感兴趣区域再传输图像中的其它j 区域，同时对感兴趣区采用更高的抗误码技术来进行保护，从而实现图像中重要区域的 优先传输和高质量传输。 3 3 1 渐进传输 感兴趣区图像编码技术是指对图像中人眼感兴趣的区域进行无损或近无损压缩，而 对图像中的其它区域采用有损压缩，这样既可以获得所期望的高质量图像信息，又保持 了较高的压缩比，从而很好地解决了压缩比和图像质量之间的矛盾。 渐进传输的主要思路是嘲，对于一般图像，采取对背景区采用压缩率较高的压缩方 法，而对感兴趣区采用压缩率较低的压缩方法，在保证感兴趣区质量的前提下提高整幅 图像的压缩率。渐进传输不像传统方法，需要等到所有的数据都传输完后才能解码得到 一整幅图像，而是在图像传输过程中，先传输图像的大致内容，再传输图像的细节信息。 随着细节信息逐渐增多，接收端得到的就是一个不断清晰的图像。渐进传输最大的优点 是接收者在图像细节逐渐表现出来的过程中，如果感觉图像质量已经满意，或者所需要 的图像细节已经看到，就可以适时终止图像传输，从而可以有效的节约带宽，提高图像 传输效率。 湖北大学硕士学位论文 3 3 2 多次反馈 多次反馈技术乜2 1 也是常用的感兴趣区图像传输方式之一。首先服务端将选定范围内 的所有图像数据全部传输到客户端，而没有考虑客户端显示器的显示分辨率与服务端的 相对关系。这样相当一部分数据，由于分辨率不同，即使传输到客户端也无法显示或者 显示失真。而多次反馈技术正是基于这个原因，即只传输那些在选定区域内的、影响显 示效果的数据。当客户端请求数据时，先与缓存中的数据比较，如果缓存在的数据与所 请求的数据分辨率一样或比它更详细，就不需向服务器请求数据，只需将客户端数据直 接显示即可。否则就得向服务器请求数据，当服务器接收到客户端显示分辨率的查询时， 服务器就根据其显示分辨率计算出相应尺度，然后从数据库中取出一幅详细程度等于或 较之更详细一点的图作为原始应答，然后，根据接收到的显示分辨率进行转化，将那些 即使传输到客户端也不能显示的空间对象删除掉，只将那些在客户端可见的数据通过 i n t e m e t 网传输到客户端。客户端接收到传输数据后就显示出来，并在客户端缓存区保 存新传输过来的数据对象，并用相应大比例尺数据更新原缓存中存在的相应小比例尺数 据。这样随着比例尺的增大，服务器需传送的空间对象就渐渐减少了。利用该原理进行 多次反馈，则可以逐步确定真正的感兴趣区区域，实现传输了。 总之，没有任何一种基于感兴趣的提取方法或算法可以解决用户的所有需求，所以， 必须根据不同用户的需求选择不同的感兴趣区。那么，在传输的过程中，就会遇到，针 对同样一段视频，多个用户有多处感兴趣区的选择问题。 对于计算机自动获取的感兴趣区，由于获取方法不一样，算法不一样，而针对不同 客户需求又不一样，所以必须区别对待。 可以在摄像头获取的时候就分类好各种感兴趣区，然后根据节点的具体需求提供相 应的服务。 1 2 第四章基于感兴趣区的多媒体传输方案 第四章基于感兴趣区的多媒体传输方案 4 1 传统的视频传输方案 本文讲述的是以视频监控系统为例的传输方案。系统大致需求如下：在网络拥塞的 情况下尽量保证感兴趣区的传输质量：感兴趣区的范围可以人工获取和更改。 由于网络的各个系统模块之间其实没有必然的联系，彼此都是在异步工作，齐头并 进地完成自己的业务，所以，必须将以前单一任务的、串行的、同步的开发理念，变成 多任务的、并发的、异步的开发理念。 本章以视频监控系统的开发为例，详细说明基于感兴趣区的多媒体传输方案。 4 1 1 传统传输方式的缺点 网络传输最常见的方式是异步传输，其最大好处就是高效率，使资源的利用率最大 化，因此很多网络服务的优化都是通过将同步动作异步化来完成的。所以，当面临类似。 提升服务器性能的需求时，通常都会考虑拆分业务，将每笔业务都拆分成为单一服务， 然后通过异步运算提升整体服务器集群的性能和容量。但异步最大的难处就是将异步的 动作由于业务的需求而重新变成同步，这个成本很高，而且涉及大量的等待动作，所以 在可能的情况下一般尽量避免此类操作。 在网络中，异步转同步有一个很大的隐患，就是由于等待造成网络延时叠加。网络， 通信的双方很多时候并不知道对方以及连接线路的真实情况，因此，在通信动作的同步 上，有很多断言、推论、揣测活动，这些行为由于没有显式的判断条件，因此一般都是 以超时作为失败标志。 比如某个程序向做某个动作，发出信号后，等待一段时间，如果对方不回应，就不 再等待，直接宣告失败退出，避免自己因为等待被挂死。 但这时候也可能会带来一些问题，有些时候，由于业务需要，a 计算机向b 计算机 发出一个请求，并期待得到回复( 例如，网络拥塞的时候，需要通过其他的节点来转发 自己的数据) ，这就是一个带超时的等待。而b 计算机发现自己手里资料不齐，需要从 c 计算机那里调阅一些资料，于是，又向c 发出了一个请求，开始新一轮的等待。而c 又可能向d 询问，于是，会产生一个巨大的等待链，如图所示： 湖北大学硕士学位论文 甙江一：狙：徊 图4 1 等待链的产生 这将带来一个问题，a 的超时时间需设置为多少，才能够判定请求失败了? 由于各 级请求都有延时等待，理论上讲，a 要等待的时间，是所有请求等待时间之和，但是，b 的请求是b 临时决定发起的，a 事先并不知情，c 的情况也一样。 第四章基于感兴趣区的多媒体传输方案 4 2 2 线程池的功能 应用程序可以有多个线程，这些线程在休眠状态中需要耗费大量时间来等待事件发 生。其他线程可能进入睡眠状态，并且仅定期被唤醒以轮循更改或更新状态信息， 然 后再次进入休眠状态。为了简化对这些线程的管理，n e t 框架为每个进程提供了一个线 程池，一个线程池有若干个等待操作状态，当一个等待操作完成时，线程池中的辅助线 程会执行回调函数。线程池中的线程由系统管理，程序员不需要费力于线程管理，可以 集中精力处理应用程序任务。 线程池是一种多线程处理形式n 羽，处理过程中将任务添加到队列，然后在创建线程 后自动启动这些任务。线程池线程都是后台线程。每个线程都使用默认的堆栈大小，以 默认的优先级运行，并处于多线程单元中。如果某个线程在托管代码中空闲( 如正在等待 某个事件) ，则线程池将插入另一个辅助线程来使所有处理器保持繁忙。如果所有线程池 线程都始终保持繁忙，但队列中包含挂起的工作，则线程池将在一段时间后创建另一个 辅助线程但线程的数目永远不会超过最大值。超过最大值的线程可以排队，但他们要等 到其他线程完成后才启动。 4 2 3 线程的抽象模型 线程的执行从物理上看是片段的、断续的；从执行上看，线程是被分割成片段在执 行，他的执行总是遵循“执行被打断再被执行再被打断 这样一个过 程。因此，线程的设计不能默认自己的程序是连续被执行的。任何一个函数、任何一条 语句，甚至任何一个表达式，都可能在执行中被打断。 所以，线程仅仅是资源的借用者而不是资源的拥有者。以内存为例，一个进程内部 的所有线程共享该进程的私有空间，一个全局变量一定可以被所有线程合法地访问。任 何线程在访问这些资源的时候，都有义务实现一些宣告类的工作，通知其他兄弟线程进 行规避，这就是锁的作用。 但是，即使小心地使用了安全的线程设计，仍然远远不够。还必须深刻理解，时间 片是多任务系统最重要的资源，任何一个线程都必须小心地使用时间片，随时注意自己 的业务逻辑是否可以临时告一段落，及时出让时间片给其他线程。 从逻辑抽象上看，线程又和普通程序并无不同。由于操作系统和编译器为每个线程 开辟了独立的浮动运行栈，线程函数的执行、子函数的调用、各个业务逻辑的实现，又 具有相对的独立性，与其他线程没有太多干涉。 湖北大学硕士学位论文 从线程自身的角度来看，它在运行时仿佛是系统资源的独立拥有者，只要按照一定 的原则谨慎地访问各种资源，线程逻辑完全可以像其他单任务系统的程序一样自如地运 行。这种物理上的片段性以及逻辑上的连续性，就是线程运行模型的核心特点。线程池 的拓扑模型如下图： 检需审刚线张水辽i 则补令l o 条 线稃泡衍 理线摆 检索净技空朗线樱 向其任务区眭入任务 f 商抖j 线 控注册 1 i 漱 r 仟务执 r 线秘 i 器il 器l | 器li 器| 1 ”l 榆奄1 壬 线稷l 务区， 彳f f 务 执 r 体 则列谪 执行 图4 - 2 线程池拓扑模型 4 2 4 线程的需求管理 线程的管理其实也是一段逻辑，如果在程序中多次书写这段逻辑代码也会造成程序 冗长，不够简练，同时也容易出现b u g 。 于是，可以考虑以某种程序模块的形式来封装线程管控的一些核心逻辑，屏蔽线程 管理的细节，让后续的应用程序专心于自己的业务逻辑，不再随时关注线程开发的限制， 这也就是开发线程池的目的。 另外一个方面，线程启动需要一定的控制，不能太频繁，而在实际的项目开发中， 很难精确地控制线程启动的频率。 此外，线程的启动是一种操作系统的注册行为，需要在系统的核心任务链表中填充 一些信息。而此时，处于安全访问的原因，系统的任务机一定使用了某种锁保护策略， 而这个锁不仅仅是线程安全锁，而且是进程级安全锁，因此，其维护成本会很高。 如果一个进程无原则的随意乱起线程，很可能造成核心任务机的注册行为过于频 繁。而操作系统分配时间片本身也需要遍历这个链表，读取数据，以便实现回调。而注 1 6 第四章基丁感兴趣区的多媒体传输方案 册行为太过频繁会对整个操作系统的执行效率造成严重冲击，使正常的时间片分配流程 频繁地因为注册动作而陷入长时间等待，这种冲击行为往往会造成整个系统的运行不稳 定，这在设计系统时也应当避免。 所以，在实现线程池的时候，关键应满足一下需求： ( 1 ) 线程池作为一个进程的唯一线程管理单元存在，负责所有线程的启动和停止工 作。 ( 2 ) 线程池维护线程的安全启动工作，即每两个线程的启动时间间隔大于2 5 0 m s 。 ( 3 ) 线程池负责线程的安全退出工作，当应用程序需要退出，中断所有活动线程时， 线程池应该提供方法，通知所有线程温和地退出，释放所有资源。 除此之外，线程池还应该负责平衡线程频繁启停对操作系统的冲击，使多线程开发 的应用程序能以较为温和的方式与操作系统实现交互，避免太过于密集的注册风暴冲击 操作系统的运行效率。 4 2 5 线程池的设计思路 实现线程池的管控逻辑，其主要思路就是，在操作系统层和应用层之间添加一层回 调逻辑。操作系统回调线程函数，应用层再根据业务层的注册情况回调业务层逻辑，通 过此方法把执行权有选择地、动态地授予需要的应用模块。所以线程池的构思应当如下： ( 1 ) 设计一个数据结构来处理一个应用进程内部的有限线程请求。 ( 2 ) 线程池模块提供注册机制，允许应用层注册新的线程任务到线程池中。 ( 3 ) 一旦应用层调用宣告系统即将退出，则以某种温和方式关闭所有的线程，安全 退出。 线程池一旦启动，除了必要的业务线程之外，通常线程数不宜过大，并且设置一定 数量的预备线程。该线程平时空转，遇到注册任务，则优先从这些预备线程中选择一条 执行任务，以此缓和频繁的启停冲击。 线程池内的执行体如图： 1 7 士学位论文 c l a s sc m o n i t o r t h r e a d p o o l p u b l i c ： c m o n i t o r t h r e a d p o o l ( c m e a s u r e l o w d e b u g p d e b u g ) ；需要传入d e b u g 对象指针 c m o n i t o r t h r e a d p o o l o ； p u b l i c ： i n tt h r e a d p o o l r e g t a s k ( _ t p o o l _ c a l l b a c kp c a l l b a c k ，回调函数指针 v o i d * p p a r a m ， 待传的参数指针 b o o lb w a i t 4 s u c c e s s = t r i 甩)是否等待注册成功才返回 b o o lt p a l l t h r e a d l s l d l e 0 ；检查所有线程是否空闲 b o o lt h r e a d p o o u s c o n t i n u e 0 ；检查线程池运行状态 ) p r i v a t e ： s t a t i ct 辽a d f u n c d e c l ( t h r e a d p o o l t h r e a d ，p p a r a m ) ；线程池服务线程 s t a t i ct h r e a d f i 烈c d e c l ( t h r e a d p o o l c t r l t h r e a d , p p a r a m ) ；线程池管理线程 p r i v a t e ： i n ts e a r c h n o t u s e t o k e n 0 ；检索没有使用的t o k e n i n tg e t a i d l e t h r e a d o ；获得一个空闲线程 i n tt h r e a d p o o l r e g i s t e r n e w t h r e a d ( 翼o o l _ c a l l b a c kp c a l l b a c k , v o i d p p a r a m ) ； p r i v a t e ： s t h r e a d t o k e nm _ t t o k e n p o o l _ t h r e a dm a x ；线程池任务参数数组 b o o li nb t h r e a d c o n t i n u e ；所有t h r e a d 继续标志 l o n gmn t h r e a d p o o l t h r