（通信与信息系统专业论文）基于web的视频直播技术.pdf

l 。攀坐业堕l 中研3 够 摘要 j i n t e r n e t 的诞生和快速发展给人类的生活方式和工作方式带来急剧的变化， 也令沟通与信息传递方式呈现出前所未有的便利和快捷。f 在第一代互联网时代， 由于带宽资源的紧张和接入方式的低速性，人们在网上交流的信息犬多是以文字 和图片为载体，视音频方面的信息则相当有限。随着第二代宽带互联网的发展， 接入方式逐渐多样化和高速化- 人们在网上进行声视频信息交流的需求同益增 氏。显然在这样的背景下，研究基于w e b 的视频直播技术具有非常重要的意义。 我们的w e b 视频直播系统主要为三部分，个是图像信号的采集压缩，一个是 视频服务器部分，另一个是客户端接收部分。本文围绕系统展丌讨论，首先介绍 了整个系统的总体框架，讨论了图像压缩编码基础知u ，然后埘西个部分分别进 行讨论。系统中图像信号的采集压缩使用的是一块m p e g 1 压缩卡，本文着重 于讨论这块压缩卡的设备驱动程序，正是通过它系统j 可以控制这块卡的所有底 层细节，与视频服务器紧密的连接，提高了服务器的性能。在系统中视频服务器 和客户端之阳j 采用的是h t t p 协议，本文分析了视频服务器的工作原理，对客户 j 嵩的接收技术也进行了讨论。本文还提出了一种可靠的实时传输协议； 。、， 关键词：i n t e r n e t 多媒视频，实时传输 。 r 7 虿蔼 、一， a b s t r a c t k e ) w o r d s ：i n t e r n e t m u l t i m e d i a 、i d e o 1 i v eb r o a d c a s t一一一一一一一一一一一 、 、- 塑兰! 些叁兰堡! ，兰丝堡l 一 第一章概论 本章介绍了图像压缩编码技术及视频直播技术的总体概念，回顾了图f 象j x n 编码技术和视频直播技术的发展历史和现状，并讨论了这两项技术的今后发展前 景及应用技术热点。并简单的介绍了本系统整体结构，各个模块的功能。 1 1引言 二十一世纪是信息的时代，而信息必然是以图像为主体的多媒体信息。图像 通信是远程教学，可视通信，远程监控，远程医疗，视频会议，媒体共享等必不 可少的重要部分。据统计，人类9 0 以上的信息是通过视觉系统获得的，但人 类视觉系统所获得的图像信息原始的信息量是及其巨大的，表1 1 汇总了几种典 型信源所需的大致比特率： 】表1 1 ：未压缩信源的大致比特率 f 电i a ( 2 0 0 - 3 4 0 0 h z ) 8 0 0 0 样本数秒x1 2 比特样本= 9 6 k b p s 宽带语青( 5 0 - 7 0 0 0 h z )1 6 0 0 0 样本数秒1 4 比特样本= 2 2 4 k b p s 宽带音频( 2 0 2 0 0 0 0 h z )4 4 1 0 0 样本数秒2 信道1 6 比特，4 样本= i 4 1 2 、 b p s 刨像5 1 2 5 1 2 像素彩色图像2 4 比特，+ 像素= 6 3 m b i t 幽像 视锄6 4 0 4 8 0 像素彩笆幽像2 4 比特7 像素x ：3 0 剧像，秒= 2 2 i m b p s i 高消晰度l 乜视 1 2 8 0 x7 2 0 像素彩色幽像2 4 比特，7 像素x 6 0 酗像，秒= 1 3 g h p s 以一张5 0 0 m 的c d r o m 为例，若存储以上格式视频信息，则只能存储大 约2 秒钟的视频信息。如果原始的图像信息不加以任何处理，由于其巨大的信息 量，鉴于目前的通信设旌及存储介质现状，则是无法实现多媒体通信的。所以早 在几年日i ，普通用户早已就享受话音，传真，小规模窄带数据通信服务，但图像， 视频，多媒体等宽带服务卸迟迟不能进入普通用户。现代信息社会对图像信息的 需求量远比话音，数据等来得大，因此就目j u 的状况来说，技术的发展远落后于 社会的需求。 如上所述，进行图像等数据的压缩是非常必要的，同时数字图像的压缩又是 可能的。首先，原始图像数掘是高度相关的，存在很大的冗余度。数据的冗余造 成比特数的浪费，消除这些冗余可以节约码字，也就达到了数据压缩的目的。大 多数图像内相邻像素之间有较大的相关性，这称为空问冗余度。序列图像f i i 后帧 之川仃较大的相关肚，这称为日, 2 l a j 冗余度。其次，允许图像编码有一定的失真也 足l 剿f 象j 以压缩的一个重要原因。许多应用场合不要求经胚缩及复原以后的图像 平昧图像完令州同而允许有少量的失真。这就给压缩比的提高提供了 一分有利 n 。条。气辱肯，人类的观觉系统( v h s ) 是有缺陷的，对某些失真不敏感，难以 ，乏聚 个像编码方法如果能充分利用视觉特性，就可耳艾得较好的效果：还仃 化袋。jj 、：，t j 场合j 叠可以利q 先验知u 实现到像编码，l 刭为编码对象n j 某些特r ： 址j 颅先知道的。割像编码设术就足要把这些种种j e 缩的町能性变为现实。 f 刳像艘用技术的另+ 方面足实现图像的通信l j 题。曾经，我们为了在嗍j ：惯 c 冀一政- 茸音或拓。电影片段，需要等待漫长的f 载j 豆程；流式媒体技术的f 托：见，；台 ，i - 暇附带来勃勃7 e l ，让我们在互联j 习二传输和播放声音、影像已经变得非常疗 便。f r r 扛地晚，它采用边传边播放的思想，无需等到义件全部f 载就可以欣赏其 、 塑里三、业苎生塑旦兰l 丝j 垒二一 。+ ”i l ；i i n t e m e n 的飞速发展，i n t e m e t 已经无所不在，网上现场直播已经从实验 罂囊攀盟委誊盆嘉嚣釜麓孚鬈暑琶雾蓍鼎群嵩羹黔翌毳翳嘿襄传嫡全世界，如新闻发布会、体育比赛、商贸展览、丽业置传、近程芸议、 匹程 看护、丌学丌业典礼、校友聚会、周年庆典、结婚庆典等等。我们可以应客户的 要求把活动现场的音频或视频信号经压缩后，送到我们的多媒体服务器上，在 i n t e m e t 上供广大网友或授权特定人群就近收听或收看。 所渭c 流式媒体技术”，简单的解释就是采用“流”技术来传播多媒体资源。 那么，什么是“流”技术呢? 我们平常会见到很多的“流”：水流、汽流、车流 等，它们一个共同的特征就是“连续性”，是一个接着一个。我们把这样的思想 用到在互联网上传播影音文件上来，就出现了所谓的“流式媒体技术”。网上实 时视频现场直播是流式媒体技术中的- , e e ，它还包括象网上收音机等。网上收音 机可用来收听网上的音乐，也可不必等将文件全部下载就已经能收听了。 1 2图像压缩编码技术的发展历史及现状 1 9 4 8 年提出电视信号数字化后，就同时丌始了对图像压缩编码的研究工作， 至今有4 0 多年的历史。丌始时即5 0 和6 0 年代，限于客观条件，仅对于帧内预 测法和亚取样内插复原法进行了研究，对视觉特性也做了一些极为有限但可贵的 工作。 1 9 4 8 年s h a n n o n 的经典论文“通信的数学原理”中首次提出并建立了信息率 失真函数概念。1 9 5 9 他又进一步确立了率失真理论，从而奠定了信息编码的理 论基础。此后，图像压缩编码理论和方法都有很大发展。 传统图像压缩及编码是关于信息熵的编码，因此是建立在香农( s h a n n o n ) 经典的信息论基础之上。香农信启、论认为，信源含有的平均信息量( 熵) 就足进 行无失真编码的理论极限，因此只要不低于此极限，那就总能找到某种适直的编 码方法任意地逼近熵。信源的冗余度即来自于信源本身的相关性，又来自于信源 f | | ：( 率分印的不均匀性。只要找到去除相关性或概率分布不均匀性的方法和手段， 也就找到了信息熵编码的方法。因此如何利用信息熵理论减少数掘在传输和存储 时的冗余度，就是信息熵编码所要解决的问题。经典方法中的无损压缩疗法，如 h u f f m a n 编码、算术编码、游程编玛等，基于上述的基本途径一，其压缩效率鄢 以其熵为上界。故其压缩比饱和于1 0 ：1 左右。有损压缩方法，如预测编码、变 换域编码、混合编码、失量量化等基于基本途径一- ，同时也大鄙受信，r d ，熵的约束。 伴随蕾数学理论，如小波变换、分形几何理论、数学形态学等以及十 j 关学科，如 模0 别、人 智能、神经网络、譬知生理心理学等的深入发展，新颖i ：；效的现 代胍缩方法相继产，t - 。现代压缩方法叉称分忻与综合方法，包括r 带编f 冯小波 变换编码，神经嘲络编码，分形绵玛，模型壁编码等= 联合阁片争家小组( j o i l l t p h o t o g r a d h i c e x p e t s g r o u p ) 任1 9 9 1 年3 月提出【j 0 1 0 9 18 弓枷i 准“连续包凋孙【l 图像i 数字m 缩编码”，采用a d c t ( 口适h i 离做 余弦变换编6 j 5 ) 作为彩色静止图像j 三霜的f ，j i 准化算法。该算法包含心种百式：t1 ， a d c t 万式 二1 日逆编码) ：( 2 ) 夸t j j 方式( 可逆编6 ，j ) 。a d c t 疗。h 义分：0 1 木系统删扩腱系统。蛋本系统粟司预j 手模式，h u f f m a n 编码( 编码衷d c ，+ a c 分别角i 呵个) ：扩爬系统采用渐近摸j ，h u f f m a n 编码( 编码提d c j a c 分川仃四 个j 、算术编 i l 5 ：空州力j 时于基压系统和扩展系统来随，被称为独立功能。采 浙江t 业人学坝l j 学位论文 甩序列模式、h u f f m a n 编码( 编码表4 个) 、算术编码。 活动图像专家小组( m o v i n g p i c t u r e e x p e n s g r o u p ) 1 9 9 2 年1 1 月通过1 1 1 7 2 号标 准，即m p e g 1 标准，1 9 9 4 年1 1 月通过m p e o 一2 标准m p e g 一1 标准在h 2 6 1 建议的基础上有重大改进，以满足随机存取和高压缩比要求，与h 2 6 1 建议的后 向兼容。为了满足以上要求，m p e g 将图像分为3 类：i 图像汉作为帧内编码； p 图像币o n k 2 - k ni 或p 图像前向预测得到，并可作为下一个预测的参照图像： b 图像可以依据过去的和或后来的参考图像( i 和，或p ) 进行自# 向，后向或双 向预测。3 类图像如何选定和组合是丌放的。另外，m p e g - 1 在系统层上采用分 组技术，便于适应不同的传输或存储方式及媒体。这样m p e g l 数码流支持压 缩数据上的随机取、频道更换、快进u 快倒( 类似于录像带) 及一定的可编辑性 和容错性。关于具体的m p e g _ l 理论可参考文献。 m p e g 2 在m p e g t 的基础上作了如下的重要扩展与改进： f 1 ) 针对隔行扫描的常规电视图像( n t s c p a l ) 专门设置了“按帧编码”和“按 场编码”两种模式，并相应地对运动补偿作了扩展。 f 2 ) 为了适应不同应用的要求并保证数据的可交换性，m p e o 2 定义了不同的档 次和级别( p r o f i l e 和l e v e l ) ( 3 ) 支持可扩展性( s c a l a b i l i t y ) 目前定义了四种延展性：空问扩展，信噪比扩 展，数据分割扩展，时间域扩展这些扩展展性使得m p e g 一2 能支持未来的 许多应用，如数字电视。关于具体的m p e g - - 2 理论可参考文献l 。 m p e g 4 建议m p e g 一4 建议是一个正在制定中的编码标准，支持视听数据即 自然或人工视听对象的通信、存取和管理，提供一个可以实现交互性和高压缩比， 以及具有商灵活性和可延展性的新的视听标准。m p e g 一4 建议具有以下其他标准 所不支持的功能：基于内容的处理和比特流编辑、基于内容和多媒体数据存取工 具、基f 内容的可分级性、多个并发数据流的编码、混合的自然和人工数据编码、 改进的编码效率、在甚低码率时改进的时间上存取性能、在易受干扰环境下的鲁 棒性。其中编码效率，尤其是低于6 4 k b i t s 码率的低码率编码，是m p e g 一4 标准 支持的一个重要的功能。在移动和p s t n 的视频应用中m p e g 4 视频标准的码率 为5 6 4 k b i v s ，在电视和电影的应用中m p e g 一4 视频标准的码率可以达到4 m b i t s 。 关于具体的m p e g 一4 理论可参考文献”j 。 这些建议的制定极大地推动了图像编码技术的实用化和产业化。会议电视等 各类使用图像技术的产品纷纷推出，数字激光视盘( v c d ) 等产品以干力台的数量 缎止向 j - 场，进入家庭，从而迎柬了数字图像通信的黄会时代： 近蝗年来大量出现各种实时图像处理芯片，特别是出现了实时的图像压缩编 码芯片，并迅速地实用化。可以浇正是因为这些芯片的出现，q 有图像产业繁荣 的今天因此很有必要对这一部分作一些研究，作为对理论的一个实际应用。例妃 c c u b e 公司的d v x 家族的最新的d v x c e lm p e g 一2 实对匝缩编码芯片段 w i n b o n d 公司的最新的m p e g 一1 实时图像压缩编码芯片、9 9 2 0 0 ，这两个，b 片功能强大，内胃高速r i s c 处理器能实现 见频信号的实嚣煽罂码，高集成度_ ； 片j ：系统大大的简f e 了系统的集成，住各种实时的图像编鹃芯片：t ：非葛典型， ”肯仃。丈j 月的 j i 景， j 一厅面，图像编码技术产业化进程的加快也推动了釜缘嫡i j 蔹求以型快f 囊 速搜发几芝。“t 以顶计侄不久的将来，随着图像压缩编码技术的成熟及硬件水、邢； 提i 。再，幽像通信及多媒体娱乐产晶会走进我们的千家成户，而翌像通信产。5 的j ： 发将会成为未束通信领域最具挑战性的方向之一。 浙江下业人学顾l + 学位论文 1 3视频直播技术发展历史及现状 虽然目前有很多技术均可以在i n t e r n e t 或i n t r a n e t 上发布多媒体信息，但它 们通常均要求终端用户将多媒体信息下载到本地的计算机，然后在利用浏览器中 的播放器插件或号门的媒体播放器柬播放。这种方法虽然使i n t e r n e t 上多媒体信 息的传输成为可能，但它也带来了两个突出的问题。首先，由于必须下载多媒体 信息，而多媒体信息的数据量通常都很大，在目盼普通用户接入速率较低的情况 下，一个很短的视频片段可能都需要很长的下载时l t 白j 。其次，出于必须将节目下 载到本地计算机后j 能播放，这必然占用本地计算机的存储资源。比如，一个1 分钟的v c d 视频节日所需的存储空间约为1 2 m ，如果用户使用2 8 8 k b p s 的 m o d e m 接入，那么要下载这个节目至少需要5 0 分钟。如此长的下栽时问对普通 用户束说是难以忍受的。征因为如此，目酊网上的节目通常都是很短的片段，不 可能持续很长的时间。 流媒体的应用是近几年来i n t e m e t 发展的产物，广泛应用于远程教育、网络 电台、视频点播、收费播放等，微软公司的w i n d o w sm e d i a 技术已经捆绑在 w i n d o w s2 0 0 0 中，将对i n t e m e t 的应用和发展产生重要影响，i n t e r n t i n t r a n e t ：悔 不再是单纯的文本和图像，声音和视频将成为今后网络普及的重点。 随着i n t e m e t 的发展，流式媒体( s t r e a m i n gm e d i a ) 越来越普及，流式媒体 是通过网络传输的音频、视频或多媒体文件，流式媒体在播放前并不f 载整个文 件，流式媒体的数据流随时传送随时播放，只是在丌始时有一些延迟。当流式媒 体文件传输到您的汁算机时，在播放之i u 该文件的部分内容已存入内存。 j 时比较流行的流式媒体技术是美国r e a l n e t w o r k 公司的r e a l p l a ) 产品，许 多i n t e r n e t 的音乐台、视频点播站点采用该产品。微软公司近年来推出的w i n d o w s m e d i a 技术异军突起，以其方便性、先进性、集成性、低费用等特点，逐渐破人 们所认识。r e a l n e t y c o r k 公司的r e a l p l a y 产品包括客户端的播放软件： r e a l p l a y e r ，制作端产品：r e a l p r o d u c e r 8 、r e a l p r e s e n t e r ，服务器端产品： r e a l s e r v e r 。a p p l e 公司也是业界领先的流式媒体技术供应商。不过在实际应用 中较为少见。 w i n d o w sm e d i a 的i u 身是微软公司的n e t s h o w 产品，随着流媒体的广泛应用， 推出了整套的流媒体制作、发布和播放产品，其服务器端的w i n d o w sm e d i as e t r e r 产品在w i n d o w sn ts e n e rp a c k4 上可以安装，并且集成在u 月将i i 二式推出的 w i n d o w s2 0 0 0s e r v e r 中。w i n d o w sm e d i a 产品的一大特点是其制作、发布和播放 软件与w i n d o w sn t 2 0 0 0 9 x 集成在一起，不需要额外购买，势必成为今后流媒 体虚j 3 的主流产品。 w i n d o w sm e d i a 4 0 还提供了m sa u d i oc o d e c 压缩技术，可以为普通拨号j ： 闷的j j 户提供调频收旨的效果。如果把内容做成w m a ( w i n d o v , sm e d i aa u d i o l 的格- ，压缩效率比m p 3 蠢高倍，用户l i - 以r 载之后在w i n c e 中播放。1 e5 。已纶尖施了 m e m e t 收：手fl ，也是采用m sa u d i o 。关二w i n d o w sm e d i a 的其 # j 上术【l 参见q ：坐! 坐1 型! 盟：! ：q l 坠! 血l ! ! ! ! ! 画d i ! 。 - 1 4 论文工作 我们的i ：作卜要为三复j ， 一个地图像信号的采集曲i ，一个足视颈服务嚣 、 浙江t 业人学坝i j 学位论史 部分，另一个是客户端实时视频数据的接收。系统中图像信号的采集压缩使用的 是一块基于w 9 9 2 0 0 的m p e g i 压缩卡，为了对这块卡进行全面的控制，使它能 与视频服务器紧密的联系在一起，我们自己丌发了这块卡的设备驱动。通过设备 驱动系统充分发挥这块压缩卡的功能，与视频服务器紧密的连接，有助于提高服 务器的性能。采用硬件压缩减轻对c p u 的负荷，而且能相同时压缩多路的图像 信号，因此系统能同时直播多路视频。系统中视频服务器采用的是当自# 最为广泛 的因特网w e b 服务器a p a c h e 加上我们丌发的实时视频数据服务模块，使a p a c h e 服务器能够提供实时视频数据服务，并且采用分流技术使多个视频服务器组成服 务器集群，它使整个系统大大的提高了整体的性能，大大的提高了系统所能驱动 的客户端的数量。在客户端实时视频数据的接收播放工作主要是通过w i n d o w s 的媒体播放器技术实现的，我们将它作为一个对象直接嵌入到h t m l 页中去， 这样就可以在w e b 页中直接用p l a y e r 对象来播放流节目。在系统中客户端只需 要浏览器如i e 就够了，不需要安装其它软件，就可浏览到实时的视频信息，大 大的方便了客户端的使用，特别对电脑不太熟悉的用户来漉特别方便。 在第二章我们首先介绍了整个系统的总体框架，以便对系统有个总体认识。 在第三章中讨论了各种图像压缩编码技术，这些方法有的是传统的压缩方法，在 实际中已得到广泛的应用，并己成为某些国际标准的一部分。有些是最近发展起 束的新方法，如将分形理论应用于图像编码和将小波理论应用于图像编码等，还 提出了一种分形理中的新的l 系统的三维模型。第四章讨论m p e g 压缩编码方 法，在研究m p e g 系列标准的基础上，最后简单的介绍了基于w i n b o n d 的w 9 9 2 0 0 实现的视频压缩卡。第五章首先介绍了的在w i n d o w s 下设备驱动程序的基本知 识，接f 来着重于这块压缩卡的设备驱动，正是通过这块压缩卡的设备驱动系统 j 町以控制这块卡的所有底层细节，与视频服务器紧密的连接。第六章介绍了一 种本人自己提出的可靠的实时传输协议。最后第七章介绍系统中另外一个重要的 组成部分视频服务器，分析它的工作原理，并讨论了客户端的工作原理。 、 塑垩! 些叁兰竺! ! 兰竺旦兰 第二章系统的整体框架 住本章中介绍了整个系统的基本框架，对系统中的主要部分进行了简单的分 析，简要的说明系统所具有的优点： 2 1引言 i n t e m e t 的诞生和快速发展给人类的生活方式和工作方式带来急剧的变化， 也令沟通与信息传递方式呈现出前所未有的便利和快捷。在第一代互联网时代 由于带宽资源的紧张和接入方式的低速性，人们在网上交流的信息大多是以文字 和图片为载体，视音频方面的信息则相当有限。随着第- 4 4 宽带互联网的发展， 接入方式逐渐多样化和高速化。人们在网上进行视频声音信息交流的需求同益 增长。这种情况跟电视刚出现的时候很相似，f 如电视取代了报纸杂志等文字 媒体成为大众信息传播的主要载体一样，互联网这个”第四媒体”凭着电视无法 比拟的互动性和方便性等优越性，必将取代电视等传统媒体而成为大众信息交流 最主要的媒体。 随着以计算机和互联网为代表的各种信息技术的广泛应用，我国国民经济信 息化水平和社会信息化水平均已取得显著的成果，并不断沿着纵深方向i u 进。近 ! f 末，由f 我国宽带例络基础设施建设的巨大进步，以宽带架构为核心的新一代 互联网和信息结构，定将成为未来发展的必然。我国的整体信息化建设和未来的 信息化结构，办必将朝着这一趋势延伸。而作为宽带互联网底层架构标志的一 一宽带流媒体( s t r e a m i n gm e d i a ) ，由于其彻底地改变了传统互联网只能表现文 字和图片的缺陷，可连续、实时地传输音频、视频等丰富多媒体信息，因而受到 技术界、产业界、传媒界以及政府的广泛关注。有关人士纷纷预言，流媒体将成 为末来互联网应用的主流，并将推动互联网整体架构的革新。 显然在这样的背景f ，研究基于w e b 的视频直播技术具有非常重要的意义。 本系统与其它类似的系统相比具有许多优点。在系统中视频服务器和客户端采用 的是h t t p 协议，现在h t t p 协议已经成了整个因特网的基础，已经其有了广泛 的支持。h t t p 协议是互联网的基石，h t t p 协议上有许多精彩的应用如内容丰 富的备种例站，而本系统f 可以充分利用这些，和它们溶为一体。和客户机暇 务器的模型这样封闭的结构相比，本系统更加具有丌放性，r 叮以更好的利用因特 网的优t i 。系统中视频服务器采用的是a p a c h e 服务器加上我们的实时视频数据 服务模块，而a p a c h e 是当i u 最为广泛的因特网w e b 服务器，可运行在l i n u x 、 u n i x 、w i n d o w s 等操作系统下，具有现代w e b 服务器所具有的功能。将柬我一 把系统移值剖j 它的操作系统如l i n u xf 就变成了一件 常简单的事情了。在本 系统m 震h j 了块挂户、9 9 2 0 0 自：m p e g 1 压缩卡来实现图像信号的采集和丘 ；沁我肛目已 发丁这块卡的没备疆动，对这块卡进行全面的控制，使它能与二置 ，删务器紧密的联系矗一起。通迂没备驱动系统可以控制这块卡的所有底层细 j j ，充分发挥这块脏缩k ，的功能，与视频服务器紧密的连接，何助f 提高服务：姑 昀性能。果用硬件k 缩对c p u 的负菏相当的轻，而且能十h 同时j j 三缩多路的圈象 f 等号，| 司此系统能肘直播多路视频。 塑兰三些叁堂型l 上j 兰篁j 垒二一 2 2系统组成部分 整个基于w e b 的视频直播系统可以分为三个部分，一个是图像信号的采集匝 缩，一个是视频服务器部分，另一个是客户端接收部分。 黼；号一际画一m p e g - i 磊订竺兰厂磊黼；号一l 竺! 竺型菌 竺竺f 纛i 竺竺【 图2 1 系统方框图 在上章我们已经看到如果采集进来的图像信号不经过压缩，那么数据量将是 非常巨大的。如果将这些数据直接进行传输对网络非常高，在现在的情况下也是 不可能的，因此对信号进行压缩是非常重要的。在众多的压缩技术中我们选择了 m p e g 一1 ，主要是因为m p e g 一1 技术现在已经相当成熟，而且m p e g 一1 技术对图 像信号压缩效果也比较好。压缩技术可以通过两种方法实现，即可通过软件实现， 也可通过硬件实现。采用软件实现，对c p u 的负荷相当的重，而且相同时压缩 多路的图像信号几乎是不可能的。因此采用了一块基于w 9 9 2 0 0 的m p e g 一1 压缩 卡来实现图像信号的采集和压缩。 w 9 9 2 0 0 是单片的实时m p e g 一1 和m j p e g 视频编码器，由台湾的w i n b o n d 公司丌发，根据w i n b o n d 公司的数据它在世界的桌面m p e g 编码器一i - 应用上具 有很大的市场份额。它主要应用于低端的基于p c 的视频捕捉和压缩，可通过外 胥的方式通过并行口和汁算机相连，也可通过内置的方式通过p c i 接1 5 1 和计算机 相连。由于其性能的优异性及丌发的便利性，使得在个人视频记录器，远程教学， 安全和监视系统及i n t e r n e t 视频上获得了广泛的应用。使用w 9 9 2 0 0 可以构成基 于p c i 总线结构的m p e g 一1 编码器，也可以构成基于独立形式的m p e g 一1 编 码器，并且具有系统构成简单，性能优异的特点，可以实时地完成视频的m p e g 一1 的编码。而丌发者无需编写复杂的模块，丌发周期短，因此对于m p e g 一1 应目人员是一个很好的选择。可以大大地提高系统的集成度，又可以简化系统的 设汁。 1 ：| i = 系统中采用的p c i 插卡的方式，通过p c i 总线和计算机相连。在系统中对 数掘的实时要求比较高，希望对这块卡进行全面的控制，使它能与视频服务器紧 密的联系在一起，因此我们自己 发了这块卡的设备驱动。通过设备驱动系统可 以控制这块卡的所有底层细节，充分发挥这块压缩卡的功能，与视频服务器紧密 的连接，有助于提高服务器的性能： 在系统中设备驱动程序主要负责控制w 9 9 2 0 0 ，仞始化视频解码器，接收 w 9 9 2 0 0 传来的实t t , r 压缩数据，将数掘投递给视频服务器。在我们的m p e g 1j 缩 、t ，采用的视频解码器，设备驱动程序通过w 9 9 2 0 0 通过1 2 c 总线向视频解竭 器发出控制命令，控制视频解码器的工作模式、视频亮度、对比度、色度、饱i i 嗖调整和视频源选择等。设备驱动程序对w 9 9 2 0 0 的控制主要包括w 9 9 2 0 0 】：诈 疗式的控制，码流控制，压缩的控制如启动停止等。w 9 9 2 0 0 的工作7 j 式角+ 两；。 作方，一种是从属l 作方式，另一种是主工作方j 、= 。当w 9 9 2 0 0 处2 jj ii - 方时，w 9 9 2 0 0 具百d m a 的功能，能在没有主机的干预f 主功的将m 频数互 从w 9 9 2 0 0 的内部f i f o 存储器中转移到主机的内存中。 系统l j 另外一个叠耍的组成部分是视频服务器。这一部分最一jr 始| ”系统畏 j 孙0 越鲁户机，7 服务器的模型。在服务器端采用自己编的个陧宁，等j k 缩传_ ： 浙江t 业人学f ii 学位论文 的数掘通过t c p i p 协议传送给下端的客户机程序，完成了系统的雏形。接下 柬我们对服务器程序进行了改进，使它支持h t t p 协议，这样服务器变成了个 小小的w e b 服务器，而在客户端只需要浏览器即可接收实时视频信息了。编写 一个基本的w e b 服务器是非常简单的，仅仅需要监听合适的端口，建立连接， 发送数据。但想把我们的w e b 服务器变的功能强大，具有现代w e b 服务器所具 有的功能，如动态网页，h t t p 认证，安全套接字层( s s l ) ，支持脚本语言( p h p 、 p e r l 、j s p ) 等，却也不太容易，但这些对一个真了f 的系统来说，也是必不可少的， 有利f 系统的扩充，成为个真正实用的具有商业价值的系统。 a p a c h e 是当自d 最为广泛的因特网w e b 服务器，可运行在l i n u x 、u n i x 、 w i n d o w s 等操作系统下。a p a c h e 它具有高度的模块化特性，该特性实现了a p a c h e 的灵活性和可扩展性，而且丌发者可以利用该特性很容易地添加第三方功能模 块，通过模块丌发人员可以添加任何功能。所以系统中视频服务器的部分是在 a p a c h e 服务器的基础上，通过向a p a c h e 服务器增加一个自己丌发的功能模块， 使a p a c h e 具有了流式媒体服务器的功能，能向客户端提供实时的视频数据。在 这罩使用的客户端软件是浏览器如i n t e m e te x p l o r e r 浏览器。a p a c h e 支持最新的 h t t p1 1 协议，支持通用网关接口c g i ，支持虚拟主机，支持h t t p 认证，集成 p e r l 脚本编程语言，集成的代理服务器，支持服务器端包含命令( s s i ) ，支持安 全s o c k e t 层( s s l ) ，用户会话过程的跟踪能力，支持f a s t c g ，支持j a v as e r v l e t s 。 我们丌发的实时视频模块负责对所有的实时视频数据请求进行处理。在模块 中所有的处理郝足采用a p a c h e 内核所提供的a p 函数。客户端向实时视频服务 器清求实时视频数据，a p a c h e 内核首先接收到请求，最后转交刮我们丌发的实 时视频模块。在本模块中首先向客户端发送标准的h t t p 响应，然后进入主循环。 在主循环中首先等待视频数据可用，一旦数据可用就向客户端发送视频数据，并 更新a p a c h e 的状态，使其它模块司得到a p a c h e 的实时信，e d , 如总共向客户端发送 了多少视频数据等以便进行统计。这就是大致的实时视频数据处理的过程。 客户端接收部分使用普通的多媒体p c 机，通过拨号或者专线入网，可以通 过w w w 浏览方式，查询并点播本系统提供的视频服务。在系统中视频服务器 和客户端之j 、闩j 采用h t t p 协议来传输数据。在系统中客户端只需要浏览器如j e 就够了，不需要安装其它软件，就可浏览到实时的视频信息，大大的方便了客户 端的使用，特别对电脑不太熟悉的用户来滢特别方便。客户端向视频服务器发送 h t t p 请求，视频服务器州应请求，向客户端发送实时视频数扼。客户端实时视 频数据的接收工作主要是通过w i n d o w s 的媒体播放器技术实现的。我们将媒体 播放器作为一个对象直接嵌入到h t m l 页中去，这样就可以在w e b 页中直接用 媒体播放器对象来播放流节目。 2 3 小结 f = 4 、系统一_ l l 我if 自己j i 发了这块号的设备驱动，埘这块昔进；? 全面的控制 使它能j 说频服务器紧誊j ；联系1 芏起。通过i 殳备驱动系统可以控剖这块1 0 l ： 们苠层细节，充分发挥这二臭玉缩蒂的功能，与视频服务器紧密的适接，何助j ：炙 商i 务器的陛能。乐统：采剞的a p a c h e 是当| j i 最为j 泛的因特t w e b 服务撩， i j j 延r el i n u x 、u n i x 、i n d o w s 等操作系统下，具有现代w e bj i 务器研；仃的 j 山能。将术我们将系统移售到l i n u x 操作系统f 就变成了一件j e 常简单的r 拉情 j 。往系统中采用的足h t t p 协议，现在h t t p 协议已经成了整个因特fc q 的基础， 浙江丁业人学坝i j 学位论文 已经具有了广泛的支持，而本系统下可以充分利用这些。和客户机服务器的模 型这样封闭的结构相比，本系统更加具有丌放性，可以更好的利用因特网的优点： 第三章图像压缩编码技术 小f 7 一具体沦述了各种具体的图像压缩编码技术，这些方法有的是传统的压缩 一法，n ：实际中已得到广”泛的应用，并已成为某些匿专、啄准的一斋：分。有些足最 近发展起来的新方法，如将分形理论应用于图像编玛和将小波理论应用于图像编 冯等。本章还简要介绍了l 系统的概念，提出了种新的三维分枝模型，陔模型 比以往的三维分枝模型简单，并且在容易计算机中实现：文中以它为理论基础， 结合汁臂机圈形学，模拟出三维植物的造型。 3 1信息保持型编码( 熵编码) 3 1 1 原理信息熵理论及其概念 熵就是信号源的平均信息量。独立信源又叫无i 己忆信源，其特点是某个位置 出现某符号的概率与其它位置上出现的符号概率无关。设信源的符号表为 xj ， x 2 ，x 。 ，各符号出现的概率为 p ( x 1 ) ，p ( x 2 ) ，p ( x 。) ) ，则此独立信源的 熵为： ， 片( x ) = 一p ( x ，) l o g2p 6 - ) 3 - 1 ，；i 根据上式，独立信源的熵与信源符号出现的概率有关，等概率分布时熵最大， 此时用自然二进码效率已经达到1 。符号不等概率出现时，若仍用等长码会降低 编码效率，此时改用不等长码，概率大的符号用短码，则可减少平均码长，提高 编码效率。 传统图像压缩及编码是关于信息熵的编码，因此是建立在香农( s h a n n o n ) 经典的信息论基础之上。香农信息论认为，信源含有的平均信息量( 熵) 就是进 行无失真编码的理论极限，因此只要不低于此极限，那就总能找到某种适宜的编 码方法任意地逼近熵。信源的冗余度即来自于信源本身的相关性，又来自于信源 概率分布的不均匀性。只要找到去除相关性或概率分稚不均匀性的方法和手段， 也就找到了信息熵编码的方法。因此如何利用信息熵理论减少数据在传输和存储 列的冗余度，就是信息熵编码所要解决的问题。 香农信息论认为，信源中或多或少的合有自然冗余度，这些冗余度既来自于 信源本身的楣关性，又来自于信源概率分布的不均匀性中。办要找到去除相关性 或改变概率分卸的不均匀性的爿手段，也就找到了信息熵编码的方法。例如，在 图像中既存在着空间上的相关性，同时还存在着荻度的概率分布的不均匀性，对 运动图像而言还存在着帧与帧之间的时间上的相关性。因此如何利用信息熵理论 减少数据在传输和存储时的冗余度，就是信息熵编码所要解决的问题。 利用信息熵的编码方法多种，比较典型的有两种：一是著名的哈夫曼编码方 法，它利用了概率的分特性：另一种是游程编码方法，它利用了数据之间的相关 特性。这两种方法已广泛地使用于数据编码压缩系统中，并被国际静止图像编码 浙江t 业人学坝i 学位论上 专家组( j p e g ) 列入推荐算法的一部分。近几年来。另一种利用概率分布的编 码方法( 算术编码) 逐渐引起了人们的重视，并歹! j s k tj p e g 的扩展系统中，因 此是一种很有潜力的熵编码方法，以下分别介绍h u f f m a n 编码与算术编码。 3 1 2 哈夫曼编码 1 编码原理 h u f f m a n 码的码表产生过程是一个由码字的最后一位码逐位向6 口确定的过 程，具体步骤如下： 1 ) 将待编码的符号按出现概率大小排序，概率大的在前。拾排在最后 的两个符2 ) 号赋以相同的码长，码字只有最后一位不同，6 d 面各位均 相同。这一步只确定了出现概率最小的两个符号的最未一位码。 把最后两个符号的概率相加合成一个概率，这个概率对应于一个新符号 的出现概率。按概率大小对符号( 包括新的符号) 重新排序，并将最后 两个符号赋以相同的码长，对应的码字只有最后一位不同。 3 ) 重复( 2 ) ，直到最后只剩下两个符号。 可以证明按照h u f f m a n 编码规则编码的码字具有最小的平均码长。 2 h u f f m a n 的的解码方法 h u f f m a n 有多种解码方法，以下是两种典型的算法： 1 ) 树形解码法。依据h u f f m a n 编码时形成的h u f f m a n 码表，构造出 对应的解码树，即可对其进行解码。例如h u f f m a n 表为x l = o ，x 2 = 1 0 ， x 3 = 1 1 0 ，x 4 = 1 1 , 1 ，则可以构造出如下的h u f f m a n 解码树： 收到一串h u f l m a n 码后，解码器先进高位，并根据浚位是0 还是l 判断由根向下的走向。若走到树叶，说明至此为止的码串部分对应一 个码字，从而解出对应符号，并重新从树根丌始解码。若未走到树叶， 则继续进位，直到走到树叶。 根 树形解码器 图3 1 2 ) 并行解码。昭绀形解玛器需位一应j 2 渎入羊赳断，当鹃表较k 时，那么觯妈托就会较丈，造成迷度很慢：特别是对洒动倒像进行群 鹏时，_ l i j 柑髟群码方法难以用硬件实嗣解码，河并行棹码法则呵以一 次柏军出个妈字，且易f 硬件实现，解码运度也较快并行样码的； 体做法如f ： ： 堑坚二、业叁兰j 丝j 二_ 兰竖_ 主兰二一 一次读入l m a , x b i t 。l 。、为最长码字的长度，它可能为一个最 长的码字，也可能为1 个半码字，也呵能为2 个短码字等等，但至少 包含一个码字。 查表并行解码器码表，解出第一个码字所表示的符号及其码长 l 。 庄移码串l 位，丢去已解码的l 位码，再取下面的l m a x b i t ， 重复上面的解码过程，总之并行解码一次检查l m a x b i t ，并解出个 码字，操作简单( 查表+ 左移) ，易于硬件实现。 3 1 3 算术编码 早在六十年代初期，e l i a s 就提出了算术编码( a r i t h m e t i cc o d i n g ) 的概念， r j s s a n e n 和p a s c o 首次介绍了它的实用技术。算术编码方法的具体实现方法，直 到八十年代j 有些报导。算术编码在有些方面优于著名的h u f f m a n 方法，算术编 码方法使表示的信启、尽量紧凑并对输入的数据没有分块输入的要求( 与变换编码 相比) ，算术编码方法计算效率高并且容易提供自适应模式。 1 编码原理 算术编码方法是将被编码的信息表示成实现0 和i 之j h j 的一个问隔。 信息越长，编码表示它的间隔越小，表示这一问隔所需的二进制位就越 多。信息源中连续的符g - 根据某一模式生成概率的大小来减少间隔a 可 能出现的符号要比不太可能出现的符号减少范围少，因此只增加了较少 的比特位。 7 在传输任何信息之前信息的完整范围是【o ，1 ) 。在固定模式中，每 个符号分配了一个固定的概率，然后相应在 o ，1 ) 范围内为其分配个 区间，当要编码一列符号串时，根扼每个符号的范围，进行一种算法， 每来一个符号最后计算出的信息范围都会减小，直到最后一个符号。然 后这一范围被编码并传输到解码器，解码器接收到范围之后它会根据每 个符号所分配的范围和计算范围变化的公式能马上解出所传输的符号 串。 算术编码方法除了有基于概率统计的固定模式外，还有自适应模式。 在自适应模式中各个符号的概率初始值都相同，它们妖掂出现的符号而 相应的改变：只要编码器和解码器使用相同的仞始值和相同的改变值的 方法， 5 么2 们的概率模型将保持一致。编码器接收到下一个字符对其 进行编百弓，然后改变概率模型，解码器根据当i u 的模式解码，然后再改 变自己的概率模型： 2 特点 1 ) 算术编玛方法有自适应模式的独到优点：其它编娲自法( 盘u h u f f m a n 方法) 不具有这一特性，使用这一模式可以不必预先定 义断牢模型，这一方法尤其适用f 不进行镢：錾统汁的场合。在实 际应用- = 不可能对全部大量的信息进行溉率统计m j 较长， 较复杂) ，少量信息的统计有t 寸x t 7 4 , 同的情况也不一定设c q l ( - r 舞： 算术编码的自适应模式就可以弥补这一点的不足： 2 ) 当信源符号概率比较接近时，更适合用算术编码方法。因为此时 h u f t m a n 方法编码效率不高，一般认为使用算术编码_ 【芏这种情况 塑兰王些叁堂! ! ! ：兰一些堡= 生二- 下其效率要高于h u f f m a n 方法。 3 ) 算术编码方法的实现方法要比h u f f m a n 方法复杂一些，尤其是硬 件实现，因此有些人愿意采用简单的易于实现的h u f f m a n 方法， 而不愿使用算术编码方法。其实j p e g 成员对多幅图像的测试结 果表明，算术编码比h u f f m a n 编码能提高5 左右的效率。所以 在j p e g 的扩展系统中，用算术编码方法取代了h u f f m a n 方法。