会议管理_网络视频会议技术讲义

1 第9章网络视频会议技术 2 内容 9 1流媒体技术简介9 2H 26x视频编码技术9 3视频会议系统CSCW9 4H 323传输协议 3 9 1流媒体技术简介 随着网络宽带化的发展趋势 人们不再满足于信息高速公路中仅有文本 图像或声音这一类简单的信息 而是越来越希望更直观 更丰富的新一代的表现形式 流媒体技术由此应运而生 流媒体实际指的是一种新的媒体传送方式 而非一种新的媒体 流媒体技术全面应用后 人们在网上聊天可直接语音输入 如果想彼此看见对方的容貌 表情 只要双方各有一个摄像头就可以了 在网上看到感兴趣的商品 点击以后 讲解员和商品的影像就会跳出来 更有真实感的影像新闻也会出现 4 流媒体定义 所谓流媒体是指采用流式传输的方式在Internet播放的媒体格式 流式传输方式则是将整个A V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包 由视频服务器向用户计算机连续 实时传送 在采用流式传输方式的系统中 用户不必像采用下载方式那样等到整个文件全部下载完毕 而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备 硬件或软件 对压缩的A V 3D等多媒体文件解压后进行播放和观看 此时多媒体文件的剩余部分将在后台的服务器内继续下载 与单纯的下载方式相比 这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短 而且对系统缓存容量的需求也大大降低 5 流媒体定义 流媒体简单来说就是应用流技术在网络上传输的多媒体文件 音频 视频 动画或者其他多媒体文件 而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器 让用户一边下载一边观看 收听的网络传输技术 该技术先在使用者端的电脑上创造一个缓冲区 于播放前预先下载一段资料作为缓冲 由于网路实际连线速度小于播放所耗用资料的速度时 播放程序就会取用这一小段缓冲区内的资料 避免播放的中断 也使得播放品质得以维持 6 流媒体的传输方式 顺序流式传输顺序流式传输是顺序下载 在下载文件的同时用户可观看在线媒体 在给定时刻 用户只能观看已下载的那部分 而不能跳到还未下载的前头部分 顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整 由于标准的HTTP服务器可发送这种形式的文件 也不需要其他特殊协议 它经常被称作HTTP流式传输 顺序流式传输比较适合高质量的短片段 如片头 片尾和广告 由于该文件在播放前观看的部分是无损下载的 这种方法保证电影播放的最终质量 7 流媒体的传输方式 实时流式传输实时流式传输指保证媒体信号带宽与网络连接配匹 使媒体可被实时观看到 实时流与HTTP流式传输不同 他需要专用的流媒体服务器与传输协议 实时流式传输总是实时传送 特别适合现场事件 也支持随机访问 用户可快进或后退以观看前面或后面的内容 理论上 实时流一经播放就可不停止 但实际上 可能发生周期暂停 实时流式传输必须配匹连接带宽 这意味着在以调制解调器速度连接时图象质量较差 而且 由于出错丢失的信息被忽略掉 网络拥挤或出现问题时 视频质量很差 8 流媒体传输基本原理 9 流媒体传输基本原理 流式传输的过程一般是这样的 用户选择某一流媒体服务后 Web浏览器与Web服务器之间使用HTTP TCP交换控制信息 以便把需要传输的实时数据从原始信息中检索出来 然后客户端上的Web浏览器启动A VPlayer程序 使用HTTP从Web服务器检索相关参数对Player程序初始化 这些参数包括目录信息 A V数据的编码类型或与A V检索相关的服务器地址 A VPlayer程序及A V服务器运行实时流控制协议 RSTP 以交换A V传输所需的控制信息 与CD播放机或VCRs所提供的功能相似 RSTP提供了操纵播放 快进 快倒 暂停及录制等命令的方法 A V服务器使用RTP UDP协议将A V数据传输给A V客户程序 一般可认为客户程序等同于Player程序 一旦A V数据抵达客户端 A V程序即可播放输出 10 流媒体新服务 IPTVIPTV 也叫交互式网络电视 就是利用流媒体技术通过宽带网络传输数字电视信号给用户 这种应用有效地将电视 电讯和PC三个领域结合在一起 具有很强的发展前景 IPTV可以采用两种不同的方式提供用户电视服务 组播或者广播方式和视频点播 VOD 方式 一个明显的优势是IPTV是基于现在互联网的方式来实现服务器和用户终端的连接 因此很容易同时提供现有的互联网的服务 将电视服务和互联网浏览 电子邮件 以及多种在线信息咨询 娱乐 教育及商务功能结合在一起 11 流媒体新服务 无线流媒体面向无线网络的流媒体应用对当前的编码和传输技术提出了更大的挑战 首先 相对于有线网络而言 无线网络状况更不稳定 除去网络流量所造成的传输速率的波动外 手持设备的移动速度和所在位置也会严重地影响到传输速率 因此高效的可自适应的编码技术至关重要 其次 无线信道的环境也要比有线信道恶劣的多 数据的误码率也要高许多 而高压缩的码流对传输错误非常敏感 还会造成错误向后面的图像扩散 因此无线流媒体在信源和信道编码上需要很好的容错技术 尽管手机设备的运算能力越来越强 但是由于它是由电池供电的 因此编解码处理不能太复杂 并且最好能够根据用户设备的电池来调整流媒体的接收和处理 能源管理技术也是移动流媒体的一个研究热点 12 流媒体新服务 电子家庭现代家庭中的越来越多的设备可以用来采集 接收 发送和播放多媒体数据 如人们可以通过电视来收看电视节目 通过PC机在互联网上欣赏流媒体节目 通过自己的数字相机和摄像机来拍摄图像和视频 通过手机和其他手持设备来发送彩信 通过汽车的音响系统来欣赏音乐和广播 并且家庭中的网络连接也是多样化的 如电视连接有线电视网 PC机连接着互联网 手机连接着无线网络 而且这些设备也能在家里通过蓝牙或者802 11无线网连接在一起 所有这些设备所收到的多媒体数据如何在家庭网络和设备间共享 为流媒体的发展提供了一个更大的舞台 真正实现一种无所不在 随心所至的多媒体服务 让多媒体真正地像液体一样自由流动起来 流媒体在家庭网络应用中的关键是如何使多媒体数据能够适应不同的设备的能力 如在电视和PC机中播放的视频的大小可能是标清甚至是高清 但是同样的内容就可能需要经过流媒体系统有效的转换才能成为最适合在手持设备上播放的媒体 13 流媒体技术发展历史 流媒体技术是美国RealNetworks公司首先推出 1999年西方流媒体会议在加利福尼亚圣何塞市举行 Microsoft董事长盖茨在会上发表了主题演讲 2000年6月 流媒体商DigitalIsland与康柏计算机 Intel Microsoft三家公司合作 在其后的两年内建构8000台流媒体服务器 14 流媒体技术发展历史 2000年12月14日 Apple Cisco Kasenna Philips和Sun五家公司宣布成立Internet流媒体联盟 ISMA 五家公司将联合起来为开发IP端到端的媒体流解决方案制定开放标准 到目前为止 Internet上使用较多的流媒体格式主要有RealNetworks公司的Realsystem Microsoft公司的WindowsMediaTechnology和Apple公司的QuickTime 它们是网上流媒体传输系统的三大主流 15 流媒体技术发展历史 RealNetworks公司的RealMedia 包括RealAudio RealVideo和RealFlash三类文件 其中RealAudio用来传输接近CD音质的音频数据 RealVideo用来传输不间断的视频数据 RealFlash则是RealNetworks公司与Macromedia公司新近联合推出的一种高压缩比的动画格式 RealPlayer是RealNetworks公司的Internet在线播放器 能以比较快的速度从网上检索声音 视频 文本 动画及其他媒体文件 现有Realplayer RealPlayerG2和RealPlayerPlusG2三种类型的版本 由于其成熟稳定的技术性能 互联网巨人美国在线 AOL ABC AT T Sony和TimeLife等公司和网上主要电台都使用RealSystem向世界各地传送实时影音媒体信息以及实时的音乐广播 在我国 大量的影视 音乐点播和春节晚会 昆明世博会开幕式的网上直播都采用了RealSystem系统 16 流媒体技术发展历史 Apple公司的QuickTime于1991年登台亮相 是Apple公司面向专业视频编辑 Web网站创建和CD ROM内容制作领域开发的多媒体技术平台 它由QuickTime电影文件格式 QuickTime内置媒体服务系统和QuickTime媒体抽象层组成 其最新推出的QuickTime4 1具有较高A V播放质量的播放器 支持不少格式的静态图像文件 多种视频和动画格式等 QuickTimePlayer是Apple公司的媒体播放器 现己推出了QuickTime4 1版 有Windows版和Mac版 特点是和Internet紧密结合 安装是在网上进行的 目前 FOX新闻在线 FOX体育在线 BBCWORLD 气象频道 WeatherChannel 等机构都加入QuickTime内容供应商行列 使用QuickTime技术制作实况转播节目 17 流媒体技术发展历史 Microsoft公司的WindowsMedia 其核心是ASF AdvancedStreamFormat ASF是一种数据格式 音频 视频 图像以及控制命令脚本等多媒体信息通过这种格式 以网络数据包的形式传输 实现流式多媒体内容发布 ASF支持多种压缩 解压缩编码方式 并可以使用任何一种底层网络传输协议 具有较大的灵活性 Microsoft希望用ASF取代Apple公司的QuickTime之类的技术标准 并打算将ASF用作将来的Windows版本中所有多媒体内容的标准文件格式 并已经将WindowsMedia技术捆绑在Windows2000中 WindowsMediaPlayer是Microsoft公司推出的通用媒体播放器 可以接收音频 视频和目前较流行的多种混合格式媒体文件 支持流媒体 在线聆听 观看实时新闻等 18 流媒体传送协议 流HTTP协议 流HTTP协议的会话过程中 用户首先通过三次握手 与服务器建立连接 然后用户向服务器发送请求 要求服务器将ASF AdvancedStreamFormat 文件头传送过来 服务器收到请求后 发送带ASF文件头的响应包给用户 用户收到数据包后 解析ASF文件头 获得响应的信息 然后重新与服务器建立连接 并选择传输数据的数据流 服务器收到请求后 发送流媒体数据给用户 当流媒体数据发送结束之后 服务器给用户发送命令 告诉数据传输结束 用户接收到该命令后 知道数据已经接收完 然后停止播放数据 19 流媒体传送协议 RTP RTCP协议RTP Real timeTransportProtocol 是在Internet上针对多媒体数据流的一种传输协议 工作于一对一或一对多的传输情况 可提供时间信息和实现流同步 RTP通常使用UDP来传送数据 也可在TCP或ATM协议之上工作 当应用程序开始一个RTP会话时 会使用到两个端口 一个作为RTP端口 一个作为RTCP端口 RTP本身并不能为按顺序传送数据包提供可靠的传送机制 也不提供流量控制或拥塞控制 而是依靠RTCP提供这些服务 RTCP Real timeTransportControlProtocol 与RTP共同提供流量控制和拥塞控制服务 在RTP会话期间 参与者周期性地传送RTCP包 这些包中含有已发送数据包的数量 丢失数据包的数量等统计数据 服务器可根据这些信息动态地改变传输速率 甚至改变有效载荷类型 RTP与RTCP的配合使用可有效地进行反馈 从而减小开销 提高传输效率 非常适合传送网上的实时数据 20 流媒体传送协议 实时流协议RTSP Real timeStreamingProtocol RTSP是由RealNetworks Netscape共同提出的一种协议 它定义了如何使一对多应用程序有效地通过IP网络传送多媒体数据 RTSP是在服务器端与客户端建立和控制音视频流的协议 它在服务器端和客户端扮演 远程遥控器 的角色 客户端可以对服务器上的音视频流作播放 暂停 快进 定位 录制等操作 RTSP是一个应用层协议 它必须以底层的RTP RSVP等协议为依托 才能够在Internet上提供完整的流媒体传输服务 在数据选择传送通路和传送机制上都遵循底层的RTP或TCP协议 它能够为单点传送和多点传送流式多媒体提供很高的播放性能 同时也能够兼容不同厂商的发送端和接收端的应用程序 21 流媒体传送协议 22 流媒体传送协议 RTSP具有以下特点扩展性易解析安全独立于传输记录设备控制适合专业应用代理与防火墙友好适当的服务器控制传输协调 23 流媒体传送协议 RTSP和HTTP还是有很多的不同之处RTSP和HTTP是两个不同的协议 它们采用不同的方法和协议标志符 RTSP协议的数据发送不占用协议带宽 并且以不同的协议发送HTTP是一个不对称协议 客户端发出请求 服务器应答 在RTSP中 客户端和服务器都可发出请求 且请求是有状态的 HTTP是一个无状态协议 而RTSP在任何情况下 必须保持一定状态 以便在请求确认后的很长时间内 仍可设置参数 控制媒体流 RTSP使用ISO10646 UTF 8 定义 而不使用ISO8859 1定义 保持与当前的HTML一致 24 流媒体传送协议 RSTP数据传送三种模式 UDP模式TCP模式RealNetworksRDT模式 25 流媒体传送协议 在标准UDP传输模式下 流媒体数据通过RTP协议传输 通过RTCP协议传输控制信息 例如同步控制等 传输的端口号一般为2n和2n 1 其中RTP使用2n端口 RTCP使用2n 1端口 这个端口对是在会话建立过程中由会话双方协商确定的 并不固定 26 流媒体传送协议 在TCP传输模式 TCP only 下 会话的建立 数据传输 控制信息的传输 均在TCP连接上进行 27 流媒体传送协议 在RealNetworksRDT传输模式下 流媒体数据通过RealNetworks公司的RDT协议传输 28 流媒体传送协议 MMS协议MMS即MicrosoftMediaServerProtocol是Microsoft公司的私有网络流媒体协议 为Microsoft公司的Microsoftmediaplayer媒体播放软件所使用 该协议可以运行于TCP UDP协议之上 用来传输实时的或者已经录制好的媒体文件 29 流媒体传送协议 30 流媒体传送协议 资源预订协议RSVPRSVP是Internet上的资源预订协议 使用RSVP预留一部分网络资源 即带宽 能在一定程度上为流媒体的传输提供QoS RSVP运行在传输层 属于传输控制协议 RSVP的组成元素有发送者 接收者和主机或路由器 发送者负责让接收者知道数据将要发送 以及需要什么样的QoS 接收者负责发送一个通知到主机或路由器 这样他们就可以准备接收即将到来的数据主机或路由器负责留出所有合适的资源 RSVP协议的两个重要概念是流与预定 流是从发送者到一个或多个接收者的连接特征 通过IP包中 流标记 来认证 发送者在发送一个流前要传输一个路径信息到目的接收方 这个信息包括源IP地址 目的IP地址和一个流规格 这个流规格是由流的速率和延迟组成 接收者实现预定后 基于接收者的模式能够实现一种分布式解决方案 31 流媒体文件格式 ASF格式ASF AdvancedStreamFormat 是Microsoft的WindowsMedia的核心 Microsoft将其定义为同步媒体的统一容器文件格式 音频 视频 图像以及控制命令脚本等多媒体信息均可以通过这种格式 以网络数据包的形式传输 实现流式多媒体内容发布 ASF文件的组成单元称之为对象 Object 例如头对象 数据对象 索引对象等等 每个对象都有一个16位的对象ID 用来标识该对象 此外还有对象长度 对象体等信息 32 流媒体文件格式 RealMedia格式RealMedia文件格式是RealNetworks公司的流媒体文件格式 它包括RealAudio RealVideo和RealFlash三类文件 RealMedia文件的基本部件是块 chunk 它是数据的逻辑单位 如流的报头 或一个数据包 33 流媒体文件格式 Movie格式Apple公司的QuickTime电影文件现已成为是数字媒体领域的工业标准 QuickTime电影文件格式定义了存储数字媒体内容的标准方法 使用这种文件格式不仅可以存储单个的媒体内容 如视频帧或音频采样 而且能保存对该媒体作品的完整描述 QuickTime文件格式被设计用来适应为与数字化媒体一同工作需要存储的各种数据 因为这种文件格式能用来描述几乎所有的媒体结构 所以它是应用程序间 不管运行平台如何 交换数据的理想格式 QuickTime文件格式中媒体描述和媒体数据是分开存储的 媒体描述或元数据 meta data 叫做电影 movie 包含轨道数目 视频压缩格式和时间信息 同时movie包含媒体数据存储区域的索引 媒体数据是所有的采样数据 如视频帧和音频采样 媒体数据可以与QuickTimemovie存储在同一个文件中 也可以在一个单独的文件或者在几个文件中 34 流媒体新技术 高效的编码技术媒体系统中的多媒体数据要通过网络来传输给用户 高效的编码技术可以极大地降低流媒体系统对网络带宽的要求 目前标准化和商业化的视频编码技术都是基于运动补偿和DCT变换的 从早期的MPEG 1和H 261 到最新的MPEG 4AVC H 264和WindowsMedia视频编码器都采用了这个框架 在这个框架中 运动估计和补偿模块用来消除相邻图像间的冗余信息 熵编码模块用来消除编码信号的冗余性 变换量化模块根据人的视觉系统对视频信号的细微变化的不敏感性丢失部分信息 从而提高压缩比 35 流媒体新技术 高效的编码技术在这个编码框架下 过去十多年的时间内编码技术取得了很大的发展 事实上 最新MPEG 4AVC H 264标准的编码效率要比MPEG 1提高了4倍左右 除去更精细的运动补偿和基于上下文的熵编码外 帧内预测 多参考帧的预测 环路滤波和率失真优化技术也极大地提高了该标准的性能 36 流媒体新技术 可伸缩性编码技术在流媒体应用中需要解决的一个基本问题是网络带宽的波动 不同的人在不同的时刻使用互联网和无线网络时 得到的数据传输率存在着很大的差异 甚至同一个人在同一个时刻 哪怕是在传输同一个视频流 实际的数据传输率也会存在较大的波动 目前在流媒体系统中所用的编码技术都是生成固定码率的码流 它们很难适应如此复杂的网络带宽的波动 一个有效的方法是采用可伸缩性的视频编码 MPEG 4和H 263标准中就包含了分层的可伸缩性的视频编码 它们提供一定的适应网络带宽变化的能力 但是在流媒体应用中人们更期望视频编码技术能提供精细的码流可伸缩性 MPEG 4FGS就是一种这样的编码技术 目前MPEG 21可伸缩视频编码组正在研究两套编码方案 高效的FGS编码方案和3D小波编码方案 37 移动流媒体 移动流媒体特点移动流媒体除了具有流媒体本身具有的特点外 为了使其能够适应无线网络环境 以及移动设备存储空间相对较小的特点 播放流媒体文件不需要在客户端进行保存 这样减少了对客户端存储空间的要求 也减少了缓存容量的要求 从而也在一定程度上解决了媒体文件的版权保护问题 2 5G 3G等无线网络的发展也使得流媒体技术可以被用到无线终端设备上 特别是3G用户无线网络接入带宽的提高 移动流媒体技术所封装出的应用将会成为3G的一类主要应用 38 移动流媒体 移动流媒体三种文件格式3gp 3gp2媒体格式 是3GPP 3GPP2组织制定的标准移动流媒体媒体格式 支持终端最多 WMV媒体格式 是Microsoft公司的私有格式 有少量终端支持 RM媒体格式 是Real公司的私有格式 内置RealPlay播放器的终端支持 RealPlay播放器同时支持3gp 3gp2媒体格式 39 移动流媒体 移动流媒体业务框架移动流媒体系统网络总体架构与固定网络流媒体结构大致相同 都由流媒体服务器 客户端及相应的后台管理系统 内容缓存设备组成 完整的流媒体业务由流媒体服务器 流媒体客户端 门户 Portal 用户管理系统 缓存服务器构成 对于移动流媒体系统 流媒体服务器通过Gi接口与无线核心网GGSN相连 40 移动流媒体 门户是为提供更便利的流媒体内容访问能力的服务器 例如 门户可能会提供内容浏览器和搜索工具 最简单的情况下 它只包含一个Web WAP页 流媒体内容存储于内容服务器上 而流媒体内容链接列表可位于网络中的任何位置 同时 通过门户 内容提供商 CP 向流媒体服务器和流媒体缓存发布内容 门户提供对CP的认证和内容发布的接口 管理系统用于存储用户参数和设备功能信息 用于控制如何向移动用户提供流媒体内容 客户端发起流媒体业务 连接到其选择的服务器 流媒体服务器也可以发送实时的内容 会话发起时 流媒体服务器与管理系统协商 并根据终端能力传送流媒体信息 41 移动流媒体 移动流媒体应用移动流媒体业务基本形式由三种 直播 点播 下载 从应用的角度来看 分为两大类 媒体类应用和行业类应用 离散眼球经济 的时代正在来临 所谓 离散眼球经济 是指 通过对消费个体进行非连续的 间歇的和零散的时间段和空间段的注意力来吸引获得经济活动中品牌利益的最大化 现代社会信息源和信息需求的高速膨胀使得传统中闲置的 离散的时间和空间为需求所用 在人们正常的工作 生活活动之余 那些闲散的时空资源随着信息终端触角的延伸 越来越被人们所充分利用 或是用于工作资讯获取 或是用于生活休闲娱乐 42 移动流媒体 就目前而言 报纸 杂志基本上是获取这部分 眼球 的重要媒介 但随着3G时代到来 以 手机 流媒体 为代表的移动流媒体将成为这一领域最有力的 眼球 获取媒介 主要包括以下原因 1 流媒体技术特点决定的 媒体节目边缓存 边播放 即内容的获取和内容的消费同步进行 使得可以最大限度地在有限的时空范畴内为消费者提供高效的信息服务 2 手机媒体具有移动性 便携性自身特点决定其适合这种形式 离散型时空资源的重要特征是时间长短的不确定性和空间位置的不确定性 手机媒体会随时随地且无处不在地服务 可以很好地解决这一问题 3 由移动运营商掌控行业价值链的移动流媒体产业是可控的商务模式和健全的收费体系为移动流媒体的可持续发展提供了重要保障 43 移动流媒体 移动流媒体的应用主要包括以下几个方面信息服务娱乐服务通信服务监控服务定位服务 44 移动流媒体 移动流媒体存在的问题手机电视 无线网络带资源问题漫游问题媒体内容分发问题容错问题移动终端的电池有限问题 45 移动流媒体 手机电视 无线网络带资源问题 每一用户使用直播都需要占用信道资源 手机电视 运营成本较高 需要有公共信道提供 手机电视 服务 降低运营成本 漫游问题 由于手机终端基本上流数据的传输采用UDP 在目前中国移动采用用户使用漫游地的GGSN的模式下 如何解决用户在漫游状态使用流媒体业务问题需要运营商统一考虑 46 移动流媒体 媒体内容分发问题 由于流媒体的对资源占用较多 在有线网络上传输流媒体面临着诸多问题 如网络拥塞 服务器超载等 为了解决这些问题 Internet领域的流媒体业务应用采用了CDN 内容分发 技术 移动流媒体在用户增长到一定数量时 同样有此类问题 移动流媒体内容分发网络 MobileStreamingMediaContentDeliveryNetwork MSM CDN 的概念应运而生 47 移动流媒体 容错问题 相对于有线网络而言 无线网络状况更不稳定 除去网络流量所造成的传输速率的波动外 无线终端移动速度和所在位置也会严重地影响到传输速率 因此高效的可自适应的编码技术至关重要 但是高压缩的码流对传输错误非常敏感 还会造成错误向后面的图像扩散 移动流媒体在信源和信道编码上需要很好的容错技术 移动终端的电池有限问题尽管手机设备的运算能力越来越强 但是由于它是由电池供电的 因此编解码处理不能太复杂 并且最好能够根据用户设备的电池来调整流媒体的接收和处理 能源管理技术也是移动流媒体的一个研究热点 9 2 1H 261 ITU推荐H 261方案标题 64Kbps视声服务用视象编码方式 又称为P 64Kbps视频编码标准 P取值范围为1 30 P 1或2时 仅能支持QCIF 176 144 分辨率格式 每秒帧数较低的可视电话 当P 6时 则可支持图象分辨率格式为CIF 352 288 的电视会议 P 64Kbps压缩算法采用基于DCT的变换编码和带有运动预测的DPCM预测编码的混合方法 P 64Kbps标准的压缩算法与MPEG 1标准有许多共同之处 只是传输速率P 64Kbps覆盖较宽的信道频带 而MPEG 1是基于较窄的频带上传输 9 2H 26x视频编码技术 H 261编码器 利用CIF的优点 9 2 2视频层次数据结构 P 64Kbps标准采用层次块的视频数据结构形式 使高压缩视频编码算法得以实现 P 64Kbps标准的视频编码定义一个视频数据结构CIF保证解码器对接收到的比特流进行没有二义性的正确解码 利用CIF格式 可使不同制式的各国电视信号变换为统一的中间格式 然后输入给编码器 从而使编码器本身不必意识信号是来自哪种制式的 H 261标准适合各种各样实时视觉应用 如位率不同 P不同 运动效果和图象质量不同 位率提高 画面质量改善 图像头 QCIF帧图 块组1 块组2 块组3 块组1头 宏块1 宏块2 宏块33 宏块1头 亮度块1 亮度块4 色度块1 色度块2 DCT系数 DCT系数 块结束 视频数据结构图 图象数据层次结构 帧 QCIF 块组 1 2 3 4 5 6 宏块 8 8 CIF 块 为了适应B ISDNATM传输需要 ITU与MPEG联合发布ISO IEC13818 分别称为H 262和MPEG 2标准 它与H 261和MPEG 1兼容 H 263是ITU T制定的适合于低速视频信号压缩标准 大多数用户最方便的是公用电话线 以V 34为标准的调制解调器支持在电话线中传输速率可达28 8kbps或33 6kbps 甚至56kbps 与MPEG 4基于对象编码不同 H 263采用基于帧编码 H 263是在H 261基础上扩展形成的 支持的图象格式包括Sub QCIF 128 96 QCIF CIF 4CIF 16CIF 1408 1152 等 其中主要采用的改进技术有 9 2 3H 263标准 1 半象素精度的运动补偿在H 261中 运动矢量的精度为1个象素 H 263运动矢量的估值精度达到半个象素 精度的提高使运动补偿后的帧间误差减少 从而降低了码率 2 不受限的运动矢量当运动跨越图象边界时 由运动矢量所确定的宏块位置可能有一部分落在边界之外 此时可以用边界上的象素值表示界外的象素值 从而降低预测误差 3 用基于句法的算术编码代替Huffman编码 可选项 这是一种效率较高的自适应算术编码 4 先进的预测模式 可选项 对宏块中的4个亮度块分别进行运动估值获得4个运动矢量 虽然此时传输运动矢量的比特数增加一些 但由于预测误差的大幅度降低 仍然使总码率降低 5 PB帧模式 可选项 虽然使用双向预测B帧可以降低码率 但却要引入附加的编码延时和解码延时 为降低延时 H 263采用了P帧和B帧作为一个单元来处理的方式 即将P帧和由该帧与上一个P帧所共同预测的B帧一起进行编码 9 2 4H264 AVC标准 ITU T和ISO IEC联合开发组共同开发的最新标准 同等质量下压缩效率比提高了2倍以上 H 264最大的技术优势体现在4个方面 1 将每个视频帧分离成由像素组成的块 因此视频帧的编码处理的过程可以达到块的级别 2 采用空间冗余方法 对视频帧一些原始块进行空间预测 转换 优化和熵编码 3 对连续帧的不同块采用临时存放的方法 这样只需对连续帧中有改变的部分进行编码 4 采用剩余空间冗余技术 对视频帧里残留块进行编码 对源块和相应预测块不同 再次采用转换 优化和熵编码 H 264是保留了以往压缩技术的长处又具有其它压缩技术无法比拟的许多优点 1 低码流 采用H 264技术压缩后的数据量只有MPEG 2的1 8 MPEG 4的1 3 2 高质量的图像 H 264能提供连续 流畅的高质量图像 DVD质量 3 容错能力强 H 264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具 4 网络适应性强 H 264提供了网络适配层 使得H 264的文件能容易地在不同网络上传输 例如互联网 CDMA GPRS WCDMA CDMA2000等 59 9 3CSCW CSCW系统的分类CSCW系统的功能模型多媒体会议 视频会议 数据会议多媒体讨论系统SameView智能教室 SmartClassroom 60 CSCW是以人们工作的协同性为背景 在计算机 通信和多媒体技术的融合与发展的基础上形成的一个交叉学科的研究领域 CSCW系统是对完成共同任务的群体进行支持 并提供可对共享环境进行访问的接口的计算机系统 建立电子共享空间 向在地理上分布的用户提供通讯 协作 和协调的支持 使各个用户之间可克服时间和空间的限制进行协作 Tele cooperation ComputerSupportedCooperativeWork CSCW 61 CSCW系统的分类 集中式同步会议室分布式同步网上交谈实时白板实时同步编辑多媒体桌面会议集中式异步电子布告板分布式异步电子邮件 62 会议模型提供会议的管理和控制 并提供音频和视频通道 使成员之间可以进行显式的通讯 协作和协调 共享对象构成共同的工作任务和工作空间 通过对共享对象进行共同操作 完成工作的目的 通过对共享对象的操作 成员之间完成隐式的协作 CSCW系统的功能模型 63 多媒体会议 1 提供会议的管理和控制 并提供音频和视频通道 使成员之间同步地进行通讯 协作和协调数据会议视频会议多媒体桌面会议 64 多媒体会议 2 65 数据会议 1 数据会议的主要特点是消息的实时传递 即一个用户对共享数据的修改要同步地通知其他相关用户 白板 Chat 共享应用程序这里的消息是一种概括的说法 由于数据会议中的共享对象可以是数据 也可以是应用程序 因此根据共享对象的不同 消息的含义也不同 对于共享程序 消息指程序的输出 对于共享数据 消息指数据变化的通知 66 Applicationsharing MultiuserInterface 一个单用户程序的窗口可以同时出现在参加会议的多个用户的屏幕上 让他们共同操纵这个程序 实际上被共享的程序还是只运行在一台计算机上 由发起共享的人指定共享哪个程序 然后这个程序的屏幕输出被发送给其他用户 在他们各自的屏幕上显示出来 每个用户的 键盘和鼠标 输入被送回到程序实际运行的计算机上 交给那个程序处理 这样程序就对所有用户的输入都作出反应 这里自然涉及到控制权 FloorControl 的问题 也是一个重要的研究课题 数据会议 2 共享应用程序和共享数据 67 优点 被共享的程序不必具有协作功能 现有的单用户程序不必改动即可以让多个用户使用 达到WYSIWIS的效果 缺点 由于是传递屏幕输出 数据量比较大 在用户人数比较多时占用带宽太大 严重影响运行速度 并不是所有的程序都可以共享 需要比较复杂的控制权管理 而且容易造成控制混乱 远端用户可能通过共享的程序破坏本地的数据 有安全隐患 数据会议 3 共享应用程序 68 共享数据的应用本身必须具备协作功能在用户间传递的只是变化了的共享数据数据会议T 120标准包含一系列通信和应用协议 支持实时多点数据通信 成为桌面数据会议 多用户程序 多人游戏等新一代应用的基础 数据会议 4 共享数据 69 视频会议 1 视频会议属于同步的显式协作 是CSCW中一个发展得非常成熟的领域 已经有很多国际标准 目前最流行的视频会议标准是H 323 70 视频会议 1 H 32X标准系列 71 多媒体讨论系统SameView 1 当用户不断的增多的时候 传统的基于对称 紧耦合结构的协同系统 如利用MCU的视频会议系统 将面临着硬件成本的急剧增长 SameView采用了基于多播的多级客户机 服务器体系结构 并且应用程序可以运行在支持与不支持多播的网络并存的混合环境中 不必改变现有的网络基础设施 便于应用的实施 SameView是在大规模和异构环境下开展多媒体会议 远程教育等应用的一种廉价而高效的解决方案 72 多媒体讨论板作为协同讨论的共享空间 与传统的白板应用相比 有以下的一些新的特征 支持HTML格式 可以将更丰富 更结构化的材料显示在讨论板上 支持在文档上增改注释 如加亮 文字等 讨论过程可以被记录下来 并加上索引 以便在事后用于回放 视频 音频子系统为远程协同讨论系统提供实时的视频与音频服务 多媒体讨论系统SameView 2 73 多媒体讨论系统SameView 3 74 多媒体讨论系统SameView 4 SameView AMTM 自适应多媒体数据传输 TORM 完全有序可靠多播协议 IPNetwork ArsRecorder ArsEditor ArsPlayer SameView系统的体系结构 75 SameView TORM 混合环境下的多播 解决如何在支持与不支持多播的网络并存的混合环境下运行多播应用的问题用单播隧道把各个多播岛连接起来构成的树形结构 应用层多播树可靠多播 解决确认内爆问题把多播组成员分成多个局部组 在局部组内部进行差错恢复 使差错恢复的负担分散并发控制 解决数据一致性问题采用集中式的并发控制 所有客户站点发出的操作由顶级服务器串行化 9 4H 323协议 ITU T的SG16开发的在无服务质量保证的分组网络上多媒体通信的协议及其规程 H 323是一个协议族 包括呼叫控制 媒体编码 管理控制 网络安全等一系列协议 主要在IP电话应用 也包括在IP视频 数据应用 多媒体会议的应用 主要目的是实现不同网络的终端之间的音视交互通信 最重要的网络部件为网关和网守 H 323系统体系结构 H 323系统功能实体 终端网关 GW 网守 GK 多点控制单元 MCU 终端 功能 是分组交换网络中能提供实时 双向通信的节点设备协议 支持H 245 Q 931 RTP RTCP RAS协议所有的终端都必须支持语音通信 对视频和数据通信的支持可选 网关 功能1 H 323终端与其他类型终端之间的信令转换功能 如 呼叫信令转换媒体控制信令转换2 提供非智能终端的代理功能 如 提供音频视频编解码能力 完成电路与IP的转换 网关 协议终端使用H 245和Q 931协议与网关进行通信 网关是H 323系统中的一个可选组件 若没有必要与其他网络建立连接 则无需网关 网守 功能 地址翻译 带宽控制 鉴权 终端 网关和MCU 区域管理 通过网守进行多方会议处理 网守 协议 RAS协议 可以转发类Q 931和H 245协议网守是H 323系统中的一个可选组件 MCU 功能 支持3个或3个以上的端点或网关参加的多点会议包含一个MC 包括零个或多个MP MC 提供控制功能 MP 从终端接收音频 视频和 或数据流进行处理 H 323协议栈结构 H 323的主要协议 H 225 0RAS信令用于H 323端点和网守之间的面向事务的协议H 225 0呼叫信令用于终端之间 终端与网守或网守之间的呼叫控制H 245控制信令用于多媒体通信的连接控制协议 H 225 0RAS信令 RAS是可选的用于网守控制端点功能网守搜寻端点注册和注销端点定位权限控制 带宽改变释放呼叫呼叫状态资源可用性 H 225 0RAS信令消息 网守搜寻 端点在注册之前必须发现合适的网守端点可以静态配置所在域的网守地址可以向某些公开地址发送消息可以向多播地址发送消息 224 0 1 41 1718 涉及消息GRQ GatekeeperRequest GCF GatekeeperConfirm GRJ GatekeeperReject 端点的注册和注销 加入网守的控制域退出网守的控制域RAS信令端口1719涉及的消息RRQ RegisterationRequest RCF RegisterationConfirm RRJ RegisterationReject URQ UnregisterationRequest UCF UnregisterationConfirm URJ UnregisterationReject 端点定位 用于别名和真实网络地址之间的翻译可以发送到固定的网守可以多播传送224 0 1 41涉及消息LRQ LocationRequest LCF LocationConfirm LRJ LocationReject 呼叫准许 用于端点请求网关参与一个呼叫确定呼叫类型 两方 多方等 涉及消息ARQ AdmissionRequest ACF AdmissionConfirm ARF AdmissionReject 带宽修改 在呼叫中请求增加或者减少带宽网守可以请求端点减少带宽带宽改变功能与H 245控制信令密切相关涉及消息BRQ BandwidthRequest BCF BandwidthConfirm BRJ BandwidthReject 状态信息 端点向网守汇报端点状态Callidentifier calltype bandwidth RTPsession网守可以利用ACF AdmissionConfirm 要求端点周期性地汇报状态涉及消息IRQ InformationRequest IRR InformationRequestResponse IACK InfoRequestAck INAK InfoRequestNak 呼叫撤销 停止媒体传送 终止会话可以由端点发送给网守 也可以由网守发送给端点涉及消息DRQ DisengageRequest DCF DisengageConfirm DRJ DisengageReject 资源可用性 通知网守目前网关可用的呼叫容量以及每个协议可用的带宽almostOutofResource涉及消息RAI ResourceAvailabilityIndicator RAC ResourceAvailabilityConfirm H 225 0呼叫信令 用于端点之间 或端点与网关之间 呼叫的建立和拆除使用了类Q 931消息 根据H 323体系结构的要求进行了适当的修改借助Q 931完成端点间H 245控制通道的建立借助Q 932和Q 950完成各种补充业务的一般控制 H 225 0呼叫信令消息示例 1 Setup 开始呼叫建立的第一个消息SetupAcknowledge 对Setup消息的应答Altering 被叫方已经开始振铃CallProceeding 呼叫建立过程已经开始Connect 指示被叫方已经接收呼叫 H 225 0呼叫信令消息示例 2 ReleaseComplete 终止一个呼叫UserInformation 发送额外的呼叫建立信息Notify 提供用户信息Status 汇报呼叫状态StatusInquiry 查询目前的呼叫状态Fa