视频会议基础知识 (ppt 105页).ppt

视频会议基础知识 王龙Nov18 2010 音频视频ITU T标准及H 323 目录 音频部分 类型和用途声学特性关键距离电子特性麦克风和会议室布局会议室礼堂远程教室 音频设备 类型和用途桌面式手持式领夹式无线麦克定向 鹅颈麦克吊顶麦克 音频设备 麦克风 桌面式 无线 领夹 吊顶 手持 鹅颈 定向式拾音方向固定拾音距离大于全向麦克全向式所有方向的拾音都相等需要屏蔽拾音半径内的噪音 音频设备 麦克风 声学特性定向心型超心型特心型双向全向灵敏度噪声消除 音频设备 麦克风 关键距离 ShureBrothers thedistancefromasoundsourceatwhichthelevelofdirectsoundhasfallentotheleveloftheambientsound 关键距离 Davis thedistancefromasoundsourceatwhichthelevelofdirectsoundis20dBabovetheambientsound 音频设备 麦克风 声学特性 音频设备 麦克风 电子特性音频源阻抗典型的麦克风阻抗为150ohm平衡线信号电平需要将麦克电平转换成线路电平需要40到60dB的增益领夹式麦克通常比桌面式少20dB供电要求幻影电源连接 音频设备 麦克风 麦克风混音 usedwhenseveralmicrophoneinputsneedtofeedacommonsounddistributionsystem AudioCyclopedia预放大增益控制提供幻影电源辅助输入和输出均衡连接 音频设备 混音设备 手动输入电平预设置 增益 打开 关闭输入预设置输出电平应用麦克风的拾音范围不能覆盖到其他麦克风的拾音范围 自动输入电平预设置 增益 将不需要的输入静音根据打开的麦克风数量调整输出电平可能包含其他内置自动增益控制通常与回声抑制器的配合较差 音频设备 混音设备 相关设备VCR音频卡带播放器激光播放器计算机音频编解码器音频会议室音频连接阻抗信号电平接口类型电缆类型 音频设备 互联 VCR音频 混音设备 编解码器 卡带播放器 计算机音频 会议室音频 音频设备 会议室音频 扬声器类型有源音箱被动式功率需求需要维持20dB的信噪比 perDavis 70到90dBSPL的会议室最适合演讲所有声压通过声压表测量音频输入设备 声音分布标准的扬声器安装 位置吸顶式扬声器安装分布式扬声器安装心理声学原则声音和视频画面的匹配时间延迟噪音和其他干扰 大型会场音响的连接 MIC 调音台 功放 音箱 声音信号 远端声音 本地声音 混响在指定空间内伴随的不连续的声音用于音乐 但不适合演讲 开会通常由于墙壁的反弹造成 会造成讲话词语不完整等现象回声颤动 由于较硬的桌面反射造成拍打 由于墙面反射造成 比如在某些会议室中拍手后可以听到两次拍手Mountainyodel 延时造成 就像在山谷里喊叫 很久才听到回声一样 出现在很大型的会议室中 会议室声学和布局 反射声音在制定空间中来回反弹会议室中如果有较多的玻璃或者非常硬的墙面或只有一个空的房间会容易造成反射可以在会议室中放置一些家具来消除反射噪音环境声 与演讲者声音无关的声音空调声音 投影机风扇声音 PC 笔记本电脑声音隔壁房间人的声音人员移动的声音和其他噪音看的到的 开门 关门 走廊里走路的声音 开关窗户的声音 看不到的 空调系统 风扇 等等 理想的会议室噪声水平是40dBA 会议室声学和布局 声学处理为了减少回声 混响 反射和控制噪音 需要对会议室进行处理吸音材料用NRC 降噪系数 来衡量常见的吸音材料是地毯 窗帘 石英棉等 会议室声学和布局 模拟音频信号必须通过编码 解码以及压缩 解压缩过程才可以在网络上进行传输 以下是使用在视频会议中的ITU T音频相关标准G 711 音频频率的脉冲编码调制G 722 64Kbit s的7KHz音频解码G 728 使用低延迟CELP算法在16Kbps上编码演讲者 码激励线性预测 G 729 在8Kbit sCS ACELP编码演讲者G 723 1 双比率演讲编码器 多媒体5 3 6 3KbpsG 722 1 在32Kbit s下使用低帧率附录A 包格式 能力鉴定和能力参数的系统里手动自由操作编码 音频编码及压缩标准 带宽 带宽也就是编码采样频率 理论上来说采样频率越高 声音质量越高编码速率 在同等带宽下 音频编码速率越高 会影响视频编码速率 模拟到数字编码以及数字到模拟解码的转换会带来失真DSP是专门用来完成编码 解码以及压缩 解压缩的部件DSP的性能是由运算速度和内存来衡量的编码 压缩的延时声音采样或视频采样后需要时间进行编码和解码音频大约需要10 40ms 视频大约需要80 280ms 编码属性 G系列标准 Q A 1 Mic的距离位置应该如何摆放 2 人耳的听力频率范围是多大 3 理想的会议室噪音水平应该是多大 4 G 711和G 722分别提供多大带宽的音频编码 QUESTIONS 视频部分 摄像机和镜头的功能景深视野白平衡分辨率和带宽云台 PTZ 视频摄像机 收集光信号将光信号转换成电信号将电信号格式化并输出 摄像机功能 聚焦光线组合镜头手动对焦自动对焦自动对焦技术 摄像机 镜头 对焦 变焦 控制通光量光圈自动光圈曝光时间自动曝光 摄像机 镜头 景深在制定的摄像机画面中能够被清晰聚焦的物体的距离范围 摄像机 镜头 视野摄像机可以看到的场景大小 摄像机 镜头 灵敏度 需要多少光线 lux Lux footcandles 尺烛光 lumens 流明 视频会议最佳照度是500 700流明或50 70尺烛光使用测光表测量自动增益控制 AGC 自动增益控制和光圈的区别 摄像机 色度白平衡调整红 绿 蓝三色的平衡色温补偿伽马校正 摄像机 分辨率电视线像素传感器类型三片式3CCD 3CMOS单片式分辨率可用标准测试卡测试 摄像机 云台功能PTZ水平 上下转动系统恒定的速度与变焦相关的速度变焦倍数控制开关智能控制系统自动跟踪 摄像机 视频制式 35 视频格式 CIF CommonIntermediateFormat 通用中间格式 NTSC PAL SECAM和YUV标清电视分辨率RGBYPbPr模拟 DVI A RGB数字和DVI D高清电视分辨率分辨率通过以下方式衡量 每一个完整视频帧或画面的电视线或亮度和色度线的数量NTSC525线 PAL625线分量视频每线的红 绿 蓝像素 画面的线数640 x480 800 x600 1024x768 704x576 720 480 1280 x720 1920 x1080VGASVGAXGASD TVHDTVFULL HD 视频分辨率和视频格式 视频会议与广播电视 广播电视广播级高质量 无压缩或压缩比较低占用传输带宽大 模拟电视每套节目的频宽是8MHz 数字电视是30Mbps 传输延时大 单向3秒左右 视频会议 会议电视 商用用质量 高压缩率 最少1 100 H 261 CIF 2Mbps 采用低带宽传输 128 384 768 1920Kbps 双向交互 实时性要求高 延时非常小 广播级TV所有亮度的线和色度的线都是可呈现的 没有压缩 H 261 H 262 H 263 H 264取代发送和一个说话者的整个画面 我们仅更新改变部分的区域 压缩 像素冗余帧到帧图片被分解成更加小的图片元素小块或像素 宏块 视频压缩技术 帧率 帧率 每秒钟时间里传输的图片的帧数常见的帧率15帧 S 图像有 跳动 30帧 S 图像比较流畅 60帧 S明显提升交互感和逼真感 帧率越高流畅度越高常见帧率 分辨率1080P30帧720P30帧720P60帧 40 视频会议图像由宏块组成一个宏块包含256块像素16垂直 16水平720pHD的定义为 1280水平像素720垂直像素每帧图像 1280 16 x 720 16 3600宏块视频会议应支持25 30fps运动图像需要3 600 x30 108 000宏块 秒 16块像素 16块像素 宏块 108 000宏块 秒 宏块 视频编码算法 视频图像数据有极强的相关性 存在着有大量的冗余信息空域冗余每帧画面内相邻像素之间相关性很大时域冗余相邻帧之间存在很大的信息冗余量编码技术就是去除数据之间的相关性帧内编码技术帧间编码技术 帧内压缩类似于图片的压缩 是把整幅图像分成若干个宏块后进行编码压缩 形成一个关键帧 I帧 在一秒的25帧中只有2 5帧为I帧 帧间压缩 采用运动预估 差值算法等方法 所有的信息都是根据I帧进行推算得出的 视频信号的压缩编码 I帧 I帧 Iframe 又称为内部画面 intrapicture I帧通常是每个GOP MPEG所使用的一种视频压缩技术 的第一个帧 经过适度地压缩 做为随机访问的参考点 I帧法是帧内压缩法 也称为 关键帧 压缩法 I帧法是基于离散余弦变换DCT DiscreteCosineTransform 的压缩技术 这种算法与JPEG压缩算法类似 采用I帧压缩可达到1 6的压缩比而无明显的压缩痕迹 I图像 帧 是靠尽可能去除图像空间冗余信息来压缩传输数据量的帧内编码图像在编码的过程中 部分视频帧序列压缩成为I帧 部分压缩成P帧 还有部分压缩成B帧 I帧 I帧 帧内编码帧 是一种自带全部信息的独立帧 无需参考其它图像便可独立进行解码 视频序列中的第一个帧始终都是I帧 如果所传输的比特流遭到破坏 则需要将I帧用作新查看器的起始点或重新同步点 I帧可以用来实现快进 快退以及其它随机访问功能 如果新的客户端将参与查看视频流 编码器将以相同的时间间隔或者根据要求自动插入I帧 I帧的缺点在于它们会占用更多的数据位 但从另一方面看 I帧不会产生可觉察的模糊现象 P帧 在针对连续动态图像编码时 将连续若干幅图像分成P B I三种类型 P帧由在它前面的P帧或者I帧预测而来 它比较与它前面的P帧或者I帧之间的相同信息或数据 也即考虑运动的特性进行帧间压缩 P帧法是根据本帧与相邻的前一帧 I帧或P帧 的不同点来压缩本帧数据 采取P帧和I帧联合压缩的方法可达到更高的压缩且无明显的压缩痕迹 P图像 帧 是通过充分将低于图像序列中前面已编码帧的时域冗余信息来压缩传输数据量的编码图像 也叫预测帧 P帧 P帧 帧间预测编码帧 需要参考前面的I帧和 或P帧的不同部分才能进行编码 与I帧相比 P帧通常占用更少的数据位 其缺点是 由于P帧对前面的P和I参考帧有着复杂的依赖性 因此对传输错误非常敏感 B帧 B图像 帧 是既考虑与源图像序列前面已编码帧 也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像 也叫双向预测帧 一般地 I帧压缩效率最低 P帧较高 B帧最高 B帧 双向预测编码帧 需要同时以前面的帧和后面的帧作为参考帧 带有I帧 B帧和P帧的典型视频序列 P帧只需要参考前面的I帧或P帧 而B帧则需要同时参考前面和后面的I帧或P帧当视频解码器逐个帧地对比特流进行解码以便重构视频时 必须始终从I帧开始解码 如果使用了P帧和B帧 则必须与参考帧一起解码 I P B帧示意图 典型的视频会议系统有足够的处理能力支持标清分辨率的人物和内容图像人物 25 30帧 秒的CIF或SIF内容 9帧 秒的4CIF或4SIF目前的视频会议系统支持高清分辨率的处理人物和内容均可支持25 30帧 秒的720pH 261 H 263CIF352X288QCIF176X144SQCIF128X96QQCIF88X774CIF704X57616CIF1408X1152 视频格式 H 264SIF360X2404SIF720X480HD1280X720pHD1920X1080i 1920X1080pMPEG1使用CIF分辨率 用于CD ROM或数字媒体的压缩 用于流媒体视频MPEG2使用4CIF分辨率 用于高质量视频或广播电视传送 用于流媒体视频JPEG静态图像压缩 视频格式 续 H 261 是H 320系统和H 323系统必须具备的视频编码基于CIF和QCIF分辨率 最高可到30fpsH 263 H 320和H 323系统可选的视频编码相对于H 261有明显的质量提升 采用CIF QCIF SQCIF分辨率引入了更高的分辨率4CIF和16CIFH 264 由ITU批准 作为H 320 H 323系统的可选标准 由融合通讯的H 241标准引入在更低的速率下达到更高的分辨率基于SIF分辨率使用等级来定义分辨率Level1 一些4 3的格式和分辨率Level2 一些16 9的格式和分辨率 ITU视频编码标准 复合视频接口一体化视频信号被称为NTSC PAL通过同轴电缆传送 峰峰电压1VY与Cb和Cr信号重叠噪声由重叠产生支持350线以下的清晰度视频连接黄色RCA接头单根同轴电缆EIARS 170标准ITU RCCIR 601 视频传输和连接 Y C接口Y 亮度信号 包含黑白信号和同步信号 C 色度信号 包含绿色和红色色度信号 连接可以提供高于500线清晰度各种不同的名称S VIDEO 超级视频 超级VHS4芯连接器 使用两根同轴电缆2个BNC连接器 视频传输和连接 分量视频分量视频接口同轴电缆BNC接头RCA接口所有同轴电缆为相同长度 视频传输和连接 PC和笔记本视频接口PC显示器采用VESA组织定义的D15高密度D型接口大多数情况下被称作VGA接口随着PC显卡和显示器中数字处理的引入 VESA开发了额外的针脚定义 使得PC接口和显示器之间能够协商分辨率 视频传输和接口 DVIDVI是由DDWG组织开发DVI D接口是D型18针接口DVI A接口在接地信号周围定义了额外的模拟信号针脚DVI 数字传输是一个平衡串行接口4线接口串行电缆可以支持640 x480到1600 x1200之间的分辨率8线接口可以最高支持到2000 x2000DVI A模拟VESA信号到模拟DVIDVI D仅数字DVI I集成了模拟和数字 视频传输和接口 DVI接口DVI I母头模拟针脚数字平衡DVI D公头PC或笔记本电脑显示接口用户替换VGAD15接口DVI A公头模拟RGB或YPbPr 视频传输和连接 MDISVESA商标由Molex设计DMS 59接口可用与PC双路视频Y型电缆配置 可用于生成两个VGADB15HD接口Y型电缆配置 可用于生成两个DVI I接口电缆针脚可支持Y C电视信号 视频传输和接口 POLYCOM私有60针接口 HDCI 采用MDIS接口 使用MolexDMS 59连接器及私有定义POLYCOM扩展该接口的应用使其支持DVI D数字信号和YPbPr模拟信号 并包含了摄像机的控制信号POLYCOM高清摄像机与MDIS不兼容POLYCOM高清摄像机使用了所有的60个针脚 视频传输和接口 HDMI高清多媒体接口在一根电缆上支持标准 增强或高清视频 外加多通道数字音频 可传送所有HDTV标准并支持8通道数字音频 还有剩余的带宽可用于未来的扩展向后兼容DVI D和数字RGB纯数字特点在RGB基础上增加YCbCr格式增加最高96KHz质量的数字音频增加控制信息提供CEC总线或低速远端控制接口HDCP高清内容保护 视频传输和接口 传统CRT已经淘汰背投显示器可视角度和对比度较差DLP或LCD投影用户创建无缝的多屏显示Plasma等离子显示器高对比度 但是容易烧屏LCD液晶显示器目前比较实用的选择SED表面传导电子发射显示器设计用来替换替换等离子 50吋OLED有机发光二极管显示器设计用来替换LCD更薄更灵活 高清显示器类型 灯光灯光安装方式向下照射的灯光从背后照射的灯光阴影非直射灯光色温理想的视频会议室 3500K混合照明日光 环境和视频 摄像机自动对焦白平衡景深视野需要注意的 窗户过道家具投影 环境和视频 前景活动细节色彩碰撞背景背景中的活动细节色彩和亮度亚像素问题 sub pixel 环境和视频 布局 环境和视频 布局 环境和视频 理想的会场环境 Q A 1 理想的会议室环境色温是多少 2 视频会议最佳的照度是多少 3 CIF是什么 分辨率是多少 QUESTIONS ITU T标准及H 323 常见的国际标准化组织 国际电信联盟远程通信标准化组织 ITU T H 320 H 323H 261 H 263 H 264 H 239 H XXX互联网工程任务组 IETF SIP国际标准化组织 ISO MPEG1 MPEG2 MPEG4国际标准的重要性解决不同厂商产品的互通和兼容性问题保护用户的利益 现代的电视电话会议系统 现代的电视会议系统是建立在ITU T的H 32x系列框架协议之上的 目前主要以H 320系列 包括320 321 322 和H 323应用最为广泛 其相关标准如下 H 320框架建议是基于窄带ISDN 包括DDN网 的视频会议系统系列协议集合 具体线路接口 ISDN E1 T1和V 35 DDN等电路线路 特点 技术成熟 专网专用 是对安全保障敏感的行业的首选类型 此类线路在图像质量 稳定性等方面都有保证 只是难以充分利用当前网络资源 且建设和使用费用较为昂贵 H 320框架建议 概述 视频会议标准 H 320 H 320标准方框图 视频编码H 261 H 263 H 264 音频编码G 711 G 722 G 728 G 722 1 G 722 1C 控制信令H 281 H 243 数据传输T 120 H 239 通信规程H 242 H 230 H 221 Network H 323框架建议是基于宽带IP网的视讯会议系统系列协议集合 线路类型 LAN ADSL等IP线路 优点 一网多用 使用费用低廉 系统要求简略 操作简单 易于互动 市场价格较低 基于这些优势 IP网络发展十分迅速 缺点 由于IP网络本身QoS没有得到完全解决 系统稳定性较差 H 323框架建议 概述 H 323协议结构 H 323协议体系结构 78 实际中在H 323端点之间交换的消息是由H 225 0和H 245这两个协议定义 H 225 0协议包括两个部分 一部分是ITU TQ 931建议的变体 用于在H 323端点之间建立以及拆除连接 被称作呼叫信令或是Q 931信令 另一部分被称作登录 许可和状态 RSA 信令 用于端点和关守之间 使关守用该信令来许可或是拒绝端点对网络资源的访问 H 245是用于两个或多个端点之间的控制协议 它可以确保一个实体只发送能够被另一个实体接收和理解的媒体 其运行在端点之间的一条或多条逻辑信道上 H 323交互 在终端之间打开呼叫信令通道或通过网闸路由 呼叫信令 H 225 描述了媒体 音频和视频 流打包 媒体流同步 控制流打包 以及控制消息格式 终端和网闸之间的信令 或网闸与网闸之间的信令主要使用三个字母作为命令 通常是请求 请求确认或请求拒绝典型的RAS命令RAS命令GRQ GCF GRJ网闸请求 确认 拒绝ARQ ACF ARJ管理请求 确认 拒绝RRQ RCF RRJ注册请求 确认 拒绝 RAS 注册管理状态 RAS Q 931和H 245 可用来建立呼叫 维持呼叫和拆除呼叫 不同协议消息的传递是交替进行的 下图简单描述了一个呼叫的建立过程以及呼叫过程中各相关协议的控制作用 可以这样理解 当一个端点想要与另一个端点建立呼叫时 首先 源端点使用RAS信令来从一个关守那里获得许可 然后 源端点用Q 931信令来建立与目的端点的通信 最后 源端点使用H 245控制信令与目的端点协商媒体参数并建立媒体传送 H 323交互 H 323基本呼叫过程 主叫 被叫 建立TCP连接 Setup CallProceeding Alerting Connect 建立H 245会话 交换多媒体信息流 释放H 245会话 ReleaseComplete H 225 0Q 931信令 SetupCallProceedingAlertingConnectReleaseCompleteInformation 84 H 245 H 245的主要作用是多媒体通信控制通信双方的能力协商建立用于传输多媒体信息流的RTP通道主要信令消息TCS TerminalCapabilitySet 能力交换 MSD Master SlaveDetermination 主从确定 OLC OpenLogicalChannel 打开逻辑通道 85 H 245 多媒体通信控制协议要求3层 目的和源的IP地址使用动态4层地址H 245命令作为IP数据包上TCP发送H 245特定描述如下描述怎样的能力交换完成以建立给音频编码 视频编码 其他多媒体操作的普通协议描述命令 指示和主从判定的多点命令 指示和终端命令描述更多联系命令和流控 带宽控制描述动态开放和关闭音频 视频 内容 信令的逻辑通道 H 245 用于打开和关闭传输音频 视频和数据的逻辑信道以及容量交换 模式请求 控制和指示 H 245 87 能力集交换和主 从判定IPVTC VCS系统通知和接收来决定最大公因数主 从来决定哪个终端可先打开UDP逻辑通道 H 245 88 打开RTP RTCP传输的UDP逻辑通道H 245描述RTP使用偶数编号UDP传输套接字和RTCP使用奇数编号UDP传输套接字 H 323交互带GK模式 结构图