视频会议基础知识

视频会议基础知识王龙

Nov18，2010音频视频ITU-T标准及H.323目录音频部分类型和用途声学特性关键距离电子特性麦克风和会议室布局会议室礼堂远程教室音频设备类型和用途桌面式手持式领夹式无线麦克定向/鹅颈麦克吊顶麦克音频设备–麦克风桌面式无线/领夹吊顶手持鹅颈定向式拾音方向固定拾音距离大于全向麦克全向式所有方向的拾音都相等需要屏蔽拾音半径内的噪音音频设备–麦克风声学特性定向心型超心型特心型双向全向灵敏度噪声消除音频设备–麦克风关键距离（ShureBrothers）“...thedistancefromasoundsourceatwhichthelevelofdirectsoundhasfallentotheleveloftheambientsound…”关键距离（Davis）...thedistancefromasoundsourceatwhichthelevelofdirectsoundis20dBabovetheambientsound…音频设备–麦克风声学特性音频设备–麦克风电子特性音频源阻抗典型的麦克风阻抗为150ohm平衡线信号电平需要将麦克电平转换成线路电平需要40到60dB的增益领夹式麦克通常比桌面式少20dB供电要求幻影电源连接音频设备–麦克风

麦克风混音:“...usedwhenseveralmicrophoneinputsneedtofeedacommonsounddistributionsystem…”--AudioCyclopedia预放大增益控制提供幻影电源辅助输入和输出均衡连接音频设备–混音设备手动输入电平预设置（增益）打开/关闭输入预设置输出电平应用麦克风的拾音范围不能覆盖到其他麦克风的拾音范围。自动输入电平预设置（增益）将不需要的输入静音根据打开的麦克风数量调整输出电平可能包含其他内置自动增益控制通常与回声抑制器的配合较差音频设备–混音设备相关设备VCR音频卡带播放器激光播放器计算机音频编解码器音频会议室音频连接阻抗信号电平接口类型电缆类型音频设备–互联VCR音频混音设备编解码器卡带播放器计算机音频会议室音频音频设备–会议室音频扬声器类型有源音箱被动式功率需求需要维持20dB的信噪比(perDavis)70到90dBSPL的会议室最适合演讲所有声压通过声压表测量音频输入设备声音分布标准的扬声器安装/位置吸顶式扬声器安装分布式扬声器安装心理声学原则声音和视频画面的匹配时间延迟噪音和其他干扰大型会场音响的连接MIC调音台功放音箱声音信号远端声音本地声音混响在指定空间内伴随的不连续的声音用于音乐，但不适合演讲/开会通常由于墙壁的反弹造成，会造成讲话词语不完整等现象回声颤动–由于较硬的桌面反射造成拍打–由于墙面反射造成，比如在某些会议室中拍手后可以听到两次拍手Mountainyodel–延时造成，就像在山谷里喊叫，很久才听到回声一样，出现在很大型的会议室中会议室声学和布局反射声音在制定空间中来回反弹会议室中如果有较多的玻璃或者非常硬的墙面或只有一个空的房间会容易造成反射可以在会议室中放置一些家具来消除反射噪音环境声–与演讲者声音无关的声音空调声音、投影机风扇声音、PC/笔记本电脑声音隔壁房间人的声音人员移动的声音和其他噪音看的到的（开门/关门、走廊里走路的声音、开关窗户的声音）看不到的（空调系统、风扇、等等）理想的会议室噪声水平是40dBA会议室声学和布局声学处理为了减少回声、混响、反射和控制噪音，需要对会议室进行处理吸音材料用NRC（降噪系数）来衡量常见的吸音材料是地毯、窗帘、石英棉等会议室声学和布局材料NRCBrick,painted.00-.02Brick,unpainted.00-.05Carpet,indoor-outdoor.15-.20Carpet,heavyonconcrete.20-.30Carpet,heavyonfoamrubber.30-.55Concrete(smooth),painted.00-.05Concrete(smooth),unpainted.00-.20Concrete(block),painted.05Concrete(block),unpainted.05-.35Cork,floortiles(3/4"thick).10-.15Cork,walltiles(1"thick).30-.70Drapery,lightweight(10oz.).05-.15Drapery,mediumweight(14oz.),velourdrapedtohalf.55Drapery,heavyweight(18oz.),velourdrapedtohalf.60FabriconGypsum.05Fiberglass,3-1/2"batt.90-.95Fiberglass,1"Semi-rigid.50-.75Glass.05-.10模拟音频信号必须通过编码/解码以及压缩/解压缩过程才可以在网络上进行传输。以下是使用在视频会议中的ITU-T音频相关标准G.711-音频频率的脉冲编码调制G.722-64Kbit/s的7KHz音频解码G.728-使用低延迟CELP算法在16Kbps上编码演讲者（码激励线性预测）G.729-在8Kbit/sCS-ACELP编码演讲者G.723.1-双比率演讲编码器/多媒体5.3/6.3KbpsG.722.1–在32Kbit/s下使用低帧率附录A:包格式，能力鉴定和能力参数的系统里手动自由操作编码音频编码及压缩标准带宽–带宽也就是编码采样频率。理论上来说采样频率越高，声音质量越高编码速率–在同等带宽下，音频编码速率越高，会影响视频编码速率。模拟到数字编码以及数字到模拟解码的转换会带来失真DSP是专门用来完成编码\解码以及压缩\解压缩的部件DSP的性能是由运算速度和内存来衡量的编码\压缩的延时声音采样或视频采样后需要时间进行编码和解码音频大约需要10-40ms/视频大约需要80-280ms编码属性CCITT带宽(Hz)速率(Kbps)编码算法G.711300-340048,56,64PCMG.722.150-700024,32ACELP-PT716子集包

G.72250-700048,56,64双带ADPCMG.728300-340016低延迟CELPG.723.1语音编码器5.3,6.3ACELP/MPMLQG.729语音编码器8结合结构-CELPG系列标准Q&A?1.Mic的距离位置应该如何摆放

？2.人耳的听力频率范围是多大？3.理想的会议室噪音水平应该是多大？4.G.711和G.722分别提供多大带宽的音频编码？QUESTIONS视频部分摄像机和镜头的功能景深视野白平衡分辨率和带宽云台（PTZ）视频摄像机收集光信号将光信号转换成电信号将电信号格式化并输出摄像机功能聚焦光线组合镜头手动对焦自动对焦自动对焦技术摄像机、镜头对焦变焦控制通光量光圈自动光圈曝光时间自动曝光摄像机、镜头景深在制定的摄像机画面中能够被清晰聚焦的物体的距离范围摄像机、镜头视野摄像机可以看到的场景大小摄像机、镜头灵敏度:“需要多少光线”(lux)Lux,footcandles（尺烛光）,lumens（流明）视频会议最佳照度是500-700流明或50-70尺烛光使用测光表测量自动增益控制(AGC)自动增益控制和光圈的区别摄像机色度白平衡调整红、绿、蓝三色的平衡色温补偿伽马校正摄像机分辨率电视线像素传感器类型三片式3CCD，3CMOS单片式分辨率可用标准测试卡测试摄像机云台功能PTZ水平/上下转动系统恒定的速度与变焦相关的速度变焦倍数控制开关智能控制系统自动跟踪摄像机视频制式35制式名历史应用区别NTSC制(NationalTelevisionSystemsCommittee)正交平衡调幅制1952年美国国家电视标准委员会定义的彩色电视广播标准美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等国和中国的台湾采用这种制式525行/帧,30帧/秒;隔行扫描;颜色模型：YIQ

PAL制(Phase-AlternativeLine)逐行倒相正交平衡调幅制德国(当时的西德)于1962年制定德国、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式625行(扫描线)/帧，25帧/秒;隔行扫描，2场/帧，;颜色模型：YUVSECAM制。(法文：SequentialColeurAvecMemoire)顺序传送彩色与存储制法国制定法国、苏联及东欧国家采用这种制式。世界上约有65个地区和国家试验这种制式625行(扫描线)/帧，25帧/秒;隔行扫描视频格式CIF(CommonIntermediateFormat-通用中间格式)StandardPixelsResolutionSQCIF

12,288128x96

QCIF25,344176x144CIF101,376352x2884CIF/SD405,504704x57616CIF1,622,0161408x1152720p921,6001280x7201080p2,073,6001920x1080NTSC、PAL、SECAM和YUV标清电视分辨率RGBYPbPr模拟、DVI-A、RGB数字和DVI-D高清电视分辨率分辨率通过以下方式衡量：每一个完整视频帧或画面的电视线或亮度和色度线的数量NTSC525线/PAL625线分量视频每线的红、绿、蓝像素*画面的线数640x480、800x600、1024x768、704x576(720*480)、1280x720、1920x1080VGASVGAXGASD-TVHDTVFULL-HD视频分辨率和视频格式视频会议与广播电视广播电视广播级高质量,无压缩或压缩比较低占用传输带宽大（模拟电视每套节目的频宽是8MHz,数字电视是30Mbps)传输延时大(单向3秒左右)视频会议（会议电视）商用用质量,高压缩率,最少1:100(H.261,CIF,2Mbps)采用低带宽传输(128–384–768–1920Kbps)双向交互，实时性要求高，延时非常小。广播级TV所有亮度的线和色度的线都是可呈现的（没有压缩）H.261,H.262,H.263,H.264取代发送和一个说话者的整个画面，我们仅更新改变部分的区域（压缩）：像素冗余帧到帧图片被分解成更加小的图片元素小块或像素–宏块视频压缩技术帧率帧率--每秒钟时间里传输的图片的帧数常见的帧率15帧/S（图像有“跳动”）30帧/S（图像比较流畅）60帧/S明显提升交互感和逼真感）帧率越高流畅度越高常见帧率+分辨率1080P30帧720P30帧720P60帧40视频会议图像由宏块组成一个宏块包含256块像素16垂直…16水平720pHD的定义为:1280水平像素720垂直像素每帧图像：（1280/16）x（720/16）=3600宏块视频会议应支持25/30fps运动图像需要3,600x30=108,000宏块/秒16块像素16块像素宏块宏块

108,000宏块/秒宏块视频编码算法视频图像数据有极强的相关性，存在着有大量的冗余信息空域冗余每帧画面内相邻像素之间相关性很大时域冗余相邻帧之间存在很大的信息冗余量编码技术就是去除数据之间的相关性帧内编码技术帧间编码技术帧内压缩类似于图片的压缩，是把整幅图像分成若干个宏块后进行编码压缩，形成一个关键帧（I帧）。在一秒的25帧中只有2-5帧为I帧。帧间压缩，采用运动预估、差值算法等方法，所有的信息都是根据I帧进行推算得出的。视频信号的压缩编码I帧I帧（Iframe）又称为内部画面(intrapicture)，I帧通常是每个GOP（MPEG所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点。I帧法是帧内压缩法，也称为“关键帧”压缩法。I帧法是基于离散余弦变换DCT（DiscreteCosineTransform）的压缩技术，这种算法与JPEG压缩算法类似。采用I帧压缩可达到1/6的压缩比而无明显的压缩痕迹。I图像（帧）是靠尽可能去除图像空间冗余信息来压缩传输数据量的帧内编码图像在编码的过程中，部分视频帧序列压缩成为I帧；部分压缩成P帧；还有部分压缩成B帧。I帧I帧（帧内编码帧）是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码。视频序列中的第一个帧始终都是I帧。如果所传输的比特流遭到破坏，则需要将I帧用作新查看器的起始点或重新同步点。I帧可以用来实现快进、快退以及其它随机访问功能。如果新的客户端将参与查看视频流，编码器将以相同的时间间隔或者根据要求自动插入I帧。I帧的缺点在于它们会占用更多的数据位，但从另一方面看，I帧不会产生可觉察的模糊现象。P帧在针对连续动态图像编码时，将连续若干幅图像分成P,B,I三种类型，P帧由在它前面的P帧或者I帧预测而来，它比较与它前面的P帧或者I帧之间的相同信息或数据，也即考虑运动的特性进行帧间压缩。P帧法是根据本帧与相邻的前一帧（I帧或P帧）的不同点来压缩本帧数据。采取P帧和I帧联合压缩的方法可达到更高的压缩且无明显的压缩痕迹。P图像（帧）是通过充分将低于图像序列中前面已编码帧的时域冗余信息来压缩传输数据量的编码图像，也叫预测帧；P帧P帧（帧间预测编码帧）需要参考前面的I帧和/或P帧的不同部分才能进行编码。与I帧相比，P帧通常占用更少的数据位；其缺点是，由于P帧对前面的P和I参考帧有着复杂的依赖性，因此对传输错误非常敏感。B帧B图像（帧）是既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像，也叫双向预测帧；一般地，I帧压缩效率最低，P帧较高，B帧最高。B帧（双向预测编码帧）需要同时以前面的帧和后面的帧作为参考帧。带有I帧、B帧和P帧的典型视频序列。P帧只需要参考前面的I帧或P帧，而B帧则需要同时参考前面和后面的I帧或P帧当视频解码器逐个帧地对比特流进行解码以便重构视频时，必须始终从I帧开始解码。如果使用了P帧和B帧，则必须与参考帧一起解码。I/P/B帧示意图典型的视频会议系统有足够的处理能力支持标清分辨率的人物和内容图像人物–25/30帧/秒的CIF或SIF内容-<9帧/秒的4CIF或4SIF目前的视频会议系统支持高清分辨率的处理人物和内容均可支持25/30帧/秒的720pH.261,H.263CIF 352X288QCIF 176X144SQCIF 128X96QQCIF 88X774CIF 704X57616CIF 1408X1152视频格式H.264SIF 360X2404SIF 720X480HD 1280X720pHD 1920X1080i/1920X1080pMPEG1使用CIF分辨率，用于CD-ROM或数字媒体的压缩，用于流媒体视频MPEG2使用4CIF分辨率，用于高质量视频或广播电视传送，用于流媒体视频JPEG静态图像压缩视频格式（续）H.261–是H.320系统和H.323系统必须具备的视频编码基于CIF和QCIF分辨率，最高可到30fpsH.263–H.320和H.323系统可选的视频编码相对于H.261有明显的质量提升，采用CIF/QCIF/SQCIF分辨率引入了更高的分辨率4CIF和16CIFH.264–由ITU批准，作为H.320/H.323系统的可选标准，由融合通讯的H.241标准引入在更低的速率下达到更高的分辨率基于SIF分辨率使用等级来定义分辨率Level1–一些4:3的格式和分辨率Level2–一些16:9的格式和分辨率ITU视频编码标准复合视频接口一体化视频信号被称为NTSC/PAL通过同轴电缆传送，峰峰电压1VY与Cb和Cr信号重叠噪声由重叠产生支持350线以下的清晰度视频连接黄色RCA接头单根同轴电缆EIARS-170标准ITU-RCCIR.601视频传输和连接Y/C接口Y=亮度信号（包含黑白信号和同步信号）C=色度信号（包含绿色和红色色度信号）连接可以提供高于500线清晰度各种不同的名称S-VIDEO，超级视频，超级VHS4芯连接器，使用两根同轴电缆2个BNC连接器视频传输和连接分量视频分量视频接口同轴电缆BNC接头RCA接口所有同轴电缆为相同长度视频传输和连接

PC和笔记本视频接口PC显示器采用VESA组织定义的D15高密度D型接口大多数情况下被称作VGA接口随着PC显卡和显示器中数字处理的引入，VESA开发了额外的针脚定义，使得PC接口和显示器之间能够协商分辨率视频传输和接口DVIDVI是由DDWG组织开发DVI-D接口是D型18针接口DVI-A接口在接地信号周围定义了额外的模拟信号针脚DVI–数字传输是一个平衡串行接口4线接口串行电缆可以支持640x480到1600x1200之间的分辨率8线接口可以最高支持到2000x2000DVI-A模拟VESA信号到模拟DVIDVI-D仅数字DVI-I集成了模拟和数字视频传输和接口DVI接口DVI-I母头模拟针脚数字平衡DVI-D公头PC或笔记本电脑显示接口用户替换VGAD15接口DVI-A公头模拟RGB或YPbPr视频传输和连接MDISVESA商标由Molex设计DMS-59接口可用与PC双路视频Y型电缆配置，可用于生成两个VGADB15HD接口Y型电缆配置，可用于生成两个DVI-I接口电缆针脚可支持Y/C电视信号视频传输和接口POLYCOM私有60针接口（HDCI）采用MDIS接口，使用MolexDMS-59连接器及私有定义POLYCOM扩展该接口的应用使其支持DVI-D数字信号和YPbPr模拟信号，并包含了摄像机的控制信号POLYCOM高清摄像机与MDIS不兼容POLYCOM高清摄像机使用了所有的60个针脚视频传输和接口HDMI高清多媒体接口在一根电缆上支持标准、增强或高清视频，外加多通道数字音频。可传送所有HDTV标准并支持8通道数字音频，还有剩余的带宽可用于未来的扩展向后兼容DVI-D和数字RGB纯数字特点在RGB基础上增加YCbCr格式增加最高96KHz质量的数字音频增加控制信息提供CEC总线或低速远端控制接口HDCP高清内容保护视频传输和接口传统CRT已经淘汰背投显示器可视角度和对比度较差DLP或LCD投影用户创建无缝的多屏显示Plasma等离子显示器高对比度，但是容易烧屏LCD液晶显示器目前比较实用的选择SED表面传导电子发射显示器设计用来替换替换等离子，>50吋OLED有机发光二极管显示器设计用来替换LCD更薄更灵活高清显示器类型灯光灯光安装方式向下照射的灯光从背后照射的灯光阴影非直射灯光色温理想的视频会议室：3500K混合照明日光环境和视频摄像机自动对焦白平衡景深视野需要注意的：窗户过道家具投影环境和视频前景活动细节色彩碰撞背景背景中的活动细节色彩和亮度亚像素问题(sub-pixel)环境和视频布局环境和视频布局环境和视频理想的会场环境Q&A?1.理想的会议室环境色温是多少？2.视频会议最佳的照度是多少？3.CIF是什么？分辨率是多少？QUESTIONSITU-T标准及H.323常见的国际标准化组织国际电信联盟远程通信标准化组织(ITU-T)H.320，H.323H.261，H.263，H.264，H.239，H.XXX互联网工程任务组（IETF）SIP国际标准化组织（ISO）MPEG1，MPEG2，MPEG4国际标准的重要性解决不同厂商产品的互通和兼容性问题保护用户的利益现代的电视电话会议系统现代的电视会议系统是建立在ITU－T的H．32x系列框架协议之上的，目前主要以H．320系列（包括320／321／322）和H．323应用最为广泛，其相关标准如下：框架协议

H.320H.321H.322H.323H.324

适用传输网络电路交换网络

（ISDN.DDN等）B-ISDN.ATM

等有QOS的分组交换

网络无QOS的分组交换网络PSTN.POTS.

模拟电话网视频标准

H.261，H.263H.261，H.263H.261，H.263H.261，H.263H.261H.263音频标准G.711，G.722，G.728G.711，G.722，G.728G.711，G.722，G.728G.711，G.722，G.728，G.723，G.729G.723复用H.221H.221H.221H.225.0H.223控制H.230，H.242H.242H.230，H.242H.245H.245多点协议H.231，H.243H.231，H.243H.231，H.243H.323H.320框架建议是基于窄带ISDN（包括DDN网）的视频会议系统系列协议集合。具体线路接口：ISDN、E1/T1和V.35、DDN等电路线路。特点：技术成熟，专网专用，是对安全保障敏感的行业的首选类型。此类线路在图像质量、稳定性等方面都有保证，只是难以充分利用当前网络资源，且建设和使用费用较为昂贵。H.320框架建议－概述视频会议标准－H.320H.320标准方框图视频编码H.261/H.263/H.264音频编码

G.711/G.722/G.728/G.722.1/G.722.1C控制信令H.281/H.243数据传输T.120/H.239通信规程H.242/H.230H.221NetworkH.323框架建议是基于宽带IP网的视讯会议系统系列协议集合。线路类型：LAN、ADSL等IP线路。优点：一网多用、使用费用低廉、系统要求简略、操作简单、易于互动、市场价格较低，基于这些优势，IP网络发展十分迅速。缺点：由于IP网络本身QoS没有得到完全解决，系统稳定性较差。H.323框架建议－概述H.323协议结构语音视频应用终端应用控制语音视频编码RTCPH.225.0RAS信令协议H.225.0呼叫信令协议H.245控制信令协议RTPUDPTCPIP链路层物理层H.323协议体系结构物理层(IEEE802.3)数据连接层(IEEE802.3)H.323网络层(IP)UDPRTPRTCPTCP/UDPTCPUDP声音编码G.722.1CG.722.1G.722G.711..图像编码H.261H.263H.264..H.239H.225.0CallSignalingH.245H.225.0RAS终端控制与管理数据应用媒体流控制多媒体应用,用户界面78

实际中在H.323端点之间交换的消息是由H.225.0和H.245这两个协议定义。H.225.0协议包括两个部分：一部分是ITU-TQ.931建议的变体，用于在H.323端点之间建立以及拆除连接，被称作呼叫信令或是Q.931信令。另一部分被称作登录、许可和状态（RSA）信令，用于端点和关守之间，使关守用该信令来许可或是拒绝端点对网络资源的访问。H.245是用于两个或多个端点之间的控制协议，它可以确保一个实体只发送能够被另一个实体接收和理解的媒体，其运行在端点之间的一条或多条逻辑信道上H.323交互在终端之间打开呼叫信令通道或通过网闸路由呼叫信令:H.225Q.931定义了打包的机制和传送数据流时的同步机制RTP实时协议RTCP实时控制协议RAS注册管理状态描述了媒体(音频和视频)流打包，媒体流同步、控制流打包、以及控制消息格式终端和网闸之间的信令，或网闸与网闸之间的信令主要使用三个字母作为命令,通常是请求、请求确认或请求拒绝典型的RAS命令RAS 命令

GRQ,GCF,GRJ 网闸请求、确认、拒绝ARQ,ACF,ARJ 管理请求、确认、拒绝RRQ,RCF,RRJ 注册请求、确认、拒绝RAS:注册管理状态RAS，Q.931和H.245，可用来建立呼叫、维持呼叫和拆除呼叫。不同协议消息的传递是交替进行的，下图简单描述了一个呼叫的建立过程以及呼叫过程中各相关协议的控制作用。

可以这样理解：当一个端点想要与另一个端点建立呼叫时，首先，源端点使用RAS信令来从一个关守那里获得许可；然后，源端点用Q.931信令来建立与目的端点的通信；最后，源端点使用H.245控制信令与目的端点协商媒体参数并建立媒体传送。H.323交互H.323基本呼叫过程主叫被叫建立TCP连接SetupCallProceedingAlertingConnect建立H.245会话交换多媒体信息流释放H.245会话ReleaseCompleteH.225.0Q.931信令SetupCallProceedingAlertingConnectReleaseCompleteInformation……84H.245H.245的主要作用是多媒体通信控制通信双方的能力协商建立用于传输多媒体信息流的RTP通道主要信令消息TCS（TerminalCapabilitySet，能力交换）MSD（Master-SlaveDetermination，主从确定）OLC（OpenLogicalChannel，打开逻辑通道）85H.245-多媒体通信控制协议要求3层-目的和源的IP地址使用动态4层地址H.245命令作为IP数据包上TCP发送H.245特定描述如下描述怎样的能力交换完成以建立给音频编码&视频编码&其他多媒体操作的普通协议描述命令&指示和主从判定的多点命令，指示和终端命令描述更多联系命令和流控/带宽控