（机械电子工程专业论文）网络机器人基于internet视频传输.pdf

1 妇丘l 挫 & 茎坳1 论垃 世络虬盎厶基士i i 凸姓姓i 垃啦盐 摘要 p 5 , t 2 0 9 网络机器人技术是传统机器人技术和网络技术相结合的一f 、 新兴的”放，l 的分伟式的机器人控制技术。由于目前机器人技术的发展情况，机器人还不町能 完全自主地完成所有交付的任务。将人作为一个环节加入到机器人控制系统中， 为机器人提供实时的关键性的指导，成为机器人技术研究领域中的热门课题。随 着网络技术的迅猛发展，拓展了信息传输的领域，为控制人员与机器人之? 州高息 变目：提供了必要的途径，使得机器人基于网络的远程监控与远程操作的实现成为 j 能。视频信息是控制人员获得机器人工作状态的最有力途径，从机器人到控制 人员之间的视频信息的实时传输成为关键课题。 本文主要目标为：钊对网络机器人的具体实际情况。研究劳实现适用于网络 机器人与控制人员之间进行信息交互的视频实时传输方法。主要针对两方面问题 眨玎研究，一是刈适用于网络视频实时传输的视频编码、解码算法的研究，史现， 17 是对适用于网络视频实时传输的网络传输协议的研究与实现。 本文主要内容包括：第l 章介绍网络机器人研究现状和发展趋势，及网络机 器人系统的基本组成；第2 章结合网络机器人的具体情况，分析视频的预处理方 衡问题，包括：视频采集，视频编码及视频解码等，提出十耳应的解决方案，为视 频的网络传输提供条件；第3 章、第4 章介绍i n t e r n e t 使用最广泛的t c p i pm 议 和套接r 编程原理。介绍基于t c w i p 协议的实时传输协议( r t p ) 和实时传输控制 坍议( r t c p ) ，深入研究并探索基于实时传输协i y ( r t p ) 矛n 实日寸传输挎制协议 r t c p ) 之上的适用于网络机器人的视频实时传输的方法：第5 章到第7 章介绍o _ 蚓络机器人视频传输技术相关的其它技术；第八8 、9 章按照以上章节提m 的月 法，通过编制应用成程序在w i n d o w s 平台上实现网络机器人视频传输；第1 0 章 分析实验结果并加以总结。 关键字：网络机器人，视频编码，视频解码，r t p ，r t c p ，实时传输协议， 实时传输控制协议，网络视频传输 由斑型工厶堂! ! j ! jl 。论g 幽经灿揣厶基土j 口i 口魁拙频佳箍 a b s t r a c t n e t w o r kr o b o t i c si san e wo p e nd i s t r i b u t e d r o b o t c o n t r o l l i n gt e c h n o l o g y c o m b i n i n g c l a s s i c a lr o b o t i c sa n d n e t w o r k t e c h n o l o g y b e c a u s e o fr o b o t i c s d e v e l o p m e n tt o d a y ，r o b o t c a n n o t a u t o m a t i c a l l ya c c o m p l i s h a l lt a s k st h a th u m a n s u b m i t a d d i n gh u m a n i nr o b o tc o n t r o ls y s t e m ，p r o v i d i n gk e yi n s t r u c t ，b e c o m eak e y t e c h n o l o g yw i t h n e t w o r k t e c h n o l o g y sr a p i dd e v e l o p m e n t ，i n f o r m a t i o nt r a n s p o r t a t i o n a r e a sa r ee x p a n d i n g ，p r o v i d i n gm e t h o df o re x c h a n g i n gi n f o r m a t i o nb e t w e e nc o n t r o l l e r a n d r o b o t ，r e m o t em o n i t o r i n g a n dr e m o t e c o n t r o l l i n g o fi n d u s t r yr o b o ti sn o t i m p o s s i b l e v i d e oi n f o r m a t i o ni sa b e s tm e t h o dt h a th u m a nc a na c q u a i n tr o b o t ss t a t u s t h er e a l t i m ev i d e ot r a n s p o r tt e c h n o l o g yb e t w e e nh u m a na n dr o b o tb e c o m eav e r y i m p o r t a n tt e c h n o l o g y t h i s p a p e ro b j e c t i v e i s r e s e a r c h i n g a n d r e a l i z i n g n e t w o r kv i d e or e a l - t i m e t r a n s p o r tb e t w e e nc o n t r o l l e ra n dr o b o t ，i n c l u d i n gt w oa s p e c t s ，o n ei st h em e t h o do f v i d e oe n c o d i n ga n dv i d e od e c o d i n ga p p l y i n gn e t w o r kr o b o t i c s ，t h eo t h e ri sn e t w o r k v i d e or e a l - t i m et r a n s p o r tp r o t o c 0 1 t h i sp a p e rc o n t e n ti n c l u d e s ：c h a p t e r1i n t r o d u c et h e d e v e l o p m e n to fn e t w o r k r o b o t i c sa n dt h e c o m p o n e n t s o fn e t w o r kr o b o t s y s t e m ；c h a p t e r2 d i s c u s sv i d e o p r e t r e a t m e n ti n c l u d i n gv i d e oc a p t u r i n gv i d e oe n c o d i n ga n dv i d e od e c o d i n gp r o v i d i n g f o rn e t w o r kv i d e or e a l t i m et r a n s p o r t i n g ；c h a p t e r3a n dc h a p t e r4i n t r o d u c et c p i p a n dp r o g r a m m i n gm e t h o da b o u ts o c k e t ，t h e nr e a l t i m et r a n s p o r tp r o t o c o l ( r t p ) a n d l - e a l 。t i m et r a n s p o r tc o n t r o lp r o t o c o l ( r t c p ) a r e d i s c u s s e d ，b a s i n go nr t pa n dr t c p n e t w o r kv i d e ot r a n s p o r t i n gm e t h o di s p u tf o r w a r df o rn e t w o r kr o b o ts y s t e m ；f r o m c h a p t e r5t oc h a p t e r7o t h e rt e c h n o l o g i e sa b o u tn e t w o r kr o b o t i c sa r ei n t r o d u c e da n d d i s c u s s e d ；c h a p t e r8a n dc h a p t e r9o nw i n d o w sp l a t f o r mt h i sm e t h o di si m p l e m e n t e d ， a p p l i c a t i o np r o g r a m m i n gi sw o r k o u t ，e x p e r i m e n ti sd o n ea n dr e s u l t si s a n a l y z e d ； c h a p t e r1 0s u m m a r i z e k e y w o r d s ：n e t w o r kr o b o t ，v i d e oe n c o d e ，v i d e od e c o d e ，r t p ，r t c p ，r e a l t i m e t r a n s p o r tp r o t o c o l ，r e a l t i m et r a n s p o r tc o n t r o lp r o t o c o l ，n e t w o r kv i d e ot r a n s p o r t 直丘：型工厶：堂地l j 企业 剀络盥i 拦厶基土j d 墟 吐主1 5 i 颤盐血 1 概述 机器人并不是在简单意义上代替人工劳动的工具，而是综合了人的特长和机 器特长的一种拟人的机电一体化设备，既有人对环境状态的快速反应和分析判断 能力，又有机器可长时间持续工作、精确度高、抵抗恶劣环境的能力，从某种意 义上浼它也是机器的进化过程产物，它是制造业领域中的重要生产性设备，也是 i ：i i i 造业领域中不可缺少的服务性设备。 机器人根据其应用领域，可分为两大类：工业机器人和服务机器人。工业机 器人由操作机( 机械本体) 、控制器、伺服驱动系统和检测传感装置构成，是一 种仿人操作、自动控制、可重复编程、能在三维空间完成各种作业的机电一体化 n 动化生产设备。特别适合于多品种、变批量的柔性生产。它对稳定、提高产品 质鞋，提高生产效率，改善劳动条件和产品的快速更新换代起着十分重要的作用。 目前，服务机器人仍处于其发展的早期阶段，在国际上对它还没有什么严格的定 义。不过国际机器人联合会为它下了一个初步的定义，准备几年之后根据情况的 发展作进一步地修改，下面就是这个初步的定义：服务机器人是一种半自主或全 自主工作的机器人，它所从事的服务工作可使人类生存得更好，使制造业以外的 设备更好地工作。根据这定义，非制造业用的操作型工业机器人也可以看作是 服务机器人。服务机器人可以装有也可以不装象工业机器人那样的手臂，它可以 是运动的，但并非是一直在运动。在某些情况下，服务机器人可由一个移动平台 构成，上面装有一只或数只手臂，其控制方式与工业机器人手臂的控制方式相同。 机：； ； 人技术是综合了计算机、控制论、机构学、信息和传感技术、人工智能、仿 小。丫：等多学科而形成的高新技术，是当代研究十分活跃，应用同益广泛的领域。 机器人应用情况，是一个国家工业自动化水平的重要标志。 从机器人诞生到2 0 世纪8 0 年代初，机器人技术经历了一个长期缓慢的发展 过程。到了9 0 年代，随着计算机技术、微电子技术、网络技术等的快速发展， 机器人技术也得到了飞速发展。除了工业机器人水平不断提高之外，各种用于非 制造业的服务机器人也有了突飞猛进的进展。但随着时间的推移，机器人技术的 不断发展，应用领域的不断扩大，现有的机器人系统也逐渐显现出其不可避免的 局限性，对具有更加强大功能的机器人的需求也r 益增强。 机器人与外部( 甚至远距离) 真实世界有丰富的传感器联接方式( 视觉、触 觉和位置传感等) ，与现有i n t e r n e t i n t r a n e t 技术结合起来，尽可能延伸 i n t e r n e t i n t r a n e t 的应用领域，在其可以延伸到的地方以相当低廉的价格实现机器 人远程监视与远程操作，具有深远的研究意义。另外，受现有机器人技术的限制， 机器人不可能自主地完成所有的任务，因此人将作为一个控制环节加入到机器人 控制系统中，对机器人的操作提供关键性的指导，采用宏观人工监控和局部自主 第l 页 丑基型工厶：兰i i | | 1 论g瞪强蚍盎厶基士i d 垃凹i 础频佳拗 结合的遥控操作网络机器人技术已成为当前机器人领域的一个研究热点。 1 1 网络机器人研究现状 到现在，已经有几个机器人连到i n t e r n e t 上，通过i n t e r n e t 远程控制来实现 动作。“探宝机器人”可以说是世界上最早运用的例子。该系统采用h t m l 来使 p u m a 机器人动作，用探头( 摄像机) 来寻找埋在沙土中的宝物。将w e b 浏览器作 为人一机接口使用，将h t t p 作为通信协议使用，许多人可以操纵该机器人。据 观其人数可达1 0 0 万以上。这是最多人使用远程操作系统的例子。在史密索尼昂 炎术馆中展览的移动机器人的例子，它超越了w e b 给人们以美的享受。在同本 的筑波大学进行着同样的项目，但因各国的法规不同，r 本无法在美术馆中进行 咳项实验。然而这个例子引起了人们的极大兴趣，实际访问史密索尼昂的人与经 i b 网络访问的人一样，能给机器人发出移动指令。经由网络访问的人是经人机接 口使用w e b 浏览器，与到现场的人一样，同样是一名顾客。还有一例，即在测 距仪、立体摄影机、操作机的前面使用接触棒等而构筑的机器人系统。此外，国 外的其他研究人员在基于i n t e r n e t 远程控制技术方面做出了成果和产品。 国内在该机器人系统的研究丌发方面起步较晚，也有些研究人员从事该方向 的研究工作。其相应的研究方向如：具有视觉定位定向功能的机器人系统，面向 机器人系统的虚拟现实技术以及网络机器人系统也都列入“。卜五”目标及主要研 究内容。 1 2 网络机器人发展趋势 1 2 1 基于网络的极限环境工作机器人 机器人代替人类工作，最能发挥作用的场所是对人类有危险的环境，如有放 射性的地方，被污染的环境。煤矿、深海和太空等极限恶劣环境将成为机器人活 跃的场所，又如用在高层建筑或油阳进行灭火救灾等。要求灵活性和高可靠性的 操作技术、若出现通信时间延迟也能简单使用的自律动作计划技术、对象物的以 别及定位用的视觉技术等都需要进一步改善。还有在公用空问不能伤害到人的安 全性也很重要。再有实现上述最尖端技术的前提是要降低成本。 1 2 2 基于网络的医疗福利机器人 2 1 世界初叶丌始的高龄化社会目前得到控制，一个有希望的应用领域是远 程健康监控。它在人们的同常生活中，睡眠、吃饭、沐浴、排泄等一系列生理活 动进行长时间测定，而使用者可无意识的、随意做任何事情，测定的数据自动送 到远程管理中心进行分析，若发现异常立即进行诊断和治疗。只常生活中需测定 的生理量有：在床上需要测的有体温、体动、睡眠时间、心电图、心率、呼吸； 第2 页 直立型： 厶生f ! i ：i 企童l 丑络趔【箍厶基土i 口墟 口廿出蝴挂盐 住浴池中需要测的有脉搏跳动速度；在洗手问需要测的有体重、排泄量、血液成 分等。例如，丌发采用视觉的自动诊断系统，它可以对睡眠时无呼吸症状的疾病 进行自诊断。为扩大这种应用，必须丌发用于生理量等的无拘束检测技术、“傻 瓜”人一机接口、永久性的通信密码技术、便于家庭内简便连接机器技术等。其 中自两项并非只是机器人研究人员应丌发的技术。 1 2 3 服务网络机器人 宾馆、酒店、智能楼宇的服务正向商业化、规范化、智能化、网络化及综合 化方向发展，不仅需要服务方亲和力的表现，也需要高科技拟人化的机器人作为 拽术服务的支撑。利用现代网络技术对机器人系统进行远程遥控与操作，已成为 最新n 勺荆l 器人研究方向之一。在综合性的服务场所配备一台“智能服务机器人系 统，使其在服务大厅、各层楼等为被服务方提供综合的迎宾服务( 接待客人、与 人对话、迎宾动作、声控表演、搬运行李等) 、咨询服务( 事件询问、人员登录、 预定客房、查询信息等) 及网络技术服务( 递送文件、网络支持) 等，已成为提 高综合服务层次的重要体现和标志，市场前景看好。 1 2 4 娱乐网络机器人 从以上例中可清楚地知道，只是远距离能看到，作为娱乐的需求是有限的。 例如，在美术馆欣赏美术作品、在百货商店中看商品或用摄像机确认旅游胜地的 景致等。这些应用中存在的问题是图像的质量。尤其是需确认美术作品或商品的 质哦州，业追求精荚的图像。为实现这一愿望，必须丌发大容量通信线路、压缩 披术、仃频。帛保证的通信协议等。 1 3 系统基本结构 幽1 1 网络机器人系统基本结构幽 机器人控制器应完成以下任务：视频采集，视频压缩，并将压缩后的视频信 号通过网络传输到服务器上，接受由服务器传来的控制信息，根据服务器的控制 信号控制机器人动作。此外机器人控制器还应该具有基于专家系统的自律能力或 自主能力，当由于网络传输阻塞或发生其他问题而造成服务器发送的控制信息不 可预知的延迟时，控制器可控制机器人停止工作或继续工作而不发生事故。 血立= 【= l ! 工厶坐地i 论业倒络址拦厶基士i 口垃 口日出蝴佳输 机器人控制器可采用专用平台或p c 平台实现。专用平台的优点在于其处理 速度快，稳定性高，容错性好，虽然外部设备接口标准都以标准化，硬件上不存 在兼容性问题，但出于没有统一的软件支持，其开发复杂，开发周期长。丌发出 适用于机器人控制的操作系统，统一丌发界面和编程接口，将对机器人技术的发 展起到巨大的推动作用。选用p c 平台，可以使用流行的操作系统，如w i n d o w s ， l i n u x 或q n x 等，这些操作系统支持大多数标准化的硬件设备，在这些操作系 统基础上的丌发软件也很多。视频采集设备有两种选择，模拟信号采集设备和数 字信号采集设备。模拟信号采集设备常应用于有线闭路电视系统，如果采用无线 传输其设备体积大，投资大，若需处理采集的视频信号仍须将信号进行a d 转 换。采用数字采集设备，可以避免模拟采集设备的缺点。 在以往的机器人系统中可以采用调制解调器作为网络通信设备，但视频传输 数据星大，所需网络带宽高，显然调帛4 解调器不适合。采用有线网卡，如果使用 血类双绞线作为传输介质，其距离不能超过1 0 0 米，即使使用千兆网线，其传输 距离也不能超过1 2 0 米。此外，由于网线的于扰，也限制了机器人的移动，系统 的稳定性也会降低。采用无线网卡，再不使用天线的情况下，室内的传输距离为 1 0 5 米，室外的传输距离为3 0 5 米，若使用天线，其传输距离可以增大到l o 公 埋，能够满足系统的要求。 相对于机器人控制器，服务器可以采用高性能的计算机，来完成大量耗时的 处理工作和计算工作，包括视频数据的接收和处理，以及向客户端提供服务。通 j 3 拧坫rh t t p 协议向客户端提服务，但该服务基于文件，须事先在服务器上存储 缓p ，冉将该缓冲作为文件发送到客户端，供客户端使用，势必造成不必要的延 心，该服务不适合提供实时视频服务。应另外丌发提供视频服务的软件模块，再 将该软件模块集成到w e b 服务中。采用这种分伟式网络计算结构，可以降低机 器人控制器的负担，以确保其对机器人动作的控制。 客户端可分为瘦客户端和零客户端。瘦客户端即利用专门丌发的软件通过服 务器控制机器人的客户端，零客户端即使用浏览器软件通过服务器控制机器人的 客户端。客户端既可以实时观看机器人采集的视频信息，也可以是根掘机器入采 集的视频信号产生的虚拟的场景。 1 4 研究途径及方法 采用丌放式，模块化的设计方法，结合传统机器人控制技术和网络技术，坝 究和丌发用于控制人员与网络机器人之间进行交互的网络视频实时传输方法。 1 , 4 1 网络视频传输技术 网络视频传送技术目前主要有下载和流式两种实现方案。这罩主要介绍流式 第4 页 亩血型工厶生i 一i 论韭 创强盟上拦厶基士j 口垃 n n 越频挂输 传输。实现流式传输有两种方法：实时流式传输( r e a l - t i m es t r e a m i n g ) 矛n j l n , 序流 式传输( p r o g r e s s i v es t r e a m i n g ) 。一般说来，如视频为实时广播，或使用流式传 输媒体服务器，或应用如r t s p 的实时协议，即为实时流式传输。如使用h t t p 服务器，文件即通过顺序流发送。顺序流式传输是顺序下载，在下载文件的同时 用户可观看在线媒体，在给定时刻，用户只能观看已下载的那部分，顺序流式传 输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的h t t p 服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作h t t p 流 式传输。顺序流式传输比较适合高质量的短片段，由于该文件在播放前观看的部 分是无损下载的，这种方法保证了视频播放的最终质量。这意味着用户在观看日口， 必须经历延迟，对较慢的连接尤其如此。对通过调制解调器发柿短片段，顺序流 式传输显得很实用，它允许用比调制解调器更高的数掘速率创建视频片段。尽管 有延迟，毕竟可让你发布较高质量的视频片段。顺序流式文件是放在标准h t t p 或f t p 服务器上，易于管理。顺序流式传输不适合长片段和有随机访问要求的 视频，如：讲座、演说与演示。它也不支持现场广播，严格说来，它是一种点播 技术。实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看 到。实时流与h t t p 流式传输不同，他需要专用的流媒体服务器与传输协议。实 时流式传输总是实时传送，特别适合现场事件。理论上，实时流一经播放就可不 停止，但实际上，可能发生周期暂停。实时流式传输必须匹配连接带宽，这意味 着在以调制解调器速度连接时图像质量较差。而且，由于出错丢失的信息被忽略 掉，j 叫络捌挤或出现问题时，视频质量很差。网络视频传送技术的应用将为网络 心交流带来革命性的变化，对人们的工作和生活将产生深远的影响。 1 4 2 无线局域网通信技术 尢线局域网通信技术是当今最热门的技术之一。在无线局域网中，8 0 2l l 指 由i e e e 提出的协议族，它们是8 0 2 1 1 ，8 0 2 1 1 a 和8 0 2 1 1 b 。所有这些协议都以 c s m a c d 为介质共享策略，如果源主机需要发送数据时，它必须检查传输介质 是否n i 在被别人使用，如果介质未被别人使用，就发送数据包；反之，源主机就 必须等待一段时间，等到介质空闲后才能够发送。源通过不断发出r t s ( 准备发 送) 包来检查介质的占用情况，在目的主机返回c t s ( 可以发送) 包后，源主机 就可以发送了。8 0 2 1 1 和8 0 2 1 l b 用于无线以太网，它的介质传输速率在2 4 g h z 上，传输速度为：8 0 2 1 l 是1 到2 m b p s ；8 0 2 1 i b 的速率为5 5 到1 1 m b p s 。但是 8 0 2 11 b 标准的速率上限为2 0 m b p s ，它保持对8 0 2 1 1 的向后兼容。8 0 2 1 l a 标准 用于无线a t m ，它的介质工作频率在5 到6 g h z ，它使用一种称为o f d m 的调 制策略使传输速率可以达到5 4 m b p s ，但我们通常使用的速率是6 m b p s ，1 2 m b d s 或2 4 m b p s 。 第5 页 出直：! ! 工厶兰越1 论盐幽络捌【拦厶基土i n l 士雀题监验 与有线网络一样，无线局域网同样也需要传送介质。但它不是使用双绞线或 者光纤，而是红外( i r ) 或者射频( r f ) 波段，以后者使用居多。 红外线局域网采用小于1um 波长的红外线作为传输媒体，有较强的方向性， 受太阳光的干扰大：支持l 2 m b p s 数据速率，适于近距离通信。而采用射频作 为媒体，覆盖范围大，发射功率较自然背景的噪声低，基本避免了信号的偷听和 窃取，使通信非常安全。 这其中，无线局域网一般普遍采用扩频微波技术，主要是由于如下因素： 第一：它使用的频段有三个，l 频段( 9 0 2 m h z 9 2 8 m h z ) 、s 频段( 2 4 g h z 24 8 3 5 g h z ) 、c 频段( 57 2 5 g h z 5 8 5 g h z ) 。大多数产品使用s 频段，这个频 殴也1 j qi s m ( i n d u s t r ys c i e n c em e d i c a l ) 即工业科学医疗频段，该频段在美国不 受f c c ( 美国联邦通信委员会) 的限制，属于工业自由辐射频段。 第二：采用扩频技术，特别是直接序列扩频调制方法具有抗干扰抗噪声能力、 抗衰落能力，隐蔽性、保密性强，不干扰同频的系统等性能特点，具有很高的可 用性。 1 4 3 通过i n t e r n e t 的远程控制技术 自万维网( w w w ) 问世以来，整个世界进入了网络时代。而机器人领域一直 在研究远程机器人，若将它与网络联结，就可以开拓网络机器人领域。以往的远 程操作系统多数是借助于通信路径，由特定的操作员来操作特定的机器人或加i l 机械等的1 对1 型系统。通信路径有用通信卫星的，也有用i s d n 的。而万维刚 | j ! 】j 是1 j个服务器使不特定的多数用户在网络上任意使用。可以说，这种系统无 沦什么时候、无论在哪儿、无论谁都可以使用。连接客户方和服务器方的的通信 叭议t c p i p ，它在世界上已完全标准化。w e b 浏览器具备动态图象、三维图形 的鼹示功能、声像显示功能，若基本上能满足机器人系统的人一机接口各项条件， 定通信区域，利用不能预测迟滞时间的接口作为前提，在万维网系统上构筑远 摊操作机器人系统也可以说是一种良好的选择。 第6 _ ! i c 强基型工厶望蛐1 诠垃 一。上蝗融山监厶盐土上盥皿“型脚 2 视频采集与视频编码、视频解码 2 i 视频采集 2 1 1 彩色空间表示及其转换 ( 1 ) r g b 彩色空间 在多媒体计算机中常用红、绿、蓝( r g b ) 彩色空阳j 表示，由于计算机彩色 监视器的输入需要红、绿、蓝( r g b ) 三个彩色分量，通过r g b 三个分量的小 同比例的组合，在显示器屏幕上可得到任意的颜色。在多媒体系统中不管采用什 么形式的彩色空矧表示，但最后要求输出的是转换成r g b 彩色空间表示。 ( 2 ) y u v 彩色空间 现代的彩色电视系统中，一般采用摄像机把摄到的彩色图像信号。经过分色 棱镜分成r o 、g o 、b o 三个分量的信号，经过放大和校正后得到r g b 信号，再 经过矩阵变换电路得到亮度信号y 和色差信号r y ，b y ，最后发送端将y 、r y 及b y 三个信号进行编码，用同信道经过高频功率放大，通过天线发送出去。 这种信号就是常用的y u v 彩色空间表示。出于这种彩色空蒯的亮度信号y 解次 了彩色电视与黑白电视的兼容问题，而且实验表明人眼对彩色图像细节的分辨能 力比对黑白低得多，因此可以对色度信号u 、v 采用“大面积着色原理”用亮度 编号y 传送细节而用色差信号u 、v 进行大面积馀色。 ( 3 ) r g r 与y u v 之间的转换 彩色镊像机得到的信号是经过y 校f 的r g b 信号。考虑到和黑白电视机兼容 及压缩编码，在传送过程中包含亮度信号和色差信号，则亮度方程可简化为： y = 03 r + 05 9 g + 0 11 b 从这个公式可看到，采用三基色显示彩色时，各基色组成亮度y 的比例关 系是不变的，这些比例系数也n q 做“可见度系数“它们的和为l 。这表示当基色 信号电压e l t 、e g 、e b 各为1 v 时，构成的亮度信号e y 也为1 v ， 在：二个色差信号中b y 、r y 、g y ，其中有两个是独立的，最后一个可用 亮度方程和两个色差信号通过运算得到。考虑到彩色与黑白的兼容问题和减少幅 度失真问题，则必须对彩色信号进行压缩具体方法是让色差信号乘 一个小于 1 的眶缩系数。经过运算整理得y u v 与r g b 之间的关系表达式。 2 1 2 视频采集卡的组成及工作原理 常见的视频采集卡的由以下部分组成： ( 1 ) 模数( a d ) 变换和数字解码 ( 2 ) 窗口拴制器 亩宝剑工厶：望蛆l 论皇一叫嚣吐止拦j 生i l 王! 如墟l 越衄u 皇盐 帧存储器系统 ( 4 ) 数模( d a ) 转换和矩阵变换 ( j ) 视频信号和v g a 信号的叠加 ( 6 ) 数字式多制式视频信号编码 视频卡的工作原理可橛述为：视频信号源的信号首先经过模数( a d ) 变 换，送到多制式数字解码器进行解码得到y 、u 、v 信号，然后由视频窗口控制 器对其进行剪裁，改变比例后存入帧存储器。帧存储器的内容在窗口控制下，与 v g a 同步信号或视频编码器的同步信号同步，再送到数模( d a ) 变换器模拟 彩色空剧变换矩阵，同时送到数字式视频编辑器进行视频编码，最后输出到v g a 监视器。 2 2 视频编码、视频解码 2 2 1 视频数据压缩 视频数掘经过数字化处理后其数据量是非常大的，如果不进行数据压缩处 理，计算机系统就无法对它进行存储和传输。另一个原因是视频数据具有很大的 压缩潜力。在多媒体视频数据中，存在着空间冗余、时阃冗余、结构冗余、知识 冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余等。它们为数掘压缩 技术的应用提供了可能的条件。因此在视频数据存储和传输中必须采用压缩技 术，它是多媒体技术中一项十分关键的技术。常用的压缩编码方法可以分为两大 类，一类是无损压缩法；另一类是有损压缩法。对视频数据压缩过程称为视频编 码，将压缩的视频数据还原的过程称为视频解码。 2 ，2 2 视频数据编码解码的国际标准 静态图像编码解码标准j p e g 1 9 8 6 年c c i t t 和i s o 两个国际标准化组织联合成立了一个联合图像专家组 j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) ，致力于建立适合彩色和萃色欢度级的 连续色调静止图像的压缩标准。 运动图像编码解码标准m f e g m p e g 标准是i s o i e c 委员会的第1 1 1 7 2 号标准，是针对全活动视频的压缩 标准。该标准包括m p e g 视频、m p e g 音频和m p e g 系统三大部分。m p e g 视 频是面向位速率约1 5 m b w s 全屏幕运动图像的数据压缩：m p e g 音频是面向每 通道速率为6 4 ，1 2 8 和1 9 2 k b i t s 的数字音频信号的压缩。 m p e g 输入图像亮度信号的分辨率为3 6 0 2 4 0 ，色度信号的分辨率为1 8 0 1 2 0 ，每秒2 9 9 7 帧，采用双向运动补偿。m p e g 把输入的视频信号分成组， 第g 负 血，虫型工厶_ 尘世 。论址 凼络灿盎厶盐土l 口i d 魁赳越j 主输 用三种图像格式标出：帧内图像、预测图像和差补图像。每组中的第一帧用帧内 图像格式编码，第1 m 、2 m 、3 m 帧( m 一般选为3 ) 用预测图像格式编码，其 它各帧使用差补图像格式编码。差补图像不仅利用过去的帧内图像或预测图像， 也利用未来的帧内图像或预测图像进行运动补偿，因此可以达到更高的图像n 三绵 率。 ( 1 ) m p e g i 标准 m p e g i 标准是运动图像专家小组1 9 8 1 年制订的数字存储运动图像及伴音 编码标准。该标准分为视频、音频和系统三部分。它是一个通用标准，即考虑了 应用要求，又独立于具体应用之上。视频部分为1 5 m b i t s 活动图像压缩编码算 法，对于带宽为1 5 m b i l j s 的位流，能够获得可按受的图像质量。该算法帧内编 码采用二维余弦变换、自适应量化、行程编码、变字长编码和d p c m 技术，帧 问编码采用运动补偿预测和运动补偿内插技术。m p e g i 对于较低的传输速率、 窄带宽的应用是相当完善的，并通过插值可处理大于3 5 2 2 , 1 0 的画面。 ( 2 ) m p e g i i 标准 m p e g i i 是m p e g i 的扩充，丰富和完善。m p e g i i 标准的视频数掘速率为 4 - 5 m b i t s ，能提供7 2 0 x 4 8 0 ( n t s c ) 或7 2 0 x5 7 6 ( p a l ) 分辨率的广播级质量的 视像，适用于包括宽屏幕和高清晰度电视在内的高质量电视和广播。 ( 3 ) m p e g 4 标准 m p e g l 、m p e g 2 标准均为高层媒体表示与结构标准，其交互性及灵活性较 低。i f im p e g 4 标准是对运动图像中的内容进行编码，其具体的编码对象就是图 像l 斗】的音频和视频，称为a v 对象。a v 对象可以组成a v 场景。因此，m p e g 4 标准就是围绕着a v 对象的编码、存储、传输和组合而制定的，高效率地编码、 组织、存储、传输a v 对象是m p e g 4 标准的基本内容。 a v 对象的基本单位是原始 a v 对象”，它们可能是个没有背景的说话的 人，也可能是这个人的语音或一段背景音乐等。m p e g 4 可以采用a v 对象来表 小听觉、视觉或者视听组合内容：允许组合已有的a v 对象来生成复合的a v 列 象，并由此生成a v 场景：允许对a v 对象的数据灵活地多路合成与同步，以便 选择合适的网络来传输这些a v 对象数据：允许接收端的用户在a v 场景中对a v 对象进行交互操作。 在视频编码方面，m p e g 4 支持对自然和合成的视觉对象的编码。合成的视 觉对象包括2 d 、3 d 动画和人面部表情动画等。在音频编码，m p e g 4 是在一组 编码工具支持下，对语音、音乐等自然声音对象和具有回晌、空问方位感的合成 声音对象进行音频编码的。m p e g 4 音频编码不仅支持自然声音，而且支持合成 声音。m p e g 4 的重要特点包括：( 1 ) 基于内容的普遍性。m p e g 4 能够直接选取 第9 烈 直立型工厶坐地1 诠生划络灿搂厶基士l 口i 虹i 虻麴挂输 爵频、视频内容进行编码，并对其灵活地进行控制和显示，用户可以自行选择场 臻扣的物体的解码质量，进行家庭影视节目制作和编辑。( 2 ) 以a v 为对象，增 删了交互性和扩展性，从而提高了交互应用的灵活性。( 3 ) 将各种功能应用在自 然的和合成的a v 对象上，增强了节目编辑制作能力。( 4 ) m p e g 4 在误码环境 中，尤其是在恶劣误码条件下的低比特率应用中的抗误码性，有利于节目制作、 分配和显示。 2 3 网络视频传输应选择m p e g 4 m p e g 4 基于场景描述和面积带宽设计的概念，使起在视频监控录像领域中 征以h l 个方面具有巨大的优势：录像存储容量、录像清晰度、网络传输。 ( 1 ) 大幅度降低录像存储容量 m p e g 4 在压缩方法上远远优于m p e g l ，更是m j p e g 不能比拟的。 经过测试表明，对静止、一般活动场景、剧烈活动场景三种情况下、在相同 清晰度对应m p e g l ( 5 0 0 k b i t s s e c ) 码流情况下，存储容量测试结果可见在静l t - 情况下m p e g 4 比m p e g l 节省了2 3 的硬盘空间! 在般活动场景下也节省近 般的容量。单从这项指标来看就能节省大量的硬盘投资，或者保留更长的存储 时间，同时降低了硬盘长时间大数据量写盘工作发热并可能导致的故障。 值得说明的是，目前市面m p e g l 压缩芯片通常只支持定码流压缩，因此在 场漩活动期i 刷情况下存储容量不便，但是回放画面可以发现马赛克显著增加，同 叫运动部分图像清晰度下降。而m p e g 4 可以根掘场景变化自动调整压缩方式， 保留较好的存储图像。 ( 2 ) 较高的录像清晰度 尽管m p e g 4 从标准指定之处是瞄准在低带宽上的音视频解决方案，但是它 独特的压缩方式同样也适合c i f 或更高清晰度( 7 6 8 * 5 7 6 、6 4 0 * 4 8 0 ) 的视频压缩， 这样它就有效突破了m p e g l 最大清晰度c i f ( 3 5 2 * 2 8 8 ) 限制，获得更好的视频 压缩质量。 在银行柜员制监控中可以得到更好的应用。m p e g l 受最高清晰度和存储容 憾的限制，很难发定较小的压缩比获取较高质量的图像。在柜员制点钞过程中， 钞票的图像还是比较模糊，利用m p e g 4 应有很大的改善，同时m p e g 4 基于a v 荆象压缩的模式也决定了它对运动物体可以保证较好的录像清晰度。 ( 3 ) 适于网络传输 m p e g 4 优越的视频压缩方式，也决定了其在低带宽网上具有优秀的表现。 在中国实际应用场合，网络应用环境还远不能国外相比，如何在如此低的带宽上 传输视频，1 f 是m p e g 4 大显身手的地方。目前在低带宽上传输活动视频的另 个解决方案就是采用h 2 6 3 通讯标准，尽管h 2 6 3 也具有较高的压缩比，但是蚓 第1 0 负 l 圭l 童型 ：厶兰蛆i j 企业幽络出l 拦厶基士i 口i 【n i 烈衄佳蜘 像质量差于m p e g 4 。 m p e g 4 的应用前景将是非常广阔的。它的出现将对以下各方面产生较大的 推动作用：动态图象：实时多媒体监控；低比特率下的移动多媒体通信；内容存 储和检索多媒系统：i n t e m e v i n t r a n e t 上的视频流；基于计算机网络的可视化合作 实验室场景应用。 从应用的角度来讲m p e g i 、m p e g 2 视频格式标准主要为基于c d r o m 、 d v d r o m 的应用而制定。而m e p g 4 标准考虑到了网络传输的应用。从实现的 角发卜来讲：m p e g l 、m p e g 2 视频编码生成的帧中包含了很多帧怛j 数据，不适 和仆 l 】- 靠的网络协议下传输。而m p e g 4 解码仅需知目标图像的大小，其实现 过w j 文符埸。 盈缸型i 厶坐越1 j 金卫叫经虬拦厶基士l n i d d 挫业佳输 3t c p i p 与套接口编程原理 3 it c p i p 网络协议 很多不同的厂家生产各种型号的计算机，它们运行完全不同的操作系统，但 t c p i p 协议族允许它们互相进行通信。这一点很让人感到吃惊，因为它的作用已 远远超出了起初的设想。t c p s p 起源于6 0 年代米美国政府资助的一个分组交换网 络研究项目，至1 j 9 0 年代已发展成为计算机之间最常应用的组网形式。它是_ - 一个真 i 1 1 的开放系统，因为协议族的定义及其多种实现可以不用花钱或花很少的钱就可 以公丌地得到。它成为被称作“全球互联网”或“因特l i 回( i n t e m e t ) ”的基础，孩广域 网( w a n ) 已包含超过1 0 0 万台遍布世界各地的计算机。本章主要对t c p i p 协议 族迸行概述，其目的是为本文其余章节提供充分的背景知识。 3 1 1t c p i p 网络协议分层 t c p i p 协议族是一组不同的协议组合在一起构成的协议族。尽管通常称该 协议族为t c p i p ，但t c p 和i p 只是其中的两种协议而已( 该协议族的另一个名 字是i n t e r n e t 协议族( i n t e m e tp r o t o c o ls u i t e ) ) 。网络协议通常分不同层次进行丌 发，每一层分别负责不同的通信功能。一个协议族，比如t c p i p ，是一组不刚 从 父l i 的多个协、议的组合。t c p ，i p 通常被认为是一个四层协议系统，每层负 贞小同的功能： ( 1 ) 链路层，有时也称作数据链路层或网络接口层，通常包括操作系统中的设备 驱动程序和计算机中对应的网络接口卡。它们一起处理与电缆( 或其他任伺传输 媒介) 的物理接口细节。 ( 2 ) 网络层，有时也称作互联网层，处理分组在网络中的活动，例如分组的选路。 t c p i p 协议族中，网络层协议包括i p 协议( 网际协议) ，i c m p 协议( i n t e m e q l 2 联网控制报文协议) ，以及i g m p 协议( i n t e m e t 组管理协议) 。 ( 3 ) 运输层主要为两台主机上的应用程序提供端到端的通信。在t c p i p 协议族 中，有两个互不相同的传输协议：t c p ( 传输控制协议) $ 1 1 u d p ( 用户数据报协 议) 。t c p 为两台主机提供高可靠性的数据通信。它所做的工作包括把应用程序 交给它的数据分成合适的小块交给下面的网络层，确认接收到的分组，设置发送 最后确认分组的超时时钟等。由于运输层提供了高可靠性的端到端的通信，因此 应用层可以忽略所有这些细节。而另一方面，u d p 则为应用层提供一种非常简单 的服务。它只是把称作数据报的分组从一台主机发送到另一台主机，但并不保证 该数掘报能到达另一端。任何必需的可靠性必须由应用层束提供。这两种运输层 坍议分别在不同的应用程序中有不同的用途。 第1 2 贰 出丛型工厶：芏地i 。垃