（检测技术与自动化装置专业论文）基于dm643的农产品远程实时展销系统设计.pdf

江苏大学硕士学位论文 摘要 农产品网络展销是以互联网为基础的一种全新的营销方式，利用其跨地域性、高 效率性、交互性、整合性等特点来拓展农产品营销的市场空问，减少农产品的流通环 节，加快流通速度，也是解决农产品“卖难”问题，提高农民收入的有效途径。本文 以其为背景，将数字图像处理技术、计算机网络通信技术、d s p 控制及开发技术结合 于一体，构建了农产品远程实时展销系统。 首先，文章介绍了h 2 6 4 标准、r t p r t c p 协议和d m 6 4 3 多媒体处理器及其相关 的d s p 开发技术。运用n d k 提供的t c p i p 协议栈，搭建农产品远程实时展销的软件 平台。系统软件结构分为服务端和客户端，服务端软件嵌入在硬件平台实体中；客户 端通过i e 浏览器实现对服务端的访问及摄像机控制。 其次，采用r t p r t c p 协议实现农产品视频图像的实时通信。根据h 2 6 4n a l 单 元的分割重组的性质以及r t p 打包规则，对h 2 6 4 码流进行r t p 封装，并阐述了二 r t p r t c p 在d s p 上的实现机制。同时，为满足系统对视频服务质量( q o s ) 的要求， 采用一种基于q o s 的f e c ( f o r w a r de r r o rc o r r e c t i o n ) 分组保护技术，对传统t o r n a d o ( t n ) 码算法和r t p r t c p 协议的载荷结构进行改进，在该载荷结构中使用n a l 头 字段和t n 码分组保护字段。实验结果表明，采用对h 。2 6 4 码流的f e c 分组保护技术， 在增加开销很小的情况下，可在丢包环境下明显改善图像主客观质量，与现有f e c 保 护算法相比，该算法运算简单、灵活性强，能有效防止视频数据分组的丢失，明显提 高展销系统实时视频通信的q o s 。 最后，论文详细讨论了网络通信、嵌入式w e b 服务器及控制功能的实现。在局域 网内对系统进行测试，实现了基于i p 网络的视频通信，较好地满足了实际应用需要， 具有很强的应用价值。 关键词：农产品展销，r t p r t c p ，服务质量，分组保护，w e b 服务器 江苏大学硕士学位论文 a b s t r a c t t h ea g r i c u l t u r a lp r o d u c t sn e t w o r ks a l e se x h i b i t i o ni sa ni n t e r n e t b a s e dn e wm a r k e t i n g c o n c e p t u s i n gi t sc r o s s s e c t i o n a l ，h i g he f f i c i e n c y , i n t e r a c t i v ea n di n t e g r a t e df e a t u r e st oe x p a n d t h em a r k e t i n gs p a c eo fa g r i c u l t u r a lp r o d u c t ss oa st or e d u c ei t si n t e r m e d i a t el i n k si nc i r c u l a t i o n ， s p e e d i n gu pt h ev e l o c i t yo fc i r c u l a t i o n ，a sw e l la ss o l v i n ga g r i c u l t u r a lp r o d u c t s “e v e ns l o w e r s a l e s ”，a n de n h a n c i n gt h ef a r m e r si n c o m ei na ne f f e c t i v ew a y t h i sp a p e ru s e dt h ec o m b i n a t i o n o fd i g i t a li m a g ep r o c e s s i n gt e c h n o l o g y , t h ec o m p u t e rn e t w o r kc o m m u n i c a t i o nt e c h n o l o g y , t h e d s pc o n t r o la n dd e v e l o p m e n tt e c h n o l o g yt ob u i l du pt h er e m o t er e a l - t i m es a l ee x h i b i t i o n s y s t e mo fa g r i c u l t u r a lp r o d u c t s f i r s to fa l l ，t h i sp a p e rm a d ead e t a i li n t r o d u c t i o nt ot h eh 2 6 4v i d e oc o d e cs t a n d a r d ， r t p r t c pr e a l t i m et r a n s p o r tp r o t o c o l ，t m s 3 2 0 d m 6 4 3m u l t i m e d i ap r o c e s s o r sa n dt h er e l a t e d d s pd e v e l o p m e n tt e c h n o l o g y t h er e a l t i m ev i d e od a t an e t w o r kt r a n s m i s s i o np l a t f o r mw a ss e t u pb a s e do i lt h en d k t h ec l i e n t s e r v e rs o f t w a r ea r c h i t e c t u r em o d e lw a sd i v i d e di n t os e r v e r s y s t e m sa n dc l i e n ts y s t e m s t h es e r v e rs y s t e m sw e r ee m b e d d e di n t oh a r d w a r ep l a t f o r ma n ds e t u pa ne m b e d d e dw e bs e r v e rw h i c hp r o v i d e ds e r v i c e sf o rt h es y s t e m ，w h e r e a st h ec l i e n ts y s t e m s p r o v i d e dt h ev i s i t st os e r v e rs y s t e m sa n dc o n t r o l l e dt h ec a m e r ab yi eb r o w s e r s e c o n d l y , t h er e a l t i m ev i d e od a t at r a n s m i s s i o nc a l t l et r u ea f t e ra d o p t i n gt h et e c h n i q u eo f r t p r t c eb a s e do nt h ep r o p e r t yo fh 2 6 4n a lu n i ta n dt h ep a c k a g i n gr u l eo f r t p , t h i sp a p e r d e s i g n e dt h ep a c k a g i n gs t r a t e g i e sf o rr t p r t c po nd s ei no r d e rt om e e tt h ed e m a n d so f q u a l i t yo fs e r v i c e ( q o s ) i nv i d e o ，af e c ( f o r w a r de r r o rc o r r e c t i o n ) g r o u p i n g - p r o t e c t i o n t e c h n i q u ef o rq o so fh 2 6 4v i d e od e l i v e r yw a sp r o p o s e di nt h i sp a p e r , i nw h i c ht h et r a d i t i o n a l t o r n a d o ( t n ) a n dr t p r t c pw e r ei m p r o v e d ，a n dt h en a lh e a d e ra n dt o r n a d o ( t n ) c o d e g r o u p i n g p r o t e c t i o nf i e l dw a se m p l o y e d p e r f o r m a n c e sa n a l y s i sa n de x p e r i m e n t a lr e s u l t s s h o w e dt h a tw i t he x t r al i t t l eo v e r h e a d ，t h ef e cg r o u p i n g p r o t e c t i o nf o rh 2 6 4v i d e os t r e a m c o u l di m p r o v et h eq u a l i t yo fi m a g eb e t t e ru n d e rt h ep a c k e td r o pe n v i r o n m e n t ，i tw a se a s i e ra n d m o r ef l e x i b l ea sc o m p a r e dt ot h et r a d i t i o n a lf e c ，i nw h i c hi t h e l p e dt op r e v e n tm i s s i n go f g r o u p i n gv i d e od a t a ，e n h a n c i n gt h eq o sf o rh 2 6 4r e a l t i m ev i d e oc o m m u n i c a t i o n f i n a l l y , t h i sp a p e rd i s c u s s e da b o u tt h er e a l i z a t i o n o fn e t w o r kc o m m u n i c a t i o na n d e m b e d d e dw e bs e r v e ra n dc o n t r o lf u n c t i o n t h es y s t e mh a sp a s s e dt h et e s ti nl a n i tc a l l r e a l i z ev i d e oc o m m u n i c a t i o no v e ri pa n dm e e ta c t u a la p p l i c a t i o nn e e dp r e f e r a b l e y k e y w o r d s ：a g r i c u l t u r a lp r o d u c t se x h i b i t i o n ，r t p r t c p ，q o s ，g r o u p i n g - p r o t e c t i o n ， h 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密 学位论文作者签名：尉够澎 沙步年月。日 指导教师签名：彬 砷年多月，汐日 独创性：声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不包含 任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 学位论文作者签名：糯 e lg q ：沙多年石月de t 江苏大学硕士学位论文 1 1 课题研究目的和意义 第一章绪论 我国是一个农业大国，农业在国民经济中占据着重要的地位，发展农业对我国的 经济具有重要的战略意义。随着改革开放的不断深化，产业布局的调整，我国农产品 市场急剧扩大。加入w t o 后，国外农产品大量涌入，我国农产品市场格局发生了重 大变化，农产品的供给转为相对过剩，农产品市场竞争更加激烈1 1 。 这就要求农产品生产经营者必须重视农产品营销问题。但是，与农业发达国家相 比，我国农产品营销刚刚起步不久，存在着许多不足之处【2 】。目i j ，我国农产品流通 渠道的模式大多还是比较传统的。农产品流通一般要经由农民初级集货商产 地批发市场销地批发市场农贸集市消费者这个过程。中间商在农产品批 销的每一个环节都会获取丰厚利益，这使得农产品的流通成本居高不下，市场运行过 程负载着较高的交易费用和社会交易成本，造成了农产品零售价格与收购价格之间差 价巨大，损害了农民和消费者的利益【3 】【4 】。同时，农产品生产者市场营销意识淡薄，产 品市场细分不足，产品流通渠道不畅，缺乏有效的产品促销等等。尤其是加入w t o 后形成的外部压力，农产品卖难问题日益突出，特别是在边远地区交通不便，信息不 灵，农产品流通渠道不畅的问题仍然大量存在【5 】。 农产品流通渠道直接影响着农业经济效益的实现，随着信息技术在农产品流通领 域同益广泛的应用，农产品流通渠道呈现出新的特征，即农产品网上交易同益活跃， 流通渠道在缩短，批发市场所占比重降低，直销渠道的比重增加，农产品可以直接送 货上门或通过生产者设置的鲜活农产品处理配销中心来进行交易，零售产业市场集中 度提高，到户的物流配送方式逐渐普遍【6 】【7 】。 在这一新的历史背景下，要求农产品生产经营者对现有的农产品营销渠道进行创 新，以适应日渐激烈的农产品市场竞争。如何寻找建立适合网络时代的农产品营销渠 道、减少农产品的流通环节、加快流通速度、解决农产品的“买难”和“卖难”问题、 增加农民收入，探求解决农民增产不增收问题的新策略迫在眉睫。本文依托基于 t m s 3 2 0 d m 6 4 3 8 】芯片的多媒体开发平台，结合数字图像处理技术、嵌入式技术、计算 机网络通信技术、d s p ( d i g i t a ls i n g n a lp r o c e s s ) 控制及开发技术，实现农产品远程实 时展销系统，其结构如图1 1 所示。该系统突破了市场预选购的空间因素的限制，农 江苏大学硕士学位论工 民将采集到的农产品视频图像实时地展示在更广泛的区域内更多的客户面前，以获得 更台理的价格及更大的销售量。而客户可以随时通过实时展示的农产品，综合质量、 价格、运输条件等因素米决定蛸买。这种展销方式给传统农产品的营销方式往入新的 活力，通过网络实施农产品展销，积极”拓州内外市场，提h 找田农”品的同啪、竞争 力，埘解璁“二农”问题、实现幽家“r h ”规划叫确提h 1 的建设柱业现代化目杯 共有霞硬的意义。典体我现在以r 几点； ( i ) 竹省交易徙用，杜绝浪费，加快农广品的流通速度，肖约礼会物流资源，实 现农畦和消赞肯烈赢，从砷捉硝农、止的经济效益。 ( 2 ) 农产品通过网络肥销进咖销 o i 到h f 自、市场r ，外拓农产t 1 w r 嘲际中m h 炀， 加1 眦农村弊济的发催。 ( 3 ) 在找田农产品牛产柑对过剩的环境r t 为农产品贸易璀钎j 提供种新思路。 刘览嚣 唰览器 交换【 圉ii 农产品远程买时展销系统总体结构示意图 12 技术现状及发展趋势 h 前，农产品远程交占5 方式基木采川网络营销方式，_ l ：主婴足刘采摘后库存农产 品的营销。而本系统不1 h u j 以实时展销采摘瓜仃的农产品，f l 可以实叫胜销采摘 前的农产品，将摄像机安装在果园或农阳，即町将成熟的农产品通过m 络实时展销在 窖，或港在髯，面前，如果客户对展销的农产品满意，可以州场聚摘，远程运输。这 样展销的农产品更体现实时性和真实性，配送的农产品新鲜，以满足，e 活水平越束越 高的人们埘新鲜农产品的要求。 、“ 江苏大学硕士学位论文 从技术应用角度来看，本系统可以看作是嵌入式网络视频通信系统。嵌入式网络 视频通信系统是一种以嵌入式技术、视频压缩编码技术和网络传输控制技术为核心的 新型视频传输系统。这种新型视频系统采用嵌入式处理器，完全脱离p c 平台，系统更 加稳定：不需铺设专用的光缆或电缆，通过i n t e m e t 进行信号传输；应用m - j p e g 、 m p e g - 4 、h 2 6 4 等多种压缩编码格式，支持多种传输帧率及分辨率；采用在线固件更 新等。它在稳定性、实时性、处理速度、性能、价格、扩展性等方面和传统的视频传 输系统相比有着突出的优势。 显然，基于嵌入式网络视频通信系统的农产品的远程实时展销系统要取得广泛的 应用，主要取决于视频压缩技术和视频传输技术等关键技术的发展。此外，芯片技术 的发展r 新月异，使复杂的图像压缩算法的嵌入式应用成为可能，目前，单芯片可以 实现复杂的图像编解码算法，大大降低了系统的成本和实现复杂度。以此同时，网络 的普及为网络视频提供了传输和使用平台，显示出它独有的优势凡是有网络的地 方就能构建网络视频通信系统。这样一来，客户浏览实时展销的农产品视频图像不受 时间、地点限制，可以随时按需浏览，使用便捷。 1 2 1 视频压缩技术 视频压缩技术的日益成熟为图像在网络传输提供了可能。图像压缩算法在朝着高 质量、低码流的方向发展。目前主要算法有： m o t i o n j p e g ，m j p e g ( m o t i o n j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 技术即运动静 止图像( 或逐帧) 压缩技术，广泛应用于非线性编辑领域，可精确到帧的编辑和多层 图像处理，把运动的视频序列作为连续的静止图像来处理采用逐帧压缩。它的的优点 是：可以很容易做到精确到帧的编辑、算法相对简单。缺点是压缩效率不高。 h 2 6 3 ，h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。但实 际上这个标准可用在很宽的码流范围，而并非只用于低码流的应用，它在许多应用中 可以认为被用于取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变， 以提高性能和纠错能力。 m p e g - 4 ，同m j p e g 和h 2 6 3 相比，有更高的编码效率。可以在低带宽的信道上传 送视频、音频。同时m p e g 一4 还能对同时发生的数据流进行编码。一个场景的多视角 或多声道数据流可以高效、同步地合成为最终数据流。 3 江苏大学硕士学位论文 h 2 6 4 t 9 1 ，不仅编码效率优于m p e g 4 ，并且网络亲和性好，支持不同网络资源下 的分级编码传输，从而获得平稳的图像质量。能以较低的数据速率传送基于互联网协 议( i p ) 的视频流，在视频质量、压缩效率和数据包恢复丢失等方面，超越了现有的 m p e g 2 、m p e g 4 和h 2 6 3 视频压缩标准，更适合窄带传输。它引入了面向i p 包的编码 机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗 误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d 数字音视频编解码标准) 是我国具备自主 知识产权的第二代信源编码标准。从主要技术指标编码效率比较：m p e g 4 是 m p e g 2 的1 4 倍，a v s 和h 2 6 4 相当，都是m p e g 2 两倍以上。a v s 标准包括系统、视 频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准，应用范围包 括数字电视、激光视盘、网络流媒体、无线流媒体、数字音频广播、视频监控等领域。 1 2 2 视频通信技术 多媒体视频技术矛t l i p 技术的发展和成熟，都为网络多媒体的应用发展提供了基础， 带来了新的发展机遇。但是，单纯的t c p i p 协议难以适应多媒体通信。与传统的文本 数据等非实时信息的传输不同，网络多媒体信息的传输，尤其是实时视频流的传输对 实时性的要求远高于可靠性。因此，采用好的传输协议，能够增强传输质量，提高传 输的实时性。为满足日益增长的网络实时视频传输的要求，国际标准组织制定了一些 新的协议，如i m ( i n s t a n tm e s s a 舀n 卜即时通信协议) 、r s v p ( r e s o u r c er e s e r v a t i o n p r o t o c o l 资源预留协议) 、r t p r t c p ( r e a l t i m e t r a n s p o r t p r o t o c o l r e a l t i m e t r a n s p o r t c o n t r o lp r o t o c o l 实时传输协议实时传输控制协议) i o 】【l l 】。i m 与i p v 4 相比，可以更 快地处理数据，更好地支持实时数据；9 0 年代产生的r s v p ，使得路由器可以针对应用 流的资源要求进行预留，从而预防网络的拥塞，提高网络的使用率；r t p r t c p 则是 网络多媒体的核心协议之一，一般网络视频传输领域应用程序是采用具有较好实时性 的u d p 协议，还可在u d p 协议基础上运行r t p r t c p 实现反馈拥塞控制，来保证视频 传输质量。r t p r t c p 同样需要其它的协议来满足实际情况下的服务质量( q u a l i t yo f s e r v i c e ，简称q o s ) 的要求。因此，怎样针对实际的要求选择网络传输协议，使得在 不同的数据帧、视频对象甚至各个宏块间合理地分配带宽，以获得最优的视频质量， 是视频实时通信需要解决的问题。 4 江苏大学硕士学位论文 1 3 设计方案选择 1 3 1 硬件平台选择 本系统可以分为四个主要模块：视频输入模块、视频编码模块、网络传输模块及 系统控制模块。就系统的设计重点来看最重要的是视频编码模块、网络传输模块和系 统控制模块，它们是可靠、高效的嵌入式计算平台的核心。视频编码模块是视频压缩 编码算法运行的载体，控制模块是系统的心脏，肩负着系统的管理和控制工作，而网 络传输模块是农产品视频图像实时性通信的可靠保证。一般来说，其硬件平台选择考 虑如下两种： ( 1 ) 如果采用硬件压缩编码，则需要一个独立器件来完成网络传输和系统控制任 务。此时一般是视频编码专用芯片+ m c u 的结构。由于视频编码专用芯片是为某种算 法定制设计的，因此编码效率很高，且量产后成本低。如果直接采用其它厂商的编码 芯片，则可大大缩短开发周期。但由于其上的编码算法是硬件固化的，只能进行某种 特定的视频压缩运算，所以采用这种方案的系统的可重用性和扩展性很差。 视频编码模块、网络传输模块和系统控制模块还可在单块大规模f p g a 芯片内用固 件实现。这种结构的系统性能较高、功能灵活，但对设计人员要求较高，开发周期较 长，且成品的成本较高。 ( 2 ) 如果是软件编码压缩，则视频编码、网络传输与控制模块模块合在一起，由 单个器件执行。此时一般选用高性能的多媒体d s p ：卷片。这种高性能多媒体d s p 芯片 除了适合于数字信号高速、并行运算的c p u 核和缓存结构等外，它还具有比较完整的 网络功能的以太网媒体存取控制器e m a c ( e t h e m e tm e d i aa c c e s sc o n t r o l l e r ) 1 2 】， 从而将d s p 的数据处理和网络控制功能集成到一块芯片上来。同时，还在片上集成了 丰富的外围设备接口，极大地简化了视频多媒体处理系统的接口电路。该d s p 芯片数 据处理能力强，既可编程，又可使得它能够兼容正在发展的各种多媒体信号处理标准， 构成视频网络通信系统平台。采用这种方案的系统设计灵活，可扩展性强，且开发较 简便，周期短，是现在系统设计采用最多的方案。 在采用软件视频编码的方案中，为了提高系统的控制能力，丰富系统可实现的功 能，可采用d s p + a r m ( 或f p g a ) 的结构。这种结构将控制模块由a r m 或f p g a 独立 承担，系统的功能和灵活性比单芯片结构强，但相应系统的体积和成本也提高了。现 5 江苏大学硕士学位论文 在也出现集成了a r m 核的高性能多媒体d s p , t l , 片，j t n t i 的“达芬奇”( d m 6 4 4 6 ) 芯 片。随着芯片价格的降低，该芯片应该会成为将来此类系统设计的首选。 从上述各种解决方案的优缺点比较可以看出，采用高性能多媒体d s p 在系统灵活 性、开发难度、可升级扩展性及成品成本方面综合衡量下要优于其它方案，本文即采 用这种方案来开发实时展销系统。 1 3 2 关键软件技术选择 由于h 2 6 4 不仅编码效率高，而且网络亲和性好，能够降低网络传输的负担，提高 传输质量，故选其作为本系统的视频编码压缩技术。 此外，本系统要向客户提供实时的农产品视频图像，对视频传输的实时性的要求 远高于可靠性的要求，数据不能按时到达将导致视频服务质量的严重恶化，严重影响 视觉效果。在容许竞争的网络环境下，必须提供一种保障机制，来尽可能地减少这种 不稳定因素带来的负面影响，使得实时视频传输的质量得到稳定的保证。为解决这个 问题，可以采用实时传输协议r t p r t c p 和相应的f e c ( f o r w a r de r r o rc o r r e c t i o i 卜一 前向纠错) 1 1 3 】控制技术来保证视频的服务质量。 1 4 本文的研究内容 本文在绪论部分介绍了本课题的研究背景和意义，说明了基于d s p 的农产品远程 实时展销系统的基本概念及技术要点，阐述了本文的主要工作及特色之处。 第二章首先介绍了实时展销系统丌发基础技术，包括h 2 6 4 标准，r t p r t c p 实时 传输协议，d m 6 4 3 硬件平台及相关的d s p 开发技术，最后搭建基于d m 6 4 3 的农产品远 程实时展销系统的软件平台。 第三章详细讨论了h 2 6 4n a l 单元的分割重组的性质以及r t p 打包规则，对h 。2 6 4 码流进行r t p 封装，并阐述了r t p r t c p 在d s p 上的实现机制。 第四章针对当前f e c 控制技术的不足，采用改进的t n 码算法和r t p 载荷结构， 对h 2 6 4 码流进行t n 码分组保护，在网络丢包环境下明显改善h 2 6 4 视频通信的q o s 。 第五章讨论了基于n d k 的网络通信及w e b 服务器的实现，并实现一种对摄像机进 行软硬控制的策略。 第六章对系统进行测试与分析。结果表明，采用t n 码分组保护算法后，系统能够 6 江苏大学硕士学位论文 有效地进行实时视频通信，并满足农产品远程展销所需要的网络通信服务功能。 第七章为结束语，总结全文，并指出今后的研究方向。 7 江苏大学硕士学位论文 第二章实时展销系统开发技术及总体结构 2 1h 2 6 4 标准 h 2 6 4 是i t u t 最新的视频编码标准，称作i s o i e c l 4 4 9 6 1 0 或m p e g 4a v c ，是由 运动图像专家组( m p e g ) 和i t u 的视频编码专家组共同开发的。 h 2 6 4 采用基于块的运动补偿和变换编码。它采用了一些先进的编码技术大大提高 了压缩效率，例如，h 2 6 4 中的运动矢量具有亚像素精度，对于亮度信号来说可以达到 1 4 像素精度。亚像素精度比整像素精度的性能要好的多，代价是增加了运算复杂度。 另外，h 2 6 4 中允许使用多个参考帧以提高编码效率，这在很多自然场景的周期变换以 及镜头在两个场景中交替转换等情况下尤其有效。此外，它采用了自适应内容的算术 编码和变长编码，进一步提高了编码效率。 h 2 6 4 还包含了很多新的设计思想【1 4 】【15 1 ，旨在增强健壮性和算法灵活性，从而可 适应不同的网络环境： ( 1 ) 参数集结构：参数集的设计为头信息的健壮性和高效安全性提供了保障。在 以前的标准中，如果关键信息丢失了几个比特( 比如序列的头或图像的头信息) 可能 严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独处理。 ( 2 ) n a l 单元语法结构：h 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单 元( n a l u ) 。与以前的视频标准强制系统使用特定的比特流接口不同，h 2 6 4 的n a l 单元语法结构允许根据特定的网络自定义合适的方法来传送视频内容。 ( 3 ) 灵活的s l i c e 大小：与m p e g 2 中定义的固定的s l i c e 结构不同，h 2 6 4 中的s l i c e 大小与早些的m p e g 1 一样是非常灵活的。 ( 4 ) 灵活的宏块顺序( f m o ) ：提出了一种将图像划分成被称为s l i c e 组的新方法， s l i c e 组中的每一个s l i c e 都可以作为一个单独的解码单位。有效利用了这一点，灵活的 宏块顺序就可以显著增强数据丢失的健壮性。 ( 5 ) 任意的s l i c e ) l 瞑序( a s o ) ：因为编码图像的每一个s l i c e 基本都可以与图像中 的其它s l i c e 独立地进行解码，所以在h 2 6 4 的设计中，可以以任意顺序发送和接收图像 中的s l i c e 。这种能力可以改善实时应用中端到端的延时，尤其是使用乱序发送的网络。 ( 6 ) 冗余图像：为了增强抗数据丢失的健壮性，h 2 6 4 的设计中允许编码器发送 江苏大学硕士学位论文 图像某些区域的冗余表示，这样当基本播放部分在传输过程中丢失时，仍可以播放图 像的某些区域。 ( 7 ) 数据分区：在播放视频内容时，某些编码信息比别的信息更为重要或更有价 值( 如运动矢量或其它预测信息) ，因此h 2 6 4 允许每个s l i c e 的语法可以按语法元素的 范畴被分为三个不同的部分进行传输。 ( 8 ) s p s i 同步图像转换：s p s i 帧是h 2 6 4 设计的两种新的图像类型，通过使用 s p s i 帧就可以在解码端做到与其它解码器正在产生的视频流精确同步，而无需对所有 解码器都传送一个i 帧而造成效率下降。这样，解码器就可以在以不同的数据传输速率 播放的视频内容间切换、抗数据丢失和数据错误，并能够使用t r i c k 模式( 如快进等) 。 v c l 层 n a l 层 传输层 图2 1h 2 6 4 编码器分层结构 h 2 6 4 分两层结构，包括视频编码层( v c l ) 和网络适配层( n a l ) ，如图2 1 所示。 视频编码层的主要任务是用高效的编码方式表述视频数据，也就是进行视频数据的压 缩；处理的是块、宏块和s l i c e 的数据，这些都是s l i c e 结构以下的数据；并尽量做到与 网络适配层独立，它是视频编码的核心，其中包含许多实现错误恢复的工具。网络适 配层则根据网络的特性对数据进行封装打包，把v c l 层产生的比特串适配到不同的网 络和复用环境，使其适于网络传输。 综上所述，h 2 6 4 标准采用了先进的编码技术，具有良好的抗误码能力和网络适配 性，可以很好的应用于实时视频通信中，同时又能很好地工作在很多对时延没有特殊 要求的场合( 如视频存储和以服务器为基础的视频流式应用等) 。 9 江苏大学硕士学位论文 2 2r t p r t c p 协议 r t p r t c p 传输协议提供端到端的实时数据传输服务，有如下一些特点： ( 1 ) 协议灵活性 i 玎p 协议不具备传输层协议的完整功能，其本身也不提供任何机制来保证实时地 传输数据，不支持资源预留，也不保证服务质量。r t p o t 及, 文甚至不包括长度和报文边 界的描述，而是依靠下层协议提供长度标识和长度限制。另外，r t p 协议将部分传输 层协议功能( 比如流量控制) 上移到应用层完成，简化了运输层处理，提高了该层效率。 ( 2 ) 数据流和控制流分离 i h p 协议的数据报文和控制报文使用相邻的不同端口，这样大大提高了协议的灵 活性和处理的简单性。 ( 3 ) 协议的可扩展性和适用性 r t p 协议通常为一个具体的应用来提供服务，通过一个具体的应用进程实现，而 不作为i s o 体系结构中单独的一层来实现，r t p 只提供协议框架，开发者可以根据应用 的具体要求对协议进行充分的扩展。 r t p 协议的主要应用于媒体流的传输，这也是r t p 协议提出的初衷，具体的应用包 括视频音频会议、可视电话、视频点播广播、v o l p 等等。但是其用途不仅限于此，r t p 协议还可以用于连续数据的存储，交互式分布仿真和一些控制、测量的应用中。娜 的灵活性和扩展性也使得开发者们可以根据应用的需要对协议进行改进。 2 2 1r t p 协议 r t p 位于u d p 协议之上，它是一种应用型的传输层协议，并不提供任何传输可靠 性的保证和流量的拥塞控制机制。r t p 通常是利用低层的u d p 协议在传输层为传输音 频、视频数据，这样它不仅可以利用u d p 协议的端口号和校验和，还可以利用u d p 传 输延时小的优点传输实时视频流。如图2 2 所示，r t p 可以看成是传输层的子层。由多 媒体应用程序生成的声音和电视数据块被封装在r t p 信息包中，每个r t p 信息包被封装 在u d p 消息段中，然后再封装在i p 数据包中。 在具体实现时，可把l 玎p 执行程序看成是应用程序的一部分，把r t p 集成到应用程 序中。在发送端，必须把r t p 执行协议的程序写入到创建i 盯p 信息包的应用程序中，然 后应用程序把r t p 信息包发送至0 u d p 的套接接口，在接收端，r t p 信息包通过u d p 套接 1 0 江苏大学硕士学位论文 口输入到应用程序，需要把执行r t p 协议的程序写入到从i 汀p 信息包中抽出媒体数据的 应用程序中。 应用层 r t p r t c p 传输层 u d p 网络层 链路层 图2 2r t p 在t c p i p 模型中的位置 r t p 协议的核心是其报文格式。报文是r t p 对数据传输的封装单位，典型的报文由 报头和负载组成，在协议中仅定义了报头的数据结构，而不限制负载的大小。r t p 报 头由1 6 个字节组成，其中最后4 个字节c s r c 域可选，格式如图2 3 所示。 0 3 l s e qn u m b e r v ( 2b i t )p ( 1b i t )x ( 1b i t )c c ( 4b i t )m ( 1b i t ) p t ( 7b i t ) ( 1 6b i t ) t i m e s t a m p ( 3 2b i t ) s s r c ( 3 2b i t ) c s r c ( 3 2b i t ) 图2 3r 1 曙报头 r t p 报文实际上是由一个2 个字节的固定头和用户数据组成，固定头中各域的具体 意义如下： ( 1 ) 版本( v ) ：2 位，标识i 玎p 协议的版本号。 ( 2 ) 填充标志( p ) ：l 位，如果该位被设置为l ，说明在分组后增补了零填充，从 而使分组达到要求的长度，填充的最后字节指明了填充的长度。 ( 3 ) 扩展位( x ) ：l a t 立，如果该位被设置，在固定报文头后插入固定报文头。 ( 4 ) 源c s r c 数目( c c ) ：4 位，表示固定报文头后作用源c r s c 标示符数目。 ( 5 ) 标记( m ) ：1 位，该位保留未被使用。 ( 6 ) 数据类型( p t ) ：7 位，标识l 玎p 报文内负载的数据类型。 ( 7 ) 序列号( s e qn u m b e r ) ：2 字节，一个r t p 传输会话中的所有i 盯p 报文依次编 号，其中第1 个r 阳包的编号可为0 或为一个随机数。每发送一个r t p 报文，序列号就加 l l 江苏大学硕士学位论文 1 ，接收端可以用它来检查报文是否有丢失并按顺序号处理报文。 ( 8 ) 时间戳( t i m e s t a m p ) ：4 字节，标识王m 报文内负载的时间信息。它反映l 盯p 数据信息中第1 个字节的采样时刻( 时间) 。接收端可以利用这个时间戳去除由网络引 起的信息包的抖动，并且在接收端为播放提供同步功能。 ( 9 ) 同步源标识( s s r c ) ：4 字节，用于标识数据源，该标识符在一次会话中是 唯一的，如果有两个参与者的s s r c 相同，就会产生冲突。 ( 1 0 ) 混合器列表( c s r c ) ：仅用于有混合器的情况下，可以有0 1 5 项。 2 2 2r t c p 协议 r t p 本身没有流量控制、拥塞监测等传输控制的功能，必须依赖r t c p 传输控制协 议进行控制交互。在r t p 传输过程中，周期性地发送r t c p 报文，反馈数据传输质量及 收发双方的相关信息。主要分为以下5 类： ( 1 ) s r ( s e n d e rr e p o r t ) ：发送方报告。由处于活跃状态的信源发送方发送，s r 报文不仅提供该端系统作为接收方的数据接收质量反馈信息，而且还提供s s r c ( 同步 源) 标识符、n t p 时间戳、发送包数以及发送字节数等与发送有关的信息。 ( 2 ) r r ( r e c e i v e rr e p o r t ) ：接收方报告。由实时数据接收方发送，i 汛报文针对 每个信源都提供报文丢失数、已接收报文的最大序列号、到达时间抖动、接收最后一 个s r 的时间、接收最后一个s r 的延迟等信息。 ( 3 ) s d e s ( s o u r c ed e s c r i p t i o n i t e m s ) ：源描述项。提供信源的描述信息，包括 c n a m e ( 信源端系统标识) 、d a m e ( 用户名) 、m a i l ( 电子邮件地址) 、p h o n e ( 电话号 码) 、l o c ( 地理位冠) 、t o o l ( 应用程序或者工具名) 、n o t e ( 通知状念) 、p r i v ( 用户定 义项、等s d e s 报文项。 ( 4 ) b y e ：将某参与者退出信息通知会话，并可提供退出原因。 ( 5 ) a p p ：应用程序特殊功能。 类似于r t p 数据包，每个r t c p 包以固定部分开始，然后是变长结构的选项，但均 以一个3 2 位边界结束。在传输过程中，一般将上述几种包组合成一个组合包捆绑发送。 r t c p 规定，在每次发送的r t c p 分组中必须包含r e p o r t ( 指r r 或者s r ) 和s d e s 。r t c p 数据传输依靠低层协议提供数据包的整体长度，来确定r t c p 包的结尾。因此，在r t c p 组合包中没有单个r t c p 包的显式计数。 1 2 江苏大学硕士学位论文 此外，随着系统的扩展，网络中r t c p 数据包的发送会占用r t p 传输的带宽。因此， 需要设计一个定时器，在该定时器触发下每隔一定的时间发送r t c p 数据包。该时间间 隔也成为r t c p 数据包的发送周期。此发送周期长度的动态变化可以保证r t c p 控制信 息的带宽占用保持恒定( 协议推荐占用会话带宽的5 ) 。 r t c p 通过发送和接收r t c p 报文传递的信息，在传输中起到如下作用： ( 1 ) q o s 管理与控制：r t c p 报文中含有q o s 信息，发送和接收双方可根据这些信 息进行调整，以达到较好的q o s 质量。 ( 2 ) 媒体同步：r t c p 发方报告内时间戳可用来同步不同的媒体流。 ( 3 ) 附加信息传递：r t c p 有一类称为s e d s ( s o u r c ed e s c r i p t i o n ) 的报文，内含标志 名、用户名称、电话号码、e m a i l 等信息，其中标志名是会话中参与者的惟一标志。 这些附加信息可用于会话管理。 2 3d m 6 4 3 系统开发技术 本文实验平台为基于d m 6 4 3 的实时高清图像处理d s p 开发板s e e d d e c 6 4 3 。板上 主处理器d m 6 4 3 性能指标：专用于数字媒体应用的高性能3 2 位定点d s p ，其工作主频 可达6 0 0 m h z ，处理性能高达4 8 0 0 m i p s ，2 个2 0 位的视频口，具有8 路同步串行输入输 出的m c a s p 端口，可实时实现多路音频视频信号的输入输出及编解码运算，具有很强 的实时多任务支持能力；集成了1 0 m 1 0 0