（计算机应用技术专业论文）嵌入式视频传输系统的应用研究.pdfVIP

。d t ad i s s e r t a t i o n f o rt h a p p l i m a s t e rc a n d i d a t e ：h ew e i s u p e r v i s o r ：p r o f z e n gb i m a y 2 0 1 0 f a c u l t yo fc o mp u t e r g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p r c h i n a ， 5 1 0 0 0 6 随着网 算机技术、 一个非常重要的业务。基于嵌入式系统平台设计、实现视频流的实时、可靠传输， 已成为嵌入式视频通信系统开发过程中的重要环节。嵌入式的视频会议、视频点播、 远程教育、无人监控、数字家庭等分布式多媒体应用逐渐走入人们的生活，给人们 的工作和生活带来了极大的便利。 本文以一个实际的嵌入式视频数据传输系统开发为背景，对嵌入式、流媒体网 络关键技术进行研究。文章首先介绍系统的硬件平台，即u p c u p 6 4 1 0 实验板，概 括性描述其资源、功能以及应用领域。针对当前用户需要，视频传输系统必须具备 互联网通讯能力，并且能兼容旧式监视系统格式以及接口，u p c u p 6 4 1 0 为我们提 供相关的支持。 对a r m l i n u x 嵌入式系统进行深入研究，阐述b o o t l o a d c r ，l i n u x2 6 内核，以及 文件系统三者件的关系并说明它们的工作方式；深入讨论l i n u x 内核对设备的驱动 实现，针对系统的需求，详细介绍1 2 c 字符设备的原理和实现方法。在此基础上设 计m t 9 d 11 l 微型摄像头在实验板上的驱动程序和应用方法。 接着，介绍v i d e 0 4 l i n u x 2 数字视频采集方法，结合f r a m e b u f f e r 显示卡使用方法， 提出详细的数字视频采集、显示流程；通过分析视频数据压缩的必要性，介绍 m p e g 一4 的优点和基本原理，之后在实验板的d s p 函数库基础上编写视频压缩程序。 介绍r t p r t c p 协议族以及其常用的实现方法，同时结合r t s p 、s d p 协议描述 一个完整的流媒体视频传输过程；由于本系统设计需要s i p 会话协议作为流媒体控 制，文章也详细介绍了s i p 协议的理论和结构。 文章最后部分通过一个实验实现并测试系统各功能，介绍最新的实时数据流传 输应用库l i v e 5 5 5 ，并详细介绍服务器、客户端的工作方法。实验建立完整的r t s p 服务器以及测试所需的网络、客户端。通过记录相关数据了解该方式的传输质量。 本系统可应用于娱乐视频点播，视频会议，远程监控系统等领域。基于嵌入式 的网络视频传输系统结构十分清晰，可以方便地进行扩展和移植，并具有小型化、 低功耗、稳定可靠等特点。 关键字：嵌入式系统，v i d e 0 4 l i n u x 2 ，u p c u p 6 4 1 0 , r t p r t c p ，l i v e 5 5 5 广东工业大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kt e c h n o l o g ya n dt h ed e e p e n i n go ft h eg l o b a l i n f o r m a t i z a t i o n ，i n t e r a c tm u l t i m e d i ah a sb e c o m eak i n do fp r o d u c tw h i c hc o n s i s t so f e l e c t r o n i ct e c h n o l o g y , c o m p u t e rt e c h n o l o g ya n dc o m m u n i c a t i o n st e c h n o l o g y m e a n w h i l e ，t h em u l t i - m e d i ar e a l t i m ec o m m u n i c a t i o nh a sb e e nas i g n i f i c a n tb u s i n e s s i nn e t w o r kc o m m u n i c a t i o nf i e l d t h ed e s i g n ，w h i c hb a s i n go ne m b e d e ds y s t e m p l a t f o r m ，t h ei m p l e m e n t a t i o no fr e a l t i m ev i d e os t r e a m i n ga n dr e l i a b l et r a n s m i s s i o ni so f i m p o r t a n c e i ne m b e d d e dv i d e oc o m m u n i c a t i o ns y s t e md e v e l o p m e n tp r o c e s s t h e d i s t r i b u t e dm u l t i m e d i a a p p l i c a t i o n si n c l u d i n ge m b e d d e dv i d e oc o n f e r e n c i n g ，v i d e oo n d e m a n d ，d i s t a n c ee d u c a t i o n ，u n m a n n e dm o n i t o r i n g ，d i g i t a lh o m ea r eg o i n gi n t op e o p l e s l i v e sa n dh a v eb r o u g h tb r o u g h tc o n v e n i e n c e sf o rp e o p l ea b o u tt h ew o r ka n dl i v i n g a c c o r d i n gt oap r a c t i c a lp r o j e c t ，e m b e d d e dv i d e ot r a n s m i s s i o ns y s t e m ，t h ep a p e r d e s c r i b e st h er e s e a r c ho fe m b e d d e da n dt h ek e yt e c h n o l o g yo fs t r e a m i n gm e d i a n e t w o r k f i r s t l y , u p - c u p 6 4 10e x p e r i m e n t a lp l a t ei si n t r o d u c e da st h es y s t e mh a r d w a r e p l a t f o r m t h ep a p e rg e n e r a l l yd e s c r i b e si t sr e s o u r c e s ，f u n c t i o n sa n da p p l i c a t i o n s f o rt h e c u r r e n tu s e rn e e d s ，v i d e ot r a n s m i s s i o ns y s t e mm u s th a v ei n t e r n e tc o m m u n i c a t i o n s f u n c t i o n a n db e i n gc o m p a t i b l ew i t l lt h eo l dm o n i t o rs y s t e mt h a te q u i p p e dw i t ht r a d i t i o n a l i n t e r f a c e u p c u p s 3c 6 410c a l lp r o v i d es u c hs u p p o r t s e c o n d l y , t h e r ei sad e p t hs t u d ya b o u te m b e d d e ds y s t e ma n dt h er e l a t i o n s h i pa m o n g t h eb o o t l o a d e r , l i n u x2 6k e r n e la n df i l es y s t e mi nc o n j u n c t i o nw i t ht h ei l l u s t r a t i o ni nt h e p a p e r n o to n l yd o e st h ep a p e rd i s c u s si nd e t a i lt h ed e v i c ed r i v e ri m p l e m e n t a t i o no nt h e l i n u xk e r n e l ，b u ti ta l s oi n t r o d u c e st h ep r i n c i p l eo f 1 2 cc h a r a c t e rd e v i c ea n di t sr e a l i z a t i o n m e t h o d s a f t e rt h a t ，m t 9 d1111m i c r o c a m e r ai nt h ee x p e r i m e n t a lp l a t ec a nb eu s e do nt h e b a s eo fi t sd r i v e ra n da p p l i c a t i o nm e t h o d t h i r d l y , v i d e 0 4 l i n u x 2d i 百t a lv i d e oa c q u i s i t i o nm e t h o d si sp r e s e n t e d c o m b i n e d w i t ht h ev i d e oc a r du s em e t h o df r a m e b u f f e r , t h ep a p e r b r i n g su pt h ed i g i t a la c q u i s i t i o n a n dd i s p l a yp r o c e s s m e a n w h i l e ，t h ea d v a n t a g et o g e t h e rw i t hb a s i cp r i n c i p l e so fm p e g - 4 a r ei n t r o d u c e db ya n a l y z i n gt h en e c e s s i t yo ft h ev i d e od a t ac o m p r e s s i o n a n dt h e n ，t h e v i d e oc o m p r e s s i o np r o c e s si sw r i t t e no nt h eb a s i so fd s pl i b r a r yi ne x p e r i m e n t a t i o n p l a t e 1 1 摘要与目录 量鼍詈昌暑鲁昌詈暑詈詈詈鲁皇詈詈詈詈詈暑鲁皇暑皇詈詈詈詈昌罩鲁昌鲁目詈昌皇詈詈詈詈詈皇皇皇墨皇詈昌昌= 墨= = = = = = = 詈暑詈詈詈葛詈詈詈昌= = 詈= = 詈詈詈詈詈詈! 喜= = 暑暑= 詈皇皇= = 暑皇! ：詈詈詈詈暑皇兽皇暑詈詈= 詈詈皇= ! f o u r l y , t h e r ei sa ni n d e p t hd e s c r i p t i o na n di m p l e m e n t a t i o nm e t h o do fi 盯p r t c p p r o t o c o ls u i t ei nt h i st h e s i s 1 1 1 ep a p e rs h o w s a c o m p l e t es t r e a m i n gv i d e ot r a n s m i s s i o n c o m b i n e dw i t hi u s p s d pp r o t o c 0 1 f i n a l l y , w i t ht h ei n t r o d u c t i o no fr e a l t i m ed a t as t r e a m i n ga p p l i c a t i o n sl i b r a r y l i v e 5 5 5a n dt h ew o r km e t h o do fs e r v e r c l i e n tp r o g r a m s ，at e s te x p e r i m e n tc o n c e r n i n g w i t hs y s t e mf u n c t i o n si ss h o w e d ，n l er t s ps e r v e rt h en e t w o r k a n dt h ec l i e n ti s e s t a b l i s h e d a n di nt e r m so ft h et e s tr e s u l t ，t h eq u a l i t yo ft r a n s i m i s s i o ni nt h es y s t e m w h i c hu s e st h ec o r r e s p o n d i n gt h e o r yi sp r e s e n t e d ，n l es y s t e mc a l lb ea p p l i e dt om a n yf i e l d ，s u c ha se n t e r t a i n m e n tv i d e oo nd e m a n d ， v i d e oc o n f e r e n c i n g ，r e m o t em o n i t o r i n gs y s t e m sa n ds of o r t h e q u i p e d 谢t hac o n c i s e s t r u c t u r e ，t h ee m b e d d e dv i d e ot r a n s m i s s i o ns y s t e m ，w h i c hi ss t a b l ea n dr e l i a b l ea n dh a s s m a l ls i z ea n dl o wp o w e rc o n s u m p t i o n ，c a ne a s i l yb ee x t e n d e da n dt r a n s p l a n t a t i o n k e yw o r d s ：e m b e d d e ds y s t e m s ，v i d e 0 4 l i n u x 2 ，u p c u p 6 4 1 0 ，r t p r t c p , l i v e 5 5 5 i 广东工业大学硕士学位论文 i = 1 三罩 i = 1 纠 摘要。l a b s t r a c t 目录1 、u ， c o n t e n t s v l 第一章绪论1 1 1 选题背景及意义1 1 2 监控系统发展2 1 3 本文主要内容3 第二章嵌入式视频传输系统简介。4 2 1 嵌入式网络视频传输系统发展简介4 2 2 嵌入式网络视频系统设计概要5 2 2 1 系统框架5 2 2 2 系统关键技术简述6 2 3 小结8 第三章嵌入式视频传输系统平台9 3 1 嵌入式平台9 3 1 1a r m 微处理器9 3 1 2a r m 微处理器的结构1 0 3 1 3 微处理器选型及芯片介绍1 0 3 2 内核与操作系统1 4 3 2 1 嵌入式操作系统介绍14 3 2 2a r m l i n u x 嵌入式系统构造16 3 3 嵌入式系统关键软件以及技术1 7 3 3 1 交叉编译器17 3 3 2b o o t l o a d e r 移植19 3 3 3 网络文件系统2 0 3 2 l i n u x 设备驱动程序概述2 2 3 3 1 设备驱动种类2 2 3 3 2l i n u x 驱动模块简介2 3 3 3 3 字符设备驱动介绍一2 6 3 3 4l i n u x 内核驱动重要数据结构2 8 3 3 5i o c t l 0 指令简介2 9 3 3 61 2 c 驱动程序3 1 3 3 7m t 9 d 111 微型摄像头驱动3 5 第四章视频图像采集和压缩技术3 8 4 1 视频图像采集技术3 8 4 1 1v i d e 0 4 l i n u x 2 简介3 8 i v 摘要与目录 昌= = 詈昌宣暑= 喜葛暑篁詈詈詈昌昌皇詈詈詈詈詈皇喜葛詈詈皇詈詈詈暑皇詈詈詈詈詈暑暑詈昌鲁篁= = 詈詈詈詈詈詈詈詈暑暑暑詈詈量詈詈詈昌墨暑穹詈詈詈詈詈詈! = = = = 詈詈詈詈詈詈詈昌詈詈暑g 暑鲁詈詈詈詈詈詈詈詈詈= 皇詈詈= 4 1 2v i d e 0 4 l i n u x 2 工作过程以及常用控制参数3 9 4 1 3m t 9 d 111 图象捕捉实现技术4 4 4 2 视频图像压缩技术4 6 4 2 1 视频压缩的必要性4 7 4 2 2m p e g 4 简介4 8 4 2 4m p e g 4 基本压缩过程4 9 4 2 4 基于6 4 10 数字信号处理器的视频压缩技术5 0 第五章网络视频传输协议及其实现技术5 3 5 - 1 多媒体网络技术基本理论5 3 5 1 1 流媒体技术的基本原理5 3 5 1 2 用户数据报协议u d p 5 5 5 1 3l i n u x 网络编程技术一5 5 5 2r t p 系列协议5 6 5 2 1r t p 协议介绍5 6 5 2 2r t p 协议规格5 7 5 2 3r t c p 数据报文结构5 9 5 2 4 辅助协议r t s p 、s d p 一6 4 5 2 5m p e g 4 的通用r t p 封包技术一6 7 5 2 6j r t p l i b 流媒体软件模块。6 8 5 3s l p 协议7 2 5 3 1s i p 协议简介7 2 5 3 2s i p 对话实例7 2 5 3 3s i p 消息7 4 5 3 4s i p 分层机制7 6 第六章系统功能测试7 7 6 1 实验介绍7 7 6 2 视频传输功能测试方法一7 8 6 3视频流媒体服务测试以及结果分析8 0 6 4d 、结8 1 总结与展望。8 2 参考文献。8 3 攻读学位期间发表的论文。8 6 独创性声明8 7 致谢8 8 v 广东工业大学硕士学位论文 c o n t e n t s a b s t r a c t ( c h i n e s e ) 。i a b s t r a c t c o n t e n t s ( c h i n e s e ) i v c o n t e n t s v l c h a p t e r li n t r o d u c t i o n 1 1 1b a c k g r o u n da n ds i g n i f i c a n c eo ft o p i c s 1 1 2m o n i t o r i n gs y s t e md e v e l o p m e n t ：1 1 3t h em a i nc o n t e n to ft h i sa r t i c l e 3 c h a p t e r 2i n t r o d u c t i o no fe m b e d d e dv i d e ot r a n s m i s s i o ns y s t e m 4 2 1e m b e d d e dn e t w o r kv i d e ot r a n s m i s s i o ns y s t e md e v e l o p m e n ti n t r o d u c t i o n z i 2 2v i d e os y s t e md e s i g nf o re m b e d d e dn e t w o r k 5 2 2 1s y s t e mf r a m e w o r k 5 2 2 2ab r i e fd e s c r i p t i o no fk e yt e c h n o l o g yi ns y s t e m 6 ：2 。3s u m m a w ； c h a p t e r 3e m b e d d e dv i d e ot r a n s m i s s i o ns y s t e mp l a t f o r m 9 3 1e m b e d d e dp l a f f o r m 9 3 1 1a r mm i c r o c p u 9 3 1 2 a r mm i c r o c p us t r u c t u r e 1o 3 1 3s e l e c t i o na n di n t r o d u c t i o no ft h em i c r o c p uc h i p 1 0 3 2o p e r a t i n gs y s t e ma n dk e r n e l 1 4 3 2 1i n t r o d u c t i o ne m b e d d e do p e r a t i n gs y s t e m 1 4 3 2 2a r m l i n u xe m b e d d e ds y s t e ms t r u c t u r e 16 3 3c r i t i c a is o f t w a r ea n dt e c h n o l o g yi ne m b e d d e ds y s t e m s 17 3 3 1c r o s sc o m p i l e r 17 3 3 2b o o t l o a d e rt r a n s p l a n t 19 3 3 3n e t w o r kf i l es y s t e m 2 0 3 2 l i n u xd e v i c ed r i v e ro v e r v i e w 。：! ：1 3 3 1t y p e so fd e v i c ed r i v e r s 2 2 3 3 2l i n u xd r i v e rm o d u l ei n t r o d u c t i o n 2 3 3 3 3c h a r a c t e rd e v i c ed r i v e rd e s c r i p t i o n 2 6 3 3 4l i n u x l m p o r t a n td a t as t r u c t u r eo fk e r n e ld r i v e r 2 8 3 3 。5i o c t l ( ) i n s t r u c t i o nd e s c r i p t i o n 2 9 3 3 61 2 c d r i v e r 3 1 3 3 7m t 9 d 111m i n i a t u r ec a m e r ad r i v e r 3 5 c h a p t e r 4v i d e oi m a g e a c q u i s i t i o na n dc o m p r e s s i o n 3 8 4 1v i d e oi m a g ec a p t u r et e c h n o l o g y 3 8 4 1 1v i d e 0 4 l i n u x 2i n t r o d u c t i o n 3 8 4 1 2v i d e 0 4 l i n u x 2w o r kp r o c e s sa n dc o n t r o l e dp a r a m e t e r s 3 9 4 1 3m t 9 d 111i m a g ec a p t u r ei m p l e m e n t a t i o nt e c h n o l o g y 4 4 4 2v i d e oc o m p r e s s i o n 4 6 4 2 1t h en e c e s s i t yo fv i d e oc o m p r e s s i o n 4 7 摘要与目录 4 2 2m p e g 4i n t r o d u c t i o n 4 8 4 2 4m p e g 4b a s i cc o m p r e s s i o n 4 9 4 2 46 4 1 0d i g i t a ls i g n a lp r o c e s s o r - b a s e dv i d e oc o m p r e s s i o nt e c h n o l o g y 5 0 c h a p t e r5n e t w o r kv i d e ot r a n s m i s s i o np r o t o c o la n di t st e c h n o l o g y 5 3 5 1b a s i ct h e o r yo fm u l t i m e d i an e t w o r kt e c h n o l o g y 5 3 5 。1 1t h eb a s i cp r i n c i p l e so fs t r e a m i n gm e d i at e c h n o l o g y 一5 3 5 1 2u s e rd a t a g r a mp r o t o c o l 5 5 5 1 3l i n u xn e t w o r kp r o g r a m m i n g 5 5 5 2r t pp r o t o c o i 5 6 5 2 1r t pi n t r o d u c t i o n 5 6 5 2 2r t ps p e c i f i c a t i o n 5 7 5 2 3r t c pd a t ap a c k e ts t r u c t u r e 5 9 ；2 4s u p p l e m e n t a r yp r o t o c o ir t s p 、s d p 6 4 5 2 5m p e g 。4p a c k e tt e c h n o l o g yi nr t p ：6 7 5 2 6j r t p l i bs t r e a m i n gm e d i as o f t w a r em o d u l e s 6 8 5 3s i pi 7 2 5 3 1s i pi n t r o d u c t i o n 7 2 5 3 2s e s s i o ne x a m p l e so fs i p 7 2 5 3 3s i p m e s s a g e 7 4 5 3 4s t r a t i f i c a t i o nm e c h a n i s mo fs i p 7 6 c h a p t e r6s y s t e mf u n c t i o nt e s t 7 7 6 1e x p e r i m e n td e s c r i p t i o n 7 7 6 2f u n c t i o n a lt e s t i n gm e t h o do fv i d e ot r a n s m i s s i o n 7 8 6 3v i d e os t r e a m i n gs e r v i c et e s ta n dr e s u l ta n a l y s i s 8 0 6 4s u m m a r y 8 1 s u m m a r ya n do u t l o o k 8 2 r e f e r e n c e s 8 ：； p u b l i c a t i o n sd u r i n gm a s t e r 。ss t u d i e s 8 6 o r i g i n a is t a t e m e n t 8 7 a c k n o w l e d g e m e n t s 8 8 v i i 1 1 选题背景及意义 第一章绪论 目前，国内各项标准认证制度和个人能力资格考试制度不断完善和多元化，过 去的考试巡查体制已不能负荷如此庞大的工作量。再者，随着人们法制意识的普及， 考生维护自身权益和考务人员依法治考的自觉性日益增强，对违纪舞弊的有效取证 和查处已摆上了招生管理的重要工作议程。所以，对招生考试进行电子化监控已势 在必行。经过多年酝酿，现今国内小规模的视频图象采集、实时监控系统及其电子 化已日趋成熟。电子信息技术和计算机网络技术的长足进步使得实现一个比较完整 的大规模网络监控系统成为可能。为提高国家教育考试的管理效能，给国家教育考 试的安全运行以充分的技术保证，教育部考试中心提出建立“国家教育考试网上巡 查系统 ，建立覆盖全国各级考试机构和考点的视频监控网络，实现考试过程和保 密室的监控指挥。 当前，由于历史原因，我国仍缺乏统一的监控系统体系标准，某些省市已经拥 有自己的电子考试监控系统，并大多自成体系，这样的状况在一段时期内无法逆转。 无论是电子视频的格式、网络拓扑结构、信息通讯协议还是软件体系、数据结构、 数据库技术等方面都有显著的差异。在缺少统一规划和技术协调的情况下，各体系 形成相对封闭状态，这为国家统一的考试巡查系统带来巨大困难。为此，我们必须 首先解决各监控系统间信息交流问题。本研究方向主要结合当前较为前沿的嵌入式 技术建立视频源采集端硬软件平台，并应用各种合适的网络传输、控制协议建立网 络系统，使视频数据能处于一个安全、可靠、高效的网络中。 视频监控网络系统现状：由于网络在2 1 世纪已经相当普及，视频监控已超出局 部范围，人们希望能在更随意的地方得到实时、可靠的视频数据。同时，视频监控 网络的研究便成为当下国内外学术界以及产业界讨论的热门课题。整个网络系统主 要包括e l l ：视频源采集、视频压缩、网络控制、数据传输、系统管理以及相关的硬 软件、通讯协议等【l 】。从2 0 世纪8 0 年代的本地模拟信号视频监控系统，到2 0 世纪 9 0 年代末的基于p c 机和模数转换技术的数字化多媒体监控系统，虽然人们打破了 广东工业大学硕士学位论文 信号数据传输距离局限，但在缺乏成熟的网络技术环境下，监控系统仍无法解决空 间上局限的问题 1 ，2 】。直到9 0 年代末，随着网络技术的发展，基于嵌入式w e b 服务 器技术的远程网络视频监控初见锋芒，其视频服务器内置了一个嵌入式w e b 服务 器，采用嵌入式实时操作系统。摄像机等传感器传送来的视频信息，由高效压缩芯 片压缩，通过内部总线传送到内置的w e b 服务器。网络上用户可以直接用浏览器， 观看从w e b 服务器上的图像信息，授权用户还可以控制传感器的图像获取方式。 这类系统可以直接连入以太网，省掉了各种复杂的电缆，具有方便灵活、即插即看 等特点，同时，用户也无需使用专用软件，仅用浏览器即可。 当前多媒体网络协议有很多种，由i t u t 制定标准的h 3 2 3 协议拥有完整的协 议结构，具有严格的q o s 机制，安全稳定；s i p 配合使用比较灵活，具有良好的可 扩展特性；m g c p 协议可不顾及数据体系结构，比较适应需要中央控制的通信服务 方式。通过实现、横向比较，我们能发现它们的优缺点，并建立切合实际的网络协 议。嵌入式系统【3 1 ( e m b e d d e do p e r a t i n g s y s t e m ) 是未来工程控制、智能应用的基础平 台，具有前瞻意义。但由于其对硬件的依赖性强，我们需要了解整个部件的运作过 程，甚至还需要大量的电路电子知识。 当前我国还没有形成一个比较完整的、大规模的多媒体数据传输体系，其中主 要的困难在于之前没有一个统一的标准，各系统使用互不兼容的通讯协议，现在需 要进行信息通讯甚至于实时通讯需要一个中间协议作为纽带。我们以“国家教育考 试网上巡查系统 作为契机，应用不同的网络会话及数据传输协议在处理能力较强 的嵌入式系统上设计出一个多媒体数据信息传输网络可扩展平台，为以后有类似问 题的系统提供方便可靠的模型。