嵌入式系统调研报告.doc

北京联合大学嵌入式系统设计与应用调研报告 学 院： 专 业： 课 程： 班 级： 姓 名： 学 号： 年月日 基于流媒体技术的网络化嵌入式视频监控系统 北京联合大学 XXX 原作者：陈耀武,伍鹏, 汪乐宇 (浙江大学仪器科学与工程学系,浙江杭州310027)摘要:视频监控系统是日常生产生活中的重要辅助设备,提出并研究设计了基于流媒体技术的网络化嵌入式视频监控系统.以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心进行系统设计.系统通过DSP处理器进行视频信号的MPEG4数据压缩,在嵌入式处理器上采用流媒体技术通过网络传播实时视频流.详细论述了系统设计、硬件设计和软件设计,并给出了实际运行结果.关键词: 视频监控系统; 流媒体; MPEG4; 嵌入式系统Stream media technology based network embedded video monitoring system CHEN Yao-wu, WU Peng, WANG Le-yuAbstract: The video monitoring system is an important assistant device in our life. A network embedded video monitoring system based on the stream media technology is presented and developed. The system is designed of the embedded processor, the DSP processor and embedded Linux operating system. The video compression part of the system is based on the MPEG4 algorithmia the DSP processor, while multicasting the real time video stream to the network based on the stream media technology via embedded processor. The system design, hardware design, software design, and the practical operating results are discussed in detail.Key words: video monitoring system; stream media; MPEG4; embedded system 视频监控系统是日常生产生活中的重要辅助设备,应用十分广泛.当前视频监控系统正逐步由模拟化走向数字化.随着视频压缩技术和网络技术的发展,开发新一代的基于计算机网络和多媒体MPEG4压缩算法的视频监控系统已成为整个行业技术发展的主要方向之一1,2.本文提出并研究设计了一种基于流媒体技术的网络化嵌入式视频监控系统.该系统采用目前计算机领域最为活跃的嵌入式系统技术,以高性能嵌入式处理器、DSP处理器和嵌入式Linux操作系统为核心对嵌入式视频监控模块进行设计,并采用流媒体技术,通过IP多播技术、RTP/RTCP协议3实时传送视频监控流.该系统跟传统的模拟监控系统和基于PC组合的计算机数字监控系统相比有以下优势:(1)布控区域广泛.嵌入式数字监控系统的服务器和终端设备可直接连入网络,没有线缆长度和信号衰减的限制,同时网络是没有距离概念的,因此彻底抛弃了地域的概念,扩展了布控区域.(2)可组成非常复杂的监控网络.如果采用基于嵌入式流媒体服务器为核心的监控系统,由于流媒体服务器输出已完成模拟到数字的转换并压缩,采用统一的协议在网上传输,支持跨网关,跨路由器的远程视频传输,所以其在组网方式上和基于PC平台的监控方式有极大的不同,能支持更为复杂的监控网络.(3)性能稳定可靠,无需专人管理.嵌入式数字监控系统用嵌入式实时多任务操作系统,视频压缩和流媒体服务功能集中到一个体积很小的设备内,直接连入局域网或广域网,即插即看,系统的实时性、稳定性、可靠性大大提高.所以,无需专人管理,适合于无人值守的环境.1系统的设计原理1.1系统总体设计基于流媒体技术的网络化嵌入式视频监控系统如图1所示.安装在现场的嵌入式视频监控模块从摄像头获得原始的视频信号,经过硬件压缩成MPEG4视频数据,然后通过流媒体服务器转换成流媒体格式,从以太网接口实时传送到计算机网络上;实时监控客户端连接到计算机网络上,从嵌入式视频监控模块获得MPEG4视频数据,通过流媒体视频播放软件实时地解压MPEG4视频数据并播放,而且该系统支持多客户端同时监控.1.2嵌入式视频监控系统硬件设计嵌入式视频监控系统的硬件主要分为两大部分:DSP视频硬件压缩子模块和嵌入式处理器子模块.DSP视频硬件压缩子模块以美国ANALOGDEVICES公司最新推出的DSP处理器BlackfinBF5335为核心,实现硬件的MPEG4视频数据压缩.Blackfin BF533是一款新型的高性能、低功耗的音视频DSP,其片内有Blackfin处理器核,主频高达600 MHz,完全适合MPEG4等复杂音视频的压缩运算;并且片上的增强型动态电源管理模块实现了极低功耗的解决方案,所以该DSP主要面向消费类电子、音视频处理、VoIP等应用领域.在BF533芯片外围扩展了1 Mbyte闪存(Flash),用于存放MPEG4视频压缩算法程序代码和参数变量;扩展32 Mbyte的同步动态数据存储器(SDRAM),用于存放数据和运行程序.嵌入式处理器子模块需要运行嵌入式操作系统和嵌入式流媒体服务器,并扩展本地MPEG4视频数据回放,所以选用了INTEL公司的最新嵌入式处理器XScale PXA2616作为整个系统的控制.PXA261是XScale PXA26x新系列中的一款高度集成化的嵌入式处理器,它集成了Intel XScale Mi-croarchitecure处理器核心,16 Mbyte的片内闪存,LCD控制器,USB从端控制器,I2S,SSP,AC97等一系列多媒体处理模块.由于其高度的集成性和低功耗特性,PXA261十分合适多媒体处理、手持设备、PDA等应用领域.在PXA261周围还外扩了32Mbyte的SDRAM用于存放数据和运行程序;外扩了USB主端控制器,这样可以为系统加入多种USB设备;外接LCD控制器可以本地回放视频数据和提供人机交互;外扩的以太网接口可以实现视频网络传输的需要.图2表明了整个硬件系统的框架结构和数据流程.首先通过摄像头获得原始视频信号,送入视频A/D采样输入Blackfin BF533作MPEG4压缩;然后BF533把压缩得到的MPEG4数据通过高速SPI接口送入XScale嵌入式处理器;运行有嵌入式Linux操作系统的XScale处理器把MPEG4数据转化为流媒体数据格式,通过以太网接口传送到计算机网络.XScale嵌入式处理器通过串口向DSP发送命令.1.3嵌入式视频监控系统软件设计在该系统高性能的硬件基础上,嵌入式视频监控系统软件包括两个大的层次:嵌入式Linux操作系统和嵌入式流媒体服务器软件(不包括DSP固件MPEG4压缩算法程序),如图3所示.嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化,具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含TCP/IP协议栈,以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富,为嵌入式软件开发人员提供了良好的开发平台.硬件驱动程序位于嵌入式Linux操作系统之中,是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块,这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分.首先通过串口驱动程序来设置DSP的压缩过程并启动压缩,接着通过高速SPI驱动程序获得DSP压缩好的MPEG4数据,转换其为适于流式传输的数据后通过基于IP多播技术的实时传输协议RTP(realtime transfer protocol)、实时传输控制协议RTCP(RTP control protocol)、会话描述协议SDP(session description protocol)4等一系列标准的IP实时多媒体数据传输协议传送到网络上.1.4嵌入式流媒体服务器软件详细设计嵌入式流媒体服务器整个软件采用C+语言编写,图4是该软件的静态UML类图设计.如图4所示,整个系统其实就是由CMediaFlow类所代表的视频媒体数据流.数据流由一系列节点串连而成.抽象类CMediaNode类抽象代表这些一系列的节点,每一个节点其实就是一个线程,而每个线程都有一个消息队列(CMsgQueue类),用来接受相应的消息(CMsg类)作出处理动作.具体来讲,CMediaSource类派生至CMediaNode类代表所有数据流源头的节点,也就是数据流的入口点.同样的,CMediaSink类也派生至CMediaNode类代表所有数据流的接受节点,可以用来表示数据流的出口点.CMediaFrame类代表这个数据流中真正的数据,它从数据源流向数据流的出口.CVideoSource类是派生至CMediaSource类,代表视频数据的入口点,它调用嵌入式Linux操作系统的SPI驱动来获得实时的视频数据.CRtpTransmitter类派生至CMediaSink类,代表视频数据的出口点,它封装了基于流媒体技术的网络化嵌入式视频监控系统对网络RTP/RTCP协议的操作,把视频数据流直接发送到网络上.CHttpServer类实现了一个简单的HTTP服务器的功能,主要是可以通过HTTP协议传送SDP文件给客户端,客户端获得SDP文件后就可以根据SDP文件的描述信息来获得视频流的IP多播包.CSdpFile类实现了对SDP会话描述协议文件的操作,根据当前的视频流配置信息产生SDP文件.图5为嵌入式流媒体服务器软件UML动态序列图.具体的动态流程描述如下:(1) 系统初始化过程程序入口main函数首先创建CMediaConfig类对象pConfig,并从配置文件里获得配置信息而初始化该对象.pConfig对象里面包含了整个系统的配置信息,比如视频源类型、视频压缩编码器类型、网络传输的设置等等.根据pConfig对象的配置来创建类CMediaFlow的对象pFlow,并且Start这个数据流.pFlow对象会去创建视频数据源对象CVideoSource和数据流的出口对象CRtpTransmitter.用CVideoSource的AddSink操作告诉CRtpTransmiter类的对象是数据源的接收者.启动CRtpTransmitter的对象,同时创建CSdpFile类对象,并通过GenerateSdpFile操作来产生SDP描述文件.创建CHttpServer类对象,并启动HTTP server服务,提供SDP文件下载.(2) 视频流处理发送过程. pFlow对象调用CVideoSource类对象的StartVideo操作来启动视频流.从SPI驱动获得MPEG4的数据帧,接着创建CMediaFrame类的对象pFrame,用ForwardFrame操作把MPEG4数据帧送入接受者CRtpTrans-mitter类的对象.CRtpTransmitter类的对象调用DoSendFrame函数通过网络发送该MPEG4数据帧.CVideoSource类对象通过RealseFrame操作释放该MPEG4数据帧,并销毁pFrame对象.重复以上过程就可以得到连续的视频流数据.(3) 中止该视频流的过程.Main函数调用pFlow对象的Stop操作来中止该视频流.pFlow对象会依次去停止和销毁CVideoSource类对象和CRtpTransmitter类对象,删除SDP文件,销毁CS-dpFile类对象,停止和销毁CHttpServer类对象.Main函数销毁pFlow对象,销毁pConfig对象并结束程序.1.4客户端视频监控软件的设计由于服务器端采用标准的RTP协议,客户端播放软件只要遵循该协议,就可以获得视频流.服务器端采用IP多播技术,只需发送一份数据包就可以支持多客户端同时监控,而不会增加服务器的负担.一般来说,客户端只要安装有与DSP的MPEG4压缩算法相应的解码器,然后使用Re-alOne等标准播放软件都可以作视频流的播放了.也可以根据RTP协议,自己编写客户端播放软件来进行视频监控.2系统实践该系统已经在实验室和一些现场进行过系统实践,如图6和图7的屏幕截图所示.3结论根据当前计算机网络技术和视频数据压缩技术的发展现状,提出并研究设计了一个基于流媒体技术的网络化嵌入式视频监控系统.该系统以高速发展的嵌入式网络技术为核心进行设计,具有很好的可靠性和性能价格比.该系统在一定应用场所已得到了试验应用.参考文献:1GREIFFENHAGEN M,COMANICIU D,NIEMANNH,et al.Design,analysis and engineering of videomonitoring systems: an approach and a case studyJ.Proceedings of the IEEE, 2001,90(10):1498-1517.2 Zingirian Baglietto Maresca, Migliardi.MPEG Coding of Highway Monitoring Video SequencesM. Univer-sity of Genoa, Italy: Internal Report DIST,1996.3SCHULZRINNE H, CASNER S, FREDERICK R,et al. RTP: a transport protocol for real-time applica-tionsJ.RFC3550, 2003.4 HANDLEY M, JACOBSON V. SDP: session descrip-tion protocolJ.RFC2327, 1998.5ADSP-BF531/ADSP-BF532/ADSP-BF533.BLACKfinEmbedded Processor Preliminary Data SheetM.Ana-log Devices, Inc, 2003.6 Intel Corporation.Intel PXA26x Processor Family Developers ManualM, 2003. 论文认识体会这篇论文写的是关于基于流媒体技术的网络化嵌入式系统在视频监控中的应用。通过阅读这篇论文，我认识到现如今随着网络、通信和数字信息技术的不断进步，监控系统的组成模式也在快化和发展中。视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系统。视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，涌现出大量的嵌入式视频监控系统。视频监控技术的发展大致可分为四个阶段：闭路电视系统构建的模拟系统、数字信号控制的模拟视频监控系统、数字硬盘录像设备为核心的视频监控系统和现在的数字网络视频监控系统。我认为论文中设计的视频监控之所以采用嵌入式Linux系统是因为嵌入式Linux操作系统越来越多地成为嵌入式系统设计的主流.其具有任务调度、存储管理、消息队列、中断处理等现代操作系统特征;并且针对嵌入式系统进行了优化,具有体积小、固化容易、现场实时反应能力强、可靠性好等特点;而且操作系统本身包含TCP/IP协议栈,以及大量跟硬件相关的驱动程序.另外Linux操作系统上的开发资源十分丰富,为嵌入式软件开发人员提供了良好的开发平台.硬件驱动程序位于嵌入式Linux操作系统之中,是上层应用软件和下层嵌入式硬件之间的唯一桥梁.对于特定的嵌入式硬件就需要编写特定的驱动程序.在该系统中主要开发了高速SPI接口驱动程序模块,这样上层嵌入式流媒体服务器就可以通过SPI接口驱动来接受DSP压缩好的MPEG4视频数据.嵌入式流媒体服务器是系统嵌入式软件设计的核心部分。通过这篇论文我体会到嵌入式系统已经涉及到生活中各项领域，不仅是视频监控领域，还有手机，PDA，机顶盒，高清电视，路由器，汽车电子，智能家电，医疗仪器，航天设备等等这些都是嵌入式系统的典型应用。嵌入式系统将会有更加广阔的发展空间。 课程总结通过8周的嵌入式系统课程学习，我对嵌入式系统以及ARM微处理器有了更加深刻的认识。以往我对嵌入式系统是极其陌生的，并且认为这是非常难理解和学习的。但经过了上学期微机原理和本学期的嵌入式系统课程，我对这个系统有了全新的认识。课本对该系统的描述：嵌入式系统是“控制、监视或者辅助装置、机器和设备运行的装置”。这主要是从应用上定义的，从中可看出嵌入式系统是软件和硬件的综合体。但上述定义并不能充分体现出嵌入式系统的精髓，目前国内一个普遍被认同的定义是：以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。我对这个系统的理解是这样的：嵌入式系统是集系统的应用软件与硬件于一体，类似于 PC 机中 BIOS 的工作方式，具有软件代码小、高度自动化、响应速度快等特点，特别适合于要求实时和多任务的体系。不仅如此，我认为嵌入式系统是面向用户、面向产品、面向应用的