智能手机视频监控系统的设计实现.doc

智能手机视频监控系统的设计实现马喆，张洪刚*（北京邮电大学信息与通信工程学院，北京 100876）5101520253035摘要：为了解决传统视频监控系统 IPC 部署复杂的问题，提出一种基于智能手机作为采集前端并通过 3G 无线网络进行传输的监控系统，设计并实现了系统的软硬件架构，监控系统采用了成熟的 JPEG 编码方法和基于 TCP/IP 协议的可靠网络传输技术，经过实际网络环境下的对比试验，验证了该方案合理有效，达到了视频实时采集、传输的预期效果。关键词：视频监控；3G；智能手机；实时传输中图分类号：TN94Design and Implementation of Video Surveillance SystemBased on Smart PhoneMA Zhe, ZHANG Honggang(School of Information and Communication Engineering,Beijing University of Posts andTelecommunications, Beijing 100876)Abstract: In order to solve the complex IPC deployment of traditional video monitoring system,the article proposes a novel surveillance system for 3G wireless network based on smart phone asdata capture front end. The system uses mature JPEG coding method and reliable TCP/IP protocoltransmission technology, software and hardware structure is designed and realized. Tested systemunder the actual network, verify the scheme is reasonable and effective, achieving the real-timeacquisition and transmission requirement.Keywords: Video Surveillance; 3G; Smart Phone; Real-Time Transmission0 引言随着流媒体技术和通信业的发展，网络视频监控系统已广泛应用于各行各业，传统采集前端通过同轴电缆、双绞线或者光纤传输1，都需要线缆的大量铺设，在特殊环境下无法应用，给某些行业工作和生产带来诸多不便，人们期待更加灵活、便捷的视频监控采集前端。与此同时，国内 3G 网络及无线局域网(WLAN)的建设持续发展，基于高速移动网络且具有较强数据处理能力的智能手机越来越多，为新型视频监控系统的研究提供了新思路。针对以上情况，本文对视频的前端采集和实时传输技术进行了探讨和研究，并提出了一种将智能手机作为移动 IPC(IP Camera)来采集视频数据、基于无线网络的视频监控系统。1 关键技术研究1.1 压缩编码技术为验证系统的可用性，在采集端的压缩算法上采用较为成熟的 JPEG 算法，JPEG(JointPhotographic Exports Group)是联合图像专家小组，负责定制静态数字图像的编码方法，JPEG算法给出了几种模式，通常在实际应用中采用基于 DCT 的顺序模式，算法流程如图 1 所示。作者简介：马喆，（1988-），男，硕士研究生，主要研究方向：网络多媒体。通信联系人：张洪刚，（1974-），男，教授，博士生导师，主要研究方向：图像处理与图像识别、视频检索与过滤以及计算机视觉。E-mail: -1-40图 1 JPEG 算法流程Fig. 1 JPEG Algorithm Process首先进行色相变换，输入的未经压缩的图像一般是 24bit 的 RGB 格式，对于 R、G 和 B三个子通道间存在明显的视觉相关性，人类眼睛对于亮度的敏感度比对色度更高。JPEG 算法与色彩空间无关，为了获得更大的压缩比，通常将 RGB 格式转换成亮度(Y)和色差(Cb、45Cr)分量：Y=0.299R + 0.587G + 0.114B(1)Cr= (0.500R - 0.4187G - 0.0813B)+ 128(2)Cb=(-0.1687R - 0.3313G + 0.500B)+ 128(3)JPEG 算法是在 8 8 像素的数据块上操作，经过 DCT 离散余弦变换得到 8 8 系数，经50过系数量化、Z 字形编码后得到直流、交流系数，分别进行差分脉冲调制编码和游程编码，最终的进行熵编码进一步压缩后得到比特流并被封装成视频帧。为了衡量编码处理后的图像品质，常常引入 PSNR(Peak Signal to Noise Ratio)2,信噪比峰值： dB.(4)55MSE =Framesizenn=1Framesize(5)MSE(Mean Square Error)指均方误差，I(角标 n)指原始影像第 n 个 pixel 值，P(角标 n)指经处理后的影像第 n 个 pixel 值。公式(4)中 n 为表示图像像素值所用的比特数，通常 n=8，8bits 表示法中，PSNR 的最大值为 255，PSNR 值越大，就代表失真越少，如果超过 40 意味着人眼察觉不到视频处理前后的差别。60651.2 传输技术目前网络上数据的传输主要采用 TCP 和 UDP 协议。TCP 协议能提供有序、可靠的服务，但是一旦数据在网络中阻塞会带来严重的延迟，无法保证实时性；UDP 是节约资源的传输层协议，其操作执行比 TCP 快得多，它适合于不断出现的、与时间相关的应用。由于视频数据对实时性要求比较高，而控制数据对可靠性要求比较高，因此，系统中视频数据的传输技术，采用两种通信协议：UDP/IP 协议传输视频数据，TCP/IP 协议传输通信控制数据。由于 UDP 只负责尽最大可能的交付，具有一定的不可靠性，基于 UDP 的应用程序在不可靠网络使用时必须自己解决可靠性问题，诸如报文丢失、重复、失序和流量控制等问题。在实现连续媒体数据传输时，发送方和接收方应该能够处理图像传输中发生的数据丢失、延迟等一些问题。因此，在 UDP 之上，采用 RTP 和 RTCP 来完成视频数据的传输3。-2-PSNR = 10 log10 (2n 1)2 MSE (I Pn )270图 2 RTP 传输框架Fig. 2 RTP Transmission FrameworkRTCP 负责管理传输质量，在当前应用进程之间交换控制信息，提供流量控制和拥塞控7580制服务。在 RTP 会话期间，各参与者周期性地传送 RTCP 包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP 和 RTCP 配合使用，能以有效的反馈和最小的开销使传输效率最佳化。2 视频监控系统原型设计2.1 系统整体架构设计在无线视频监控系统原型设计中采用与传统视频监控系统类似的架构，前端视频采集端是具有操作系统的智能手机，它包含摄像头、微处理器和网络传输模块组成4。手机厂商公开开发平台，内嵌了 TCP/UDP/IP 协议栈，具有 Socket 通讯功能，并提供透明数据传输通道，用户只需进行简单的二次开发就可实现将终端与 Internet 相连，实现网络的互连互通。85图 3系统设计原型Fig. 3 System Prototype Design为了充分验证系统的可用性，视频采集端选用多普达 T8585 和 HTC 的 T3333 两款智能90手机作为对比，均采用 Windows Mobile 6.5 操作系统，CPU 为高通芯片，具有较强的软件处理能力。智能手机的主要参数：-3-表 1选用的智能手机参数95100105110Tab. 1 Parameters of Smart PhoneWindows Mobile 提供了摄像头调用的库函数。终端软件登陆监控系统后，与服务器建立连接，接收到打开视频信令后，调用摄像头开启视频采集，并在软件 UI 界面上显示采集到的视频，同时将采集到的数据通过编码库函数压缩后，通过 3G WCDMA 或者 WLAN 无线网络发送至服务器。在手机 UI 界面显示采集到的画面有助于现场实时调整监控角度，达到监控端想要的监控效果。服务器端主要分为存储转发服务器和管理服务器，存储转发服务器负责存储采集端传输来的视频数据，供以后回放查询使用，并实时转发至各个监控端，管理服务器负责各个采集端和监控端的用户配置信息，登陆鉴权，行为日志记录等功能。视频监控端登陆系统后，可以通过信令远程打开已登陆系统手机的视频，在接收到服务器的实时数据后，经过解压处理，播放查看各个视频采集端的视频画面，采用 N 宫格方式支持多路同时查看。监控端有多种形式，可以是传统监控 PC 或者是新兴的移动监控 PDA5，增强了系统的灵活性。2.2 手机端软件设计部分主线程收到打开视频的控制信令后，打开摄像头，并将采集到的视频数据存入缓冲队列中，并创建视频处理线程。在视频处理线程中，不断轮询缓冲队列，当底层数据到达后压缩缓冲队列中的数据，并通过网络 socket 不断向服务器端发送。在实际适配过程中，某些型号智能手机由于硬件限制了单次网络发送的最大数据量，因此在发送时刻可采用切片发送策略，将单帧数据分割为多次发送，在接收端再进行组合。115图 4软件设计Fig. 4 Key Design of Software Structure1203 试验结果系统在实际网络环境下进行了大量试验，实际环境下 GPRS 上行传输速率为 100Kbps-4-参数设备T8585T3333CPU主频 1024 MHz主频 528 MHzRAM488MB256MB感应器类型CMOSCMOS摄像头像素500 万320 万左右，3G 上行传输速率在 100Kbps-2Mbps 之间。在无线网络状况正常情况下，智能手机通过 WCDMA 网络接入服务器进行视频传输，帧率为 5-10fps，分辨率为 352*288。以 10 帧/秒，像素深度 8bit 为标准，估算不同图像质量下的数据量：125表 2数据量计算Tab. 2. Data Quantity Calculation网络带宽不可能全部用来传输实时视频数据，还有冗余信息、控制信息等，如果不采用130压缩算法进行数据压缩，即使是最差分辨率也无法承受。原始数据经过压缩后，延迟较小，流畅无抖动，现场可根据预览画面调整拍摄角度，系统能够实时传输前端采集视频，实现了监控功能。图 5前端采集效果135Fig. 5 Front-end Collection Effect图 6监控端实际效果Fig. 6 Actual monitoring effect1404 小结本文介绍了一种无线视频监控系统，并将视频采集端在智能手机上完成了设计和实现。系统充分依托 3G 网络广覆盖、可移动的特点，前端可以扩展为多种形式例如单兵式、车载式，后台可根据行业用户情况、系统容量可集中或分布配置，并可根据不同需要给予定制。145基于这种框架的系统比传统系统更具移动性和灵活性，应用前景十分广泛，与其他功能例如对讲、调度结合6，可实现全方位的监控效果，在远程传输和临时性监控方面具有较强优势。介于目前实用的 3G 带宽还十分有限，更加需要低码率的实时传输，低码率算法例如H.264 等往往需要更强的终端处理能力和软硬件优化，实现基于智能手机的传输系统还有待研究。150-5-图像分辨率YUV 原始数据量/Mbps压缩后数据量/MbpsCIF(352 288)11.880.384QCIF(176 144)2.9040.232参考文献 (References)1 潘国辉. 智能网络视频监控系统技术详解与实践M. 北京：清华大学出版社，2010.Fan G H. Intelligent Network Video Monitoring System-Technology Explanation and PracticeM.Beijing:Tsinghua University Press,2010.1551601652 Chen W,SHIH C C,HWANG L J. The Development and Applications of the Remote Real-Time VideoSurveillance SystemJ.Tamkang Journal of Science and Engineering,2010,13(2):215-225.3 付少华，付红桥，王 政. 基于 3G 网络的手机移动视频监控系统的设计J.计算机应用，2011，31(1)：70-72.FU S H, FU H Q, WANG Z. Design Smart Phone Mobile Video Surveillance System Based 3GNetworkJ.Jo