8上海港务工程公司海达QC小组.doc

提高港口监控录像分辨率新技术研发小组简介课题名称提高港口监控录像分辨率新技术研发课题类型创新型小组名称港工海达QC小组注册编号GGQC2009-008活动日期2009年2月2009年7月活动次数16次TQC教育人均46小时活动出勤率95序号姓名性别年龄文化程度职务组内分工1谈 星男54本科高级工程师总策划2孙 昕男50本科高级工程师分项策划3吴 超男31本科工程师数据分析4邱明佳男30本科工程师数据分析5宋鑫颖女28本科助理工程师完成QC成果报告6白 敏女35本科助理工程师对策实施、效果检查7朱继成男26大专技术员对策实施、效果检查8戚琳烨女23大专技术员对策实施、效果检查9徐 君男25本科见习对策实施、效果检查课题背景随着上海国际航运中心建设的启动，上海国际港务（集团）股份有限公司成为国际航运中心的重要组成部分，根据公安技防的规定和国际萨拉斯协议的要求，考虑把安保技防设施作为基础建设的重点之一。安保技防设施建设在港区内主要侧重闭路电视视频监控系统，闭路电视视频监控系统主要实现两大功能：1. 管理人员可以根据需要对监控范围内的码头、道路、堆场及出入口等重点区域的人员、车辆动态进行实时监视，进行必要的控制以达到最清晰的监视效果；2. 通过储存设备对监视到的图像进行保存，一旦需要的时候，可以对特定摄像机的特定时段的录像内容进行回放，便于港区的安全管理。但是在监控图像的采集与处理过程中，由于各种因素影响，会导致图像分辨率的下降，其主要表现为模糊、噪声和变形，达不到监控的要求，影响系统功能。一、选题理由1. 选题理由近几年随着闭路电视监控系统在港区的应用越来越广泛，在生产管理和安全防范起到不可替代的作用，但是由于软硬件各方面因素的限制，视频监控录像回放分辨率往往不能达到使用要求。上海港于09年2月4号颁布港区安全技术防范系统要求的企业标准，里面明确要求新建监控系统的录像回放质量要大于等于300电视线，比原有的标准（录像资料270电视线）提高了10%。我公司作为上海市专业从事技术防范行业的从业单位，为上海港提供监控系统的安装和维护服务。为满足港区生产调度、安全防范要求，采用各种技术手段提高监控图像录像回放分辨率就显得极为重要。 2. 问题的提出目前港区内原有的设备图像回放质量停留在270线水平。无法满足生产安全回放质量300线的规范要求。回放时分辨率较低，无法满足生产安全管理的要求。3. 确定课题本着“用户至上”的理念，为满足港区生产调度、安全防范要求，同时考虑到港区固定资产管理的需要，公司提出必须花尽可能小的经济代价解决视频图像分辨率不高的问题，小组成员接受挑战选定课题为：提高港口监控录像分辨率新技术研发二、确定目标采用尽可能低的经济代价提高电视监控系统视频图像回放分辨率。根据港区安全技术防范系统要求的企业标准1.将原先图像分辨率270电视线（360*270）提高到300电视线（400*300）以上；另根据港区安全技术防范系统要求中电视监控系统的视频图像技术指标要求2.回放图像清晰度要求：峰值信噪比28；3.回放图像还原度要求：平均绝对差0.14.回放图像视觉要求：信噪比改善因子7三、提出各种方案并确定最佳方案(一) 方案的提出与确定1.课题分析要提高电视监控系统视频图像的分辨率，首先需要对视频图像分辨率不高的原因进行分析，对于视频图像成像储存的环节进行分析，才能根据不同的原因采取不同的解决方案。电视监控系统的视频图像的应用分为4个步骤：图像采集、图像传输、图像储存、图像回放。图像采集：图像采集就是利用摄像机中电子传感器把光学影像转换成电信号，以便与传输及储存。传感器的形状和尺寸、光学部件性能的好坏直接影响图像的分辨率。图像传输：图像传输就是利用光缆、电缆、无线等方式将采集来的图像传输到显示或者储存设备。在传输过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声等，而且噪声的引入方式也不同，或为加性噪声、或为乘性噪声，这些都会直接影响到图像的分辨率。图像储存：目前模拟录像机已基本淘汰，应用最广是数字硬盘录像机，基本原理是将模拟的音视频信号通过数据压缩形式转变为MPEG数字信号存储在硬盘上。数字化采集过程也会降低图像分辨率。图像回放：图像回放就是重现存储在系统中的视频图像资料。2.方案的提出根据视频监控系统的工作原理，针对视频图像应用的各个环节，2010年2月15日小组成员利用头脑风暴法将之归纳为硬件和软件两大类，提出了5种方案建议，并将结果用亲和图整理如下：亲和图3.方案的初步比较优化摄像机传感器固有的采样频率限制了图像的空间分辨率，目前在监控系统中广泛使用的是CCD传感器，提高分辨率最直接的方法是降低像素尺寸，提高单位面积的像素数目。优点：l 明显提高图像分辨率，可直接提升港区视频回放分辨率至300电视线以上，预期效果良好；l 作为成熟的产品，操作简便，可操作性强。缺点：l 更换摄像机费用太高，经济性很差；以港区为例，前端摄像机50台左右，更换材料费就将近200多万，成本太高优化传输系统图像传输过程中引进的噪声会直接影响到图像的分辨率。对传输系统进行优化，比如更新为先进的光缆传输系统、增加长距离补偿器、增加视频抗干扰器等，可以提高图像的信噪比，相应提高图像分辨率。优点：l 一定程度提高图像分辨率；缺点：l 更换传输设备费用较高，经济性不好，以上文某港区为例，若将线缆全部更换，工程耗资约80万，况且老港区进行线路更新施工难度太大；l 要根据不同的噪声叠加情况采取不同的措施，难度较大，实现比较困难。优化录像机考虑到录像资料储存时间的限制，摄像机采集到的图像在储存时采用压缩的格式，去除了不必要的高频部分，相应的视频图像则损失了图像细节，即降低了分辨率。如果更换硬盘录像机，减少压缩比例，则可以明显提高图像分辨率。优点：l 明显提高图像分辨率；l 可操作性较好缺点：l 需要更换硬件，目前1台硬盘录像机约需1.5万，若全部更换，费用较高，性价比不高；l 硬件受到工艺水平影响，提高有限。l 要兼顾存储时间，如果存储文件太大，分辨率即使有所提高，录像保留时间将大大缩短，不能满足用户的要求。优化录像格式针对视频图像储存的步骤：采样、量化、编码。由于硬盘录像机直接影响监控系统的分辨率，如果对储存过程的参数进行调整，例如改变编码格式，提高录像文件所含信息量，也可以提高视频图像的分辨率。优点：l 提高图像分辨率；缺点：l 目前视频格式为成熟格式，重新调整难度太大。l 录像保留时间将大大缩短，不能满足用户的要求。存储图像处理视频监控主要功能之一就是在发生突发事件时能进行图像回放，往往在需要监控的区域可能事先没有考虑到高清录像，回放效果不尽如人意，这时候再进行设备更新也来不及了，只能在现有的图像资料的基础上进行软件处理，利用软件的办法提高视频图像分辨率。优点：l 应用范围广，属于事后弥补，实用性强；l 基本没有硬件投资，在原有基础上进行软件处理，经济性很好；l 立足现有设备，大批原有设备可以得到利用，为港区改造节约大笔资金，提高监控系统现代化程度。 缺点：l 没有现成经验方法可借鉴，软件处理计算繁琐，实现难度较大。 我们对5个方案进行了初步比较汇总结果如下：类型序号方案缺点方案选择硬件方法1优化摄像机更换摄像机费用太高，经济性很差；由于港区实际情况，对于设备更新成本太高，不具可行性。不选择2优化传输系统全部更新传输系统成本太高，不具可行性，针对各种类型的叠加噪声进行处理则比较复杂，不易形成标准工法。不选择3优化录像机需要部分更换设备，性价比不是很高，但考虑到录像机是目前监控系统的瓶颈，一旦录像机上分辨率有提高，则可明显提高录像资料的分辨率。选择软件方法4优化录像格式目前视频格式为成熟格式，重新调整难度太大。要兼顾存储时间，如果存储文件太大，分辨率即使有所提高，储存时间将大大缩短，不能满足用户的要求。不选择5储存图像处理没有现成经验方法可以借鉴，软件处理计算繁琐，实现难度较大。通过方案改进可以实现选择4.方案的试验比较2009年2月19日，小组成员对可采用的两个方案进行了现场试验对比：试验背景 首先选取港区现场原始录像资料截图，港区视频监控系统原有录像机为杭州海康威视的DS-8004HC-S，录像分辨率为MPEG-4的2CIF格式（302*288）。图1：原始录像截图3#方案：更换录像机港区视频监控系统原有录像机为杭州海康威视的DS-8004HC-S，录像分辨率为MPEG-4的2CIF格式（302*288），通过更换硬盘录像机：杭州海康威视的D1格式高清硬盘录像机DS-8004HF-S，录像分辨率达到MPEG-4的4CIF格式（704*576），理论上提高了2倍，录像截图效果如下图所示，可以看到图像质量无论在视频分辨率还是图像的色彩饱和度各个方面有明显提高。图2：更换设备后录像截图但是通过更换硬件的方式经济性不理想，以该港区为例，共配置摄像机32台，八路硬盘录像机3台，四路硬盘录像机3台，同时由于录像资料的提高，相应的录像文件所需硬盘空间也相应变大，为满足存储时间的要求，还需要增加硬盘存储设备，加上相应的安装调试费用，若要全部更换至D1格式的高清硬盘录像机则需要：八路硬盘录像机3台：9600*3=28800元四路硬盘录像机3台：6400*3=19200元增加1T硬盘48块：950*48=45600元安装调试费用：1.5万元合计约10.8万元，费用不菲。同时，通过更换硬件的办法还有一个很大的缺陷，性能指标的提升受限于硬件的生产水平，会产生一个瓶颈。图3：高清录像截图的局部放大如上图中所见更换高清设备以后整幅图像分辨率提高了，但是如果将某一局部进行放大，则会发现局部分辨率仍然达不到要求。这种情况很难通过更新设备进一步提高分辨率。5#方案：视频图像的软件处理采用基于信号处理的软件方法对图像的空间分辨率进行提高，对图1进行处理，得出结果如下：图4：经过软件处理的视频截图l 软件处理视觉效果较为明显，而且应用范围广，属于事后弥补，实用性强；l 基本没有硬件投资，在原有基础上进行软件处理，经济性很好；l 立足现有设备，大批原有设备可以得到利用，为港区改造节约大笔资金，提高监控系统现代化程度。5.选定方案由于3#方案较易实现，而5#方案，虽然无论在经济成本还是预期效果方面均优于3#，但实现相对较为困难，两者各有优势，为了体现QC活动的民主性，小组成员经过讨论决定采用打分方式对两个方案进行选优，确定最佳方案。各方案的分析及评估表序号方案可行性分析评价小计加权总分是否采用标准权数宋鑫颖吴 超邱明佳谈 星孙 昕戚琳烨徐 君朱继成1优化录像机费用较高，提高分辨率效果较好，提高一定程度以后再升级硬件有瓶颈难易性0.2275.418.6不采用经济性0.493.6需时间0.1121.2预期效果0.3288.42视频图像处理费用较低，提高分辨率效果略差，可行性较强，如进一步调整图像处理软件算法可达到要求难易性0.2112.223.6可采用经济性0.43012需时间0.1222.2预期效果0.3247.2：4分 ：3分 ：2分 ：1分 制表人：宋鑫颖 日期：2010年3月10日评价结果： 我们采用“归一法”对该项目实施经济性、需时间及预期效果进行加权评价，操作难易性主要对两种优化方法的实现难易度进行评价，由于对于监控图像的分辨率提高，技术上要求较高，难度加大不可避免，加权系数为0.2；经济性指技术措施成本，由于本项目核心理念就是以尽可能低的经济代价提高电视监控系统视频图像回放分辨率。本着“服务客户”宗旨，费用加权相对较大采用0.4；需时间主要指对新技术开发周期长短评价，由于本项目时间要求不是特别严格，加权系数为0.1；预期效果指达到提高分辨率目标值的可能性，加权系数为0.3。综合得分满分应是32分。我们把得分率超过60%-即23.6分以上的方案即视频图像处理作为最佳方案。6.细化方案图像处理原理视频图像处理方案，其核心思想是用时间带宽（获取同一场景的多帧图像序列）通过运算合成得到高分辨率图像，实现时间分辨率向空间分辨率的转换，使得重建后图像的视觉效果超过任何一帧低分辨率图像。下图表示了高、低分辨率图像像素之间的关系。图中左边三帧Y1，Y2，Y3具有相对位移的低分辨率图像，通过对录像过程中图像变化规律即运动的估计，进行相应的插值运算，可以合成得到如图所示的高空间分辨率图像X。图像处理方法分类视频图像处理分类目前视频图像处理方法主要分为频域和空域两大类，其中空域又可以分为最大后验概率估计方法（MAP）、凸集投影算法（POCS）和混合MAP/POCS方法三种：（1）频域法频域方法实际上是在频域内解决图像内插问题，其主要方法主要利用傅里叶变换的移位性质，对原始图像进行摸转数变换，使图像转变为可修改的傅里叶方程模型。优点：理论简单，运算复杂度低，很容易实现并行处理，具有直观的去变形超分辨率机制。缺点：所基于的理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。（2）空域法空域方法主要在空间域分布上进行图像重建，如下图所示，对一系列低分辨率图像所含像素信息进行定位后组合成一张高分辨率图片。空域方法适用范围较广，主要包括非均匀样本内插法、迭代反投影方法、集合论方法（如凸集投影：POCS）、统计复原方法（最大后验概率估计MAP 和最大似然估计ML）、混合MAP/POCS 方法以及自适应滤波方法等。而目前凸集投影法；最大后验概率估计；混合MAP/POCS 方法较为适合本技术的目的最大后验概率估计方法优点：在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等；即该方法能够保证图像清晰度，减少干扰信号在运算过程中的累加对图像所造成的影响，提高信噪比。缺点：运算速度较慢和运算量大。另外，由于该方法能够过滤细微干扰信号数据，同时也会将图像的细微部分进行过滤、排除，因此，由这类方法获得的高分辨率图像上的细节容易被忽略，平均绝对差相对较高，不利于图像有效还原。凸集投影方法优点：可以方便地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节；得到图像平均绝对误差较低，即能够有效保证图像还原度。缺点：解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。即运算过于复杂，且不稳定导致图像信噪比改进因子较低，图像视觉效果较差。混合MAP/POCS方法把MAP和POCS两种算法合并为统一的算法。提出了一种把MAP和非椭球约束结合在一起的混合算法，这种方法即可保证图像清晰度和还原度又可有效提高图像视觉效果。理论证实，梯度下降法能保证这种混合MAP用OCS方法收敛到全局最优解。（3）方法的初步比较类型序号方案缺点方案选择频域法1傅立叶变换求解频谱方程所基于的理论前提过于理想化，不能有效地应用于多数场合。不选择空域法2最大后验概率估计方法（MAP）收敛慢和运算量大。另外，最大后验概率估计方法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨率图像上的细节容易被平滑掉。不选择3凸集投影方法（POCS）解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高不选择4混合MAP/POCS方法结合MAP和POCS二者优点，计算速度快，图像重建效果好选择7.总结结合以上分析，我们准备采用空域方法中的混合MAP/POCS方法对港区已储存录像中的片段通过软件方法进行合成，还原现场真实环境。四、制定对策选定最佳方案后，小组成员讨论确定了软件处理实施流程图：实施步骤如下： 步骤一：确定各项图像处理参数，并初步合成需重建低分辨率图像，对图像进行模转数处理； 步骤二：对图像进行配准，对参考帧进行运动估计，即对多帧图像的数字模型进行叠加处理；步骤三：对图像进行数字模型复核运算，保证重建图像后的视觉效果；根据流程图制定了相应的研发对策：序号项目对策目标措施地点责任人完成时间1图像合成确定图像重建参数确定运动估计精度、插值运算参数、图像重建帧数；控制峰值信噪比281.参数确定2.数字模型建立3.初步运行实验室吴 超朱继成2009.32图像配准实验配准精确测定一系列图像之间对应像素的运动估计；配准后平均绝对值误差0.11.图像配准2.持续改进实验室邱明佳孙 昕2009.43图像校核实验校核将不同图像的有效像素通过插值运算重建一帧图像。1.确定校核次数2.重建图像实验室宋鑫颖白 敏2009.4五、对策实施实施一、图像合成1.参数确定影响图像重建效果主要有三个因素：运动估计精度、插值运算算法和图像重建次数。运动估计精度：即是测定低分辨率图像和参考帧之间的像素位移参数，若是针对每一个像素进行测定，则易受噪声影响，估计不够可靠，而且运算量增加。一般来说，基于块的运动估计，当前帧被划分为图像块，以块为单位进行测定。块的大小直接影响重建效果和计算复杂度。插值运算算法：常用的插值函数有最近邻点函数（1维）、双线性函数（2维）和双三次插值函数（3维）等等。算法越复杂则图像质量相应提高，若是复杂到一定程度，则在明显加重了计算负担的同时，图像质量提高并不显著。因此合适的算法对重建效果影响很大。图像重建次数：即参与图像重建的低分辨率图像帧数，根据超分辨率图像重建理论，图像重建次数越多则重建效果越好，但是计算复杂度也越高，实用性和经济性会下降，因此选择一个适中的重建次数参数显得极为重要。2010年3月3日8日，我们小组进行了专题研究，使用正交试验法进行了试验分析1）试验目的：确定运动估计精度、插值运算算法、图像重建帧数的最佳组合2）评价指标：峰值信噪比。3）确定因素：运动估计精度、插值运算算法、重建次数3个因素4）确定水平：对每个因素确定了3个水平序号A运动估计精度（块大小）B插值运算（算法）C图像重建次数（次）13*31（最近邻点函数）626*62（双线性函数）839*93（双三次插值函数）105）选定合适的正交表选用 L9(34) 表 （根据上述确定的3个水平与3个位级）6）实施试验2009年3月56日我们根据正交表设计的试验要求进行了共9次不同条件因素组合的实验室测试，结果如下：ABC峰值信噪比11（3*3）1（1）3(10)22.422（6*6）1（1）1(6)28.133（9*9）1（1）2(8)26.641（3*3）（2）2(8)26.552（6*6）（2）3(10) 27.363（9*9）（2）1(6)23.271（3*3）3(3)1(6)23.982（6*6）3(3)2(8)29.393（9*9）3(3)3(10)28.8T172.877.175.2T284.77782.4T378.68278.5/T124.225.325.1/T228.225.727.4/T326.226.326.1R11.957.2初定优先水平A2B3C27）结果分析：看一看：试验结果中第8号信噪比最高,即初定优水平A2B3C2算一算：确定较优位级, A: IIIIII, B: II I III, C: I III C B;A为主要因素, C为重要因素, B为次要因素试验因素影响趋势：图中我们可以看到，当运动估计块取6*6，双三次插值函数时峰值信噪比最大即图像质量最好，另外随图像重建次数提高，峰值信噪比有所提高。8）结论分析：随运动估计图像块增加信噪比增加，当块精度超过6*6时易受噪声影响，估计不够可靠，而且运算量增加导致图像质量下降；当图像重建次数采用8次信噪比最大，随着重建次数增加，噪声信号逐渐加大，信噪比下降。实验结果A2B3C2完全满足趋势影响,所以我们决定运动估计精度采用（6*6）图像块，插值运算采用双三次插值函数，图像重建采用8帧图片进行运算。2.数字模型建立小组成员根据所取得的参数建立了图像合成的数字模型：建模方式：将连续两帧低像素图片进行分块，并依据每块特征值进行定位，每个单块为6*6个像素，依据每个像素的特征采集相应的数据形成矩阵A及矩阵A1类似矩阵，并通过双三次插值函数进行计算，获得新矩阵B双插值计算方式： 通过对矩阵A及矩阵A1对应像素的周边像素配准确定该像素估计值，以先横向，后纵向单个像素运算的方式进行。3.初步运行 2009年3月710日，我们对正交法确定的实验参数进行了验证，共选择了5组不同的试验样本，试验结果如下：样本组号ABCDE峰值信噪比29.228.728.929.129.0经过试验可以看出，对比目标值，峰值信噪比都大于28，均达到事先选定的目标值范围，故此组参数的选择是可行的。9）实施效果：根据本实施中确定的参数组合，我们进行了大范围实施，在港区内抽取大量样本（100个样本组）进行视频图像的优化，经过优化的峰值信噪比分布如下图所示。从图中可以看出，信噪比在28.529.5之间呈正态分布，分布区间满足事先设定的目标值的要求，进一步验证了本参数组合的可行性。 实施结果：完成目标，实施有效实施二、图像配准1.图像配准定义图像配准定义为两幅图像之间的空间变换和灰度变换，配准的目标就是要使两帧图像之间的某种相似度准则达到最大。如下图所示，由多帧具有标准位移的低分辨率图像(b)(e)按照标准位移把低分辨率图像的像素放在高分辨率图像中适当位置即可重构高分辨率图像(a)。若是图像配准算法选择的不好，重建出来的图像就会产生变形，引起分辨率下降，由于位移参数无法精确测定，这里还是采用通过测定重建图像的平均绝对值误差来评估配准效果：图像配准序列图像相关帧之间的运动参数可以用2个参数来表示：水平偏移rx、垂直偏移yr，即横向平移及纵向平移根据傅立叶变换（FT）的位移性质，频域的相位变化相应于空域的平移变化，基于FT的图像配准方法的基本思想是精确测定傅立叶变换函数的相位变化，就能精确测定帧间平移。2.持续改进发现问题2009年4月1日，小组成员在本实施进行过程中，根据傅立叶变换算法对5组样本数据进行试验验证，验证数据如下：样本组号ABCDE平均绝对误差0.120.170.130.110.18 根据目标值要求，所合成图像平均绝对值误差必须小于0.1，而目前无达到目标值要求图像，不合格率达到了100%，我们小组立刻对这一现象进行了原因分析。查找原因、提出解决方案2009年4月15日，我们QC小组召开专题讨论，研究这一现象，经过对比样本，发现样本组A、C图像变化较为平缓，多为全局平移运动，而样本组B、D、E则图像变化较为激烈，存在图像旋转现象。基于傅立叶变换的配准算法可以精确测定水平偏移rx、垂直偏移yr两个参数。未对旋转参数进行精确的估计，而实际图像中，帧间旋转是存在的，如样本组B、D、E的情况下，基于傅立叶变换的频域配准算法就不能有效地对图像进行配准，因此需要对该算法进行改进。改进配准算法由傅立叶变换的配准算法求出平移参数后，再由基于光流场的配准得到的旋转参数对低分辨率图像进行旋转补偿，可以得到一个不错的配准算法。在傅立叶域中表示为确定好改进后的配准算法以后，我们对之前的样本组进行了验证，选择了之前5组不同的试验样本，试验结果如下：样本组号ABCDE平均绝对误差0.090.020.030.080.06经过试验可以看出，对比目标值，平均绝对值误差，均达到事先选定的目标值范围，故该改进配准算法的选择是可行的。4）实施效果：根据本实施中确定的配准算法，我们进行了大范围实施，在港区监控资料内抽取大量样本（100个样本组）进行视频图像的优化，经过优化的峰值信噪比分布如下图所示。从图中可以看出，平均绝对值误差在0-0.1之间呈正态分布，分布区间满足事先设定的目标值的要求，进一步验证了本配准算法的可行性。 实施结果：完成目标，实施有效实施三、图像校核1.确定校核次数发现问题2009年4月25日小组成员以经验对输出的图像进行两次校核后输出，发现图像细部结构虽然非常清晰，但重建后图像平滑程度不足，存在锯齿现象。根据规范要求，图像信噪比改善因子应7。2009年4月26日小组成员对重建后图像进行了检测：信噪比平均绝对值误差信噪比改善因子检测结果290.084.8规范要求280.17小组成员经过讨论认为由于对于重建图像校核次数过少，导致图像修正量不足，引起信噪比改善因子过低。 为此，2009年4月27日