973课题6结题报告V2.pptx

基于视觉特性的视频编码理论与方法研究面向智能监控的视频编码方法(2009cb320906)结题报告,黄铁军北京大学数字视频编解码技术国家工程实验室中国科学院计算技术研究所智能信息处理重点实验室武汉大学国家多媒体工程技术研究中心2013年9月23日,监控摄像头无所不在,消防安全防控指挥,交通安全防控指挥,安全生产防控指挥,突发公共卫生事件防控指挥,居住,安全,生产,社会,交通,卫生,安全,安全,安全,安全,市政突发事件防控指挥,自然灾害事件防控指挥,反恐与刑事案件防控指挥,迅速扩展的视频监控系统,移动应急指挥,应急联动机构,应急联动机构,应急联动机构,3,面向智能监控的视频编码方法,机理与模型层,课题2：面向视频编码的视觉计算模型与方法研究,课题1：视觉信息处理基本机理研究,理论与方法层,课题4：多维度可伸缩视频编码方法,课题5：分布式多视点视频编码方法,课题3：基于视觉模型的高效视频编码理论,课题7：宽带移动多媒体验证平台,原型研究与验证层,课题6：面向智能监控的视频编码方法,2012年全球数据总量为2.84zb，美国占32%，中国占13%2020年将达到40zb，中国将占21%（世界平均水平）,快速增长的大数据,大数据两年翻一番,监控视频嵌入式医疗设备（实时保健）交易类数据娱乐和社交媒体来自用户的图像和语音,大数据中监控视频遥遥领先,监控视频编码的特殊需求,系统需求：压缩比高，计算复杂度低监控视频数据量巨大，需要高压缩比以降低传输和存储成本与数字电视应用对编码器成本不敏感相比，监控摄像头量大面广，要求编码复杂度低应用需求：保真度高，支持智能分析作为证据而不是，保真度高支持智能分析，实现监控大数据的自动分析挖掘和利用,课题总体目标,三层码流结构(基本层、对象层和索引层)的新一代监控视频编码方法基本层编码：基于场景建模的视频编码对象层编码：在基本层码流已经实现前背景分离的基础上实现监控对象(物体、人物等)的检测、表示和编码方法，服务于异常行为与事件的监测索引层编码：描述视频结构及片断重要程度，服务于快速检索、视频摘要和高效存储,索引编码层,对象编码层,基本编码层,提纲,成果汇总面向智能监控的视频编码方法面向智能监控的视频编码方法总结展望,提纲,成果汇总面向智能监控的视频编码方法面向智能监控的视频编码方法总结展望,成果完成情况,论文发表,国际期刊论文（21篇）：ieeet.oncircuitsandsystemsforvideotechnology(5)ieeet.onimageprocessing(3)ieeet.onmultimedia(2)acmcomputingsurvey(1)acmtrans.multimediacomput.commun.appl(1).internationaljournalofcomputervision(1)ieeesignalprocessingletters(2)其它国际期刊(6)会议论文（89篇）iccv,dcc,cvpr,acmmultimedia,人才培养,1人获得国家杰出青年基金资助（黄庆明）1人入选教育部新世纪人才计划（黄铁军）出站博士后（3人）：齐洪钢、苏荔、金辉18人获得博士学位2名获得中科院优秀博士论文（李甲、张史梁）1名获得北京市优秀博士论文（李甲）4名获得中科院院长优秀奖（张史梁、王树徽、许倩倩、李亮）34人获得硕士学位,经费总体情况,预算与拨付批复预算经费409万元，全部到位经费拨付：拨付参加单位中科院计算所122万元，武汉大学57万元，全部按时拨付到位经费使用支出407.40万元，按预算进行结余1.6万元0.86：已经注册的下半年国际会议0.74：课题验收费用,经费审计认定表,提纲,成果汇总面向智能监控的视频编码方法面向智能监控的视频编码方法总结展望,hd:20mbpssd:5mbps,hd:10mbpssd:2.5mbps,1991,1994,2003,2020,150,250,50,压缩比,avs1avc/h.264vc-1,mpeg-1,hevc/h.265,avs2,mpeg-2,2013,hd:5mbpssd:1mbps,视频压缩效率“倍增定律”,压缩效率追不上数据增长,视频压缩十年翻一番,大数据两年翻一番,能否再翻一番技术路线：编码和分析有机结合,技术路线：在编码中引入模型,视频编码的首要目标是（在率失真意义下）提高编码效率基于场景模型的编码：刚开始时场景模型为空白，随着时间推移场景模型逐渐完善，数据总量趋向稳定开始视频码率与常规编码相同，但很快下降逐渐并趋向稳定，只在出现异常时码率脉冲式增高,在视频编码框架中增加背景,20,基于背景建模的编码方法,背景选择低复杂度背景生成与更新背景预测技术基于背景差分编码的自适应运动补偿位流解码缓冲区管理用于管理不输出的g帧运动矢量导出优化b帧编码时的运动矢量导出p帧编码时的运动矢量导出,21,背景差分预测编码（bdmc）,对混合块，减除背景像素之后再进行运动补偿,c/r不匹配但是c/r匹配,22,ieeep1857国际标准的特色部分,监控视频数据库pku-svd-a,不同天气,不同时间,不同对象,24,ieee1857/avs-s2效率翻番,增强最新国际标准hevc,框架,backgroundhpsgop是前景变化较少的图像组,增强hevc：码率节省近一半,同时实现了接近40%的编码复杂度节省,在hevc上实现了接近45%的监控视频码率节省,为什么速度还能提高一倍？,基本思想:基于cu分类，借助于cu划分提前决策、pu候选模式选择和运动估计精简，实现复杂度节省,rawdata,cud:cupartitiondetermination.,pus:pucandidateselection.,mes:motionestimationsimplification.,实现了监控视频编码效率的再翻一番,29,监控视频存储成本节省举例,以北京为例,存储成本200亿元,高清摄像头没小时产生3.6gb数据,数据保存一个月,北京监控视频总存储量1620pb,2012年超过50万摄像头运行,用avs1或h.264hp高清压缩,2012年存储价格:2usd/gb,全国已部署监控摄像头4000万，按上述方式推算，仅存储需要1.6万亿若采用ieee1857监控档次，北京市可以节省100亿，全国节省8000亿若采用新的avs2监控档次，北京市只需要50亿，全国只需要4000亿,提纲,成果汇总面向智能监控的视频编码方法面向智能监控的视频编码方法总结展望,课题总体目标,三层码流结构(基本层、对象层和索引层)的新一代监控视频编码方法基本层编码：基于场景建模的视频编码对象层编码：在基本层码流已经实现前背景分离的基础上实现监控对象(物体、人物等)的检测、表示和编码方法，服务于异常行为与事件的监测索引层编码：描述视频结构及片断重要程度，服务于快速检索、视频摘要和高效存储,索引编码层,对象编码层,基本编码层,1原始视频2背景建模3前景提取,4对象检测,智能对象检测,33,传统的对象检测方法,基于avs-s2的对象检测方法,avs-s2测试数据集,均已用avs-s2编码（压缩510倍），作为分析识别算法研究的公共数据,基于avs-s2的分析识别算法,基于avs-s2的行人检测基于avs-s2和局部约束的人脸超分辨率基于avs-s2的目标跟踪基于avs-s2的异常行为分析基于序列学习和非均衡分类的监控视频异常检测，并连续四年成为trecvid监控视频事件自动检测比赛的最佳团队之一,基于avs-s2编码的目标跟踪,视频序列中的目标跟踪是视频监控的一个主要目标传统的目标跟踪算法取得了很大进展，但是：1）算法中跟踪目标大小常常固定，其无法应对目标大小时变的场景2）在整个图像进行搜索（虽然前景面积往往不足整个面积的30%），效率低3）跟踪物体或是背景的表观经常变化，易导致跟踪失败,基于avs-s2编码的目标跟踪,从avs码流中提取背景帧，当前帧与之相减同时采用形态学操作得到前景确定搜索区域在目标所在位置的周边寻找符合条件的前景相交区域面积最大；距离原始位置最近；前景面积在一定大小范围内；如果找到满足上述条件的前景，则减少搜索区域，否则使用原始搜索区域提出基于迁移学习的特征自适应跟踪方法系统分析跟踪过程中目标特征的统计特性，把迁移学习方法引入到跟踪领域，采用在线更新框架，结合半监督学习来进行目标跟踪,整体损失函数,目标样本上的损失函数,辅助样本上的损失函数,无标签样本上的损失函数,实验结果从三个方面来考量：时间、正确率和压缩率压缩率上比较avs压缩前后的大小，原始编码方式为mpeg-4时间上比较其计算置信图消耗时间（由于通过减小搜索区域，消耗减小）正确率上比较其跟踪成功的帧数和与groundtruth之间平均距离,sfr越大越好，error越小越好,空间：压缩掉74.11%（原来的三分之一）时间：节省56.17%（速度提高一倍以上）性能：跟踪误差降低31.79%,基于avs-s2编码的目标跟踪,基于avs-s2的分析识别算法,基于avs-s2的行人检测基于avs-s2和局部约束的人脸超分辨率基于avs-s2的目标跟踪基于avs-s2的异常行为分析基于序列学习和非均衡分类的监控视频异常检测，并连续四年成为trecvid监控视频事件自动检测比赛的最佳团队之一,trec与trecvid,trec(textretrievalconference)：文本检索会议。文本检索领域人气最旺、最权威的评测会议，由美国国防部和美国国家技术标准局（nist）联合主办，1991年开始。trecvid：2001和2002年，trec组织了一个视频检索项目，致力于研究数字视频的自动分割、索引和基于内容的检索。从2003年开始，这个项目发展成为独立的评价体系，即trecvid，并以为期2天的研讨会的形式在trec之前举行2008年，trecvid启动监控事件分析项目surveillanceeventdetection，到今年为止共举行了五届，我们从2009年开始连续参加了4届，一直处于领先地位,trecvid监控视频事件检测比赛,伦敦gatwick机场监控视频5个固定摄像头，部分重叠训练数据：每个摄像头5天内20小时的监控视频（共100小时）难点：背景复杂，摄像头距离远，人群密集，运动复杂,41,embrace,peoplemeet,peoplesplitup,object-put,pointing,事件举例,42,北大团队连续四年成为最佳团队之一,2009:4/5:10peoplemeetpeoplesplitupembraceelevatornoentrypersonruns,redisrank1;greenisrank2,2010:2/4:7peoplemeetpeoplesplitupembracepersonruns,2011:2/5:7peoplemeetobjectputembracepointingpeoplesplitup,43,2012:3/7:7peoplemeetobjectputcelltoearpeoplesplituppointing,2012年度，领先于美国卡内基-梅隆大学和ibm联队的最佳团队，唯一的所有事件均居前三,提纲,成果汇总面向智能监控的视频编码方法面向智能监控的视频编码方法总结展望,总结：提出了基于背景建模的监控视频编码方法，实现了编码效率翻番,提出了编码和识别有机融合方法不像mpeg-4那样依赖于精确的对象分割，而是基于实际可行的背景建模，通过背景参考和背景差分实现编码效率大幅提升已经实现了背景和前景的分离（虽然不很精确），为分析识别提供了更好的前提条件作为ieee1857标准独具特色的一个部分已经颁布，对固定摄像头的监控视频，编码效率达到同类国家和国际标准效率的两倍在公开测试数据上对代表性视频分析算法的实验表明，这种新的编码方法有利于智能分析识别在把既有视频再压缩三倍以上的条件下，分析识别精度相当甚至更高，计算复杂度能降低一倍以上,视频压缩相同视觉质量条件下尽可能少的比特表示,创新方向：识别友好的视频编码方法,监控摄像头一只长年累月注视单一场景的眼睛,找到了一个难得的实验对象视频编码和机器视觉研究的可能突破口,同一场景持续凝视成年累月,1场景理解2精确识别3效率再翻番,下一步：打通视频编码和视觉识别,1.背景建模固定视野摄像机的背景建模ptz摄像机的场景建模任意摄像机的场景建模2.全局性环境特性建模光照模型：灯光开关(室内)，日光渐变(室外)抖动模型：生成稳定视频，提高编码效率3.半前景动态要素建模短时：树的摇动，旗帜飘动中期：草生草长，花开花落长期：四季更迭不定期：雨、雪、雾4.前景对象库(建模)人、车以及其它感兴趣对象,谢谢！,请各位专家提出宝贵意见,与关键帧（kb）和重建帧建背景（rb）相比，输入图像建立的背景（ob）做长期参考的编码率失真代价最小,代表帧hkf,解码端重建背景rb,清晰但不纯净,纯净但不清晰,纯净且清晰,编码端构造背景ob,背景图像选择,girod1987b.girod,“theefficiencyofmotion-compensatingpredictionforhybridcodingofvideosequences,”inieeej.selecl.areascommun.,vol.5no.8,pp.1140-1154,1987.,liuetal.2010d.liu,d.zhao,x.jiandetal.,“dualframemotioncompensationwithoptimallong-termrefe