智慧城市中视频编码、研究和评测

1、智慧城市中视频编码、研究和评测智慧城市是一个生态系统。作为整个生态系统， 最关键的就是感知这一块，所谓感知就是通过传感器网或者 物联网，把数据收集起来。在这个基础上再做一些分析和存 储。存储和分析是这个生态系统中比较重要的环节。视频编码与分析的技术挑战在编码效率方面，大家可能知道，到现在为止，所有视 频系统里面用的都是非常常规的，通用的视频编码的算法和 芯片。这个用法对不对呢？实际上这是不对的，但是现在已 经形成这种习惯了，都是这么用的，你不这么用，人家反倒 会质疑你。当然从市场化、从减小成本这个角度来说它是对 的。但是从视频监控的目的来看，实际上是不对的。因为那 个通用的编码技术，它是为电视

2、服务的，本身它这个出发点 就是错的。目前视频的自动分析做得不好。因为它在系统设计的时 候，不是为了视频自动分析这个目的，而是为了视频存储和 以人为核心的视频跟踪，就是一定要有一个人坐在那里看那 个大的显示屏。靠这样的一套指导思想来设计现有的智慧城 市里面的视频系统，用这样的一个架构去做自动分析，是根 本无法实现的。随着时间的推移，监控视频的数据占整个大数据的比重 基本上都在一半或者一半以上这样一个数量级。所以数据的 存储和处理做好了，大数据的问题就解决了大部分。现在这 些大数据之所以没有有效的利用起来，里面很多知识还没有 归纳总结出来，也是和现有的数据积累过程，以及这个系统 设计的出发点是有关

3、联的。针对这些问题，我们要找到一个技术上的切入点来处 理。这个切入点，要更多的看目前智慧城市里急需的到底是 什么。实际上就是急需事件的追踪。例如说，有一个人报案, 说某家银行被抢了，劫匪坐了一辆白色的车跑掉了，你有没 有办法在比较短的时间内查到这辆车的位置。智慧城市中视频技术面临的挑战，就是我们现在面临的 三大问题，一个是监控视频的数据存不下，一个是查不准， 一个是挡不住。如果我们把这三个问题梳理一下，从技术上 来说就是，一个是编码的问题，一个是视频分析与跟踪的问 题，融合起来还有跟gps、音视频结合起来使用的问题。如果我们把它归纳为技术挑战，那就是两个挑战，一个 是高效视频编码的挑战，当然是

4、面向监控视频的。第二个就 是如何对分析和检索进行支持。如果大家对视频编码和视频 分析稍微熟悉一点的话，你会发现一个很奇特的现象，就是 做视频编码的人对视频分析不感兴趣，或者说不太做。反过 来，做视频分析的人对编码怎么编，基本上做的也不多。为 什么会出现这样的情况？做编码的人处理的对象是像素和 块，而做分析的人面对的是特征。这两个一个是踩在地面上, 一个是在山头上，所以这两伙人很难交汇。我们现在是希望 解决这个问题，因为必须把这两个事一起来做，你才可能做 成一个面向智慧城市的技术。高效视频编码标准从标准的历史上来看，实际上前30年中，基本上所有 的贡献、所有的技术都是围绕着通信领域的视频编码和广

5、播 里面的视频编码做的，前期主要是面向广播的视频编码。当 然也有面向通信的视频编码，后来也出现了兼顾通信和广播 的视频编码，但是所有这些编码都不是面向监控的。你可能 会说，视频通信不就是监控的一种吗？有的专家就说，如果 你要看现在的视频监控，实际上它是发展了三代，第一代是 模拟，第二代是数字，第三代是ip监控。这个ip监控是在 网络上，但是不是和编码有针对性的，所以面向监控的编码, 目前国际上没有人做这样的标准，只有中国人在做。目前的编码框架一个是变换编码，一个是预测编码，还 有一个是商务编码，把这三块组合起来，称为混合编码框架 结构。这种编码技术已经使用了 30多年。中国从2002年开 始，

6、也组织了一个自己的标准，2006年第一版出来之后被 itut接受为iptv的一个格式。再后来被广电和工信部联合 接受为我们国家地面数字电视机顶盒和地面数字电视一体 机的标准，去年avs的增强档成了我们国家广电的行业标准。 去年我们为了把这个标准国际化，也专门在ieee的标准化 协会下面成立了一个avs的工作组，目前这个工作组已经把 第一版编码所有的流程走完了。到现在为止，监控档次实际上是avs若干个档次当中的 一个。avs的监控档次引入了一个背景建模技术，这是目前 其它的标准里面还没有非常明确的事情。我们做了一些数据 分析发现，对于监控而言，它看的场景是比较固定的，不管 摄像头是固定不动的还是

7、旋转的，这都不要紧，实际上它的 场景是固定的，一旦这个摄像头安在这个地方，它就在这个 场景下，如果你有办法把这个场景学习下来，用它参与编码, 可以提高编码效率。如果你用场景建模，它就可以降低以前 的码率，这样就可以提高它的编码效率。场景模型这方面就 没有太大的难度，就是我给你一个视频，把视频分为前景和 后景，前景是场景没有的东西，背景是原来的场景，如果能 这样有效的分开，任何一个视频就可以分为前景和背景的组 合，就可以分开进行编码，对前景可以多用一点比特，使它 几乎没有损失，对于背景，可以用相当的参数代替它的场景, 减少它的比特。整个系统工作起来，需要对整个码流进行定义，这些定 义会告诉你现在

8、参考的是背景模型，还是实际码流。通常我 们编码的时候，它的参考帧都是固定给你的。我们现在就变 成需要换参考帧的时候，你可以用模型，也可以用实际的帧, 哪个效果更好，就用哪个。这样我们就从语法上把这个机制 建立起来了，而且这个机制可以允许你在原来的框架中增加 背景建模。有了这样一个机制，我们利用背景建模技术，不 单在avs上可以提高一倍的编码效率，还可以把它嵌到h. 264 和hevc里面，结果是一样的，都可以提高原来一倍以上的 编码的效率。这是面向视频监控，面向背景建模的编码技术。关于视频分析现在的分析技术都是基于把原来的编码图象解开了以 后来做。现在的问题是有没有办法不用解码就进行分析。这

9、个也是我们需要做实时响应的要点。现在的系统设计，完全 不是面向视频分析的，因为它是存在那里，要用的时候把它 解开，然后再进行分析的。我们现在试图找一种方法，就是 不用解开，或者不用全解，就来进行分析。avs有一个监控档次，就可以支持这件事。为了说明这 件事可以支持，它可以从帧、区域、对象、事件等不同层面 对这个东西进行描述。这里最关键的一个就是roi区域，你 要对它进行描述和表达，将来编码进行阐述的时候，是对这 一块单独来做的，当进行视频的时候，你只需要对前景，或 者说对roi来分析。这种思路其实不仅仅是可以用在avs上，我有几个学生 专门把这种思路嵌到hevc、h. 264里面，不但编码可以

10、提高 1倍以上，还可以把感兴趣的区域定位出来。从处理速度上 来讲，不同的算法可能有的时间长一点，有的时间短一点。 hevc的块的结构组合更灵活，利用它的块的组合的特点，也 可以做很多roi的描述，也可以根据这种可变块结构描述， 做很高的编码和识别的工作。人脸识别是非常重要的，我们也有一个专门的课题做人 脸识别的工作。人脸识别最理想的分辨率是100x 100,最低 的也要50x50,如果再小的话，识别效率就会差。编码压缩 的力度越大，识别率就会降低得越快。我们现在追求的目标不是光用人脸，实际是人脸和身体 组合在一起去做跟踪，这样才会比较有效。因为光看人脸的 话，如果分辨率不够，你很难完成跟踪的任务，特别是有时 候他是背过身来的。我们要把这个对象从头到脚跟踪下来， 然后找到他正面的图象，看看是不是你要找的人，如果是的 话，你就可以全部回溯，如果不是的话，你就把它丢掉。现在智慧城市当中的视频系统的设计，并不是面向智能 分析和识别