视频图像智能分析技术和产品应用功能探讨

1、视频图像智能分析技术和产品应用功能探讨    视频图像智能分析技术的研究和发展源于两个主要应用领域：一是为了便于分析而对图像信息自动进行判断、改进和增强，是针对视频图像本身进行改进和增强的技术，主要应用是对视频图像的效果进行判断、改进和增强，比如对视频和图像自动进行噪声检测滤除、颜色亮度自动校正等等，二是让机器自动理解视频图像，并对图像数据进行分析、存储、传输和显示，如工业制品的检测识别、OCR字符识别以及安防领域的行为检测、人脸检测、车辆号牌检测、逆行、闯红灯等违法行为等检测识别等。这些方面的研究的最终目的是用计算机模拟人类视觉，包括理解视频内容和对其

2、行为进行预判并采取相应行动等。 我们现在所提到的视频图像智能分析，主要是安防领域和道路监控领域内的相关应用。下面就对其智能分析应用的状况进行分析。 2D09年深圳安博会上，文安、汉王的视频质量诊断系统、TI的视频质量增强算法芯片，包括现在交通上用的比较多的宽动态的摄像机以及一体化摄像机，都可以说是视频智能分析技术在图像信息自动判断、改进和增强领域的应用，它们都是对视频图像信息状况进行自动判断，并根据分析数据进行分析、报警、改进或增强。现在，着重讨论自动理解视频图像方面，也就是智能分析在安防和交通的相关应用。 视频图像智能分析技术在安防行业中的应用 自动理解视频图像并对图像数据进行分析、存储、传

3、输和显示，基本上就是我们平时所提及的智能分析。对于安防行业，主要包括智能行为分析、云台智能动态跟踪、人脸检测识别、人数统计等等相关应用。下面主要针对这四种应用进行分析。 1、智能行为分析 具体来说，主要是对越界、进入或离开特定区域、物品遗留、物品遗失、滞留、徘徊等等异常行为进行检测、分析、判断和报警等。这是安防智能化需求和关注的重点，同时也是相关产品最多的智能分析需求，主要以ObjectVideo、IOImage等厂商为代表。 对于现在的比较通用的智能行为分析产品来说，基本都是通过对视频图像中的运动对象进行提取、分割、跟踪为基础，虽然有各自的特点，但重点实际上都在分割和跟踪上面，因为这两类算法

4、的结果将直接影响到规则判断的准确性。但是由于大部分的智能行为分析产品并不仅只是对人进行分析，车、物体甚至动物都可能是它需要考虑的目标。分析的目标对象比较广泛，所以不太可能采用和人脸检测等类似的技术对对象进行直接检测判断，而基本上都是以运动检测判断算法为基础。 然而问题是，由于没有采用直接针对对象的检测算法，运动检测算法计算出来的运动物体会是什么?是人?是车?可能是，也可能不是，还可能是噪声，甚至有可能是多个人或多个物体的重合。因此，考虑到对象类别的多样性、物体的重叠以及阴影、灯光、噪声等等的干扰，如何能够较好地对检测对象进行分割和跟踪，就是我们所面对的主要问题。 现在算法对阴影、灯光、水以及噪

5、声的过滤实际上并不能解决根本问题，因为它并没有对智能行为分析的对象分割提取出具体明确的目标，这样对于一些存在重叠或者多物体的目标对象的分割就没有帮助，特别是针对一些由于阴影、灯光等影响而“重叠”起来的物体。而现在的根据特征检测判断的算法基本上只能针对某一类的特定对象进行检测，并且其检测对象的类型数目和计算量是正比关系。另外，现在的这种根据对象特征进行分类的检测算法虽然受阴影、灯光影响较小，但是对真正重叠的物体的分割也是比较难实现的。所以现在的智能行为分析的应用环境是在符合检测物体大小要求的情况下，以“稀且广”为佳，特别是“稀”为第一要素，尽量避免物体重叠和检测重合。因此智能行为分析的应用实际上

6、主要集中于一些特殊的行业或场景，而不是万能的。所以在安防展会上，那种以现场实时视频作为分析源的智能行为分析产品基本都很难达到满意效果。 另外，也有针对局部部分运动进行检测分析，比如手的运动检测、步态检测等等，不过此类研究由于需要分析的动作比较具体和细致，对视频和应用环境提出了较高的要求，现阶段主要针对特定需求的研发，通用性较差。 2、智能云台动态跟踪 这是一个比较热门的应用话题，因为它能较好地体现智能分析结果的“后期处理”行为。相对于视频图像智能分析产品，“智能云台”不仅能够发现异常状态，还能 视频图像智能分析技术的研究和发展源于两个主要应用领域：一是为了便于分析而对图像信息自动进行判断、改进

7、和增强，是针对视频图像本身进行改进和增强的技术，主要应用是对视频图像的效果进行判断、改进和增强，比如对视频和图像自动进行噪声检测滤除、颜色亮度自动校正等等，二是让机器自动理解视频图像，并对图像数据进行分析、存储、传输和显示，如工业制品的检测识别、OCR字符识别以及安防领域的行为检测、人脸检测、车辆号牌检测、逆行、闯红灯等违法行为等检测识别等。这些方面的研究的最终目的是用计算机模拟人类视觉，包括理解视频内容和对其行为进行预判并采取相应行动等。 我们现在所提到的视频图像智能分析，主要是安防领域和道路监控领域内的相关应用。下面就对其智能分析应用的状况进行分析。 2D09年深圳安博会上，文安、汉王的视

8、频质量诊断系统、TI的视频质量增强算法芯片，包括现在交通上用的比较多的宽动态的摄像机以及一体化摄像机，都可以说是视频智能分析技术在图像信息自动判断、改进和增强领域的应用，它们都是对视频图像信息状况进行自动判断，并根据分析数据进行分析、报警、改进或增强。现在，着重讨论自动理解视频图像方面，也就是智能分析在安防和交通的相关应用。 视频图像智能分析技术在安防行业中的应用 自动理解视频图像并对图像数据进行分析、存储、传输和显示，基本上就是我们平时所提及的智能分析。对于安防行业，主要包括智能行为分析、云台智能动态跟踪、人脸检测识别、人数统计等等相关应用。下面主要针对这四种应用进行分析。 1、智能行为分析

9、 具体来说，主要是对越界、进入或离开特定区域、物品遗留、物品遗失、滞留、徘徊等等异常行为进行检测、分析、判断和报警等。这是安防智能化需求和关注的重点，同时也是相关产品最多的智能分析需求，主要以ObjectVideo、IOImage等厂商为代表。 对于现在的比较通用的智能行为分析产品来说，基本都是通过对视频图像中的运动对象进行提取、分割、跟踪为基础，虽然有各自的特点，但重点实际上都在分割和跟踪上面，因为这两类算法的结果将直接影响到规则判断的准确性。但是由于大部分的智能行为分析产品并不仅只是对人进行分析，车、物体甚至动物都可能是它需要考虑的目标。分析的目标对象比较广泛，所以不太可能采用和人脸检测等

10、类似的技术对对象进行直接检测判断，而基本上都是以运动检测判断算法为基础。 然而问题是，由于没有采用直接针对对象的检测算法，运动检测算法计算出来的运动物体会是什么?是人?是车?可能是，也可能不是，还可能是噪声，甚至有可能是多个人或多个物体的重合。因此，考虑到对象类别的多样性、物体的重叠以及阴影、灯光、噪声等等的干扰，如何能够较好地对检测对象进行分割和跟踪，就是我们所面对的主要问题。 现在算法对阴影、灯光、水以及噪声的过滤实际上并不能解决根本问题，因为它并没有对智能行为分析的对象分割提取出具体明确的目标，这样对于一些存在重叠或者多物体的目标对象的分割就没有帮助，特别是针对一些由于阴影、灯光等影响而

11、“重叠”起来的物体。而现在的根据特征检测判断的算法基本上只能针对某一类的特定对象进行检测，并且其检测对象的类型数目和计算量是正比关系。另外，现在的这种根据对象特征进行分类的检测算法虽然受阴影、灯光影响较小，但是对真正重叠的物体的分割也是比较难实现的。所以现在的智能行为分析的应用环境是在符合检测物体大小要求的情况下，以“稀且广”为佳，特别是“稀”为第一要素，尽量避免物体重叠和检测重合。因此智能行为分析的应用实际上主要集中于一些特殊的行业或场景，而不是万能的。所以在安防展会上，那种以现场实时视频作为分析源的智能行为分析产品基本都很难达到满意效果。 另外，也有针对局部部分运动进行检测分析，比如手的运

12、动检测、步态检测等等，不过此类研究由于需要分析的动作比较具体和细致，对视频和应用环境提出了较高的要求，现阶段主要针对特定需求的研发，通用性较差。 2、智能云台动态跟踪 这是一个比较热门的应用话题，因为它能较好地体现智能分析结果的“后期处理”行为。相对于视频图像智能分析产品，“智能云台”不仅能够发现异常状态，还能 自己有所动作，更能体现“智能化”。不过由于“智能云台”有后期的“智能”处理的特殊性，所以其算法并不是完全就是动态物体检测分析，其采用的算法类型比较多，概念也比较宽泛。这里主要针对现有的各种不同的“智能云台”对其效果和应用进行分析。 安防展会上“智能云台”是一个比较“火”的概念，不过，较

13、多的“智能云台”其实对跟踪的目标并没有一个明确的概念，有的就是以视频中心点的运动物体为跟踪对象，这样对于存在重合分离的目标跟踪具有随机性，有目标重叠的时候很容易出现目标错位和云台摇摆现象。正因为其对跟踪的目标的不明确和随机性，导致其在实际应用中，对场景“稀”的要求更加严格。 也有一些“智能云台”与智能行为分析相结合，这时候其应用效果就得到了明显改善，因为这时候云台不光知道“做什么”，同时也由智能行为分析的结果告知了“为什么”，相对于第一种状况有了比较明确的目标，它可以去跟踪一个越过了边界的人或者一辆进入特定区域的车，所以能达到一个较为满意的效果。当然，由于智能行为分析技术的应用的局限性，所以这

14、类产品的应用环境同样受到制约，并且同样由于对多个物体重合分离的目标的跟踪会带来随机性，所以云台智能动态跟踪的环境要求比智能行为分析严格。 还有一些“智能云台”动态跟踪和模型检测技术结合在一起，专门针对某一类物体，例如车、飞机等特定对象的行为进行判断并进行动态跟踪。这类技术比较依赖于检测模型的效果，也就是比较依赖于样本和算法的架构。比如专门针对违章停车、逆行或者变道的违章车辆的云台智能监控，如果有较好的车辆检测模型，那么即使在道路上车辆较多的情况下，也能对这些违法车辆做到较为准确的检测、判断，并且受环境的影响较小，也不太会受到灯光、阴影等噪声的干扰，能够达到比较理想的应用效果。但是，由于模型分类

15、的单一性问题，这类“智能云台”同样受到应用环境的制约，主要应用于一些需求明确的特定场所。 另外，现在的“智能云台”产品对云台的智能控制也是一个需要关注的问题，现在比较多的智能云台对云台控制的流畅性做的不够，画面变化比较突兀，这样实际会对后面的智能分析判断产生干扰。如果能够综合考虑下对象坐标，云台转速等相关因素，控制好视频的流畅性，实际上对 后面的智能分析也会有所帮助。 3、人脸检测识别 人脸检测识别，也是视频图像智能分析技术的主要应用方向之一。相对于人脸识别，人脸检测技术现在已经比较成熟，在数码相机等相关产品上都有应用，检测速度也比较快，在一定条件下可以达到实时的要求。 人脸识别近年除了2D算

16、法外，也有采用3D模型进行人脸识别，还有采用运动动态分析进行人脸识别的，对识别效果都有所改善。不过，人脸识别的效果除了算法架构的影响因素外，还关联到人脸数据库，在数据库很大的情况下，其识别速度和识别准确度都将面临较大考验；并且，由于人脸检测和识别对人脸的像素大小都有一定的要求，对视频中人的大小就有限制；另外，现在的人脸检测识别一般都是正面人脸居多，倾斜角度较小，并且一般需要平视，对摄像机的安装位置要求也比较高：同时对于光线也有要求，尽量避免阴影等噪声影响。所以现在的人脸检测识别基本应用于一些专业用途的项目，比如门禁、考勤等等，能够提供较清晰人脸正面视频或图像的行业或领域。当然，随着识别技术的发

17、展和高清监控的推广，人脸检测识别的应用前景将会越来越广泛。 4、人数统计 这是一个商业性较强的视频智能分析产品，也是现在需求比较强烈的一种智能化应用。它在商场、公交、公园等区域都有应用需求，可以实时统计分析人数与一些相关信息比如营业额、利润等等之间的关系以达到资源的优化配置，是一款很有发展前景的产品。从应用环境来看，智能视频分析的人数统计产品主要有两种形态：第一种是垂直状态的人数统计产品；第二种是有一定角度的人数统计产品。对第一种方式的人数统计来说，由于视频垂直向下，对象之间遮挡少，具体实施起来效果容易保证，并且准确度也较高。但是，垂直方向视频区域较窄，对检测摄像机安装高度也有一定要求。第二种

18、方式的人数统计对应用环境的要求就宽泛一些，不过由于这种环境下不可避免的存在遮挡问题，靠运动物体检测基本上难以达到预期效果，所以一般都是采用 模型特征检测的方式对一些比较难以遮挡的人体部位例如人头、人脸或者肩膀进行检测并跟踪判断，以达到人数统计分析的最终目的。当然，如果这些检测的目标也存在较多的遮挡的情况下，这种方式的检测效果也会有所下降，统计结果的误差也会增大。 由于安防监控的目标的广泛性和多样性，视频图像智能分析的应用也不止上述几种产品类型，例如人群密度检测、奔跑检测等等，包括一些行业上的特定智能分析产品，都是视频图像智能分析技术的应用。但是在现有技术条件下，实现对安防监控所感兴趣的所有对象

19、目标实施精确检测、分析和判断，基本上是不可能实现的，所以在合适的环境下，选择合适的检测对象，确定合适的判断目标或规则，采用合适的视频图像智能分析产品才是现在安防智能化产品应用比较可行的计划和方案。 视频图像智能分析技术在交通行业中的应用 对于交通行业，其应用环境、检测对象和目标相对来说，都比安防监控中的定义要明确，所以整体来讲，交通行业的智能化产品，特别是前端智能化产品，技术上相对安防来说，比较成熟，应用也更加广泛，产品类型也比较多，也是诸多厂商智能化产品开发的切入点。对于以车辆号牌检测识别为基础的卡口、测速、闯红灯等“传统”的智能交通产品，这里不做论述，我们主要针对道路智能监控产品进行讨论。

20、 道路智能监控是对视频中的车辆状态进行检测、分析、跟踪或判断。对一些异常事件比如停车、遗撒、逆行、变道、压线等等异常行为进行报警，并计算统计各车道车流量、占有率、平均速度等相关统计信息，也是现在智能交通的重要组成部分。 传统的闯红灯、卡口等智能交通产品的检测基本都是基于定“点”的检测，都是对视频中特定“点”位置进行检测、判断、识别从而得到结果。而道路智能监控和智能行为分析很相似，甚至可以说是智能行为分析的行业化应用，是基于视频“面”的检测，而同样由于行业要求和特点，其采用的算法也比较有特点。 第一种可是说是由“点”及“面”，代表厂商如Autoscope，通过视频中一系列的定“点”车辆检测，以达到对视频“面”的分析判断。这样的设计可以在保证检测准确度的情况下，大大缩短搜索扫描的时间，减少计算量；缺点就是环境适应性较差，