图像基础技术处理 12

第14章视频图像处理基础《数字图像处理》李俊山编著.《数字图像处理（第5版）》

目前，基于视频的运动目标检测与识别已经成为图像处理技术领域的一个热点课题。

可视电话、IP视频会议系统、有线电视、无线视频通信、光盘存储、视频点播和远程教学等数字视频业务的广泛应用，面向视频通信的视频信息压缩编码技术也已成为图像处理技术领域的另一个热点课题。14.1视频图像处理的概念

一、图像、视频、视频图像1、图像静态的画面就称为图像，即图像是指单帧静态的图片。2、视频

视频是以一系列在时间上相邻的图像信号的依次播放，因而给人眼呈现出连续动态图像的一种信息媒介。

因为：当一系列在时间上相邻的图像依次以每秒超过24帧（frame）的画面连续播放时，根据人的视觉短暂记忆特性，人眼就无法辨别每幅单独的静止画面，感觉到的是连续平滑的视觉效果，这种连续的画面就称为视频（Video）。

也即，视频是指连续的、相互关联的、动态变化的图像序列。一、图像、视频、视频图像3、视频图像

视频是由连续的图像序列组成的，其基本成分是一幅一幅的静态图像。另外，由于对视频图像的各种处理都是建立在对每幅静态图像的处理基础上的，所以当对其相关特性进行分析和处理时，就一般地把视频也称为视频流，或视频序列；进一步也称为视频图像。一、图像、视频、视频图像1、图像采集

单帧的图像采集过程称为摄影。

传统上摄影也称为照相。

摄影是指使用某种专门设备进行静态影像记录的过程。二、图像与视频图像的采集

2、视频采集

视频图像序列的采集过程称为摄像。

摄像是指利用摄像机（视频拍摄设备）进行连续动态的影像记录过程。二、图像与视频图像的采集

帧是组成视频的基本单位，一个视频是由很多连续的图片（帧）组成的。

视频图像的帧速率（Framerate，也称为视频帧率）是指一秒钟内录制的图片数量，或者说是指每秒所显示的静止帧数量。视频帧率是一种用于测量显示帧数的量度，单位为每秒帧数(FramesPerSecond，fps）或“赫兹”（Hz）一般用于影视制作和电子游戏。三、视频帧率

对于电子游戏来说，帧速率是指每秒刷新图片的帧数，也可以理解为图形处理器每秒钟能够刷新的次数。要生成相对连贯的动画效果，帧速率一般不小于8fps。对视频和影片而言，帧速率指每秒所显示的静止帧数量。电影的帧速率为24fps。三、视频帧率

视频图像是一组随时间变化的图像序列，具有给定的或假设的相对顺序，并能提供获取的相邻几幅图像的时间间隔关系，一般可描述为：或其中：

N为视频序列的总帧数，k为帧列序号，为获取第i帧图像的时刻。相邻两帧图像获取的时间间隔为。四、视频图像的形式化定义

视频图像处理是指将一系列的静态影像以电信号方式进行捕捉、纪录、储存、处理，传送和重现的各种技术的总称。

一般意义上的视频图像处理更倾向于理解为：

通过把视频图像序列分离为相邻的一幅一幅的静态图像，进而或利用传统的图像处理方法对单帧图像进行处理，或利用其相邻帧间存在的相关性进行运动特征检测和进行运动特征分析，或同时利用同一帧内相邻像素间的空间相关性和相邻帧间的时间相关性进行视频图像压缩处理。五、视频图像处理

14.2基于视频图像的运动目标检测与识别

运动目标检测是指从序列图像中将变化的区域从背景环境中分离出来。

运动目标检测与识别是视频图像最重要的应用之一。14.2.1帧差法

帧差法也称为帧间差分法，是一种常用且最简单的运动检测方法，其基本思路是:

通过对视频序列中两帧（或多帧）图像进行差分运算来提取运动目标的轮廓。

14.2.1帧差法

1.算法原理

14.2.1帧差法

1.算法原理

2.利用帧差法进行目标检测的方法连通性处理:因为帧差法对于面积较大或颜色分布较为均匀的运动目标，在两帧图像相邻较近的情况下重叠部分容易形成空洞，所以一般要进行连通性处理。运动目标轮廓提取（目标识别）：经过以上的帧差、去燥和连通性处理，就可得到图像序列中运动目标的边界（而非整个运动物体，因为许多情况下即使经过连通性处理，空洞仍很难全部补上），从而可确定图像序列中的目标物体。14.2.1帧差法3.相邻帧帧间差分法的优势和不足

优势：直接利用相距较近的两帧图像或利用相邻帧作为背景来做差分，不需要背景积累和更新，程序复杂度低，且适合于检测识别多目标。

不足：对环境噪声较为敏感，其检测效果过于依赖二值化阈值的选择，若阈值过大则容易将图像中有意义的运动区域排除掉，若阈值过小则容易引入过多的噪声。

并且对于面积较大、颜色分布较为均匀的运动目标，在相邻帧的重叠部分容易形成空洞，无法准确提取运动区域。

背景减法是先按某种规则选取一帧图像作为背景图像，通过用实时采集的观测图像帧与背景图像进行比较来分割运动目标，所以背景图像（背景模型）的提取是关键环节之一。

由于受场景环境变化、光照、天气和外来因素的干扰，需要定期、实时、或按某种规则对背景模型进行更新，所以背景模型的更新策略也是背景减法的关键环节之一。14.2.2背景减法

1.算法原理14.2.2背景减法

1.算法原理14.2.2背景减法

2.背景建模方法14.2.2背景减法

2.背景建模方法14.2.2背景减法

2.背景建模方法14.2.2背景减法

2.背景建模方法14.2.2背景减法

3.背景模型更新

为什么要对背景模型进行更新呢？

当被被观测区域的场景环境发生变化，如光照、天气和风的强度等，已建立好的背景模型可能不再适应变化了的环境。另外，若背景目标发生变化，如运动目标长时间保持静止成为背景的一部分，此时如果不更新背景模型，就有可能将背景点检测为运动点。14.2.2背景减法

14.2.2背景减法

光流场分析法是指利用图像灰度在时间上的变化和表观运动及物体真实运动之间的关系，进行运动物体检测的一种方法。14.2.3光流场分析法{自学，不做要求}14.3视频编码技术

视频作为动态的图像信息，数据量巨大，给存储器的存储容量、通信信道的带宽以及计算机的处理速度带来了很多压力。

因此，在能保证一定重构质量的前提下，使用尽量少的比特数来表示视频信息，也即对视频原始数据进行压缩编码，就显得十分重要。14.3.1视频压缩编码的机理14.3.1视频压缩编码的机理14.3.1视频压缩编码的机理14.3.1视频压缩编码的机理1、视频编码技术的发展

2、视频编码标准的发展3、视频编码标准H.264/AVC14.3.2视频编码技术及编码标准

视频压缩是指通过对视频进行一系列的运算，把原始的视频信息编码成码流的过程。

视频压缩过程由一对互补系统编码器和解码器实现。首先编码器对原始视频进行压缩，把原始的视频信息编码成规定的码流进行传输和存储；接着解码器把编码后的码流还原成相应的视频信息，以满足应用的需求。14.3.3混合视频编码框架

主流的视频编解码技术采用的是综合考虑预测编码、变换编码和熵编码的传统混合视频编码框架。14