视频监控与视频第七章 特征提取-基本特征.ppt

1、第7章 图像描述与分析,7.1 灰度描述 7.2 边界描述 7.3 区域描述 7.4 纹理描述 7.5 形态分析,第7章 图像描述与分析,图像分析 也叫景物分析或图像理解 是一种描述过程，研究用自动或半自动装置和系统，从图像中提取有用数据或信息生成非图的描述或表示 图像分析：特征提取、图像分割、符号描述、纹理分析、运动图 像分析和图像的检测与配准,预处理,分割,特征提取,分类描述,符号表达,识别跟踪,解释描述,输入图像,图像分析通常按下列顺序进行 从图像中提取对象或对象组成部分的图像特征(例如图像中景物的边缘或区域) 利用图像特征的属性或相互关系来决定每个属性应属于哪个对象的哪个部分,第7章

2、图像描述与分析,7.1 灰度描述,7.1.1 幅度特征 7.1.2 直方图特征 7.1.3 变换系数特征,7.1.1 幅度特征,最基本的是图像的幅度特征。 例如在区域内的平均幅度，即,7.1.1 幅度特征,a)原图 b)利用幅度特征将目标分割出来,P(rk)=nk/N 第rk个灰度级出现的频数 可从直方图的分布得到：图像对比度、 动态范围、明暗程度等 一阶直方图的特征参数： rk量化层 均值： 方差： 歪斜度：,7.1.2 直方图特征,峭度：,熵：,能量：,7.1.2 直方图特征,v,v(m+1),u,v(m),水平切口 垂直切口 环状切口 扇状切口,7.1.3 变换系数特征,频域中的一些特征

3、 如,M与F不是唯一地对应（M有位移不变性）,7.1.3 变换系数特征,特征：图像中含有这些切口的频谱成分的含量。信息可作为模式识别或分类系统的输入信息。已成功用于土地情况分类，放射照片病情诊断等,7.1.3 变换系数特征,7.2.1 链码描述 7.2.2 傅里叶描述子,7.2 边界描述,7.2.1 链码描述,在数字图像中，边界或曲线是由一系列离散的像素点组成的，其最简单的表示方法是由美国学者Freeman提出的链码方法。 链码实质上是一串指向符的序列，有4向链码、8向链码等。,4向链码 8向链码,7.2.1 链码描述,a)原链码方向 b)逆时针旋转90,图a曲线的链码为：0112223310

4、0000765556706 其差分链码为：1010010670000777001116,图b曲线的链码为：23344455322222107770120 其差分链码为：1010010670000777001116,7.2.1 链码描述,曲线的链码是：6022222021013444444454577012 其差分链码是： 220000627712100000017120111,7.2.1 链码描述,曲线的链码是：024444424323566666676711234 其差分链码是： 22000062771210000017120111,7.2.1 链码描述,链码的特殊性质 一个物体很容易实现旋

5、转45。如果一个物体旋转n45，可由原链码加上 n 倍的模8得到,链码的微分，也称差分码，由原码的一阶差分求得链码差分是关于旋转不变的边界描述方法,区域的一些其它性质，如面积和角点，可以由链码直接得,7.2.1 链码描述,7.2.2 傅里叶描述子,对边界的离散傅里叶变换表达，可以作为定量描述边界形状的基础。采用傅里叶描述的一个优点是将二维的问题简化为一维问题。,边界点的两种表示方法,7.3 区域描述,7.3.1 几何特征 7.3.2 不变矩,1. 像素与邻域,a) 4-邻域 b) 8-邻域,7.3.1 几何特征,2. 区域面积,3. 位置,质心,形心,7.3.1 几何特征,4.区域周长,三种定

6、义： (1) 区域和背景交界线（接缝）的长度 (2) 区域边界8链码的长度 (3) 边界点数之和,7.3.1 几何特征,5. 方向,二阶矩轴:物体上的全部点到该线的距离平方和最小 其中 是物体点到直线 的距离,7.3.1 几何特征,6. 距离,1) 欧几里德距离（Euclidean）,2) 4-邻域距离(City-block城区距离),3) 8-邻域距离（Chessboard棋盘距离）,7.3.1 几何特征,7.圆形度 描述连通域与圆形相似程度的量。根据圆周长与圆面积的计算公式，定义圆形度的计算公式如下： 其中， 为连通域S的面积； 为连通域S的周长。圆形度 值越大，表明目标与圆形的相似度越高

7、,7.3.1 几何特征,8. 矩形度,描述连通域与矩形相似程度的量 其中， 为连通域S的面积； 是包含该连通域的最小矩形的面积。对于矩形目标，矩形度 取最大值1，对细长而弯曲的目标，则矩形度的值变得很小,7.3.1 几何特征,9. 长宽比,其中， 是包围连通域的最小矩形的宽度； 是包围连通域的最小矩形的长度。,7.3.1 几何特征,7.3.2 不变矩,1.矩的定义 对于二维连续函数 ， 阶矩定义为：,中心矩定义为：,数字图像，则上式变为：,2.不变矩,定义归一化的中心矩为： 利用归一化的中心矩，可以获得对平移、缩放、镜像和旋转都不敏感的7个不变矩，定义如下：,7.3.2 不变矩,7.3.2 不

8、变矩,7.4 纹理描述,7.4.1 矩分析法 7.4.2 灰度差分统计法 7.4.3 灰度共生矩阵法 7.4.4 纹理的结构分析,纹理特征 自然纹理：种子、草地（无规则性） 人工纹理：织物、砖墙（有规则性，它的灰度分布具有周期性，即使灰度变化是随机的，它也具有一定的统计特性） 标志三要素 1）某种局部的序列性在该序列更大的区域内不断重复 2）序列基本元素是非随机排列组成的 3）区域内任何地方都有大致相同的结构尺寸,7.4 纹理描述,a) 结构型纹理 b) 随机型纹理,7.4 纹理描述,描述纹理图像特征的参数有许多种，如 1）知道像素及邻近像素的灰度分布情况。 2）检查小区域内灰度直方图，检查各

9、小区域直方图的相似性，具有相似直方图的小区域同属一个大区域,7.4 纹理描述,纹理：灰度与颜色的二维变化的图案，是区域的重要特征之一，灰度分布具有周期性、方向性、疏密之分。 统计方法：用于木纹、纱地、草地等不规则物体 自然纹理：具有重复性排列现象的自然景象，无规则 结构方法：布料的印刷图案或砖花地等组成纹理的元素及其排列规则来描述纹理的结构 人工纹理：是由自然背景上的符号排列组成、有规则的,7.4 纹理描述,7.4 纹理描述,7.4 纹理描述,(1) 均值（Mean） (2) 方差（Variance） (3) 扭曲度（Skewness）,7.4.1 矩分析法,(5) 熵（Entropy）,7.

10、4.1 矩分析法,(4) 峰度（Kurtosis）,灰度差分统计法又称一阶统计法，通过计算图像中一对像素间灰度差分直方图来反映图像的纹理特征。 令 为两个像素间的位移矢量， 是位移量为 的灰度差分： 粗纹理时，位移相差为 的两像素通常有相近的灰度等级，因此， 值较小，灰度差分直方图值集中在 附近； 细纹理时，位移相差为 的两像素的灰度有较大变化 ， 值一般较大，灰度差分直方图值会趋于发散,7.4.2 灰度差分统计法,灰度直方图中，各像素的灰度是独立进行处理的，故不能很好地给纹理赋予特征。因此，如果研究图像中两像素组合中灰度配置的情况，就能够很好地给纹理赋予特征，这样的特征叫二阶统计量， （灰度

11、直方图是一阶统计量） 代表性的是以灰度共生矩阵为基础的纹理特征计算法。,7.4.3 灰度共生矩阵法,灰度级联合分布（二阶统计量）,7.4.3 灰度共生矩阵法,x,y坐标，f(x,y)灰度，L灰度级数,x列，y行,7.4.3 灰度共生矩阵法,例:,7.4.3 灰度共生矩阵法,设图像矩阵为,水平方向无重复，变化较快,水平方向数值大，重复多，纹理较粗,1）对角线元素全为0，表明同行灰度变化快 2）对角线元素较大，表明纹理较粗,7.4.3 灰度共生矩阵法,7.4.4 纹理的结构分析,纹理结构的描述及排列,c) 由 和其它规则生成的二维纹理模式,纹理结构分析图例,7.4.4 纹理的结构分析,形态学基本运

12、算,7.5 形态分析,1腐蚀,集合A被B腐蚀，表示为 ，其定义为： 其中A称为输入图像，B称为结构元素。,腐蚀类似于收缩,7.5 形态分析,2. 膨胀,AC 表示集合A的补集， 表示B关于坐标原点的反射（对称集）。那么，集合A被B膨胀，表示为AB，定义为：,利用圆盘膨胀,7.5 形态分析,a) 原始图像 b) 腐蚀图像 c) 膨胀图像,7.5 形态分析,3.开运算,假定A仍为输入图像，B为结构元素，利用B对A作开运算，用符号 表示，定义为：,开运算实际上是A先被B腐蚀，然后再被B膨胀的结果。开运算通常用来消除小对象物、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其体积。,7.5 形

13、态分析,a)输入图像A b)结构元素B c) d),用圆盘对输入图像开运算的结果,7.5 形态分析,开运算滤除背景噪声,a) 原图 b)开运算结果,7.5 形态分析,4闭运算,闭运算是开运算的对偶运算，定义为先作膨胀然后再作腐蚀。利用B对A作闭运算表示为 ，其定义为:,利用圆盘对输入图像进行闭运算,7.5 形态分析,(a) 输入图像 (b) 闭运算的结果,利用闭运算去除前景噪声,7.5 形态分析,5边界检测,利用圆盘结构元素作膨胀会使图像扩大，做腐蚀会使图像缩小，这两种运算都可以用来检测二值图像的边界。对于图像A和圆盘B，下图给出了三种求取二值边界的方法：内边界，外边界和跨骑在实际边缘上的边界

14、，其中跨骑在实际边缘上的边界又称形态学梯度。,7.5 形态分析,A B,用腐蚀和膨胀运算得出的三种图像边界,7.5 形态分析,三种形态学边界实例,7.5 形态分析,作业,7-1 图像都有哪些特征？简要说明这些特征的特点？ 7-2 对图像A和B分别求d1，q00，450的共生矩阵,0 1 2 3 0 1 1 2 3 0 1 2 2 3 0 1 2 3 3 0 1 2 3 0 0 1 2 3 0 1 1 2 3 0 1 2,0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 2 2 2 2 3 3 2 2 2 2 3 3,7-3 在下图所示的图像子集中，

15、按8邻域概念，红色标记的数字是否连通？图像子集S中是否存在孔？,1 1 0 0 0 1 0 0 0 0 0 1 1 0 0 0 1 0 1 0 0 0 1 1 1,作业,7-4 试用Robert算子和拉普拉斯算子检测下面图像的边缘,作业,第7章 图像描述与分析,7.1 灰度描述 7.2 边界描述 7.3 区域描述 7.4 纹理描述 7.5 形态分析,第7章 图像描述与分析,图像分析 也叫景物分析或图像理解 是一种描述过程，研究用自动或半自动装置和系统，从图像中提取有用数据或信息生成非图的描述或表示 图像分析：特征提取、图像分割、符号描述、纹理分析、运动图 像分析和图像的检测与配准,预处理,分割

16、,特征提取,分类描述,符号表达,识别跟踪,解释描述,输入图像,图像分析通常按下列顺序进行 从图像中提取对象或对象组成部分的图像特征(例如图像中景物的边缘或区域) 利用图像特征的属性或相互关系来决定每个属性应属于哪个对象的哪个部分,第7章 图像描述与分析,7.1 灰度描述,7.1.1 幅度特征 7.1.2 直方图特征 7.1.3 变换系数特征,7.1.1 幅度特征,最基本的是图像的幅度特征。 例如在区域内的平均幅度，即,7.1.1 幅度特征,a)原图 b)利用幅度特征将目标分割出来,P(rk)=nk/N 第rk个灰度级出现的频数 可从直方图的分布得到：图像对比度、 动态范围、明暗程度等 一阶直方

17、图的特征参数： rk量化层 均值： 方差： 歪斜度：,7.1.2 直方图特征,峭度：,熵：,能量：,7.1.2 直方图特征,v,v(m+1),u,v(m),水平切口 垂直切口 环状切口 扇状切口,7.1.3 变换系数特征,频域中的一些特征 如,M与F不是唯一地对应（M有位移不变性）,7.1.3 变换系数特征,特征：图像中含有这些切口的频谱成分的含量。信息可作为模式识别或分类系统的输入信息。已成功用于土地情况分类，放射照片病情诊断等,7.1.3 变换系数特征,7.2.1 链码描述 7.2.2 傅里叶描述子,7.2 边界描述,7.2.1 链码描述,在数字图像中，边界或曲线是由一系列离散的像素点组成

18、的，其最简单的表示方法是由美国学者Freeman提出的链码方法。 链码实质上是一串指向符的序列，有4向链码、8向链码等。,4向链码 8向链码,7.2.1 链码描述,a)原链码方向 b)逆时针旋转90,图a曲线的链码为：01122233100000765556706 其差分链码为：1010010670000777001116,图b曲线的链码为：23344455322222107770120 其差分链码为：1010010670000777001116,7.2.1 链码描述,曲线的链码是：6022222021013444444454577012 其差分链码是： 2200006277121000000

19、17120111,7.2.1 链码描述,曲线的链码是：024444424323566666676711234 其差分链码是： 22000062771210000017120111,7.2.1 链码描述,链码的特殊性质 一个物体很容易实现旋转45。如果一个物体旋转n45，可由原链码加上 n 倍的模8得到,链码的微分，也称差分码，由原码的一阶差分求得链码差分是关于旋转不变的边界描述方法,区域的一些其它性质，如面积和角点，可以由链码直接得,7.2.1 链码描述,7.2.2 傅里叶描述子,对边界的离散傅里叶变换表达，可以作为定量描述边界形状的基础。采用傅里叶描述的一个优点是将二维的问题简化为一维问题。

20、,边界点的两种表示方法,7.3 区域描述,7.3.1 几何特征 7.3.2 不变矩,1. 像素与邻域,a) 4-邻域 b) 8-邻域,7.3.1 几何特征,2. 区域面积,3. 位置,质心,形心,7.3.1 几何特征,4.区域周长,三种定义： (1) 区域和背景交界线（接缝）的长度 (2) 区域边界8链码的长度 (3) 边界点数之和,7.3.1 几何特征,5. 方向,二阶矩轴:物体上的全部点到该线的距离平方和最小 其中 是物体点到直线 的距离,7.3.1 几何特征,6. 距离,1) 欧几里德距离（Euclidean）,2) 4-邻域距离(City-block城区距离),3) 8-邻域距离（Ch

21、essboard棋盘距离）,7.3.1 几何特征,7.圆形度 描述连通域与圆形相似程度的量。根据圆周长与圆面积的计算公式，定义圆形度的计算公式如下： 其中， 为连通域S的面积； 为连通域S的周长。圆形度 值越大，表明目标与圆形的相似度越高,7.3.1 几何特征,8. 矩形度,描述连通域与矩形相似程度的量 其中， 为连通域S的面积； 是包含该连通域的最小矩形的面积。对于矩形目标，矩形度 取最大值1，对细长而弯曲的目标，则矩形度的值变得很小,7.3.1 几何特征,9. 长宽比,其中， 是包围连通域的最小矩形的宽度； 是包围连通域的最小矩形的长度。,7.3.1 几何特征,7.3.2 不变矩,1.矩的

22、定义 对于二维连续函数 ， 阶矩定义为：,中心矩定义为：,数字图像，则上式变为：,2.不变矩,定义归一化的中心矩为： 利用归一化的中心矩，可以获得对平移、缩放、镜像和旋转都不敏感的7个不变矩，定义如下：,7.3.2 不变矩,7.3.2 不变矩,7.4 纹理描述,7.4.1 矩分析法 7.4.2 灰度差分统计法 7.4.3 灰度共生矩阵法 7.4.4 纹理的结构分析,纹理特征 自然纹理：种子、草地（无规则性） 人工纹理：织物、砖墙（有规则性，它的灰度分布具有周期性，即使灰度变化是随机的，它也具有一定的统计特性） 标志三要素 1）某种局部的序列性在该序列更大的区域内不断重复 2）序列基本元素是非随

23、机排列组成的 3）区域内任何地方都有大致相同的结构尺寸,7.4 纹理描述,a) 结构型纹理 b) 随机型纹理,7.4 纹理描述,描述纹理图像特征的参数有许多种，如 1）知道像素及邻近像素的灰度分布情况。 2）检查小区域内灰度直方图，检查各小区域直方图的相似性，具有相似直方图的小区域同属一个大区域,7.4 纹理描述,纹理：灰度与颜色的二维变化的图案，是区域的重要特征之一，灰度分布具有周期性、方向性、疏密之分。 统计方法：用于木纹、纱地、草地等不规则物体 自然纹理：具有重复性排列现象的自然景象，无规则 结构方法：布料的印刷图案或砖花地等组成纹理的元素及其排列规则来描述纹理的结构 人工纹理：是由自然

24、背景上的符号排列组成、有规则的,7.4 纹理描述,7.4 纹理描述,7.4 纹理描述,(1) 均值（Mean） (2) 方差（Variance） (3) 扭曲度（Skewness）,7.4.1 矩分析法,(5) 熵（Entropy）,7.4.1 矩分析法,(4) 峰度（Kurtosis）,灰度差分统计法又称一阶统计法，通过计算图像中一对像素间灰度差分直方图来反映图像的纹理特征。 令 为两个像素间的位移矢量， 是位移量为 的灰度差分： 粗纹理时，位移相差为 的两像素通常有相近的灰度等级，因此， 值较小，灰度差分直方图值集中在 附近； 细纹理时，位移相差为 的两像素的灰度有较大变化 ， 值一般较大

25、，灰度差分直方图值会趋于发散,7.4.2 灰度差分统计法,灰度直方图中，各像素的灰度是独立进行处理的，故不能很好地给纹理赋予特征。因此，如果研究图像中两像素组合中灰度配置的情况，就能够很好地给纹理赋予特征，这样的特征叫二阶统计量， （灰度直方图是一阶统计量） 代表性的是以灰度共生矩阵为基础的纹理特征计算法。,7.4.3 灰度共生矩阵法,灰度级联合分布（二阶统计量）,7.4.3 灰度共生矩阵法,x,y坐标，f(x,y)灰度，L灰度级数,x列，y行,7.4.3 灰度共生矩阵法,例:,7.4.3 灰度共生矩阵法,设图像矩阵为,水平方向无重复，变化较快,水平方向数值大，重复多，纹理较粗,1）对角线元素

26、全为0，表明同行灰度变化快 2）对角线元素较大，表明纹理较粗,7.4.3 灰度共生矩阵法,7.4.4 纹理的结构分析,纹理结构的描述及排列,c) 由 和其它规则生成的二维纹理模式,纹理结构分析图例,7.4.4 纹理的结构分析,形态学基本运算,7.5 形态分析,1腐蚀,集合A被B腐蚀，表示为 ，其定义为： 其中A称为输入图像，B称为结构元素。,腐蚀类似于收缩,7.5 形态分析,2. 膨胀,AC 表示集合A的补集， 表示B关于坐标原点的反射（对称集）。那么，集合A被B膨胀，表示为AB，定义为：,利用圆盘膨胀,7.5 形态分析,a) 原始图像 b) 腐蚀图像 c) 膨胀图像,7.5 形态分析,3.开

27、运算,假定A仍为输入图像，B为结构元素，利用B对A作开运算，用符号 表示，定义为：,开运算实际上是A先被B腐蚀，然后再被B膨胀的结果。开运算通常用来消除小对象物、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其体积。,7.5 形态分析,a)输入图像A b)结构元素B c) d),用圆盘对输入图像开运算的结果,7.5 形态分析,开运算滤除背景噪声,a) 原图 b)开运算结果,7.5 形态分析,4闭运算,闭运算是开运算的对偶运算，定义为先作膨胀然后再作腐蚀。利用B对A作闭运算表示为 ，其定义为:,利用圆盘对输入图像进行闭运算,7.5 形态分析,(a) 输入图像 (b) 闭运算的结果,利用

28、闭运算去除前景噪声,7.5 形态分析,5边界检测,利用圆盘结构元素作膨胀会使图像扩大，做腐蚀会使图像缩小，这两种运算都可以用来检测二值图像的边界。对于图像A和圆盘B，下图给出了三种求取二值边界的方法：内边界，外边界和跨骑在实际边缘上的边界，其中跨骑在实际边缘上的边界又称形态学梯度。,7.5 形态分析,A B,用腐蚀和膨胀运算得出的三种图像边界,7.5 形态分析,三种形态学边界实例,7.5 形态分析,行人检测特征综述,智能汽车主动安全技术研发趋势,随着技术发展，智能汽车包括自动驾驶汽车成为各国争取技术制高点的核心技术领域，岂能汽车中具备事前预防的“主动安全”是智能汽车技术中的核心，图像传感器作为

29、智能汽车中的核心部件，被越来越多基于图像的现有的汽车智能系统上，图1显示了基于计算机视觉技术的车载主动安全系统中，各种可能的图像传感器安装位置，分别对应于不同的安全子系统。,行人防碰撞系统(Pedestrian Warning and Protection System/ Collision Avoidance System) 行人防碰撞系统利用图像处理技术有效识别行人，利用汽车的速度、方向盘角度及横摆角速度等信号，通过一套演算方法的开发来估计车辆和行人的移动路径，依据危险状况进行提前预警，从而规避碰撞事故。 智能气囊系统(Smart Airbags) 智能气囊系统在碰撞发生时，根据人所在的位

30、置确定是否完全展开安全气囊，根据图像算法判定身体和头部位置，确定展开气囊的强度和力度，做出及时相应和判断。 盲点检测系统(Blind-spot Monitor) 盲点检测系统直接把摄像头安装在汽车周边，为驾驶者提供视线盲点的图像信息，在转弯、泊位或倒车时可以提醒司机注意盲区的动态或静态障碍，防止碰撞及其它意外情况发生。 疲劳驾驶检测系统(Drowsy Driving Detection System) 疲劳驾驶检测系统通过对人眼的开合程度以及频率进行分析，实现对驾驶者疲劳状态的判断 车道偏离预警系统(Lane Departure Warning System) 车道偏离系统可以对危险的换道行为

31、进行预警；当驾驶者长时间在车道安全范围之外时，也可以间接提醒驾驶者处于危险状态。,实例：,图 1 丰田安全驾驶辅助系统,图 2 奥迪的安全驾驶辅助安全系统,图 3 宝马安全驾驶辅助系统,行人检测,行人检测（Pedestrian Detection)指从输入的图像或视频帧中判断是否包含行人。行人检测兼具刚性和柔性物体的特征，外形容易发生改变，如穿着，遮挡物，姿态，视角等影响。 行人检测技术分为两块： 特征提取，分类与定位,行人检测流程,行人检测常用特征,Haar特征,Haar特征是对物体灰度信息进行描述物体的特性的特征。每个模板的特征值就是对应的白色区域灰度值的和减去黑色区域灰度值的和，他表征的

32、是图像中灰度信息的变化。Haar特征在人脸检测中常常用到， Haar特征是由一系列模板组成的，如下图所示。人眼部分的灰度值偏小，就可以用一种Haar特征表征；人的鼻子的地方会偏亮，也可以用另一种Haar特征来表征。,Haar特征,HOG-Histogram of oriented gradient,Dalal等受到SIFT特征启发，提出了梯度方向直方图HOG特征。 HOG特征是目前行人检测中最为成功的特征之一，这种特征对光照的变化，复杂的背景和行人多种姿势有较好的容错率，在行人检测中鲁棒性很好,颜色归一化,这种处理方式的作用是可以减少因光照、局部明暗变化、角度等因素带来的影响，调节图像的对比度

33、、抑制噪音的干扰。 计算方法： gamma标准化，如公式所示，Ic(u,v)代表的是c通道（可以是RGB颜色空间的某个通道，也可以是灰度空间的单通道）像素点(u,v)的值。 (1),计算图像梯度,计算图像梯度是计算HOG特征的重要基础步骤，在这一步中的作用主要是能够获取图像的轮廓信息。Dalal在他的文章试验了用一维模板 -1,1、-1,0,1、1,-8,0,8,-1、22对角矩阵模板、Sobel算子模板等进行计算，实验结果表明使用最简单的一维模板效果最理想。 表 31 Dalal采用不同模板算子对检测结果的影响,总体来说，最好最简单的方法是使用一维模板-1,0,1。利用这个模板在横坐标x方向

34、和纵坐标y方向的两个方向上对图像进行处理，得到图像在这一像素点,x, y方向上的两个梯度值。计算公式分别为公式2和公式3，其中Gx(u,v)是在x轴上的梯度值，Gy(u,v)是在y轴上的梯度值，p(u,v)是坐标点在(u,v)的图像像素值 (2) (3),然后根据这两个方向的梯度值用公式计算该点的梯度方向和梯度幅度值，并采用公式6对梯度方向的无符号化（即0180）。 (4) (5) (6),最核心的部分： 在一个64128大小的检测窗口中，将图像划分成1616大小的block块，每一个block块内又分成四个88大小的cell，而左右两个block块和上下两个block块之间都重叠了两个cel

35、l大小的区域，这样，在一个检测窗口中，水平方向上会产生7个block块，垂直方向上会产生15个block块，总共有（715=）105个block块，分块方式如图所示。,计算方向梯度直方图,计算方向梯度直方图,计算直方图在单独每一个block块中进行，将梯度方向在0180内按照每20划分为范围相等的9个bin，如图所示。计算时使用一种单线性插值方式来计算cell中的每个像素点梯度方向对相邻两个不同的bin的贡献权重，然后根据权重值分别插入到这两个bin中。,计算方向梯度直方图,同时使用双线性插值根据该像素点在block块中的位置计算其对4个cell的贡献权重值，如图所示。这样，两次的插值方式组成

36、的三线性插值使得每一个像素点都对4个cell的直方图有贡献，更准确、均衡地构建了HOG特征。,计算方向梯度直方图,用如上所说的方式对1个block块内的4个cell进行9个bin的直方图投票计算统计，遍历256个像素点后，得到36维的block梯度直方图特征。,block归一化,block归一化及生成HOG特征 对一个block中的36维特征进行归一化处理的目的是减少由于局部强烈光照变化和阴影带来的影响。常用的归一化方法有L1-norm、L2-norm、L1-sqrt等。 (7) (8) (9) 最终，经过105个block块的特征计算和归一化后，在一个64128大小的检测扫描窗口内总共计算得

37、到（94105=）3780维的HOG特征向量。,基于纹理信息的特征描述符,在目标检测和识别中，LBP（Local Binary Patterns）局部二值模式特征是最常见的一种描述图像局部纹理变化信息的特征，是由T. Ojala等人在1994年提出来的。,基于颜色信息的特征描述符,在行人检测中，利用颜色信息的特征很多，这里我们介绍一种直接将颜色信息用特征表示。Color self-similar 特征是利用行人的着装一定的颜色模式，比如在一般情况下衣服的颜色有一定的相关性，裤子的颜色也有着一定的相关性。,HSV（Hue代表色相 Saturation代表饱和度 Value代表色调）,两个block之间的相似度得到一个特征数，计算所有的128个block之间的相似性可以得到总共（128127/2=）8128维的特征向量。最后对这特征向量采用L2-norm归一化,Integral channel features,目标检测算法的性能主要受到两个因素的制约：学习算法和特征描述算子。 积分通道特征的大概思路是：通过对输入图像做各种线性和非线性的变换，诸如局部求和、