目标检测与监控目标检测与监控

2021.5.252021.5.252021.5.252021.5.252021.5.25昇腾AI应用

第二章智慧园区视觉模块开发

——基于HiLens目标检测与跟踪

案例应用场景

案例规划部署

案例演示操作

案例相关知识案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识

在计算机视觉中，目标检测是在图像和视频（一系列的图像）中扫描和搜寻目标，概括来说就是在一个场景中对目标进行定位和识别。目标检测与跟踪的应用场景

目标跟踪（1）就像你跟踪某个人，一直尾随着他。我们在动画图像（.gif）或者视频中跟踪一个目标是如何移动的，它要到哪里去，以及它的速度。实时锁定一个（一些）特定的移动目标。（2）有两种方式来“跟踪”一个目标。密集跟踪（aseriesdetections）和稀疏跟踪（estimation+commonsense）。（3）跟踪是一系列的检测。假设在交通录像中，想要检测一辆车或者一个人，我使用录像不同时刻的快照（通过暂停键）来检测我的目标，一辆车或一个人。然后通过检查我的目标是如何在录像不同的画面中移动（对录像每一帧进行目标检测，比如YOLO算法，就能知道我的目标在不同的画面里的坐标），由此实现对目标的追踪。比如要计算目标的速度，就可以通过两帧图像中目标坐标的。目标检测与跟踪的应用场景

目标检测和目标跟踪的异同：（1）目标检测可以在静态图像上进行，而目标跟踪就是需要基于录像（视频）。（2）如果对每秒的画面进行目标检测，也可以实现目标跟踪。（3）目标跟踪不需要目标识别，可以根据运动特征来进行跟踪，而无需确切知道跟踪的是什么，所以如果利用视频画面之间（帧之间）的临时关系，单纯的目标跟踪可以很高效的实现。（4）基于目标检测的目标跟踪算法计算非常昂贵，就如之前讲的，需要对每帧画面进行检测，才能得到目标的运动轨迹。而且，只能追踪已知的目标，这个容易理解，因为目标检测算法就只能实现已知类别的定位识别。因此，目标检测要求定位+分类。而目标跟踪，分类只是一个可选项，根据具体问题而定，我们可以完全不在乎跟踪的目标是什么，只在乎它的运动特征。实际中，目标检测可以通过目标跟踪来加速，然后再间隔一些帧进行分类（好几帧进行一次分类）。在一个慢点的线程上寻找目标并锁定，然后在快的线程上进行目标跟踪，运行更快。目标检测与跟踪的应用场景

智能视频监控：

基于运动识别（基于步法的人类识别、自动物体检测等），自动化监测（监视一个场景以检测可疑行为）；交通监视（实时收集交通数据用来指挥交通流动）；人机交互

传统人机交互是通过计算机键盘和鼠标进行的，为了使计算机具有识别和理解人的姿态、动作、手势等能力，跟踪技术是关键；目标检测与跟踪的应用场景机器人视觉导航在智能机器人中，跟踪技术可用于计算拍摄物体的运动轨迹虚拟现实虚拟环境中3D交互和虚拟角色动作模拟直接得益于视频人体运动分析的研究成果，可给参与者更加丰富的交互形式，人体跟踪分析是其关键技术；医学诊断跟踪技术在超声波和核磁序列图像的自动分析中有广泛应用，由于超声波图像中的噪声经常会淹没单帧图像有用信息，使静态分析十分困难，而通过跟踪技术利用序列图像中目标在几何上的连续性和时间上的相关性，可以得到更准确的结果。目标检测与跟踪的应用场景案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识演示操作流程准备工作：（1）配置网络（2）注册、配置HiLensKit流程（3）查看设备状态目标检测与跟踪开发：（1）申请HiLensStudio公测（2）新建目标检测与跟踪技能（3）开发目标检测与跟踪技能（4）安装目标检测与跟踪技能（5）启动目标检测与跟踪技能（6）发布目标检测与跟踪技能（7）关闭目标检测与跟踪技能演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程—新建目标检测与跟踪技能演示操作流程—转换模型演示操作流程—转换模型演示操作流程—开发目标检测技能演示操作流程—开发目标跟踪技能演示操作流程——开发目标跟踪技能演示操作流程——运行目标检测技能演示操作流程——运行目标检测技能演示操作流程——运行目标跟踪技能演示操作流程——运行目标跟踪技能演示操作流程——发布目标跟踪技能案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识案例规划案例应用场景案例演示操作案例规划部署案例任务实施

案例相关知识掌握华为云账号的实名认证流程掌握HiLens设备注册掌握修改HiLensKit设备掌握HiLensKit设备固件升级掌握HiLensKit市区设置掌握目标跟踪开发（1）申请HiLensStudio公测（2）新建目标检测与跟踪技能（3）开发目标检测与跟踪技能（4）安装目标检测与跟踪技能（5）启动目标检测与跟踪技能案例任务实施目标案例任务实施任务一：注册设备到HiLens管理控制台

准备工作（1）开通HiLens服务（2）修改设备连接（3）HiLensKit登录系统（4）HiLensKit固件升级（5）HiLensKit时区设置（6）SSH远程连接HiLensKit（7）注册设备至华为HiLens管理控制台任务二：目标跟踪开发（1）申请HiLensStudio公测（2）新建、开发、安装、启动、运行及发布目标检测与跟踪技能•

已注册华为云账号，并完成实名认证。•

注意使用华为HiLens前，检查账号不能处于欠费或冻结状态。账号准备•

HiLens

Kit设备1台、笔记本电脑1台、路由器1台、显示屏1台、HDMI线1根、网线1根。硬件准备•

SSH登录工具，如Putty、MobaXterm等•

SSH登录、HiLens管理平台登录、固件升级、时区设置软件准备环境准备1.2.注册华为云账号，并完成实名认证登录HiLens管理控制台https://www.huaweicloud.com/product/hilens.html

。环境准备：（1）开通HiLens服务将笔记本电脑和HiLens

Kit用网线直连，单击“打开网络和共享中心”，修改本地连接属性，将IPV4的IP改为192.168.2.X（2-255,其中111除外），保证电脑和HiLensKit在同一网段。环境准备：（2）修改设备连接1.2.登录HiLens

kit

管理平台https://192.168.2.111，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，确保安全请修改密码环境准备：（3）HiLensKit登录管理系统1.检查：在升级之前先检测版本号，若低于2.2.100.31，则需要在HiLens帮助文档或论坛先下载升级包进行固件升级。升级：选择下载后的升级文件，点击升级，注意在升级的过程中勾选重启。2.2.2.0.031环境准备：（4）HiLensKit固件升级环境准备：（4）HiLensKit固件升级HiLensKit时间若与网络时间不匹配，则技能无法推理，所以要保持时间一致。新购买的设备时间需设置，如下环境准备：（5）HiLensKit时区设置1.2.使用SSH远程连接HiLens

Kit，推荐SSH使用工具MobaXterm。默认IP：192.168.2.111；初始登录用户名：admin，密码：Huawei12#$；进入develop模式，密码：Huawei@SYS3环境准备：（6）SSH远程连接HiLensKit1.网络连接3.技能选择5.技能查看4.技能部署6.结果演示2.设备注册任务一：注册设备到HiLens管理控制台HiLensKit组网，默认IP：11（1）无线网络连接路由器（推荐）；（2）有线网络直连路由器；普通用户技能使用流程①HiLens

Kit连网Web登陆HiLens硬件管理平台登陆HiLensKit管理系统②云侧技能使用网络设置1.2.登录HiLens

kit

管理平台https://192.168.2.111，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，确保安全请修改密码HiLensKit管理系统登录注意：配置前，先检查默认网关是否为空。若不为空，请先删除默认网关，再配置WIFI。网络连接-无线连接登录硬件管理平台https://192.168.2.111，用户名：admin，默认密码：Huawei12#$修改默认网关，保证和路由器IP在同一网段的IP地址。网络连接-有线连接1.登陆HiLens管理系统，查看网络是否已连接。2.SSH登录HiLensKit

,ping

8.8.8.8功，其提示信息显示如下图类似信息：或者pingwww.huawei.com，如果设备连接成注意：修改DNS域名解析（echo

“nameserver

8.8.8.8”>/etc/resolv.conf）检测网络1.2.登录HiLenskit

管理平台https://192.168.2.111

，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，填入账号信息（1）设备名用户自定义（2）若是普通账号登录，账号名和用户名一致；若是IAM账号登录，账号名和用户名不一致，填写相应的名称（3）密码为华为云账号密码注册HiLensKit登录华为云HiLens官网，查看是否完成注册检查注册结果任务二：HiLens目标检测与跟踪开发目标跟踪开发HiLensStudio使用流程申请HiLensStudio公测新建目标检测与跟踪技能远程连接HiLensKit开发目标检测与跟踪技能安装目标检测与跟踪技能启动目标检测与跟踪技能运行目标检测与跟踪技能《详见实验文档》案例应用场景案例演示操作案例规划部署案例具体实施

案例相关知识视频跟踪是计算机视觉中的一项重要任务,是指对视频序列中的目标状态进行持续推断的过程，其任务在于通过在视频的每一帧中定位目标,以生成目标的运动轨迹,并在每一时刻提供完整的目标区域。视频跟踪技术在军事和民用方面都有着十分广泛的应用,军事方面包括无人飞行器、精确制导、空中预警、战场监视等；民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实等。定义跟踪可定义为估计物体围绕一个场景运动时在图像平面中的轨迹，即一个跟踪系统给同一个视频中不同帧的跟踪目标分配相一致的标签。目标跟踪是一个颇具挑战性的问题。在计算机视觉领域目标跟踪是一项重要工作。随着相机的普及，对自动视频分析与日俱增的需求引起人们对目标跟踪算法的浓厚兴趣。目标检测与跟踪概述传统视频监控系统只提供视频的捕获、保存、传输、显示画面等功能，而视频内容的分析识别等需要人工实现，工作量巨大且容易出错。智能监控系统是指在特定的监控区域内实时监控场景内的永久或是临时的物体，通过对视频传感器获取的信息进行智能分析来实现自动的场景理解、预测被观察目标的行为以及交互性行为。在传统视频监控系统中，视频内容的分析识别等需要人工实现，由于劳动强度高，工作量巨大且容易出错，因此视频监控系统正朝着智能化的方向发展。新一代的智能化监控系统采用了智能视频分析技术，克服了传统监控系统人眼识别的缺陷，具备实时对监控范围内的运动目标进行检测跟踪的功能；并且把行为识别等技术引入到监控系统中，形成新的能够完全替代人为监控的智能型监控系统。

目标检测与跟踪概述智能视频分析技术涉及到模式识别、机器视觉、人工智能、网络通信以及海量数据管理等技术。视频智能分析通常可以分为几部分：运动目标的识别、目标跟踪与行为理解。目标检测与跟踪概述目标检测与跟踪应用场景—安防和安检现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。目标检测与跟踪技术的意义

随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。

1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。目标检测与跟踪技术的意义

目标检测跟踪是近年来计算机视觉领域中备受关注的前沿方向，它从包含运动目标的图像序列中检测、识别、跟踪目标，并对其行为进行理解和描述。目标分析的研究涉及到模式识别、图像处理、计算机视觉、人工智能等学科的内容。随着现代信息处理技术的发展，目标检测跟踪在军用、民用及医学等方面具有重要意义，具有广泛的应用前景和潜在的经济价值已成为一项极为重要和基本的技术。然而，由于景物的多样性和复杂性，在工程应用中仍有许多问题有待解决。什么是目标检测跟踪？什么是目标检测跟踪系统？

目标检测跟踪系统是对指定目标区域进行实时自动跟踪，实时解算出目标在图像场景中的精确位置，并输出目标偏离系统视轴的方位和俯仰误差信号，通过伺服控制回路，驱动稳定平台跟踪目标。同时，图像跟踪系统接收来自外部控制系统的控制命令和数据，并按总体通讯协议要求向外部控制系统回送跟踪系统的状态、图像数据和关键参数。实现目标跟踪的关键在于完整地分割目标、合理地提取特征和准确地识别目标，同时要考虑算法实现的时间，保证实时性。军事目标信息的时效特征一种是通常意义上的军事目标的监视和侦察，如发现机场、港口、车站、兵营、阵地、水面舰队以及侦察装备情况。这种信息的时效期相对比较长，一般以天甚至以月计。它对应的信息处理就是事后处理或半实时处理。另一种是实战时的军事信息，时效特征比前者要严峻得多。一个军事信息早一分钟还是晚一分钟到达指挥官手中，可能决定战役的成败，过时的信息价值等于零。

它对应的信息处理就是实时信息处理或准实时处理。目标探测与识别的信息特征：形影（图像）特征波谱特征目标探测与识别中信息获取技术的方式：光电测量技术红外热成像技术微光夜视技术激光技术雷达技术毫米波技术信息融合和图像融合技术军事目标信息的时效特征目标探测与识别研究的一个重要问题：系统获得目标数据、显示、传输的实时能力，即要求高时效。这取决于两种因素：一是所采用的技术（如微光、红外、激光、雷达）以及获得目标信息的设计原理和应用范围；二是对目标信息的数据处理能能力。目标探测与识别的核心为题是围绕着高时效和准确性这两个要求，通过目标信息的“获取”、“处理”、“显示”、“传输”等途径实现目标探测、识别和确认。发展目标探测与识别技术，高时效和准确性使军事应用的最大特点。任何一种目标他侧与识别系统都有其应用范围和局限性，不可能是万能的。在当今技术条件下，尚没有能力研制出这样一个平台或系统，其波谱范围覆盖紫外－可见光－红外－微波，直到无线电波，且分辨力（空间、时间、波谱、温度）高，并具备从信息获取到信息处理和应用的高准确性、高时效、实时或准实时的能力。目标探测与识别研究目标获取的含义：使目标所在位置的探测和目标辨别到所希望的等级，即从探测到分类、识别和确认。目标的探测与识别是一个复杂的、涉及人眼-大脑的图像翻译过程的问题。辨别的最低等级是分辨有无，最高等级是对特定目标的精确确认与描述。例如：一架飞机在晴朗的天空中飞行是很容易探测到的，但一辆车辆在复杂背景的丛林中穿行,探测起来就非常困难，而且识别一辆车辆的前提条件是我们已经探测到它了，因此，只有在被探测到的情况下才能谈识别问题。目标检测基本概念与术语目标的上下文信息和附加信息也是检测和识别的重要依据。如果探测到的目标是一个运动的斑点目标，无法通过纹理和轮廓信息来识别出它的类型，那么可以借助它的背景环境来判断。例如：如果它出现中一条公路上，它的合理概率就是一辆车；如果它在湖泊中就可能是一艘船；如果在天空中，就可能是飞机或是飞鸟…….目标检测基本概念与术语用于描述目标的术语:目标截获(TargetAcquisition)：将位置不明确的目标图像定位，并按所期望的水平辨别它的整个过程。目标获取包括搜寻过程和辨别过程。搜寻过程的结果是确定目标的位置，辨别过程的结果是目标被捕获。搜寻(Search)：利用器件显示或肉眼视觉搜索含有潜在的目标的景物，以定位捕获目标的过程。位置确定(Localize)：通过搜寻过程确定出目标的位置。目标检测基本概念与术语辨别(Discrimination)：

物体(目标)在被观察者所察觉的细节量的基础上确定看得清的程度。辨别的等级分为探测、识别、确认探测(Detection)：

分为纯探测和辨别探测。纯探测是在局部均匀的背景下察觉一个物体；而在完成辨别探测时，需要认出某些外形或形状，以便将军事目标从背景中的杂乱物体里区别出来。识别(Recognition)：

能辨别出目标属于哪一类型(坦克、车辆、人、飞机等)。确认(Identification)：

能认出目标，并能够清晰地确定其类型（如T52坦克、吉普车、歼10飞机）。目标检测基本概念与术语目标：指一个待探测、定位、识别和确认的物体。背景：指反衬目标的任意的辐射分布。目标特征：是把目标从背景中区别出来的空间、光谱和强度的形貌注意：一个目标在各种运作和环境条件下可以有许多不同的特征，不可能简单地按照世界的某一光谱特征来描述所有的复杂的目标特性。只能利用目标的总体的共同特征。如目标的尺寸和目标对背景的平均温度或对比度。目标检测基本概念与术语复杂恶劣环境的定义：影响图像质量的因素主要有以下几种：自然环境（雨、雪、大风、水面、天气变化等）摄像机自身的倾斜或震动摄像机平台的晃动（船只、车辆等的颠簸或震动）以上的组合在以上条件下拍摄的录像，一般具有以下特点：图像质量差图像对比度低图像晃动自然环境干扰（遮挡、噪声、阴影、水面等）目标检测基本概念与术语与目标检测相关的图像分析名词图像采集

是指利用一定的设备（或仪器）获取可输入计算机的，反映客观场景的数字图像，这些设备主要完成根据所接收到的电磁能量产生模拟电信号和进一步将模拟电信号转化为离散形式两个功能。（CCD、CMOS）图像变换

是指将图像在不同空间之间转换的技术和过程，也可指在图像空间对图像中目标位置、形状等进行变换的技术和过程。图像增强指对图像进行加工，以得到对具体应用来说视觉效果更好更有用的图像，或者说改进输入图象的视觉质量的技术和过程。图像恢复图像恢复也称为图像复原，它能够去除或减轻在获取数字图像过程中发生的图像质量下降（退化）问题，从而使图像尽可能地接近于真实场景。图像复原与图像增强存在密切的联系，它们都要得到某种意义上的改进图像，希望改进输入图像的视觉质量，但图像增强技术要满足人的视觉系统具有好的视觉结果，而图像复原则需要根据相应的退化模型和知识将质量退化的图像重建或恢复到原始图像。也就是说，图像复原技术就是要将图像退化的过程模型化，并据此采取相反的过程以得到原始图像。与目标检测相关的图像分析名词目标探测与识别的信息链目标获取及其基本部件的成像链视线的颤动光学探测器信号处理显示器一个完整的信息链由以下几个环节构成：信息的感知或探测、预处理、压缩、存储、传输、复原、有用信息的提取（融合、分离、增强等）直到应用。现代信息获取技术除通过侦察、瞄准等发现目标和观察目标外，它还包括通信、导航、定位等，此外，还应包括军事气象信息：如大气、风场、温度场等的获取。

Johnson判则Johnson把视觉辨别分为四大类：探测、取向、识别和确认。用三杆法进行分辨力检查与观察，其条杆与比例模型一样，具有相同的对比度，这样就可决定最大的可分辨的条杆图像的频率，用这一方法，增加最小物体尺寸上的条杆数，知道这些条杆恰好单个地被分辨出来，这样探测能力便与传感器的阈值条杆图案分辨力相关联。Johnson判则的方法目标探测与识别的信息链目标探测与识别的信息链辨别等级含义最小尺寸上的周数探测存在一个目标，把目标从背景中区别出来1.0±0.025取向目标是近似地对称或不对称，其取向可以认得出来（正面或侧面）1.4±0.35识别识别出目标属于哪一类别（如坦克、车辆、人）4.0±0.80确认认出目标，并能足够清晰的确定其类型（如T52坦克，敌方的吉普车）6.4±1.50辨别等级含义最小尺寸上的周数探测存在一个目标，把目标从背景中区别出来1.0识别识别出目标属于哪一类别4.0确认认出目标，并能足够清晰的确定其类型8.0

Johnson判则工业上采用的Johnson判则（一维目标）目标探测与识别的信息链

所用的最小尺寸指的是目标区别于这一类所有其他目标的尺寸，例如：若装在船上的天线的雷达圆盘是区别于船只的唯一特征，则此圆盘便变成了最小尺寸。于是圆盘的探测变成了船只确认的判则。目标探测与识别的信息链美国陆军研究实验室（ArmyResearchLab-ARL）的Johnson准则最小像素数检测定位识别确认卡车0.91.254.58M-48坦克0.751.23.57Stalin坦克0.751.23.36(Centurion)逊邱伦主战坦克0.751.23.56半履带装甲车11.545吉普车1.21.54.55.5指挥车1.21.54.35.5站立的士兵1.51.83.88105榴弹炮11.54.86平均1.0±0.251.4±0.354.0±0.86.4±1.5国内外研究现状自1974年开始，为了进一步提高光电跟踪测量仪器的性能，并适应多目标跟踪测量的需要，美国白沙导弹靶场、新墨西哥州立大学和亚利桑那大学科学中心开始研究智能实时电视跟踪系统。80年代初，美国福特公司和沃特公司为空军研制的机载火控系统的多功能红外相干光学传感器具有多目标捕获、跟踪、分类、武器投掷和地形回避等功能。1985年美国海军的掩护船防御系统能跟踪处理200多个目标。国外的研究现状：VSAM系统

1996年至1999年间，美国国防高级研究计划局资助卡内基梅隆大学戴维SARNOFF研究中心等著名大学和公司合作联合研制的视频监视与监控系统。目标是开发自动视频理解技术，并用于实现未来战争、人力费用昂贵、非常危险或者人力无法实现等场合的监控。VSAM是一个战场监控系统，目前处于试用阶段。其主要功能包括:融合多种类型的传感器，对监控地区进行全方位昼夜监控具有先进的视频分析处理器。不但能检测和识别异常对象的类型，还能分析与预测人的活动。根据运动对象行为的危害性进行自动提示和报警。由Internet,Intranet和局域网构成的先进网络传输系统。使用地理信息和三维建模技术。机载航空摄像机。国内外研究现状W4系统

W4代表Who(谁)，When(什么时候)，Where(什么地点)，What(什么事)。W4系统是一个实时的智能监视系统，它用于对人体目标的检测与跟踪，并监视目标的活动。W4不采用颜色线索，而采用单目灰度或红外摄像机作为视觉传感器，以目标形状分析和跟踪技术实现人体及其头部、手部等定位，并对目标外观进行建模，以便在目标交互或遮挡时依然能够进行跟踪。W4系统具有以下功能:基于目标形状分析的人体及其头部、手部等定位;基于自适应背景差技术的前背景分离;区域的分裂与合并，用来处理目标的交互行为;国内外研究现状国内外研究现状

W4系统富士通公司的Honda机器人ASIMO-P3自主农业机器人引路机器人70年代以来，随着激光技术、红外技术和电视技术进一步成熟，以及CCD成象技术、图象识别处理技术、自适应光学技术、各种跟踪算法和滤波技术，特别是扩展的卡尔曼滤波技术的研究，靶场的光学测量设备不仅在数量上和质量上有所增加和提高，而且出现了智能实时电视跟踪系统和各种型号的激光跟踪雷达。国内也有很多厂家生产出了具有自动报警功能的监控系统，许多科研机构如中国科学院自动化研究所模式识别国家重点实验室(NLPR)视觉监控组对该领域作了大量的研究，在人运动的视觉分析、交通行为事件分析、交通场景视觉监控和智能轮椅视觉导航等领域取得了许多科研成果。国内外研究现状目标检测方法：成像系统中复杂背景下弱小目标的检测和跟踪一直被认为是一个难题，主要表现为远距离、低对比度；目标形状为点状或模糊斑点状，点、角、边缘等几何特征不明显；甚至在运动过程中出现目标闪烁、间断、遮挡等现象。很多学者经过多年的研究和探索，目前目标检测方法在国内外都有很成熟的研究成果，已广泛应用在地基、空基、海基等领域。基于高通滤波背景抑制的目标检测算法、基于神经网络的目标检测算法、基于小波变换的目标检测算法、基于分形几何的目标检测算法、基于时空三维匹配滤波的目标检测算法、基于动态规划的小目标检测算法、基于遗传算法的小目标检测算法等。

关键技术研究现状

小结:弱小目标的检测与跟踪一般都采用空间、时间滤波相结合的方法。即对图像进行空间滤波预处理，实现目标增强和背景抑制,提高图像的信噪比,结合目标像素在图像序列中运动的连续性和轨迹的一致性，通过时间序列分析进行时间域滤波,去伪存真,检测并跟踪真正的目标。

时间滤波器放在空间滤波器之后叫先检测后跟踪

(detectbeforetrack，DBT)。时间滤波器放在空间滤波器之前,叫探测前跟踪(trackbeforedetection,TBD)或边检测边跟踪。关键技术研究现状举例：丛林遮挡环境下多目标检测与追踪关键技术研究现状目标跟踪方法由于运动目标的跟踪在军事、国防以及工业等领域具有广泛的应用前景，从而激发了国内外广大科研工作者的浓厚兴趣，成为计算机视觉领域的一个热点。基于目标跟踪方法的不同原理，动态目标跟踪方法可分为基于运动分析的方法和基于图像匹配的方法。1996年，提出基于光流和边缘信息进行了运动目标跟踪方法的研究;同年，将目标跟踪应用在机器人视觉实验中。1998年，提出了①、基于可变形模板的目标跟踪方法;②、将主动模型应用于目标跟踪;③提出用限制性主动区域模型对彩色图形序列进行快速跟踪的方法;④进行了基于颜色的目标跟踪方法研究;2001年，提出了用自适应颜色模型进行目标跟踪的方法。关键技术研究现状

国内，目标跟踪领域的研究较晚，但也取得了一些研究成果，主要有：一种基于目标模板和当前帧图像的比率直方图的实时跟踪方法；基于人脸在HSV颜色空间中的特征，利用均值偏移算法(Mean-shiftAlgorithm)实现了对人脸的实时跟踪;基于目标颜色直方图分布的均值偏移跟踪算法，并用Bhattacharyya距离作为目标模板和候选目标的相似性测度，完成了对目标任意场景下的实时跟踪;基于边缘特征的目标跟踪算法常使用Hausdorff距离检测目标模板和候选目标的边缘相似性完成对目标的跟踪；关键技术研究现状一种目标轮廓跟踪的算法—CONDESATION算法，此算法实际上就是利用蒙特卡罗方法(MonteCarlo)通过大量样本仿真得到一种无参统计模型，该模型通过表示任意目标的概率密度分布实现跟踪。将目标的颜色直方图模型和密度函数梯度模型联合的方法实现对人头部的实时跟踪；将目标的颜色特征距离和边缘特征以一定加权比例联合组成总的相似性测度，并使用置信区域算法(TrustRegionAlgorithm)优化目标跟踪算法实现了实时目标跟踪。关键技术研究现状举例：静态环境下的多目标检测与跟踪算法能够很好地消除树木剧烈摆动的干扰，同时能够很好地处理目标交叉、目标融合、目标分离等情况。关键技术研究现状目标识别方法根据对系统平台、传感器和光学系统等的分析，逐步产生了多光谱识别、多传感器数据融合识别、目标运动特征识别、外形及纹理识别等几个研究方向。目标识别的发展方向包括：基于目标几何形状不变性特征的识别；（二维目标识别）基于目标仿射不变性特征的识别；（三维目标识别）基于目标形状的识别技术；（综合应用）关键技术研究现状基于目标几何形状不变性特征的识别：可以应用于单幅图像中目标识别的不变特征包括不变矩特征、傅立叶描述子、角方向对几何特征、归一化转动惯量（NMI）特征及比例特征等。基于目标仿射不变性特征的识别：仿射变换是由仿射空间到仿射空间的一种变换运算，平移、比例、反射、旋转、错切是二维仿射变换的特例，常用的二维仿射变换总可表示为这5种变换的组合。仿射不变特征主要可以分为两大类：基于目标轮廓的仿射不变特征和基于区域的仿射不变特征。最近出现的还包括多尺度SIFT特征、SURF特征等，这些特征可实现目标的三维识别。关键技术研究现状基于目标形状的识别技术形状识别在图像检索、文字识别、医疗诊断等领域有广泛的应用。对形状识别的主要方法有独立分量分析（ICA）、神经网络、支持向量机（SVM）、主成分分析（PCA）、奇异值分解（SVD）以及傅里叶描述子等。其中基于支持向量机（SVM）的方法对形状识别具有比较好的效果，也被与其它方法结合进行了多种改进和优化。除了以上一些常用方法外，活动轮廓模型(Snake)方法及基于小波的方法也比较常见，还有一些用于多传感器信息融合的识别方法如基于贝叶斯规则的概率方法、神经网络(neuralnetwork)、人工智能方法、D-S证据推理方法等，也都被广泛地应用到目标识别中。关键技术研究现状军事国防地基光电经纬仪；无人机光电侦察设备；弹载智能自动寻的设备；天基光学测量系统……医疗诊断智能交通公共安全与防护工业质量检测移动机器人导航遥感勘察等目标探测、跟踪与识别技术的典型应用对于靶场的弹道测量系统来说，目标自动识别跟踪(ART)系统的研制有着重要的现实意义。常规武器靶场面临的实际问题是测量目标小、距离远、对比度低，所以对微弱目标和运动目标的实时捕获、跟踪和识别就成为靶场光测设备研究的主要方向；无人机在执行搜索、侦察和精确打击任务时，正确地从复杂背景中检测并识别出可以目标，是完成任务的关键；天基监视和预警设备应用弱小目标检测技术，从复杂深恐背景中提取并识别出可疑目标，判断是敌方卫星、我方卫星还是敌方导弹，从而进行有效预警，为其他系统提供指挥依据；在各方面的具体应用情况：目标探测、跟踪与识别技术的典型应用图像识别技术应用于导弹的精确末制导，使其精确打击目标。如：机场、桥梁等；安防系统可以实现停车场监视、车辆识别、车牌号识别、探测并跟踪“可疑”目标；正确判断出是否有目标进入警戒区，识别出进入警戒区的目标是否为报警对象，有效跟踪可疑对象，根据面孔、眼底、指纹等特征识别特定人；监测固定区域的人流量等都是安防系统的重要功能；智能交通方面，车牌识别、违章超速、并线、掉头、流量控制与交通疏导、禁行区检测等都与我们的生活息息相关；目标探测、跟踪与识别技术的典型应用遥感图像分析遥感图像包括航空摄影图像、气象卫星图像、资源卫星图像。

航空图像可以用普通的视频摄象机来获取，分析方法也同普通的图像分析一样；

卫星图像的获取和应用随着成像机理不同而变化很大；气象卫星使用红外成像传感系统可以获取不同云层的图像，即云图，由此分析某一地区的气象状况；海洋卫星使用合成孔径雷达获取海洋、浅滩图像，由此重构海洋波浪三维表面图；

资源卫星装备有多光谱探测器，可以获取地表相应点的多个光谱段的反射特性，如红外、可见光、紫外等；多光谱图像被广泛地用于找矿、森林、农作物调查、自然灾害测报、资源和生态环境检测等目标探测、跟踪与识别技术的典型应用医学图像分析与诊断成像方法包括传统的X射线成像、计算机层析(CT)成像、核磁共振成像(MRI)、超声成像等。在医学图像诊断方面有两个应用：一是对图像进行增强、标记、染色等处理来帮助医生诊断疾病，并协助医生对感兴趣的区域进行定量测量和比较；二是利用专家知识系统对图像进行自动分析和解释，检测并识别出可疑区域，给出诊断结果。产品检验在工业领域中的一个成功应用是产品检验。目前已经用于产品外形检验、表面缺陷检验，比如，滑块及滑槽的外形检验以及装配后的位置检验，以决定它们能否装配在一起，并且准确无误地完成装配任务；发动机内壁麻点、刻痕和裂缝等缺陷检查以决定产品的质量。通过X射线照相或超声探测获取物体内部的图像，可以实现内部缺陷检验，如钢梁内部裂纹和气孔等缺陷检验。目标探测、跟踪与识别技术的典型应用美国的巡航导弹“战斧”目标探测、跟踪与识别技术的典型应用重要的军事应用-空中侦察机创新的航天应用-天基监视与预警系统目标探测、跟踪与识别技术的典型应用异常动作检测交通流量监测目标探测、跟踪与识别技术的典型应用在军事应用示例-无人驾驶小车在军事上的应用示例－目标的可靠检测目标探测、跟踪与识别技术的典型应用图像的特征形态与描述数字图像并不是杂乱的像素数据的组合。它通常包含我们所希望得到的确定性成分和采集过程中所得到的随机成分。每个像素的灰度不仅随坐标的不同而不同，也随时间的变化而变化，是空间坐标和时间的随机场。数字图像度量单位可以有多种，例如整幅画面（帧，场），局部画面（窗口，块），行，列，像素，频率等。图像作为信息的载体，对不同的用途，所关心的图像信息的含义或感兴趣的图像基元不同。比如，远距离红外小目标检测研究时，我们关心的只是目标周围小区域内的信噪比，或图像的信息量等；人脸识别时，可能关心的就是五官的形状和位置关系，至于脸色就不是很重要。图像的特征类型如下：像素灰度分布

图像信号数字化得到一个数值矩阵，其中每一个元素称之为像素，像素的灰（亮）度值（也包括色彩）是最基本、最原始的测量值和特征，由它可以组成更大基元的特征。单幅图像的所有像素或不同区域像素的灰度分布，代表了图像总体或局部的能量强度分布。表征灰度分布的特征描述有总体或局部的均值、方差等。图像灰度变化的梯度特征

图像灰度的梯度反映图像内物体边缘处灰度变化的情况，它描述了图像灰度分布的总体特征。例如，用图像像素灰度的一阶差分（梯度）的总和表示图像的对比度等。图像的特征形态与描述

图像的频谱特性与一维时间函数波形类似，图像也有空间频率的概念，如果图像是一个灰度按一定周期变化，相当于周期函数，它的频率就是在某一坐标轴方向上一个单位长度的距离内，周期函数重复出现的次数，周期表示在同一方向上图像波形重复出现的最小距离。而且，图像的傅立叶变换也有明确的物理意义。纹理特征图像纹理是像素灰度分布宏观上呈现周期性的结构特征，它是图像中某些结构单元按某种规则排列而成的规则图案，反映图像纹理基元灰度周期性重复变化的规律。因此，纹理基元的大小（或重复变化的周期长短）和重复构成的方向是基本特征。常用的纹理特征描述方法有共生矩阵、等灰度行程长度、区域纹理基元参数、傅立叶频谱、随机场模型、相关长度等。图像的特征形态与描述

图像的频谱特性与一维时间函数波形类似，图像也有空间频率的概念，如果图像是一个灰度按一定周期变化，相当于周期函数，它的频率就是在某一坐标轴方向上一个单位长度的距离内，周期函数重复出现的次数，周期表示在同一方向上图像波形重复出现的最小距离。而且，图像的傅立叶变换也有明确的物理意义。纹理特征图像纹理是像素灰度分布宏观上呈现周期性的结构特征，它是图像中某些结构单元按某种规则排列而成的规则图案，反映图像纹理基元灰度周期性重复变化的规律。因此，纹理基元的大小（或重复变化的周期长短）和重复构成的方向是基本特征。常用的纹理特征描述方法有共生矩阵、等灰度行程长度、区域纹理基元参数、傅立叶频谱、随机场模型、相关长度等。图像的特征形态与描述图像中物体形状特征物体的形状特征是人或机器识别的重要特征之一，在图像中可以采取图像分割的方法，将感兴趣的物体、区域或基元与背景区分开来，然后对它们的外形进行描述，常用的形状特征有面积、周长、圆度、长宽比、矩、边心距、傅立叶描绘子、偏心率和凹度等。图像中三维特征图像是三维空间场景能量在二维平面的投影，二维图像中蕴含着场景中物体的三维信息。比如，多面体的各个面光强的差异表现出的立体感，一个球体不会看成平面的圆。图像的三维通常用物体表面的法线方向描述。图像的特征形态与描述图像的运动特征动态图像或序列图像是我们最常见的、需要快速处理并作出反应的场景图像，“时间”将作为它的另外一个变量。序列视频图像中包含着物体或目标的运动参数如速度、加速度、方向、姿态、到传感器的距离等变化信息。常用的方法用局部瞬时速度场（光流场）、特征点匹配、小平面分析和运动分割等。图像距离特征距离图像是一种通过主动成像方式获取的场景三维立体信息，与场景亮度无关。目标图像距离特征对于目标图像识别有着特殊的意义，可以不受天气、伪装、复杂背景等条件的影响，全天候工作，抗干扰能力强。图像的特征形态与描述

图像信息描述图像中包含的信息量最关心的是图像度量参数，可以想像所有像素灰度都为同一个数值，我们看到的是一张白纸，获取不了更多的信息，而一幅场景图像却有着丰富的内容，只要你认真去看，将会有无限的信息。信息论中的“熵”可以作为图像信息含量的一种描述，尽管它并不完美。图像的信息度量是复杂的，它与图像的应用目的、观察图像的人或系统的知识、性能有关。图像有用和无用成分之比图像中并不是只包含有用的信息，我们总是在图像中提取感兴趣的所谓目标部分信息，而滤除所有不关心的信息。感兴趣的目标信息与所有不关心的信息成分的比率或差别越大，提取就越容易。典型的度量指标是信噪比，即目标信号幅度除以背景信号的标准差。图像的特征形态与描述⑴图像灰度变化的梯度特征

像素灰度是图像各离散点量测幅度的样本值，在图像处理、识别工作所采用的所有图像特征中，它是最基本、最原始的特征数据。像素灰度分布包含着图像总体的特征，它可以在图像的特定像素点上或其邻域内测定。对于尺寸为NXN的图像，常用的灰度分布特征有图像灰度均值--图像包含的平均能量。

图像灰度方差(标准差)--像素灰度分布的分散程度。

图像特征的具体描述（2）

图像的像素灰度分布特征

图像的对比度：

最常用的描述图像灰度分布状况是一阶灰度直方图,它实际上是图象灰度的一阶概率分布。灰度直方图是常用的图像灰度特征度量，它的形状和位置分布可以为目标检测提供许多可用信息。

图像特征的具体描述⑶目标的信噪比定义信噪比的传统定义：

信噪比是图像客观质量评价方法中最常用的，它利用处理后的图像与原图像之间的统计误差来衡量处理图像的质量。若误差越小，则从统计意义上来说，被评价图像与原图像的差异越小，图像的相似度就越高，获得的图像质量评价也就越高。信噪比是用于比较被评价图像与原图像质量的参数，信噪比的数值越大，图像质量越好。图像特征的具体描述⑶目标的信杂比定义信杂比改善情况由于图像预处理的最终目的就是提高图像的信杂比，因而，滤波前后信杂比改善的程度是算法性能优劣的一个直接体现。目标与背景的幅度信杂比定义为：表示目标最大灰度值(对于点目标，即是目标灰度)；

表示目标所在局部窗口内像素灰度均值；

表示局部窗口内像素灰度标准差。图像特征的具体描述（4）图像的运动特征－什么是运动图像？与静态图像相比，动态图像的基本特征就是灰度的变化。在对某一场景拍摄到的图像序列中，相邻两帧图像间至少有一部分像元的灰度发生了变化，这个图像序列就称为动态图像序列。与单幅图像不同，连续采集的图像序列能反映场景中目标的运动和场景的变化。场景的变化和景物的运动在序列图像中表现得比较明显和清楚。序列图像是由一系列时间上连续的二维图像组成的，或者说是一类三维图像，与静止图像相比，序列图像增加了时间变量，当时间变量取某个特定值时，就得到视频图像中的一帧图像。图像序列和运动信息有密切的联系，将从运动场景获得的序列图像或者在序列中目标位置发生变化的图像称为运动图像。

图像特征的具体描述

举例：运动与视觉实验1959年著名心理学家Gibson在美国康乃尔大学对自然人进行了运动知觉实验：在两张透明的胶片上会出相似的随机点图图案。一张静止地垂直放置，人们什么也区分不出来；而另一张也是垂直放置，但是让其沿水平方向进行平移运动。这时奇迹出现了，人们在移动着的胶片上区分出了有两块远近不同的平面，随机点图表示的场景被轻易地分割开来了。这证实了一些在静止时不易被察觉的形状当移动时就可以被知觉，这与人们通过自身包括研究的运动实现形状知觉是异曲同工的。静止图像只是空间位置的函数，它与时间变化无关。在现有条件下，用单幅静止图像无法表达物体和自身的运动。运动图像通常是一种按时间顺序排列的瞬间采样图像序列。图像中的变化可能是由于目标物体的运动，也可能是相机的运动、光源的变化、物体结构的变化等等。

造成图像灰度变化的原因造成图像灰度变化的原因多种多样，主要有以下几类：⑴景物本身发生了变化：物体发生了变形（扩大或缩小）或运动（旋转、平移）；⑵相机与景物发生了相对运动：相机的平移、旋转使图像内容发生了改变；⑶照度变化：照摄景物的光源发生变化，导致物体亮度改变；⑷上述几种情况的组合。运动的分类运动可以分为四种情况：相机不动物体不动（SCSO）；相机不动物体动（SCMO）；相机动物体不动（MCSO）；相机动物体动（MCMO）。还可以将观察者区分为单相机和多相机系统；也可以按对象分成单目标和多目标情况；默认最简单的环境是单相机固定不动的单一运动目标情况，这时的运动图像是由连续拍摄运动的物体或场景所生成的，它们不仅是位置的函数，也是随时间变化的函数。一帧图像中分为前景和背景两部分，运动也分为前景运动和背景运动。前景运动指目标在场景中的自身运动，也称为局部运动；背景运动主要是由进行拍摄的摄像机的运动所造成的帧图像内所有点的整体移动，也称为全局运动或摄像机运动。运动的分类摄像机的运动变焦平移图像平面旋转进退升降扫视倾斜XYOZp(x,y)p(X,Y,Z)全局运动和局部运动各有其自身特点。全局运动具有整体性强、比较规律的特点，可能仅用一些特征或一组含若干个参数的模型就可表达。局部运动比较复杂，特别是在存在多目标的情况下，各目标可能做不同运动，目标的运动仅在空间小范围表现出一定的一致性，比较精细的方法才能够准确地表达。下面就具体介绍一下各种运动的表达形式和方法，常用的有以下几种：

1．运动矢量场表达

2．运动直方图表达

3．运动轨迹表达运动的表达1．运动矢量场表达运动既有大小，也有方向，所以需要用矢量来表示，为表示瞬时运动矢量场，将每个运动矢量用无箭头的线段来表示，线段长度与矢量大小及运动速度成正比，并叠加在原始图像上。

2．运动直方图表达这种方法的基本思路是仅保留运动方向信息以减少数据量，将0～360度的运动方向划分为若干间隔，把用矢量场上每一点的数据归到与它的运动方向最为接近的间隔。

3．运动轨迹表达目标的运动轨迹表达了目标在运动过程中的位置信息，由一系列关键点和一组在这些关键点间进行插值的函数构成。关键点用2D或3D坐标值来表达，插值函数分别对应各坐标轴（水平、垂直和深度方向）。运动的表达目标检测方法的基本概念与原理目标检测的分类：目标检测从目标特性角度分为单幅静止图像检测和运动目标检测；运动目标检测又分为静止背景下的运动目标检测和运动背景下的运动目标检测。静止目标检测通常是利用单帧图像信息，对于大目标，可以利用图像分割或特征匹配等方法提取出目标，但对于低对比度、低信噪比的小目标，利用单帧信息很难检测出有效目标。运动目标可以利用图像的运动序列信息，与单幅图像不同，连续采集的图像序列能反映场景中目标的运动和场景的变化情况，更有利于小目标的探测。目标检测方法的基本概念与原理目标检测的基本思想：远距离摄取的图像可以认为是由三个分量组成的:目标图像、背景图像和噪声图像。目的：抑制背景、消除噪声和突出目标。如何突出目标：灰度奇异性特征、几何形状特征、运动特征、频谱特征等，需要针对具体的应用情况。抑制背景和消除噪声都是为了更好地突出目标服务。对于目标与背景亮度差异较大、且背景比较简单的情况，通常会采用利用阈值分割的方法来提取目标；对于复杂背景下的大目标，需要利用目标的几何形状特征或运动特征来提取目标。静止背景下常用的有背景差分法、帧间差分法等，运动背景下常用的有匹配法、光流法、运动估计法等；低信噪比下小目标检测是难点也是重点，通常采用滤波的方法。常用的有三维匹配滤波、动态规划法、多级假设检验等。目标检测方法的基本概念与原理目标检测的常用方法：第一类是基于像素分析的方法，主要有基于图像分割的方法、帧间差分方法、相关算法、光流法等；第二类是基于特征匹配的方法，主要利用的特征有：角点、直边缘、曲边缘等局部特征和形心、表面积、周长、投影特征等全局特征；第三类是基于频域的方法，较典型的是基于傅立叶变换和基于小波变换的方法。第四类是基于识别的检测方法，较典型的是基于边缘碎片模型的目标检测识别方法；目标检测方法的基本概念与原理各类型目标检测图像：目标检测方法的基本概念与原理各类型目标检测图像：目标检测方法的基本概念与原理图像分割的目的：把图像分解成构成它的部件和对象；有选择性地定位感兴趣对象在图像中的位置和范围。图像分割的基本思路：从简到难，逐级分割控制背景环境，降低分割难度注意力集中在感兴趣的对象，缩小不相干图像成分的干扰。图像分割的基本方法：基于阈值的图像分割基于形态学的图像分割基于边缘的图像分割基于区域的图像分割利用图像分割技术的目标检测方法图像分割：

将数字图像划分成与实际目标或区域紧密相关的若干区域的过程。图像分割与整个图像分析系统的关系

预处理图像分割特征提取目标检测目标跟踪目标识别利用图像分割技术的目标检测方法利用图像分割技术的目标检测方法提取轮廓车牌定位车牌识别图像分割的基本策略：把像素按灰度划分到各个物体对应的区域中去；先确定边缘像素点，然后将它们连接起来构成所需的边界；确定存在于区域间的边界；区域：像素的连通集连通准则：4-连通、8-连通图像中目标位置的确定:

利用合适的阈值选取方法计算出整场图像的分割阈值，通过对图像二值化实现目标与背景分离，分割出的全体目标像元位置数据和目标像元的总点数，对每个像素点的位置加权，计算出目标的形心位置，也就是目标在摄像机靶面的位置。形心数据则作为下一场的跟踪数据；目标的形心相对于视场中心的位置数据，则作为目标的偏差数据。

利用图像分割技术的目标检测方法几种常用的基于阈值分割的检测方法：直方图分割法基于灰度期望值的阈值分割最大类间方差阈值分割循环分割方法最大熵阈值分割基于模糊隶属度的阈值分割…………利用图像分割技术的目标检测方法各种阈值分割分割方法的分割结果

原始图灰度期望方法

类间方差方法最大熵方法循环分割方法基于图像匹配技术的目标检测算法基于图像灰度的匹配算法绝对平衡搜索法归一化互相关匹配图像匹配的加速算法基于图像特征的匹配算法目标像素数:符合目标灰度分布的像素点总数;目标均值:目标像素点的灰度均值;复杂度:边界像素点数与总目标像素点数的比值;长宽比:目标像素数最多一行与像素数最多一列比值;紧凑度:目标像素数与目标长、宽之比值。基于图像匹配技术的目标检测算法点、线等几何形状特征不变矩特征边缘特征幅度、直方图、频率系数基于相似性判据最优化的方法基于核密度估计的目标检测方法－meanshift方法基于神经网络的方法什么是图像匹配？图像匹配，也叫图像配准，是图像处理的基本任务之一，用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的两幅或多幅图像进行匹配，在军事、遥感、医学、计算机视觉等领域有广泛的应用。图像配准技术可分为手工配准和自动配准两种方式，而自动配准是在整个配准过程中不需要人干预的一种配准技术，它也是图像配准技术的最终发展目标。在配准窗口范围内，同一目标的两幅图像完全相同，完成图像配准并不困难。实际中，同一目标的两幅图像常常是在不同条件下获得的（如不同的成像时间、不同的成像位置，甚至不同的成像系统等），再加上各种噪声的影响，使同一目标的两幅图像不可能完全相同，只能做到某种程度的相似，因此图像配准是一个相当复杂的技术过程。基于图像匹配技术的目标检测算法配准过程中要注意的关键点：特征空间的选择对于配准图像有许多特征可供选择，例如：图像本身的灰度、边缘、曲线、角点、直线交点、高曲率点，也可以是不变矩、重心等。相似性测度的选择相似性测度的选择是图像配准中最重要的步骤之一，它决定如何确定匹配位置，其配准的程度最后转化为匹配或不匹配。搜索空间与策略的选择搜索空间通常是要找到配准的最佳位置的位置集，很多情况下，减少测量的数量很重要，误匹配位置越多，计算量就越大，问题越严重。可以利用一些可得到的信息去掉不可能匹配的搜索子空间，从而减少计算量。

基于图像匹配技术的目标检测算法配准的方法：

图像配准的一般做法是，首先在参考图上选取以某一目标点为中心的图像子块，并称它为图像配准的目标窗口，然后让目标窗口在待配准图上有秩序地移动，每移到一个位置，就把目标窗口与待配准图的对应部分进行相关比较，直到找到配准位置为止。NMMXNX基于图像匹配技术的目标检测算法原始图像(第0帧)第10帧跟踪结果第20帧跟踪结果归一化直接互相关匹配结果：

基于图像匹配技术的目标检测算法先边缘处理在归一化互相关匹配结果：原始图像(第0帧)第10帧跟踪结果第20帧跟踪结果基于图像匹配技术的目标检测算法运动目标的检测静止背景下的运动目标检测方法

帧间差分法

背景差分法

运动能量积累法动态背景下的运动目标检测方法

光流法

运动参数估计法：块匹配法、贝叶斯法、像素递归法

带全局运动补偿的算法运动图像序列的分类运动图像序列可以为低信噪比情况下的目标检测提供更多的有用信息，利用序列图像能够检测出单帧图像中很难检测出的目标。由运动目标所形成的图像序列可分为两种情况：一种是静止背景，另一种是变化背景。前一种情况通常发生在摄像机处于相对静止的状态下，产生背景静止的运动图像序列，这时可以采用帧间差分或自适应背景对消的方法来去除背景干扰，计算方法简单；后一种情况发生在目标运动同时，摄像机也处于相对运动状态，产生背景变化的运动图像序列，从而导致运动目标的变化与背景本身的变化混淆在一起。这种情况比较复杂，若采用消除背景的方法，则需要进行图像配准；若采用突出目标的方法，则需要在配准的前提下进行多帧能量积累和噪声抑制。运动图像序列的分类帧间差分法这种方法就是将前后两帧图像对应像素点的灰度值相减，在环境亮度变化不大的情况下，如果对应像素灰度相差很小，可以认为此处景物是静止的，如果图像区域某处的灰度变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，就可以求出运动目标在图像中的位置。第j帧fm,n,j(x,y)

与第k帧fm,n,k(x,y)之间的变化可用一个二值差分图像DPjkfm,n(x,y)来表示：在序列图像中，通过逐像素比较可以直接求取前后两帧图像之间的差别，对时间上相邻的两幅图像求差可以将图像中运动目标的位置和形状变化突现出来。假设目标的灰度比背景亮，则在差分的图像中可以得到在运动前方为正值的区域，在运动后方为负值的区域，如果对一系列图像两两求差，并把差分图像中值为正或负的区域逻辑和起来就可以得到整个目标的形状。

运动图像序列的分类帧间差分法这种方法就是将前后两帧图像对应像素点的灰度值相减，在环境亮度变化不大的情况下，如果对应像素灰度相差很小，可以认为此处景物是静止的，如果图像区域某处的灰度变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，就可以求出运动目标在图像中的位置。第j帧fm,n,j(x,y)

与第k帧fm,n,k(x,y)之间的变化可用一个二值差分图像DPjkfm,n(x,y)来表示：在序列图像中，通过逐像素比较可以直接求取前后两帧图像之间的差别，对时间上相邻的两幅图像求差可以将图像中运动目标的位置和形状变化突现出来。假设目标的灰度比背景亮，则在差分的图像中可以得到在运动前方为正值的区域，在运动后方为负值的区域，如果对一系列图像两两求差，并把差分图像中值为正或负的区域逻辑和起来就可以得到整个目标的形状。

运动图像序列的分类帧间差分法在序列图像中，通过逐像素比较可以直接求取前后两帧图像之间的差别，对时间上相邻的两幅图像求差可以将图像中运动目标的位置和形状变化突现出来。假设目标的灰度比背景亮，则在差分的图像中可以得到在运动前方为正值的区域，在运动后方为负值的区域，如果对一系列图像两两求差，并把差分图像中值为正或负的区域逻辑和起来就可以得到整个目标的形状。

运动正BABBBAAAA逻辑和帧间差分算法的优缺点：优点：对动态背景适应快计算速度快占用系统资源少特别适用于噪声较少的红外视频缺点：对噪声较大的可见光视频效果不理想该算法假定目标是不断运动的。如果物体静止一段时间，那么该算法将检测不到目标如果背景的某一部分移动，那么将会在检测结果中出现“空洞”该算法一般检测不到移动目标的全部运动图像序列的分类运动图像序列的分类

静止背景下运动目标的检测实验结果：

（a）第1帧图像（b）第2帧图像（c）变化区域图像（d）提取出的背景图像（e）变化区域与背景差分图像（f）运动目标检测结果与背景接近时目标检测运动图像序列的分类智能分析技术原理一般情况下，视频智能化分析的基本过程是从给定的视频中读取每帧图像，并对输入图像进行预处理，如滤波、灰度转换等，然后判断输入图像中是否有运动目标，接下来判断运动目标是否为监控目标，最后对该目标根据需求进行监控、跟踪或是行为理解等分析。目标检测技术目标检测是从图像序列中将变化区域从背景图像中提取出来，从而检测出运动的目标，目标检测十分重要，它将影响目标对象的分类、行为识别等后期处理。目标检测分析多个差图像中区域之间的关系，并在原图像中验证，得到运动的目标和其运动轨迹。比如，如果已经知道3个不同时刻的二值差图像，若存在一个运动目标的话，该目标在这3个差图像中的大小基本不变，其运动方向和运动速度基本不变，在3个差图像对应的原图像中的区域，有基本相同的灰度分布等等。几种常用的动态视频目标检测方法简介如下：目标检测技术背景减除背景减除(BackgroundSubtraction)方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。

目标检测技术时间差分时间差分(TemporalDifference又称相邻帧差)方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。目标检测技术

在目标运动缓慢时，差分后的运动目标区域内会产生空洞，从而不能完全提取出所有相关的特征像素点，一般不能够完整地分割运动对像，不利于进行相关分析，因此差分法很少被单独使用。光流基于光流方法(OpticalFlow)的运动检测采用了运动目标随时间变化的光流特性，如Meyer等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在所摄场所运动存在的前提下也能检测出独立的运动目标。然而大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。目标检测技术目标跟踪(ObjectTracking)

就是通过对摄像头采集到的图象序列进行计算分析，计算出目标在每帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧中同一运动目标关联起来，得到各个运动目标完整的运动轨迹，也就是在连续的视频序列建立运动目标的对应关系。可采用MeanShift算法和ParticleFilter算法实现目标跟踪。

目标跟踪技术与行为识别MeanShift算法MeanShift算法本质上是最优化理论中的最速下降法(亦称梯度下降法，牛顿法等)，即沿着梯度下降方法寻找目标函数的极值。在跟踪中，就是为了寻找到相似度值最大的候选目标位置。MeanShift方法就是沿着概率密度的梯度方向进行迭代移动，最终达到密度分布的最值位置。其迭代过程本质上是最速下降法，下降方向为一阶梯度方向，步长为固定值。目标跟踪技术与行为识别但是，MeanShift没有直接求取下降方向和步长，它通过模型的相似度匹配函数的一阶Talor展开式进行近似，直接推到迭代的下一个位置。由此，沿着梯度方向不断迭代收敛到目标相似度概率目标分布的局部极大值。MeanShift算法在目标运动过快或背景过于复杂时，迭代寻找的局部极值并不是目标在下一帧中的最佳匹配位置。另外，M