图像信息的融合技术

1、多传感器信息融合实际上是对人脑综合处理复杂问题的一种功能模拟,在多传感器系统中,各种传感器提供的信息可能具有不同的特征:时变的或者非时变的,实时的或者非实时的,快变的或者缓变的,模糊的或者确定的,精确的或者不完整的,可靠的或者非可靠的,相互支持的或者互补的 ,也可能是相互矛盾或者冲突的. 多传感器信息融合的基本原理就像人脑综合处理信息的过程一样,它充分地利用多个传感器资源 ,通过对各种传感器及其观测信息的合理支配与使用,将各种传感器在空间和时间上的互补和冗余信息依据某种优化准则组合起来.产生对观测环境的一致性解释和描述. 信息融合的目标是基于各传感器分离观测信息,通过对信息的优化组合导出更多的

2、有效信息 . 信息融合的级别1.检测级融合1.决策级融合2.位置级融合3.属性级融合 (目标识别 ) 2.特征级融合4.态势估计5.威胁评估3.数据级融合模式识别模式识别就是机器识别,计算机识别或者自动识别,目的在于让机器代替人自动识别事物.为了能让机器执行和完成识别任务,必须首先将对分类识别对象有用的信息输入计算机中.为此,应对分类识别对象进行科学的抽象,建立数学模型,用以描述和代替该对象,这种对分类识别对象的描述成为模式. 识别系统的主要环节：1.特征提取：对研究对象的固有的，本质的，重要的特征或属性进行量测并将结果数值化，或对目标进行分解产生基元并对其符号化，形成特征矢量或特征符号串，从

3、而产生代表对象的模式。2.特征选择：在保证满足分类识别正确率要求的条件下，按照某种准则尽量许啊用对正确分类识别作用较大的特征，使得用较少的特征就能完成分类识别的任务。3.学习和训练：对机器进行训练，将人类识别知识的方法以及分类识别对象的知识输入机器中，产生分类识别的规则和分析程序，相当于机器进行学习。此过程需要反复进行多次，不断修正错误，改进不足，包括修正特征提取方法，特征选择方案。4.分类识别：在学习、训练之后所产生的分析规则及程序可用于对未知类别对象的识别。图像识别1.图像预处理由于视觉传感器采集的模拟信号时受到外界各种光学随机噪声的干扰，所获得的数字图像信息必需进行预处理，包括过滤干扰噪

4、声，图像目标信息增强，几何畸变调整、 颜色校正等，以便计算机图像的处理与识别。比如：邮政信件自动分拣，汽车牌照的识别，都要经过过滤背景，干扰，噪声等信息，将所需要的数字信息分离出来，还需要进行图像的平滑、细化、增强、边缘检测等工作。2. 图像分割在进行图像预处理后，为了能从图像中找到所需要的识别物体，要对图像进行分割，目的就是从背景中分离出需要的目标。3特征提取在需要识别的物体被分割出来的基础上，提取需要的特征， 对需要的某些参数进行测量、计算、根据结果进行分类。比如在邮政信件自动分拣，汽车牌照的数字在定位分割之后，对数字进行特征提取。4.图像分类根据提取的特征值,利用模式识别的方法进行分类,

5、确定名称 ,以便获得图像的重要信息,并得到理解和解释。第二章多传感器图像配准融合原理所谓图像融合是指综合两个或者多个源图像的信息，以获取对同一场景的更为精确、全面、可靠的图像中的目标描述。图像融合充分利用了多个源图像中的冗余信息和互补信息，提高了系统的性能。由于各个传感器的光谱频段、模式、采集位置、 空间分辨率，对比度参数设置不同等多种因素， 使得获取关于同目标或同场景的多源信息图像之间存在相对位置平移，旋转角度、 尺度缩放， 几何形状变化等差异，导致图像不能进行直接融合因而图像在融合之前要进行配准。配准是对多源图像中表示同一目标，对象的像素点进行精确的空间坐标对准和定位，而且配准的精度越高，

6、融合结果包含的信息就越准确，越可靠。图像传感器1、可见光波段仪器（tv ） ：电视机，摄像机，微波夜视仪2、红外波段仪器(ir) ：红外热像仪3、紫外光波段仪器：x 射线成像仪，超声波成像仪；计算机断层扫描仪（cr） ；核磁共振仪；激光成像雷达；合成孔径雷达（sar）上图为多传感器图像信息融合示意图sence ir tv sar fusion display navigation （导航）object detection (目标检测 ) remote sensing （遥感）medical imaging （医学影像）多源图像信息的特点：（1）冗余性：多传感器对同一场景、目标、物体的观测的图像

7、，其中包含大量的冗余信息。冗余信息的融合结果使得系统具有较强的容错性、可靠性、健壮性，见笑了不确定性，提供了更高的检测精度，系统不会因为某一个传感器损坏或丢失数据而失效，增大了系统的平均无故障时间。同时也可以消除不相关的噪声影响，提高检测能力。（2）互补性：从多个不同类型的传感器获得的图像，可以得到更多的互补信息。每一种图像提供了不同类型、层次、特点的数据，并且这些特点是其他传感器所不能提供的，融合的结果使得多种数据优化整合，提供了更多更丰富的信息。图像融合模型（1）图像融合系统的功能模型融合功能主要是指融合过程各个级别的功能。信息融合系统功能模型图（2）图像融合系统的结构模型集中式结构（f：

8、融合节点， s：传感器数据，c：信息用户）f s c s c s s 第五级处理威胁估计敌我估计危险度估计意向估计指示报警目标瞄准第三级处理目标属性融合物理模型算法分类知识模型采集管理优先级分配传感器任务分配资源可用第四级处理态势评估环境评估背景分析分类推理第二级处理测量位置融合空间校准相关门测量互联跟踪航及关联第一级处理检测判决融合检测准则融合准则最有门限虚预警率数据库管理监视更新数据检索合并归档评估支持数据库支持计算态势数据库动态对象人机交互接口图像、图形文字、提示评估计算性能计算有效性度量环境采集源可见光摄像雷达红外热像仪综合孔径雷达光电技术电子支援声呐集中式结构， 将不同传感器的检测报

9、告传送到每个平台的融合中心，进行数据配准、点迹相关、复合跟踪和综合显示。分布式结构， 信息融合在每个平台或每层分别进行，并将自己的融合结果传送给其他平台或高层平台进行进一步融合。图像融合原理多传感器图像融合是人类和其他生物系统中普遍存在的基本功能，如眼睛在搜寻猎物时， 就进行了红外和视觉信息的融合。生物本身具有将各种信息（景物图像、声音、震动、气味等）与先验知识进行综合的能力。多传感器图像信息融合实际上是对人脑综合处理图像信息的一种功能模拟。多源图像提供的信息可能具有不同的特点：时变的或非时变的、实时的或非实时的、模糊的或确定的、可靠的或非可靠的、相互补充的相互支持的，也可能是相互矛盾的。多传感器图像信息融合的原理就是采用类似人脑综合处理信息的过程，充分利用各个源图像的资源信息，通过对各种观测信息的合理支配与使用，将多传感器在空间上的互补与冗余信息依据某种优化准则组合起来，产生对观测对象的一致性描述和解释。图像融合目的图像融合是对同一个场景中的目标进行综合的二维图像信号处理技术，其目的是基于多个传感器的分离观测信息，通过对互补信息和冗余信息的优化组合导出更有效的图像， 以强化所包含的信息、增加图像理解的可靠性。多个传感器图像增强了在某一