（通信与信息系统专业论文）基于区域的遥感立体像对压缩算法研究.pdf

摘要 摘要摘要 遥感立体成像系统的数据量在影像地面分辨率相同的情况下要高出单幅成像系统 1-2倍，传输和处理这些数据需要占用大量的链路带宽，而现有的方法在压缩效率和重 建效果上无法较好的满足应用的要求，因而，有必要找到有效的针对立体像对的压缩方 法，满足遥感卫星的立体观测需要。 大多数现存的立体像对编码技术都在研究如何通过较好的估计像对之间的视差矢 量而提高预测图像的精度。对于普通相机近距离拍摄的光学图像，传统的基于块的算法 单从视差矢量和残差图像就能较好的恢复出预测图像， 因为这类算法适用于两图像的灰 度级分布较为相似， 发生在;像对间的几何形变很小， 或像对之间满足极线约束条件的情 况。然而，对遥感立体像对，星载相机在很短的时间间隔内，所拍影像的灰度级分布差 异很大，同一地物在不同像片上的几何形变也相对较大。对于此类图像，若仅使用基于 块的视差估计算法，则无法利用立体像对的几何特性，对于点的视差估计不准确。 为提高遥感立体像对视差估计的精度， 本文在基于伪视差矢量的立体图像编码算法 基础上，提出基于特征匹配和块匹配的视差预测方法。对输入像对，首先采用scale invariant feature transform(sift)进行特征匹配，由匹配结果结合sobel算子的边缘纹理 提取来对像对纹理进行分类，然后对平坦地形区采用改进的自适应视差估计方法，高程 变化地形区采用四叉树分解和分区域特征点匹配相结合的视差估计方法， 在视差估计的 同时进行灰度补偿。最后，采用jpeg2000算法对视差矢量及纹理分类信息、残差图像和 参考图像进行压缩。 该方法按照遥感图像纹理特点对不同纹理区域分别进行了更合理的 预测，提高了预测图像精度。通过实验表明，在中低比特率时，该算法压缩性能(psnr) 优于传统算法约3db，同时重建图像也保持了较好的几何精度。 关键词：遥感 遥感立体像对压缩 纹理分类的视差估计 四叉树分解；sift 特征匹 配 伪仿射模型 abstract abstract under the same ground resolution, data quantity of remote sensing stereo system is about twice as much as that of single frame system. transmission and processing these data will take up great volume of bandwith, and existing methods cannot meet the requirements of application both in terms of compression efficiency and reconstruction effects. hence, it is necessary to find efficient compression method of stereo image pair to meet the requirements of stereo observation. most existing stereo image pair coding algorithms are generally focusing on how to improve disparity estimation for better accuracy of sensed image. for stereo image pairs, fairly good sensed images can be obtained through block-based algorithm. that is because this kind of algorithm is suitable for such images as two images which have similar gray level distribution, little geometric deformation, or epipolar line constraint between two corresponding points. however, though acquired at short time intervals, remote sensing image pairs have distinct different gray level distributions and relevant geometric deformation. if block-based motion estimation is applied to this kind of images, the disparity estimation may not be very accurate and the annoying blocking effects may be very obvious, especially in some areas with great geometric deformation. for improving accuracy of disparity estimation, a novel methodology based on abm and fbm is proposed on the basis of reference algorithm. first, the scale invariant feature transform (sift) matching method combined with the sobel operator is carried out for texture classification. second, the improved adaptive disparity estimation is used in the area with the flat terrain, and the disparity estimation, which implies quadtree decomposition combined with the feature based image matching in the divided areas, is used in the area with the varied elevation. at the same time, the radiation compensation is applied in every area. finally, the disparities, residual, and the reference image are compressed by jpeg2000 together. the new algorithm provides a more reasonable prediction in different areas according to the characteristics of the image texture, which improves the precision of the predicted image. the experiment results show that the psnr of the proposed algorithm can obtain up to about 3dbs gain comparing with the traditional algorithm at low or medium bitrates, and the geometric accuracy is maintained fairly well. abstract keywords: remote sensing scompression of remote sensing stereo image pairs region-based disparity estimation quadtree decomposition sift feature-based image matching pseudo affine model 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容外，论文不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本人签名： 日期 导师签名： 日期 第一章 绪论 3 第一章 绪论 1.1 引言 随着信息技术的发展日新月异，遥感遥测技术、空间探测与通信技术、计算 机技术、以及生物医学技术的快速发展，表达信息的数据量极具增长。通信和存 储技术的发展与数据增长速率之间的矛盾一直是人们研究的重点。在此背景下， 研究数据压缩，可以成倍的节省存储设备，降低通信成本，或者完成超高信息量 的应用，因而它一直是图像处理领域的研究重点。 卫星对地观测具有覆盖地域广、持续时间长、不受空域国界限制等独特的优 势，一直为各国政府所重视。在对地观测方面，大量的地球卫星遥感图像不仅应 用于气象预报、国土普查、森林调查、地质找矿、海洋预报、灾害监测、城市规 划、地图测绘等民用领域，还在军事领域用于收集情报、国防监测、战场实时监 测、目标制导、部队集结、武器部署等各种军事活动；在深空探测方面，对诸如 月球等外星球的三维遥感测绘成像，为人类合理开发和利用外太空资源打下了坚 实的基础。鉴于卫星遥感技术能够给国民经济发展提供强大的推动力和可靠的战 略决策依据，世界各国都在积极研制和发展自己的高分辨率的遥感卫星46。 然而，由于频率资源的限制，高分辨率遥感图像的庞大数据量已成为限制遥 感卫星战术指标进一步提升的主要瓶颈之一。侦察幅宽为 20 公里、地面分辨率为 20 米、光谱分辨率为 64 谱段的情况下图像数据率就达到了 1.4gbps，而目前国际 上已经使用的卫星数据传输能力最高为 320mbps，星上对图像的高效压缩势在必 行。目前，已应用的先进卫星系统，如美国海军地图观测仪(nemo)、欧空局的星 上自主计划卫星(proba)、德国航空航天中心技术试验小卫星(bird)等，都具有 极强的星上图像实时处理能力。以 nemo 为例，在 3.8gflop 多处理计算机的支持 下，其光学实时光谱识别系统(orasis)可提供自动数据分析、特征提取和数据压 缩功能，设计压缩倍数在 10 倍和 20 倍之间146。 为了能有效地传输和存储遥感立体图像，通常的解决方法有三种: 1) 增加信道的带宽; 2) 以高效的协议提高信道的利用率; 3) 用高效的压缩技术减少信源的数据量。 因为受限于现有的信道带宽，而高效的协议对于传输立体图像所产生的大量 数据，其帮助非常有限。因此，近年来遥感图像压缩编码技术己得到广泛重视。 基于区域的遥感立体像对压缩 1.2 课题背景 遥感立体成像技术始于二十世纪八十年代初期，目前已经在多颗卫星上得到 应用。遥感立体像对是相机对同一地区以不同视角拍摄得到的左、右两幅图像。 立体像对的左、右片视差包含了地面的高程信息，通过摄影测量的方法，可以从 立体像对中重建出被拍摄区域的数字地形模型 dtm（digital terrain model）。遥 感立体像对被广泛应用于立体测图。归纳而言，立体像对压缩在航天遥感中的应 用主要存在于两方面： 1）星载传输系统：对行星探测器、对地观测卫星等航天飞行器获取的数据进 行实时压缩，以解决数据传输的问题，具体应用包括：降低传输信道带宽、减少 缓冲和存储空间、缩短数据传输时间。地面接收系统接收数据并对其进行解压。 2）遥感影像数据库：对遥感大图像实行嵌入式压缩编码，在用户终端配备相 应的解压缩软件，可大大提高远程调阅的效率。 随着分辨率的增加，图像的数据率会超出系统的传输与存储能力。为了求解 地面高程，左右像片之间的重叠率至少在 60%以上，因此左、右两幅图像具有很 强的相关性。若能利用这一相关性减少数据冗余，则立体像对的压缩效率可以得 到大幅提高。于是视差估计和补偿技术成为了当前立体图像压缩编码技术研究的 热点。虽然在计算机视觉方面己经发展了许多视差估计技术，其中一些也可以应 用于立体图像的编码，但如果直接采用这些技术却会由于各种因素的影响而不一 定有效。例如，因为一个视差矢量对应于摄像机和景物中相应点之间的距离，所 以计算机视觉主要强调的是精确的视差估计以重建 3d 景物的结构。 而压缩编码的 主要着眼点是率和失真之间的折衷，立体图像/视频编码的目标不是估计真实的视 差，而是为了得到高的压缩比。所以，如果处理(传输和存储)视差矢量场的代价太 高，则计算致密的视差矢量场是不值得的。因此，在立体图像/视频编码中广泛采 用基于固定尺寸块匹配的方法，虽然真实的视差场明显不是块不变的2。基于固定 尺寸块的方法实现比较简单而且在率失真意义上是有效的。因为它利用的是规则 形状的视差场，所以不需要额外的信息指定视差场的结构。但是，基于固定尺寸 块的视差估计也存在几个明显的缺陷，比如:不精确的视差估计和重建图像中的 jds 像。一般来说，不精确的视差估计是不可避免的，它主要来自各种噪声和同一 块中的像素的视差矢量相同的假设。所以，普通的固定尺寸块视差估计算法不能 给出平滑的视差场，这会增加视差矢量场的熵，于是导致了编码视差矢量场比特 率的增加。所以，基于固定尺寸块预测编码的效率可以通过改进视差估计和补偿 的算法来提高。 对遥感数据进行压缩，降低数据的规模，有利于节省通信信道，提高信息的 第一章 绪论 5 传输速率；数据压缩之后亦有利于实现保密通讯，提高系统的整体可靠性。 1.3 研究现状 最早提出立体像对压缩算法的是 perkins3，他的算法利用了立体图对之间的 相似性。是将立体图像对的和与差分别进行编码，然后再传输。但是由于忽略了 立体图对之间存在的视差，该方法得到的图像质量随着视差值的增大而下降。于 是产生了一种改进的方案，将图像对中的一幅图像水平平移到使两图像的互相关 达到最大值的地方，然后再相减。这种方法是基于场景中的物体有相同的视差值 的假设，但事实并不是这样，其效果也不理想。 lukacs 首先提出将视差预测和补偿的方法应用于立体图像编码4。 它将立体图 像对中的一幅图像作为参考图像，单独进行编码。另一幅作为预测图像，由参考 图像预测生成。该算法是通过对立体图像对之间视差的估计达到消除视差冗余的 目的。在此基础上，又分为了基于块和基于对象的方式两大类： 基于对象的立体图像编码方法56是根据立体图对把图像分割成多个对象，然 后估计每个对象的三维结构、运动参数和视差参数，并对各个参数进行编码。该 技术的优点是图像的主观质量好，且压缩率可以很高，但它同时需要复杂的分析 过程来分割对象并估计每一个对象的运动、视差和结构，硬件实现比较困难，不 便于实时处理。 基于块的立体图像编码方法47。 首先，它把左图像当作参考图像，利用静止图像标准算法（例如：jpeg2000） 对它进行单独编码。然后对右图像进行分块，块的尺寸可以固定也可以变化。右 图像中的每个块以某种匹配准则在左图像的重构图像中找到其最佳的对应块，两 者之间的位置差异就是视差矢量。最后采用某种方法编码视差矢量和立体残差图 像。 经常使用的匹配准则有:均方误差准则(mse)和绝对差准则(mae )。 图 1.1 给出 了这种编码方案的结构框图。 基于区域的遥感立体像对压缩 mpeg 编码 码 流 存 储 分块 视差 估计/ 视差 补偿 解码 编 码 参考图像f1 目标图像 f2 立体残差 视差矢量 码流输出 图1.1 基于块的立体图像编码方案框图 综合分析这种编码方案后不难发现，它的优点在于方案成熟、易于硬件实现。 其缺点是，没有充分利用立体图像的内在特点，解码重建图像存在明显的块效应， 并在低比特率时主观质量明显下降。 基于对象的立体图像编码方法 近年来 ， m.g .s trintzis 教授和他的研究小组提出了一种适合低比特率的基于 对象的立体视频图像编码方法。它首先利用成熟的视差估计算法得到视差场，然 后根据图像特征和视差场把场景中的前景运动目标分割出来，对其中的运动目标 进行处理，提取出它的边界、纹理、运动等参数。编码器对这些参数进行编码从 而达到编码整幅图像的目的。 这种方法利用了立体图像对中隐含的 3d 深度(depth) 信息，通过建立和编码物体的三维模型有效的提高了编码效率，减轻了方块效应 的影响，提供了一种更自然的场景表述。但是，这种方法需要复杂的图像分析过 程，其中诸多环节，如:物体分割、物体建模等还不成熟， 目前只能适用于一些运 动简单、背景单一的图像，它的广泛应用还有待于更好地解决其中的一些关键技 术。 基于块和对象的立体图像编码方法用于遥感图像后产生了很多问题，针对这 些问题本文具体的改进方法在后文中体现。 1.4 本文创新 1. 本文按照遥感图像的纹理特点将其分类为高程变化区域和地形平坦区域，分区 域进行预测。 2. 对几何形变较大的高程变化区域采用伪仿射模型（相似变换模型）来估计。 3. 对高程变化区域，根据伪仿射模型收敛与否，对像对进行子区域划分。划分采 第一章 绪论 7 用四叉树分解的方式。划分的结果是，左图每个子区域都可以用一个伪仿射模 型近似变换到右图对应区域。 4. 对地形平坦区域和高程变化区域，每个对应块（不论大小）的灰度分布都有不 同的差异。采用线性预测来进行灰度补偿，减小残差。 1.5 本文结构 本文研究的是一种基于区域的遥感立体像对压缩算法。首先，简要介绍了立 体图像压缩的理论基础、回顾了现有的立体图像压缩算法。然后，介绍了遥感立 体像对匹配算法、视差估计和补偿方法，提出了改进的自适应分块视差估计、改 进的遥感立体像对的视差管理方法、给出了完整的压缩系统设计方案以及实验结 果。接着，回顾了图像质量的评价方法，并给出了遥感立体像对压缩质量评价方 法。最后，为实验分析和结论，以及对现有工作的总结和对未来工作的展望。 全文共分为六章，内容安排如下： 第一章 概述遥感立体像对压缩所涉及的基本概念及课题背景，说明了本文的 主要工作及内容安排。 第二章 概述遥感立体像对的成像特点，像片之间的变换模型，并对现有的立 体图像压缩算法做了回顾。 第三章 概述遥感图像的成像模型和常用变换。提出在本文压缩系统中使用伪 仿射模型代替仿射模型。 第四章 概述了遥感立体像对的匹配算法，提出了改进的基于区域的纹理分 类、自适应分块估计、视差管理等方法。并给出压缩系统的综合框图，对测试结 果给出分析与结论。 第五章 回顾了图像质量的评价方法、单幅图像压缩质量的评价方法。给出了 本文遥感立体像对压缩的质量评价方法，以及本文仿真后的结果。 第六章 对本文所做工作进行了总结，并对研究中存在的问题和未来改进的方 向做了阐述。 第二章 遥感立体像对压缩理论基础 9 第二章 遥感立体像对压缩理论基础 本章首先给出遥感立体像对的成像特点，然后介绍了像对之间的变换模型。 接着，对现有的立体图像压缩算法做了回顾。 2.1 立体像对成像原理和立体像对数据特性分析 遥感立体像对成像原理如图 2.1 所示。假设两个相机的光轴平行，并且具有相 同的内外参数。其中 ),(zyxa 为地面上的某一点。 ),( lll yxa 和 ),( rrr yxa 分别表 示点 a 在两个图像平面中的投影坐标。由此可以将点 ),(zyxa 在左右影像上的视 差定义为： ),(),( rlrlyx yyxxppp 公式（2-1） ),(zyxa 左相机 b 右相机 f 。 p h 右图左图 l a r a 图 2.1 遥感立体像对成像原理 视差的大小不仅与高程变化相关，还与左、右相机的距离、焦距相关1。为简 单起见，只考虑理想像对，经相对定向纠正之后，左图右图互为核线影像，所以 假定立体像对的高度方向视差远小于左右视差，近似看作只存在左右视差 x p，而 高度方向的视差 y p令其为 0，故可得到水平方向的左右视差为： 公式（2-2） 其中， f 是相机的焦距，h是摄影机到地面的高度，b是摄影基线的长度。 由式（2）可以看出，立体像对隐含着物体的三维深度信息，这个三维深度信 息和视差有着密切的关系，通过视差可以容易的计算出物体的三维信息。 通过对遥感立体成像原理的分析，我们总结出遥感立体像对的数据特性。首 x fb p h 基于区域的遥感立体像对压缩 10 先，为求解地面高程，像片两两之间重叠度至少在 60%以上，左片和右片之间存 在很强的相关性，利用这种相关可以提高立体像对的压缩效率。其次，在立体测 图中，通常要求左右影像之间存在较大的视差，以保证重建出来的三维地形图具 有足够的精度，因此遥感立体像对的视差差别较大，且更加复杂多变。再次，遥 感立体像对的视差取决于被摄目标离相机的距离，随着地面的起伏，视差也发生 相应的变化，因此影像上的不同区域往往表现出不同的视差。如果对不同的区域 采用不同的压缩方法，视差的估计将更加准确，压缩效率也可以得到提高。 2.2 立体图像压缩框图 匹配模块 无损编码 视差矢量jpeg2000编码 码流合成 码流1 码流2 输出码流 左图 右图 码流分解 无损解码 码流2 输入码流 jpeg2000解码 码流1 重建左图 视差矢量 左图 右图 图 2.2 （a）立体图像编码 （b） 立体图像解码 多数现存的立体图像编码方案都是基于视差估计。常用的编解码框架如图 2.2 所示。首先，它把右图像当作参考图像，利用 jpeg2000 进行单独编码。然后对左 图和右图进行匹配以估计视差矢量。然后采用无损编码方法编码视差矢量和立体 残差图像。 经常使用的匹配准则有： 均方误差准则 （mse） 和绝对误差准则 （mae） 。 这种立体编码框架经证明要比独立编码的效果好，由于它充分利用了立体像对的 双目冗余。 2.3 算法概述 近年来，国内外学者对立体像对的数据特性和压缩方法展开了深入的研究。 现有的立体像对压缩算法大多采用视差补偿来提高压缩算法的性能7-12， 比如图像 第二章 遥感立体像对压缩理论基础 11 特征法、像素递归法、块匹配法、基于网格划分的方法、子空间投影法以及混合 分辨率法。特征法以各种图像的特征作为匹配的基元，视差估计虽然准确，但是 只能生成稀疏的视差场8； 像素递归法用已求出的前面像素的视差矢量预测当前像 素视差，便于硬件实现，但其预测因果性限制了视差场的质量9；块匹配方法会出 现较多的误匹配，重建图像会出现块效应10；基于网格划分的方法又较容易增加 插入网格节点的数量，算法效率较低11；基于子空间投影的方法可以较好地克服 视差补偿算法中因视差遮挡和光照变化所带来的问题，但同时增加了立体图像的 编码比特数，同时由于投影变换过程中的平滑操作，子空间投影方法不易保持细 节纹理信息12。上述这些方法针对近景拍摄的立体像对大都可以取得较好的压缩 效果，但是由于遥感立体像对的纹理复杂、分辨率高、几何畸变大、匹配困难以 及具有特殊的应用需求，这些压缩算法并不适用于遥感立体像对。目前大多数遥 感立体像对仍然采用单独压缩的方式，压缩效率较低。 下面就立体图像压缩中常见的基于特征点的视差估计算法，基于块匹配的压 缩方法和基于网格的方法予以说明： 2.3.1 基于特征点的视差估计算法 此类方法13-15首先在参考图像中提取出一些特征点，如：角点、物体的边缘 点等，然后在目标图像中寻找这些点的对应点，根据区域中特征点的对应情况判 断两个区域是否匹配。这种算法的准确率较高，多用于立体图像分析领域。但缺 点是，其准确性依赖于特征点提取算法的准确程度，而好的特征点提取算法往往 比较复杂。 2.3.2 基于块匹配的视差估计方法 基于块匹配的视差估计方法16-21，它包括固定尺寸块匹配和可变尺寸块匹配 两种算法。固定块匹配算法首先对目标图像分块，然后对每一块在参考图像中利 用某种匹配准则（例如最小均方误差 mse）寻找其最佳的对应块。包含待匹配块 的搜索区域平行于极线。得到匹配块之后，通过计算两块的位置差异得出视差矢 量。比较而言，这种算法简单，易于硬件实现，是目前立体图像编码中最常用的 方法。但这种方法存在两个缺陷：（1）不精确的视差估计；（2）重建图像的方 块效应。一般说来，不精确的视差估计是不可避免的，它主要有两个原因：（1） 各种噪声、遮挡；（2）一个块内的点相同视差的假定。通常，以简单的 fsbm 不 可能给出平滑的视差场，这样会增加视差场的熵，增加视差场编码的比特率。 基于区域的遥感立体像对压缩 12 可变尺寸块的基本思想是放宽在固定块视差匹配中每一个块中的所有点的视 差矢量相等的假定。对 dcd 块的熵较大的块，再分成更小的块，分别估计每一个 更小的块的视差。可变尺寸块视差估计实际上时高效的估计和补偿的视差场和所 得的较低熵的 dcd 帧之间的折衷。文献2223中提出了两种自适应块匹配视差 估计算法，其中22立了匹配窗口中视差分布的数学模型，这种模型充分考虑了亮 度变化和视差变化对视差估计准确性的影响，通过计算这种准确性来改变视差矢 量，使最终的结果具有较高的准确性。从实验结果来看，这种算法视差估计的准 确性远远高于固定尺寸块匹配算法，但计算步骤比较复杂，整个算法效率较低， 很难应用于立体编码系统。 23根据前一块视差矢量估计的可靠性和局部视差图的 变化情况动态地改变匹配窗口的大小。窗口的扩张方向规定为 4 个边的方向，确 定好窗口尺寸后重新进行匹配，得到最优的视差矢量，最后对这个视差矢量进一 步处理得到最终的视差值。这个算法给视差估计的可靠性建立了更为复杂的数学 模型，实际的复杂度较22更高一些。24提出了一种在立体图像编码中使用的自 适应块匹配视差估计算法，它首先用一个较大尺寸的块进行视差估计，然后统计 得到的立体残差数据的能量，当能量大于某个阈值时，把这个块分成 4 个大小相 同的子块分别进行视差估计，得到多个视差矢量。这种算法在某种程度上兼顾了 固定尺寸块匹配算法和自适应块匹配算法，给予块尺寸适当的灵活性。 考虑到视差的分布不均匀，固定块视差预测方法并不高。较好的办法应当对 视差变化平缓的区域分配较大的块，而对视差变化剧烈的区域分配较小的块，这 样在块的总数给定的情况下，可以从总体上达到一种平均误差较小的预测。借鉴 运动矢量的检测方法，yu 等在25中提出了基于伪视差矢量的预测方法。该算法 采用由粗到细逐渐逼近的方法，自上而下一次将预测图像划分成给定数目的块。 根据输入图像由平行相机所得的特性， yu 提出的伪矢量仅仅包含水平方向的位移。 这样就大大减小了原基于视差估计/补偿的算法中视差矢量的码率开销。 2.3.3 基于网格的立体图像视差估计方法 韩军功等在26中提出一种新的带极线约束的 dt 基立体图像视差估计算法。 该算法首先把立体图像中的左图像作为参考图像，用 dt 网格进行描述。然后，利 用极线约束条件在右图像中估计出各三角形顶点的对应点，整个估计过程要求 dt 结构保持不变。通过估计出来的对应点计算出这些顶点的视差矢量，再用六参数 仿射变换估计出三角形内部各点的视差矢量。编码时，只需编码各顶点的视差矢 量。具体的算法流程如下： 1) 左图像作为参考图像，进行 dt 描述 第二章 遥感立体像对压缩理论基础 13 2）选定某一个三角形 3）取出它的一个顶点，用文献27中的方法求出它的极线方程。 4）对极线上的点进一步筛选，因为极线上和 p1相关值最大的点并非一定是 p1的对应点。具体筛选做法是，记录左图像中的一个顶点的位置，以右图像中同 一位置点为中心，做一个矩形框，记录经过折个矩形框内的极线上的点。 5）对记录的每个点，假设它就是该顶点的对应点，结合三角形的另外两个顶 点的对应点判断是否会引起三角形的过度形变。如果没有，记录下来。 6） 以顶点为中心建立一个 8*8 的匹配 i1,以第 5 步完成后记录的点为中心也建 立一个 8*8 的块 qi（i=1,2） ，遍历每一个点，计算 qi 与 i1的互相关系数 rxy，记 录相关系数最大的点的 x,y 坐标。 7）原始坐标减去估计位置坐标作为该顶点的视差矢量。转向步 3，计算三角 形另外两个顶点的视差矢量。 8）转向步骤 2，直到所有三角形被处理完为止。 9）形成立体图像的视差矢量图。焦卫东等在11中提出一种可以保持网格拓 扑结构不变的视差估计方法。该方法是一个三步迭代过程：首先利用迭代块匹配 算法得到较精确的匹配结果；然后利用迭代多边形匹配算法对得到的匹配结果进 行优化，使得一些三角形的预测误差最小；最后 删除掉视差不可靠的节点。利用 变长编码来编码网格节点和视差矢量，并对残差图像利用 dct 进行编码。编码框 架如下图 2.3 所示： 输入 左图像 md准则dt 描述编码 节点视差 估计 md准则dt描 述编码 md准则节点及灰度码 流 本地解码重建 左图像 视差 补偿 预测 视差码流 右图像 - mv准则节点码 流 残差图像编 码 残差图像码 流 基于区域的遥感立体像对压缩 14 解码 md准则节点及灰度码流 视差解码 网格节点解 码 视差码 流 mv准则 节点码 流 重建左图像 视差补偿预测 残差图像解码 残差图 像码流 + 重建右图像 图 2.3 dt 模型基立体图像编解码器 2.3.4 网格法和块基法的对比和总结 网格基算法利用立体视觉中几个简单原理和 dt 网格优良的连接关系进行视 差估计和编码。其主要优点47有： 基于 dt 网格的视差估计算法，结合立体视觉中的极线约束条件，在减小搜索 范围的前提下能够提高视差估计的准确性。 利用马尔可夫随机场原理设计针对三角形区域使用的视差矢量优化算法， 它在 提高系统编码效率的同时使视差场更加光滑。 dt 基的压缩算法，在两个立体视觉基本原理的基础上，提出了适合三角形区 域的遮挡检测算法，在一定程度上提高了编码效率。 然而网格基算法也有很多有待改进的地方。 同传统的基于块匹配的立体图像编码方法相比， 这种基于模型的立体图像编码 方案由于要建立相应的模型，所以在复杂度方面（尤其是编码端）比较高。如 何降低这种方法的计算复杂度应该是课题继续研究的一个方向。 遮挡检测算法判断的准确性更多的依赖阈值， 如何提高遮挡检测算法的鲁棒性 也是一个要解决的问题。 如何建立合适的数学模型来分析网格基立体残差图像数据的特征也值得深入 研究。块基算法的运动估计过程速度较快，但是其缺点是，视差矢量估计不很准 确，低码率下的解码图像块效应比较严重。如何消除的避免块效应，以及如何通 过视差补偿来提高运动估计的精度成为了块基算法的研究重点。 第三章 遥感图像成像模型与常用变换 15 第三章 遥感图像成像模型与常用变换 遥感成像模型在图像配准过程中起到关键的作用。模型参数所占用码流以及 模型是否能准确描述参考图像和预测图像之间的变换，直接影响到重建图像的质 量。因此我们有必要在模型参数所占码流的比例和模型本身的精确性之间取折衷。 利用各种摄影机进行航空、航天摄影以及地面摄影所得到的像片均是所摄目 标在像平面上的投影，比如航空摄影的像片就是地面景物在航摄仪承片面上的构 像。此外，地形图也是地物、地貌在地图平面上的投影，但是两者的投影类型不 同。 3.1 投影的定义与分类 用一组假想的直线将物体向几何面上投射称为投影。投影的几何面通常取平 面，称为投影平面，投影的直线称为投射线(或投影线)，投影平面上得到的图像也 称为投影。按投射线的不同，投影可分为: 1. 中心投影 如图 3.1(a) 所示， 投影线会聚于一点的投影称为中心投影。 投射线的会聚点 s 称为投影中心，p 称为投影面，saa，sab 等称为投射线，a,b ,c,d 称为物点， a, b, c, d 称为投影点。 2.平行投影 如图 3.1(b )所示，投射线相互平行的投影称为平行投影。平行投影可以认为 是 投影中心位于无穷远处的中心投影，但是这两种投影有着不同的特性。 在平行投影中，若投射线垂直于投影平面，我们将这种投影称为正投影或正 射投影，如图 3.1(c )。地形图就是正投影。 图 3.1(b),3.1(c)中，p 为投影面，aa, bb为投影线，a, b, c, d 称为物点，a, b, c， d 称为投影点。正射影像和立体正射影像匹配片就分别是正射投影和倾斜平 行投影。 基于区域的遥感立体像对压缩 16 b ad c p a b c d s b ad c p a b d c b a d c p a b d c (a) 中心投影(b) 平行投影(c) 正射投影 图3.1 常用的两种投影 3.2 投影变换与仿射变换 仿射变换仿射变换 如图 3 .2 (a)，将平面 e 上诸点、线作平行投影，投在投影平面 e 上, 得到一 一对应的点、线，这种一一对应的关系，称为仿射变换。图中两对应平面的交线 tt，称为两平面的迹线。仿射变换的实质，是平面与平面的平行投影对应关系。 c c ba e b a e t (a) 仿射变换 b a e c e1 a1 b1 c1 b2 c2 a2 e2 (b) 仿射对应 图3.2 仿射变换及性质 如果有若干个平面 e, e1 , e2, ， 如图 3.2(b)。 图中 e 而与 e1面， e1面与 e2面 等平面之间均为仿射变换。通常将若干次平面之间的平行投影称为仿射对应，如 平面 e 与 e2 或 e3 之间等。山于仿射变换是线性变换，所以它的性质比较好，一 般将其特性总结为: 同素性同素性 几何元素(点、直线)经过仿射变换后，其投影保持元素的种类不变， 即平面上的点和直线经过仿射变换后仍然分别是点和直线。 互换性互换性 两个平面经过仿射变换后， 其中的几何元素一一对应， 即一个平面上的点、 直线在另一平面上的投影为点、直线；反之，由投影平面上的投影点、直线按原 来的投射线经过仿射变换后，可得到原来的点、直线。这种互为投影的特性称为 互换性或者共轭性。互为投影的点、线称为共轭点、共轭线。 第三章 遥感图像成像模型与常用变换 17 接合性接合性 一个平面内两条相交直线，经仿射变换投影至另一平面内，根据同素性可 知，交点的投影仍然为对应直线的交点，它们是共轭的。相交直线的仿射变换 必 相交，称为接合性。 平行性平行性 平面 e 内 l1，l 2 为两平行直线，经过仿射变换投影在 e 平面内为 l1,l2, 两条共轭直线。共轭直线 l1,l2仍互相平行，即仿射变换中，平行直线的投影仍互相 平行，这称为平行性，是仿射变换的重要性质。 仿射变换的数学表达式是: 123 123 xa xa ya yb xb yb 公式（3-1） 其中（x, y）, (x, y) 分别是变换前后的共轭点在各自的平面坐标系中的坐标。 投影变换投影变换 如图 3.3( a)将平面 e 上诸点、线作中心投影，在投影平面 p 上，得到一一对 应的点、线，这种经过中心投影取得的一一对应关系，称为投影变换。投影变换 的实质是平面与平面间的中心投影变换。当地面水平时，航空摄影的像片与地面 就属于投影变换。 设有若干个平面 e, p1, p2 , pn，如图 3.3(b)，其中面 e 与面 p1, 面 p1与面 p2 等平面之间均为投影变换。通常将若干次平面之间的投影变换称为射影对应或投 影对应.和仿射变换一样，投影变换具有同素性、互换性和接合性，但是与仿射变 换不同的是，它不具有平行性的特性。平行直线的投影一般不再平行，而是一对 相交的直线。投影变换的数学表达式是: 123 12 123 12 1 1 a xa ya x c xc y b xb yb y c xc y 公式（3-2） 其中（x, y）(x, y)分别是变换前后的共轭点在各自的平面坐标系中的坐标。 3.3 投影变换的分解 仿射变换是简单的线性变换，其分解比较简单，而投影变换的分解相对复杂， 也直接关系到我们的结果，所以在这里提供更多细节。 基于区域的遥感立体像对压缩 18 e a c b s p b a c e a c b s1 p1 b1 a1 c1 s2 p2 a2 c2 b2 (a) 投影变换(b) 投影对应 图3.3 投影变换和投影对应 此处我们假设地面是平面，这样的假设基于航空、航天遥感成像的投影中心 与地面的距离比物镜焦距大的多，地面的起伏对成像质量影响可以忽略。 n zp s z y x yp xp a a o s z y x p a l o c n0 at p0 (a)(b) 图3.4 （a）真实的投影变换模型； （b）倾斜像片与水平像片的关系 通过简单计算可以知道，当像片水平时，投影变换退化为仿射变换，或者说 更简单的相似变换。 在文章28中，求解倾斜像片与水平像片的关系。如图 3.4(b)所示，物点 a 在 倾斜像片 p 中的像为 a，在水平像片 p0上的像为 at。 a 点在像空间坐标 s-xyz 中 的坐标是(x，y, -f), at在水平像片坐标系中的坐标为 xt, yt。作一过渡性像空间辅助 坐标系 s 一 xyz，它的 x,y 坐标轴与水平像片坐标系的 xt, yt一致。a 点在像空间 辅助坐标系中的坐标为 x,y, z。由相似变换知道， t t f xx z f yy z 公式(3-3) 此时考虑旋转变换中的特殊情况：w=0，k=0. 由公式（3.4）可以得到像空间坐标 系和像空间辅助坐标系的关系： 第三章 遥感图像成像模型与常用变换 19 cossin sincos xx yy zxf 公式（3-4） 代入式（3.6）,得到 cossin sincos sincos t t x xf xf y yf xf 公式（3-5） 简单证明得到:图3.4(b)中直角三角形osc与nosc全等。 取c为水平和倾斜像片坐 标系的新的共同的坐标原点，则倾斜像片上x坐标平移 tan 2 f ，y坐标不变。而水 平像片上xt坐标平移 tan 2 f ，yt坐标不变。xc, yc 分别表示倾斜像片上以c为原点 的坐标。于是有坐标变换 00 tan/2, tan/2, cc ctct xxfyy xxfyy 公式（3-6） 式(3-6)经过简化得到 0 sin c c c fx x fx 公式（3-7） 0 sin c c c fy y fx 公式（3-8） 至此，我们获得了投影变换的分解与特殊情况下的倾斜像片与水平像片的关 系。这些都可以由经典的摄影测量知识和射影几何得到，而这些都作为我们关于 不变矩的进一步结论的基础。 3.4 用仿射变换来近似投影变换 当平面目标的深度和它与摄像机之间的距离相比较小时，投射线是近似平行 的，此时可以用仿射变换近似平面中心投影。目标深度和它与摄像机之间的距离 相比较小的情况出现还是比较多的。为避免严重投影失真，通常镜头离目标较远。 设目标的共面点集为 （x i，y i, z i） , i = 1, 2, , n, z i = z + i z . 当 i z z时， 相应的像点坐标 (,) ii xy有 基于区域的遥感立体像对压缩 20 / iiii xxz txz， / iiii yyz tyz 公式 (3-9) 文献29指出为了使仿射变换可以近似投影变换，要求 min 0.1 maz zz z 公式 (3-10) 其中 maxmin max ,min ii ii zzzz 公式（3-11） 文献30第六章列举了若干使用仿射不变量度量投影变换下的物体， 得到了很好的 效果，验证了在很多场合下，投影变换可以很好地用仿射变换近似，仿射不变量 可以较好地应用于投影变换下的目标识别中。 3.5 用伪仿射变换近似仿射变换 本文研究的立体像对是同一相机，在不同时刻对同一地物拍摄所得。由于星 载遥感平台通常距离地面比较高（比如 iknos 卫星离地高度约为 681km，spot 卫 星高度约为 832km），在地面高程起伏不大的情况下，可以近似将地面当作一个 平面31。由文章31和28可知，相机在位置 1 处所获得的图像 1 上点的图像坐 标=()与相机在位置 2 处所获得的图像 2 上的的齐次坐标 =()之间满足： 21112131 22122231 23132331 ummmu vmmmv wmmmw 公式 （3-12） 本文实验所用的 iknos 像