图像工程第2版_上册_图像处理章毓晋ppt课件.ppt

章毓晋 TH EE IE 第1章绪论 1 1图象基本概念1 2图象工程简介1 3图象处理系统1 4主要内容和安排 章毓晋 TH EE IE 1 1图象基本概念 1 1 1图象和数字图象1 1 2图象的表达 章毓晋 TH EE IE 1 1 1图象和数字图象 图象 用各种观测系统以不同形式和手段观测客观世界而获得的 可以直接或间接作用于人眼并进而产生视知觉的实体图象 广义 抽象 图像 狭义 具体 图象和信息 人类从外界 客观世界 获得的信息约有75 来自视觉系统 章毓晋 TH EE IE 1 1 1图象和数字图象 图象类型 广义 图片 动画 绘图 文字 档 狭义 单幅 序列图象 静止 运动图象 视频 2 D 3 D 彩色 立体对 多光谱 多视场图象 灰度 深度 纹理图象 章毓晋 TH EE IE 1 1 2图象的表达 图象表示2 D数组f x y x y 2 D空间XY中坐标点的位置f 代表图象在 x y 的性质F的数值f x y的值可以是任意实数性质F 可对应不同物理量灰度图象里用灰度表示 章毓晋 TH EE IE 1 1 2图象的表达 图象表示矩阵矢量 章毓晋 TH EE IE 1 1 2图象的表达 章毓晋 TH EE IE 1 2图象工程简介 1 2 1图象技术和图象工程1 2 2图象工程的三个层次1 2 3图象工程相关学科和领域1 2 4图象工程的技术应用1 2 5图象工程文献统计分类 章毓晋 TH EE IE 1 2 1图象技术和图象工程 图象技术图象技术在广义上是各种与图象有关的技术的总称主要功能 作用包括 对图象的各种加工 见下 基于加工结果的判断决策和行为规划为此进行的硬件设计及制作 章毓晋 TH EE IE 1 2 2图象工程的三个层次 图象工程 不同层次图象技术的有机结合及应用图象工程三层次 图象处理 图象 图象 图象分析 图象 数据 图象理解 图象 解释 章毓晋 TH EE IE 1 2 2图象工程的三个层次 章毓晋 TH EE IE 1 2 3图象工程相关学科和领域 章毓晋 TH EE IE 1 2 3图象工程相关学科和领域 主要相关学科 图形学 原指用图形 图表 绘图等形式表达数据信息的科学 而计算机图形学研究的就是如何利用计算机技术来产生这些形式图象模式识别 试图把图象分解成可用符号较抽象地描述的类别计算机视觉 主要强调用计算机实现人的视觉功能 目前的研究内容主要与图象理解相结合 章毓晋 TH EE IE 1 2 4图象工程的技术应用 应用领域示例 1 视频通信 可视电话 电视会议 按需电视 远程教育 2 文字档案 文字识别 过期档案复原 邮件分捡 支票 签名辫伪 办公自动化 3 生物医学 红白学球计数 染色体分析 X光 CT MRI PET图象分析 医学手术模拟规划 远程医疗 4 遥感测绘 巡航导弹制导 无人驾驶飞机飞行 精确制导 矿藏勘探 资源探测 气象预报 自然灾害监测 5 工业生产 工业检测 工业探伤 自动生产流水线监控 移动机器人 无损探测 金相分析 印刷板质量检验 精细印刷品缺陷检测 6 军事公安 雷达图象分析 巡航导弹路径规划 制导 罪犯脸形合成 识别 指纹 印章的鉴定识别 7 交通管理 太空探测 航天飞行 公路交通管理 章毓晋 TH EE IE 1 2 5图象工程文献统计分类 中国图象工程综述 中国图象图形学报 5月期 1996 2005文献统计分类共统计15种刊物已进行10年 1996 2005 涉及到18819篇论文选取了4032篇论文 章毓晋 TH EE IE 1 2 5图象工程文献统计分类 图象工程期刊 1 CT CT理论与应用研究 2 CX 测绘学报 3 DC 电子测量与仪器学报 4 DK 电子科学学刊 5 DX 电子学报 6 JX 计算机学报 7 MR 模式识别与人工智能 8 SC 数据采集与处理 9 TX 通信学报 10 XC 信号处理 11 YX 遥感学报 12 ZS 中国生物医学工程学报 13 Zti 中国体视学和图象分析 14 Ztu 中国图象图形学报 15 ZX 自动化学报 章毓晋 TH EE IE 1 2 5图象工程文献统计分类 章毓晋 TH EE IE 1 2 5图象工程文献统计分类 章毓晋 TH EE IE 1 3图象处理系统 1 3 1系统构成框图1 3 2图象采集1 3 3图象显示打印1 3 4图象存储1 3 5图象处理 章毓晋 TH EE IE 1 3 1系统构成框图 章毓晋 TH EE IE 1 3 2图象采集 图象采集装置为采集数字图象 需要两种装置 器件 1 对某个电磁能量谱波段 如X射线 紫外线 可见光 红外线等 敏感的物理器件 它能产生与所接受到的电磁能量成正比的 模拟 电信号 2 数字化器 它能将上述 模拟 电信号转化为数字 离散 的形式 章毓晋 TH EE IE 1 3 3图象显示打印 图象显示图象处理的结果多是供观察的图象数据 亮度模式显示显示设备电视显示器 液晶显示器阴极射线管 CRT 打印设备转换到幻灯片 照片或透明胶片上 章毓晋 TH EE IE 1 3 3图象显示打印 半调 halptone 输出多数打印设备仅能直接显示输出二值图半调技术 利用人眼的集成特性 通过控制二值点模式的形式 包括数量 尺寸 形状等 来获得视觉上不同的灰度感觉一种将灰度图象转化为二值图象的技术输出二值图象 看到灰度图象 章毓晋 TH EE IE 1 3 3图象显示打印 幅度调制 AM 通过调整输出黑点的尺寸来显示不同的灰度例如 早期报纸上的图片在每个空间位置打印一个其尺寸反比于该处灰度的黑圆点二值点是规则的排成网格的点点的形状并不是决定性的因素 章毓晋 TH EE IE 1 3 3图象显示打印 频率调制 FM 输出黑点的尺寸是固定的其在空间的分布 点间的间隔或一定区域内点出现的频率 取决于所需表示的灰度缺点 点增益 打印单元尺寸相对于原始单元尺寸的增加量 增加导致打印图灰度范围的减少或压缩 章毓晋 TH EE IE 1 3 3图象显示打印 调制模板每个输出单元内包含若干个基本二值点每个模板对应一个输出单元2 2 5种灰度 章毓晋 TH EE IE 1 3 3图象显示打印 调制模板3 3 10种灰度 章毓晋 TH EE IE 1 3 3图象显示打印 抖动 dithering 输出技术利用随机变化 2 6 b 2 5 b f x y 02 5 b 2 6 b 半调技术牺牲图象的空间点数而增加图象的灰度级数要保持细节 灰度级数就有限 章毓晋 TH EE IE 1 3 4图象存储 图象存储数据量度单位比特 bit 字节 byte 8bit 千字节 Kbyte 兆 106 字节 Mbyte 吉 109 字节 Gbyte 太 1012 字节 Tbyte 章毓晋 TH EE IE 1 3 4图象存储 图象存储器 1 处理过程中使用的快速存储器计算机内存 帧缓存 2 较快重新调用的在线或联机存储器磁盘 磁光盘 3 不经常使用的数据库 档案库 存储器磁带 光盘 光盘塔 章毓晋 TH EE IE 1 3 4图象存储 格式 表示格式和文件格式 1 矢量格式用线段或线段的组合体来表示图象 2 光栅格式用许多图象点的集合来表示图象BMP格式 GIF格式 TIFF格式 JPEG格式 章毓晋 TH EE IE 1 3 5图象处理 图象处理对图象的增强以改善图象视觉质量对退化图象的恢复以消除各种干扰的影响根据对场景的多个投影来重建场景的图象对图象进行编码以减少表达图象的数据量 从而有利于存储和传输给图象加入数字水印以保护图象的所有权 章毓晋 TH EE IE 课程介绍 授课进度和安排小测验小测验 章毓晋 TH EE IE 课程介绍 总结和复习1 各节小结和文献介绍每节主要内容的概况进一步深入学习的参考 近200篇文献 2 思考题和练习题共260个 对其中137个提供了参考答案 章毓晋 TH EE IE 第2章图象采集 2 1视觉过程2 2成象中的空间关系2 3光度学和亮度视觉2 4采样和量化 章毓晋 TH EE IE 2 1视觉过程 1 光学过程 15 100 2 55 17 章毓晋 TH EE IE 2 1视觉过程 2 化学过程锥细胞和柱细胞 锥细胞 数量少 对颜色很敏感锥细胞视觉 明视觉或亮光视觉柱细胞 数量多 分辨率比较低不感受颜色并对低照度较敏感柱细胞视觉 暗视觉或微光视觉 章毓晋 TH EE IE 2 1视觉过程 3 神经处理过程每个视网膜接收单元都与一个神经元细胞借助突触 synapse 相连每个神经元细胞借助其它的突触与其它细胞连接 从而构成光神经 opticalnerve 网络光神经进一步与大脑中的侧区域 sideregionofthebrain 连接 并到达大脑中的纹状皮层 striatedcortex 对光刺激产生的响应经过一系列处理最终形成关于场景的表象 从而将对光的感觉转化为对景物的知觉 章毓晋 TH EE IE 2 1视觉过程 整体视觉过程视觉 视 觉 章毓晋 TH EE IE 2 2成象中的空间关系 2 2 1成象几何2 2 2观察距离和角度2 2 3景深 章毓晋 TH EE IE 2 2 1成象几何 1 投影变换将3 D客观场景投影到2 D图象平面成象过程三个坐标系统 世界坐标系统XYZ摄象机坐标系统xyz图象平面xy从XYZ到xyz 从xyz到xy 章毓晋 TH EE IE 2 2 1成象几何 三个坐标系统 章毓晋 TH EE IE 2 2 1成象几何 透视变换3 D点投影后的图象平面坐标非线性投影等式 分母含变量Z 章毓晋 TH EE IE 2 2 1成象几何 2 齐次坐标可用来将前述非线性 分母中含变量Z 等式表示成线性矩阵形式例 直线方程ax by c 0一条直线也可用矢量l a b c T来表示当k不为零时 矢量 a b c T和矢量k a b c T表示同一条直线 章毓晋 TH EE IE 2 2 1成象几何 齐次坐标笛卡尔坐标 齐次坐标 k为任意非零常数齐次坐标 笛卡尔坐标 用第4个坐标量去除前3个坐标量 章毓晋 TH EE IE 2 2 1成象几何 齐次坐标用第4项分别去除前3个项 章毓晋 TH EE IE 逆投影变换点 x y 0 Z 0 图象平面上一点对应连线上所有共线3 D点的集合 2 2 1成象几何 章毓晋 TH EE IE 2 2 1成象几何 逆投影变换要将1个3 D点的坐标从它的图象中完全恢复过来 需要对产生图象点的3 D空间点有一些先验知识 如知道它的Z坐标 章毓晋 TH EE IE 2 2 2观察距离和角度 正常人视力的角区分能力约为一分在观察感兴趣场景时 需要使其中最小的细节在眼睛的视场中对应一个约一分的弧所对应的角如果一个点在眼睛的视场中对应不到一分的弧所对应的角 则人观察不到这个点如果两个相邻点与眼睛间连线的夹角不到一分 则人分辨不出这两个点 章毓晋 TH EE IE 2 2 2观察距离和角度 给定点尺寸 最远观察距离给定观察距离 能看见的最小点最佳观察距离 3400 图象高度 显示线数 章毓晋 TH EE IE 2 2 3景深 一定距离内目标清晰成象的范围 章毓晋 TH EE IE 2 2 3景深 引入f 因数 焦距f与光圈直径2r的比 景深Z作为D 可允许的不清晰半径 的函数景深Z与镜头的f 因数成正比 而nf 的极限对应具有无穷景深的小孔相机 章毓晋 TH EE IE 2 2 3景深 特殊情况拍照 目标距离很远 do fdi f景深与焦距的平方成反比结果是小的焦距导致大的景深 章毓晋 TH EE IE 2 2 3景深 特殊情况复制 目标 图象尺寸为1 1 do di 2f景深现在不依赖于焦距 且与可允许的不清晰半径D有相同的量级只有很小的一个目标区可清晰成象 章毓晋 TH EE IE 2 2 3景深 特殊情况显微成象 目标近 焦距小 do f di f目标被放大了很多 但景深更小了例 当放大倍数为50 即di do 50且nf 1 D为5mm 得到的景深只有0 2mm 章毓晋 TH EE IE 2 3光度学和亮度视觉 2 3 1光度学2 3 2一个简单的成象模型2 3 3视觉系统对光的感知特点 章毓晋 TH EE IE 2 3 1光度学 辐射度量学研究各种电磁辐射强弱的学科光是一种电磁辐射光度学研究光的强弱的学科光通量的单位 lm 流明 章毓晋 TH EE IE 2 3 1光度学 点光源线度足够小 或距离观察者足够远发光强度I 点光源沿某个方向上单位立体角d 内发出的光通量dF单位 cd 坎 1cd 1lm sr 章毓晋 TH EE IE 2 3 1光度学 点光源立体角 solidangle 是从一点 称为立体角的顶点 出发通过一条闭合曲线上所有点的射线围成的空间部分 所以立体角表示由顶点看闭合曲线时的视角 可以取一立体角在以其顶点为球心所作的球面上截出部分的面积与球面半径的平方之比作为对该立体角的度量 立体角的单位是球面度 记为sr 一个球面度对应在球面上所截取的面积等于以球半径为边长的正方形面积时的立体角 章毓晋 TH EE IE 2 3 1光度学 扩展光源有一定发光面积的光源光度学亮度B 单位 cd m2 章毓晋 TH EE IE 2 3 1光度学 照度 illumination 一个被光线照射的表面上的照度定义为照射在单位面积上的光通量 设面元dS上的光通量为dF 则此面元上的照度E为 单位 lx 勒 克斯 1lx 1lm m2照度 是光源对物体辐射的一种量度 表2 3 2 亮度 观察者对物体表面光强的量度 表2 3 1 章毓晋 TH EE IE 2 3 2一个简单的成象模型 图象成象模型2 D亮度函数 f x y 亮度是能量的量度 一定不为零且为有限值 1 入射到可见场景上的光量 2 场景中目标对入射光反射的比率照度成分i x y 和反射成分r x y 章毓晋 TH EE IE 2 3 2一个简单的成象模型 图象成象模型f x y 与i x y 和r x y 都成正比i x y 的值是由光源决定的r x y 的值是由场景中的目标特性所决定的 典型值 P 40 章毓晋 TH EE IE 2 3 3视觉系统对光的感知特点 人眼适应的亮度范围 1 总体范围大 从暗视觉门限到眩目极限之间的范围在1010量级 2 具体范围小 一般范围在102量级 暗视觉门限 眩目极限 章毓晋 TH EE IE 2 3光度学和亮度视觉 亮度变化的感知人类视觉系统对亮度变化的感知比对亮度本身要敏感人类视觉系统对光强度的响应不是线性的 而是对数形式的 对暗光时亮度的增加比对亮光时亮度的增加更敏感 章毓晋 TH EE IE 2 4采样和量化 2 4 1空间分辨率和幅度分辨率2 4 2图象质量与采样和量化2 4 3对采样和量化的讨论 章毓晋 TH EE IE 2 4 1空间分辨率和幅度分辨率 数字图象图象 水平 尺寸M 图象 垂直 尺寸N 象素灰度级数G k bit 图象所需的位数b 章毓晋 TH EE IE 2 4 1空间分辨率和幅度分辨率 数字图象存储1幅32 32 16个灰度级的图需要4 096bit存储1幅128 128 64个灰度级的图需要98 304bit存储1幅512 512 256个灰度级的图需要2 097 152bit 章毓晋 TH EE IE 2 4 2图象质量与采样和量化 图象空间分辨率变化所产生的效果 章毓晋 TH EE IE 2 4 2图象质量与采样和量化 图象幅度分辨率变化所产生的效果 章毓晋 TH EE IE 2 4 2图象质量与采样和量化 空间和幅度分辨率同时变化所产生的效果 章毓晋 TH EE IE 第3章象素空间关系 3 1象素间联系3 2基本坐标变换3 3形态变换3 4几何失真校正 章毓晋 TH EE IE 3 1象素间联系 空间排列规律3 1 1象素的邻域3 1 2象素间的邻接 连接和连通3 1 3象素间的距离 章毓晋 TH EE IE 3 1 1象素的邻域 象素的邻域4 邻域 N4 p 对角邻域 ND p 8 邻域 N8 p 章毓晋 TH EE IE 3 1 2象素间的邻接 连接和连通 连接和连通 adjacency 邻接 vs connectivity 连接 邻接仅考虑象素间的空间关系两个象素是否连接 1 是否接触 邻接 2 灰度值是否满足某个特定的相似准则 同在一个灰度值集合中取值 章毓晋 TH EE IE 3 1 2象素间的邻接 连接和连通 3种连接 1 4 连接 2个象素p和r在V中取值且r在N4 p 中 2 8 连接 2个象素p和r在V中取值且r在N8 p 中 章毓晋 TH EE IE 3 1 2象素间的邻接 连接和连通 3种连接 3 m 连接 混合连接 2个象素p和r在V中取值且满足下列条件之一 r在N4 p 中 r在ND p 中且集合N4 p N4 r 是空集 这个集合是由p和r的在V中取值的4 连接象素组成的 图3 1 2 章毓晋 TH EE IE 3 1 2象素间的邻接 连接和连通 3种连接混合连接的应用 消除8 连接可能产生的歧义性原始图8 连接m 连接 章毓晋 TH EE IE 3 1 2象素间的邻接 连接和连通 连通连接是连通的一种特例通路由一系列依次连接的象素组成从具有坐标 x y 的象素p到具有坐标 s t 的象素q的一条通路由一系列具有坐标 x0 y0 x1 y1 xn yn 的独立象素组成 这里 x0 y0 x y xn yn s t 且 xi yi 与 xi 1 yi 1 邻接 其中1 i n n为通路长度4 连通 8 连通 4 通路 8 通路 章毓晋 TH EE IE 3 1 2象素间的邻接 连接和连通 象素集合的邻接和连通对2个图象子集S和T来说 如果S中的一个或一些象素与T中的一个或一些象素邻接 则可以说2个图象子集S和T是邻接的完全在一个图象子集中的象素组成的通路上的象素集合构成该图象子集中的一个连通组元如果S中只有1个连通组元 即S中所有象素都互相连通 则称S是一个连通集 章毓晋 TH EE IE 3 1 3象素间的距离 距离量度函数 例3 1 1测度空间 3个象素p q r 坐标 x y s t u v 1 两个象素之间的距离总是正的 2 距离与起终点的选择无关 3 最短距离是沿直线的 章毓晋 TH EE IE 3 1 3象素间的距离 距离量度函数 1 欧氏 Euclidean 距离 2 城区 city block 距离 3 棋盘 chessboard 距离 章毓晋 TH EE IE 3 1 3象素间的距离 距离量度函数等距离轮廓图案 图3 1 4 D4距离D8距离 章毓晋 TH EE IE 3 1 3象素间的距离 距离量度函数距离计算示例DE 5D4 7D8 4 章毓晋 TH EE IE 3 1 3象素间的距离 范数和距离 章毓晋 TH EE IE 3 1 3象素间的距离 用距离定义邻域考虑在空间点 xp yp 的象素p4 邻域 N4 p 8 邻域 N8 p 章毓晋 TH EE IE 3 2基本坐标变换 3 2 1图象坐标变换3 2 2坐标变换讨论 章毓晋 TH EE IE 3 2 1图象坐标变换 坐标变换示例 平移变换 章毓晋 TH EE IE 3 2 1图象坐标变换 平移变换的矩阵表达 章毓晋 TH EE IE 3 2 1图象坐标变换 旋转变换 绕X轴 Y轴 Z轴 章毓晋 TH EE IE 3 2 2坐标变换讨论 变换级连对一个坐标为v的点的平移 放缩 绕Z轴旋转变换可表示为 用单个变换矩阵的方法可对点矩阵v变换这些矩阵的运算次序一般不可互换 章毓晋 TH EE IE 3 2 2坐标变换讨论 变换的推广3 点映射变换 将一个三角形映射为另一个三角形 而将一个矩形映射为一个平行四边形拉伸 stretch 和剪切 shearing 变换 章毓晋 TH EE IE 3 2 2坐标变换讨论 坐标变换反变换 章毓晋 TH EE IE 3 3形态变换 3 3 1变换体系3 3 2一般仿射变换3 3 3特殊仿射变换3 3 4变换的层次3 3 5仿射变换的另一种描述方案 章毓晋 TH EE IE 3 3 1变换体系 形态变换将平面区域映射到平面区域 1 将一个组合区域映射为另一个组合区域 2 将单个区域映射为一个组合区域 3 将一个组合区域映射为单个区域分层分类 图3 3 1 章毓晋 TH EE IE 3 3 1变换体系 投影变换仿射 affine 变换常看作是一种特殊的投影 projective 变换q Hp 章毓晋 TH EE IE 3 3 1变换体系 投影变换通用的非奇异齐次线性变换A是一个2 2的非奇异矩阵 t是一个2 1的矢量 而矢量v v1 v2 T变换可用8个独立的参数表示一个投影变换共有8个自由度 degreesoffreedom dof 可根据4组点的对应性来计算 章毓晋 TH EE IE 3 3 2一般仿射变换 仿射变换一个非奇异线性变换接上一个平移变换一个平面上的仿射变换有6个自由度 章毓晋 TH EE IE 3 3 2一般仿射变换 仿射变换线性分量A可考虑成两个基本变换的组合 旋转和非各向同性放缩 章毓晋 TH EE IE 3 3 2一般仿射变换 仿射变换性质 1 仿射变换将有限点映射为有限点 2 仿射变换将直线映射为直线 3 仿射变换将平行直线映射为平行直线 4 当区域P和Q是没有退化的三角形 即面积不为零 那么存在一个唯一的仿射变换A可将P映射为Q 即Q A P 章毓晋 TH EE IE 3 3 3特殊仿射变换 1 相似变换s 0 表示各向同性放缩 R是一个特殊的2 2正交矩阵 RTR RRT I 对应这里的旋转 典型特例为纯旋转 此时t 0 和纯平移 此时R I 章毓晋 TH EE IE 3 3 3特殊仿射变换 1 相似变换保形性 保持形状 或保角性相似变换可以保持两条曲线在交点处的角度平面上的相似变换有4个自由度 所以可根据2组点的对应性来计算 没有非各向同性放缩 章毓晋 TH EE IE 3 3 3特殊仿射变换 2 刚体变换刚体变换T能保持区域中两个点间的所有距离给定两个点p1 p2 P 距离d1 2 dist p1 p2 那么必有dist T p1 T p2 d1 2相似变换中的s 1 章毓晋 TH EE IE 3 3 3特殊仿射变换 3 欧氏变换欧氏变换可表达刚体的运动 平移和旋转的组合 一个欧氏运动是先旋转 可看作特殊的正交变换 后平移的组合所有区域都可以认为是全等的 章毓晋 TH EE IE 3 3 3特殊仿射变换 4 等距变换刚体变换和欧氏变换可集合在等距变换之下等距 isometry 指在2 D空间保持欧氏距离 iso表示相同 metric表示测度 e 1 那么等距还能保持朝向且是欧氏变换 e 1 将反转朝向 即变换矩阵相当于一个镜像与一个欧氏变换的组合 章毓晋 TH EE IE 3 3 4变换的层次 平行的直线变成会聚的直线圆环变成椭圆平行或垂直的直线仍具有相同的相对朝向圆环和正方形都不变化形状 仿射变换 相似变换 章毓晋 TH EE IE 3 4几何失真校正 3 4 1空间变换对图象平面上的象素进行重新排列以恢复原空间关系3 4 2灰度插值对空间变换后的象素赋予相应的灰度值以恢复原位置的灰度值 章毓晋 TH EE IE 模型图象f x y 受几何形变的影响变成失真图象g x y 线性失真 非线性 二次失真 3 4 1空间变换 章毓晋 TH EE IE 约束对应点方法在输入图 失真图 和输出图 校正图 上找一些其位置确切知道的点 然后利用这些点建立两幅图间其它点空间位置的对应关系选取四边形顶点四组对应点解八个系数 3 4 1空间变换 g x y 章毓晋 TH EE IE 用整数处的象素值来计算在非整数处的象素值 x y 总是整数 但 x y 值可能不是整数最近邻插值也常称为零阶插值将离 x y 点最近的象素的灰度值作为 x y 点的灰度值赋给原图 x y 处象素 3 4 2灰度插值 章毓晋 TH EE IE 前向映射一个失真图的象素映射到不失真图的四个象素之间最后灰度是由许多失真图象素的贡献之和决定 3 4 2灰度插值 章毓晋 TH EE IE 后向映射实际失真图中四个象素之间的位置对应不失真图的某个象素 则先根据插值算法计算出该位置的灰度 再将其映射给不失真图的对应象素 3 4 2灰度插值 章毓晋 TH EE IE 双线性插值利用 x y 点的四个最近邻象素A B C D 灰度值分别为g A g B g C g D 3 4 2灰度插值 章毓晋 TH EE IE 第4章空域增强技术 4 1空域技术分类4 2象素间运算4 3直接灰度映射4 4直方图变换4 5线性滤波4 6非线性滤波4 7局部增强 章毓晋 TH EE IE 图象增强目标 改善图象质量 改善视觉效果标准 相当主观 因人而异没有完全通用的标准可以有一些相对一致的准则技术 好 有用 的含义不相同具体增强技术也可以大不相同 第4章空域增强技术 章毓晋 TH EE IE 4 1空域技术分类 空域 指由象素组成的空间空域增强 点操作 灰度点操作几何操作 章毓晋 TH EE IE 4 1空域技术分类 点操作 1 借助对一系列图象间的操作进行变换 2 将f 中的每个象素按EH操作直接变换以得到g 3 借助f 的直方图进行变换模板操作 章毓晋 TH EE IE 4 2图象间运算 图象间的运算指以图象为单位进行的操作 运算的结果是一幅新图象4 2 1算术和逻辑运算4 2 2图象间运算的应用 章毓晋 TH EE IE 4 2 1算术和逻辑运算 1 算术运算 1 加法 记为p q 2 减法 记为p q 3 乘法 记为p q 4 除法 记为p q对整幅图象的算术和逻辑运算是逐象素进行的 即在两幅图象的对应 位置 象素间进行 章毓晋 TH EE IE 4 2 1算术和逻辑运算 2 逻辑运算 1 补 COMPLEMENT 记为NOTq 2 与 AND 记为pANDq 3 或 OR 记为pORq 4 异或 XOR 记为pXORq 图4 2 1 图4 2 2 章毓晋 TH EE IE 4 2 2图象间运算的应用 1 图象间加法的应用模型运算均值方差 章毓晋 TH EE IE 4 3直接灰度映射 将f x y 中的每个象素灰度按EH操作直接变换以得到g x y 4 3 1灰度映射原理4 3 2典型灰度映射 章毓晋 TH EE IE 4 3 1灰度映射原理 直接灰度映射是一种点操作 章毓晋 TH EE IE 1 图象求反2 增强对比度3 动态范围压缩4 灰度切分 4 3 2典型灰度映射 章毓晋 TH EE IE 4 4直方图变换 直方图是图象的一种统计表达直方图反映了图中灰度的分布情况4 4 1直方图均衡化4 4 2直方图规定化 章毓晋 TH EE IE 灰度统计直方图1 D的离散函数提供了图象象素的灰度值分布情况计算 设置一个有L个元素的数组 对原图的灰度值进行统计 4 4 1直方图均衡化 章毓晋 TH EE IE 直方图均衡化借助直方图变换实现 归一的 灰度映射均衡化 线性化 基本思想变换原始图象的直方图为均匀分布 大动态范围使象素灰度值的动态范围最大 增强图象整体对比度 反差 4 4 1直方图均衡化 章毓晋 TH EE IE 归一化直方图增强函数 1 EH s 单值单增函数 各灰度级在变换后仍保持排列次序 2 变换前后灰度值动态范围一致 4 4 1直方图均衡化 章毓晋 TH EE IE 归一化 累积直方图 1 tk是k的单值单增函数 2 灰度取值范围一致 0 tk 1 3 将s的分布转换为t的均匀分布 4 4 1直方图均衡化 表4 4 1 章毓晋 TH EE IE 4 4 1直方图均衡化 章毓晋 TH EE IE 借助直方图变换实现规定 特定的灰度映射 1 对原始直方图进行灰度均衡化 2 规定需要的直方图 计算能使规定直方图均衡化的变换 3 将原始直方图对应映射到规定直方图 4 4 2直方图规定化 三个步骤 章毓晋 TH EE IE 两种映射 对应规则 1 单映射规则 2 组映射规则 I l 整数函数 4 4 2直方图规定化 表4 4 2 章毓晋 TH EE IE 4 4 2直方图规定化 章毓晋 TH EE IE 映射误差对应映射间数值的差值 取绝对值 的和单映射规则 最大误差pu uj 2组映射规则 最大误差ps si 2 N M ps si 2 pu uj 2单映射规则 有偏的映射规则组映射规则 统计无偏的映射规则 4 4 2直方图规定化 章毓晋 TH EE IE 直方图规定化vs 直方图均衡化直方图均衡化 自动增强效果不易控制总得到全图增强的结果直方图规定化 有选择地增强须给定需要的直方图可特定增强的结果 4 4 2直方图规定化 章毓晋 TH EE IE 4 5线性滤波 利用象素本身以及其邻域象素的灰度关系进行增强的方法常称为滤波4 5 1技术分类和实现原理模板卷积 邻域操作4 5 2线性平滑滤波器减弱或消除图象中的噪声 章毓晋 TH EE IE 4 5 1技术分类和实现原理 在图象空间借助模板进行邻域操作分类1 1 线性 如邻域平均 2 非线性 如中值滤波分类2 1 平滑 模糊 消除噪声 2 锐化 增强被模糊的细节 章毓晋 TH EE IE 滤波器实现 邻域运算 4 5 1技术分类和实现原理 章毓晋 TH EE IE 1 邻域平均系数都是正的保持灰度值范围 所有系数之和为1 例 3 3模板 4 5 2线性平滑滤波器 图4 5 2 章毓晋 TH EE IE 2 加权平均中心系数大周围系数小 4 5 2线性平滑滤波器 章毓晋 TH EE IE 4 6非线性滤波 逻辑的 几何的 代数的非线性滤波器基于集合的 基于形状的 基于排序的4 6 1非线性平滑滤波器4 6 2非线性锐化滤波器 章毓晋 TH EE IE 4 6 1非线性平滑滤波器 既消除噪声又保持细节 不模糊 中值 median 滤波器 1 将模板中心与象素位置重合 2 读取模板下各对应象素的灰度值 3 将这些灰度值从小到大排成1列 4 找出这些值里排在中间的1个 5 将这个中间值赋给模板中心位置象素 图4 6 1 章毓晋 TH EE IE 中值 median 滤波器的模板中值滤波器的消噪声效果与两个不同的 但又有联系的因素有关 首先是模板的尺寸 其次是参与运算的象素数图象中尺寸小于模板尺寸一半的过亮或过暗区域将会在滤波后会被消除掉 4 6 1非线性平滑滤波器 章毓晋 TH EE IE 百分比 percentile 滤波器中值滤波器是一个特例最大值最小值中点滤波器 4 6 1非线性平滑滤波器 章毓晋 TH EE IE 1 非线性锐化滤波器利用微分可以锐化图象 积分平滑图象 梯度 对应一阶导数最常用的微分矢量 需要用2个模板分别沿X和Y方向计算 4 6 2非线性锐化滤波器 章毓晋 TH EE IE 1 非线性锐化滤波器模以2为范数 模计算 对应欧氏距离 以1为范数 城区距离 以 为范数 棋盘距离 4 6 2非线性锐化滤波器 章毓晋 TH EE IE 3 最大 最小锐化变换将最大值滤波器和最小值滤波器结合使用可以锐化模糊的边缘并让模糊的目标清晰起来迭代实现 4 6 2非线性锐化滤波器 章毓晋 TH EE IE 4 7局部增强 全局增强vs 局部增强局部增强多了一个选择局部区域的步骤直接利用局部信息以达到局部增强的目的利用每个象素的邻域内象素的均值和方差局部增益函数 图4 7 1 章毓晋 TH EE IE 第5章图象变换基础 为了有效和快速地对图象进行处理 常常需要将原定义在图象空间的图象以某种形式转换到另外一些空间 并利用在这些空间的特有性质方便地进行一定的加工 最后再转换回图象空间以得到所需的效果 这些转换方法就是本章要着重介绍和讨论的图象变换技术变换是双向的 或者说需要双向的变换 在图象处理中 一般将从图象空间向其他空间的变换称为正变换 而将从其他空间向图象空间的变换称为反变换或逆变换 章毓晋 TH EE IE 第5章图象变换基础 5 1可分离和正交图象变换5 2傅里叶变换5 3沃尔什 哈达玛变换5 4离散余弦变换5 5Radon变换 章毓晋 TH EE IE 5 1可分离和正交图象变换 1 D可分离变换正变换反变换 正向变换核 反向变换核 章毓晋 TH EE IE 5 1可分离和正交图象变换 2 D可分离变换 傅里叶变换是一个例子 反向变换核 正向变换核 变换核与原始函数及变换后函数无关 章毓晋 TH EE IE 可分离1个2 D变换分成2个1 D变换对称 h1与h2的函数形式一样 5 1可分离和正交图象变换 章毓晋 TH EE IE 可分离且对称 图象矩阵 对称变换矩阵 反变换矩阵 变换结果 5 1可分离和正交图象变换 反变换 章毓晋 TH EE IE 正交考虑变换矩阵 酉矩阵 代表共轭 如果A为实矩阵 且 则A为正交矩阵 式 5 1 3 和式 5 1 4 构成正交变换对 5 1可分离和正交图象变换 章毓晋 TH EE IE 5 2傅里叶变换 5 2 12 D傅里叶变换5 2 2傅里叶变换定理5 2 3快速傅里叶变换 章毓晋 TH EE IE 5 2 12 D傅里叶变换 1 D正变换对1个连续函数f x 等间隔采样 章毓晋 TH EE IE 5 2 12 D傅里叶变换 1 D反变换变换表达频谱 幅度 相位角 章毓晋 TH EE IE 5 2 12 D傅里叶变换 变换对公式频谱 幅度 相位角功率谱 章毓晋 TH EE IE 5 2 2傅里叶变换定理 分离性质1次2 D 2次1 DO N4 减为O N2 章毓晋 TH EE IE 1 平移定理 5 2 2傅里叶变换定理 章毓晋 TH EE IE 4 剪切定理 水平方向 纯剪切 垂直方向 纯剪切 5 2 2傅里叶变换定理 章毓晋 TH EE IE 5 组合剪切定理平移 旋转 尺度水平剪切垂直剪切 5 2 2傅里叶变换定理 章毓晋 TH EE IE 6 仿射定理u eu dv D和v bu av D 5 2 2傅里叶变换定理 章毓晋 TH EE IE 7 卷积定理2 D 5 2 2傅里叶变换定理 章毓晋 TH EE IE 8 相关定理互相关 f x g x 自相关 f x g x 2 D 5 2 2傅里叶变换定理 章毓晋 TH EE IE 5 2 3快速傅里叶变换 直接进行一个N N的2 D傅里叶变换需要N4次复数乘法运算和N2 N2 1 次复数加法运算1 D 复数乘法和加法的次数都正比于N2快速傅里叶变换 FFT 将复数乘法和加法的次数减少为正比于Nlog2N逐次加倍法 复数乘法次数由N2减少为 Nlog2N 2复数加法次数由N2减少为Nlog2N 章毓晋 TH EE IE 5 3沃尔什 哈达玛变换 5 3 1沃尔什变换5 3 2哈达玛变换5 3 3关于两种变换的讨论沃尔什和哈达码变换都是可分离和正交变换 章毓晋 TH EE IE 5 3 1沃尔什变换 正变换核N 2nbk z z的二进制表达中的第k位如n 3对z 6 1102 有b0 z 0 b1 z 1 b2 z 1对z 2 2 有b0 z b1 z b2 z 章毓晋 TH EE IE 5 3 1沃尔什变换 正变换变换核组成的矩阵是一个对称矩阵并且其行和列正交 反变换核与正变换核只差1个常数1 N 反变换核反变换 章毓晋 TH EE IE 2 D沃尔什变换正反 5 3 1沃尔什变换 章毓晋 TH EE IE 2 D沃尔什变换核 可分离且对称沃尔什变换快速算法类似于快速傅里叶变换的算法 5 3 1沃尔什变换 章毓晋 TH EE IE 正变换核bk z z的二进制表达中的第k位指数上的求和以2为模正变换 5 3 2哈达玛变换 章毓晋 TH EE IE 反变换核反变换核与正变换核只差1个常数1 N反变换用于正变换的算法也可用于反变换 5 3 2哈达玛变换 章毓晋 TH EE IE 2 D变换核2 D变换对 5 3 2哈达玛变换 章毓晋 TH EE IE 阶 序 列中符号变换的次数表5 3 2中8列的序依次为0 7 3 4 1 6 2 5随u增加而序也增加的哈达玛变换核 5 3 3关于两种变换的讨论 章毓晋 TH EE IE N 8时经过排序的1 D哈达玛变换核的值行和列都满足序单增的条件 5 3 3关于两种变换的讨论 章毓晋 TH EE IE 哈达玛矩阵的迭代方便地获得变换矩阵 5 3 3关于两种变换的讨论 章毓晋 TH EE IE 沃尔什变换和哈达玛变换比较可分离且对称 正反变换核相同行列正交 即各行向量与各列向量的内积为0 沃尔什变换特点有快速算法 类似快速傅里叶变换 哈达玛变换特点有迭代性质 5 3 3关于两种变换的讨论 章毓晋 TH EE IE 一种可分离 正交 对称的变换1 D离散余弦变换 DCT 5 4离散余弦变换 章毓晋 TH EE IE 2 D离散余弦变换 DCT 讨论可分离性和对称性 5 4离散余弦变换 章毓晋 TH EE IE 第6章频域图象增强 6 1频域增强原理6 2低通滤波6 3高通滤波6 4带通和带阻滤波6 5同态滤波6 6频域技术与空域技术 章毓晋 TH EE IE 6 1频域增强原理 卷积理论是频域技术的基础设函数f x y 与线性位不变算子h x y 的卷积结果是g x y 即g x y h x y f x y 那么根据卷积定理在频域有 其中G u v H u v F u v 分别是g x y h x y f x y 的傅里叶变换 用线性系统理论的话来说 H u v 是转移函数 章毓晋 TH EE IE 在具体增强应用中 f x y 是给定的 所以F u v 可利用变换得到 需要确定的是H u v 这样具有所需特性的g x y 就可由算出G u v 而得到 步骤 1 转换到频域 2 在频域增强 3 转换回空域 6 1频域增强原理 章毓晋 TH EE IE 卷积定理增强图步骤 1 计算图象的变换 2 在频域滤波 3 反变换回图象空间频域滤波低通 高通 带通 带阻 同态 6 1频域增强原理 章毓晋 TH EE IE 6 2低通滤波 低通滤波器图象中的边缘和噪声都对应图象傅里叶变换中的高频部分 所以如要在频域中消弱其影响就要设法减弱这部分频率的分量根据频域增强技术的原理 需要选择一个合适的H u v 以得到消弱F u v 高频分量的G u v 以下讨论对F u v 的实部和虚部影响完全相同的滤波转移函数 具有这种特性的滤波器称为零相移滤波器 章毓晋 TH EE IE 6 2低通滤波 1 理想低通滤波器理想是指小于D0的频率可以完全不受影响地通过滤波器 而大于D0的频率则完全通不过 章毓晋 TH EE IE 6 2低通滤波 1 理想低通滤波器H u v 转移 滤波函数D0 截断频率 非负整数 D u v 是从点 u v 到频率平面原点的距离D u v u2 v2 1 2 章毓晋 TH EE IE 6 2低通滤波 2 理想低通滤波器的模糊理想低通滤波产生 振铃 现象 章毓晋 TH EE IE 6 2低通滤波 2 理想低通滤波器的模糊理想低通滤波所产生的 振铃 现象在2 D图象上表现为一系列同心圆环圆环半径反比于截断频率理想低通滤波产生模糊效应B 能量百分比 R 圆周半径 P u v 功率谱 章毓晋 TH EE IE 6 2低通滤波 3 巴特沃斯低通滤波器物理上可实现 理想低通滤波器在数学上定义得很清楚 在计算机模拟中也可实现 但在截断频率处直上直下的理想低通滤波器是不能用实际的电子器件实现的 减少振铃效应 高低频率间的过渡比较光滑阶为n 章毓晋 TH EE IE 6 2低通滤波 3 巴特沃斯低通滤波器截断频率使H最大值降到某个百分比的频率在D u v D0时H u v 1 2H u v 1 21 2 章毓晋 TH EE IE 6 2低通滤波 3 巴特沃斯低通滤波器图象由于量化不足产生虚假轮廓时常可用低通滤波进行平滑以改进图象质量效果比较 相同截断频率 图6 2 6 理想低通滤波器 阶数为1的巴特沃斯低通滤波器 章毓晋 TH EE IE 6 2低通滤波 4 其他低通滤波器梯形指数 章毓晋 TH EE IE 6 3高通滤波 1 理想高通滤波器形状与低通滤波器的形状正好相反 章毓晋 TH EE IE 6 3高通滤波 2 巴特沃斯高通滤波器形状与巴特沃斯低通滤波器的形状正好相反截断频率使H值上升到最大值某个百分比的频率H u v 1 2H u v 1 21 2 章毓晋 TH EE IE 3 高频增强滤波器傅里叶变换 G u v H u v F u v 高频增强转移函数 He u v k H u v c高频增强输出图的傅里叶变换 Ge u v k G u v c F u v 反变换回去 ge x y k g x y c f x y 6 3高通滤波 章毓晋 TH EE IE 6 3高通滤波 4 高频提升滤波器用原始图减去低通图得到高通滤波器的效果把原始图乘以一个放大系数A再减去低通图就可构成高频提升 high boost 滤波器高通滤波器 A 1高频增强滤波器 章毓晋 TH EE IE 6 4带通和带阻滤波 带阻滤波器阻止一定频率范围 允许其它频率范围 章毓晋 TH EE IE 6 4带通和带阻滤波 带阻滤波器傅里叶变换的对称性 两两工作 章毓晋 TH EE IE 6 4带通和带阻滤波 放射对称的带阻滤波器 章毓晋 TH EE IE 6 4带通和带阻滤波 带通滤波器与带阻滤波器互补允许一定频率范围 阻止其它频率范围 章毓晋 TH EE IE 6 4带通和带阻滤波 放射对称的带通滤波器 章毓晋 TH EE IE 6 5同态滤波 2 3 8 1 两边取对数 2 两边取付氏变换 3 用一频域函数H u v 处理F u v 4 反变换到空域 5 两边取指数 章毓晋 TH EE IE 特点 能消除乘性噪声 能同时压缩图象的整体动态范围和增加图象中相邻区域间的对比度典型曲线效果示例 HL 0 5 HH 2 0 6 5同态滤波 章毓晋 TH EE IE 6 6频域技术与空域技术 空间滤波器的工作原理可借助频域进行分析空间平滑滤波器消除或减弱图象中灰度值具有较大较快变化部分的影响 这些部分对应频域中的高频分量 所以可用频域低通滤波来实现空间锐化滤波器消除或减弱图象中灰度值缓慢变化的部分 这些部分对应频域中的低频分量 所以可用频域高通滤波来实现 章毓晋 TH EE IE 6 6频域技术与空域技术 空域中的平滑滤波器在频域里对应低通滤波器频域越宽 空域越窄 平滑作用越弱频域越窄 空域越宽 模糊作用越强 章毓晋 TH EE IE 6 6频域技术与空域技术 空域中的锐化滤波器在频域里对应高通滤波器空域有正负值 一旦变为负数不再变为正数频域 空域的宽窄有什么关系和含义 图6 6 2 章毓晋 TH EE IE 第7章彩色图象处理 7 1彩色视觉和描述7 2彩色模型7 3伪彩色增强7 4真彩色处理 章毓晋 TH EE IE 7 1彩色视觉和描述 颜色知觉 7 1 1彩色视觉基础7 1 2三基色与色匹配7 1 3色度图 章毓晋 TH EE IE 7 1 1彩色视觉基础 彩色和颜色颜色可分为无彩色和有彩色两大类无彩色指白色 黑色和各种深浅程度不同的灰色能够同样吸收所有波长光的表面看起来是灰色的 反射的光多显浅灰色 反射的光少显深灰色以白色为一端 通过一系列从浅到深排列的各种灰色 到达另一端的黑色 这些灰色可以组成一个黑白系列