数字图像处理与机器视觉.pptx

数字图像处理与机器视觉 1 第0章数字图像处理概述 第1章Matlab图像处理编程基础 第7章彩色图像处理 重点 Matlab编程基础 难点 彩色图像处理 12 内容 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 12 第0章数字图像处理概述 1 去噪处理的效果 图像处理的典型示例 一 1 去噪处理的效果ImageDenoisingBasedonPDEMethod 图像处理的典型示例 二 2 去模糊处理的效果 图像处理的典型示例 三 2 去模糊处理的效果 图像处理的典型示例 四 学术研讨 CV Conference1 ICCV InternationalConferenceonComputerVision2 CVPR InternationalConferenceonComputerVisionandPatternRecognition3 ECCV EuropeanConferenceonComputerVisionCV JournalBest PAMI IEEETrans onPatt AnalysisandMachineIntelligenceIJCV Inter Jour onComp VisionGood CVIU ComputerVisionandImageUnderstandingPR PatternReco Graphics Conference1 Siggraph ACMSigGraph2 EuroGraphGraphics Journal1 IEEE ACM Trans onGraphics2 IEEETrans onVisualizationandComputerGraphics 从CVPR2013看计算机视觉领域的最新热点 1 RGB D数据的分析2 中层patch的分析 在局部特征很难具有足够的描述力的情况下 中层特征的提取和分析就显得更加重要 3 深度学习以及特征学习 在慢慢具备海量数据处理能力的今天 深度学习确实是解决问题的一个很好的途径 深度学习必须结合好的特征学习 才是解决问题的王道 从CVPR2014看计算机视觉领域的最新热点 1 深度学习 DeepLearning 是当下最热门的方向之一 2 基础模型研究 3D几何模型3 Low levelVision 主要针对图像本身及其内在属性的分析及处理 比如判断图片拍摄时所接受的光照 反射影响以及光线方向 进一步推断拍摄物体的几何结构 再如图片修复 如何去除图片拍摄中所遇到的抖动和噪声等不良影响 4 DepthSensor 深度传感器 及深度图像相关 12 0 1数字图像 1 数字图像是能够在计算机上显示和处理的图像 根据其特性可分为位图和矢量图 位图通常使用数字阵列来表示 如BMP JPG GIF等矢量图由矢量数据库表示 如PNG图形2 数字图像模型 其对应的矩阵模型为 其中代表在坐标处的像素色彩或灰度值 0 2数字图像处理与识别 0 3数字图像处理的预备知识 3 数字图像分类二值图像 0表示黑色 1表示白色灰度图像 0 255 256级 介于黑色与白色之间的颜色深度 RGB图像 三原色可以表示颜色各类256 256 256 224索引图像 作用就是体积小 方便传输 只需要把索引表传输过去 接收方用对应的RGB颜色表还原颜色信息 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 4 图像的空间分辨率概念 图像中每单位长度所包含的像素或点的数目 常以像素 英寸 pixelsperinch ppi 为单位来表示 分辨率越高 图像越清晰 图像文件所需的磁盘空间也越大 编辑和处理所需的时间也越长 一般来说 采样间隔越大 所得图像像素数越少 空间分辨率低 质量差 严重时出现像素呈块状的棋盘格效应 CheckerboardEffect 采样间隔越小 所得图像像素数越多 空间分辨率高 图像质量好 但数据量大 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 5 图像的灰度级 辐射计量分辨率概念 灰度级指图像中可分辨的灰度级数目 量化等级越多 所得图层次越丰富 灰度分辨率高 图像质量好 但数据量大 量化等级越少 图像层次欠丰富 灰度分辨率低 会出现假轮廓现象 图像质量变差 但数据量小 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 1 图像预处理 改善象质 以便于目视判读 校正技术 对形状变形的图象进行几何校正 辐射校正 增强技术 去除干扰 突出主要特征 包括 平滑与锐化技术 恢复技术 1 去除噪音干扰 恢复原图像 2 运动模糊图像 退化图像的恢复 相位恢复等 2 图像分析 图像分割 纹理分析 平面几何参数 三维参数测量技术等 3 图像编码与压缩 PCM 脉冲编码调制 统计编码 预测编码 变换编码 无损压缩 有损编码等 图像编码的国际标准 图像压缩的国际标准 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 4 图像重建 基于变换的重建 卷积法重建 代数重建 重建的优化 5 图像修复 平滑修复 基于总变分 TV 的修复 基于PDE的修复等 6 图像识别 模式识别与景物分析 图像处理的特点 1 再现性好 数字图像可多次拷贝 不失真 不退化 2 精度高 采样量化一定 多次处理可保精度 3 适用面宽 可处理抽象数据 可做非线性处理 光学处理多为线性处理 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 图像处理的应用领域森林覆盖计算 农作物估产 水质及大气污染调查 资源勘探 地图绘制 地理信息系统 GIS 森林火灾监护 客观反映火灾情况 面积 鱼群探查 海洋污染检测 河流分布 水利及水害调查 军事侦察 导弹制导 电子沙盘 军事训练等 身份认证 指纹 掌纹 虹膜等识别 医学应用 CT MRI 血管造影 红外乳腺 显微病理 电子显微镜 远程医疗图像 皮肤图象 X线 刀与 刀脑外科等都离不开图像 工业图像 X线控探伤 轴 X线检察 三维测量 定位 形状测量 机器人视觉 商检 民用 数码相机 数字视频 照片扫描等 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 视觉系统的功能结构机器 计算机 视觉要达到的三个基本目的 1 根据一幅或多幅二维投影图象计算出观察点到目标物体的距离 2 根据一幅或多幅二维投影图象计算出目标物体的运动参数 3 根据一幅或多幅二维投影图象计算出目标物体的表面物理特性 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 机器 计算机 视觉技术的应用举例工业领域 生产装配 质量检验 机器人 星球探测机器人 遥感图像分析 植被分析 医学图像分析 骨骼定位 安全鉴别 监视与跟踪 门禁系统 视频监控 国防系统 目标自动识别与目标跟踪 图像与视频检索 基于内容的检索 文物保护 数字博物馆 其他 游戏 动画 体育 人机交互 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 火星车 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 1 像素的邻域 P的4领域N4 P P的对角领域ND P P的8领域N8 P 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 2 像素间的邻接 连接和连通像素的邻接 PixelAdjacency 两个像素是否邻接就看它们是否接触 一个像素和在它邻域中的像素是接触的 所以也是邻接的 邻接只考虑像素间的空间关系 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 像素的连接 PixelConnectivity 对两个像素来说 要确定它们是否连接需要考虑两点 它们在空间上是否接触 即它们是否邻接 它们的灰度值是否满足某个特定的相似准则 例如它们灰度值相等 或同在一个灰度值集合中取值 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 以下三种常用的连接 1 4 连接 2个像素p和r在V中取值且r在N4 p 中 则它们为4 连接 2 8 连接 2个像素p和r在V中取值且r在N8 p 中 则它们为8 连接 3 m 连接 混合连接 2个像素p和r在V中取值且满足下列条件之一 则它们为m 连接 r在N4 p 中 r在ND p 中且N4 p N4 r 没有V值的元素 4 连接8 连接m 连接 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 这种m 连接的引入目的之一就是消除8 连接的多路问题 8 连接在像素距离的选择时有多种路径 引发歧义 而m 连接则没有 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 像素的连通 pixelConnectivity 定义两个像素间的通路 从具有像素p x y 到像素q s t 的一条通路是由一系列具有坐标 x0 y0 x1 y1 xn yn 的独立像素组成的 这里 x0 y0 x y xn yn s t 且 xi yi 与 xi 1 yi 1 相邻接 其中1 i n n为通路长度 设p和q是一个图像子集S中的2个像素 那么如果存在一条完全由S中的像素组成的从p到q的通路 那么就称p在S中与q相连通 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 例 计算点p和q之间m 通路的长度 p 1 q 1 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 像素间的距离Connectivity 1 点p和q之间的欧氏 Euclidean 距离 2 点p和q之间的城区 city block 距离 3 点p和q之间的棋盘 chessboard 距离 0 1数字图像 0 2数字图像处理与识别 0 3数字图像处理的预备知识 图像处理的基本算子举例1 点运算 Pointoperation B i j f A i j 例 线性点运算 DB f DA aDA ba 1 对比度增强 0 a 1 对比度减弱a 1a 0 对比度倒向 2 代数运算 Algebraicoperation C x y A x y B x y 降噪平均 双暴光效应等 C x y A x y B x y 背景消减 运动检测等 3 几何运算 Geometricoperation 平移 旋转 总结 数字图像的定义 模型和分类 空间分辨率 灰度级分辨率数字图像处理 分析与识别像素的邻域 像素间的邻接 连接和连通 像素间的距离 相关运算 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 12 第1章Matlab图像处理编程基础 1 4读取和写入图像文件 1 5图像的显示 MATLAB是一个简单易用 功能强大的高效编程集成开发环境 数值运算优势符号运算优势 Maple 强大的2D 3D数据可视化功能许多具有算法自适应能力的功能函数 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 1 命令窗口的使用 激活命令窗口 与闪烁的光标一起表明系统就绪 等待输入 命令窗口脱离MATLAB桌面 1 在MATLAB命令窗口输入 12 2 7 4 3 2 2 按 Enter 键 指令执行 3 返回的计算结果 ans 2 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 2 常见通用命令 命令含义clc清除命令窗口的显示内容clear清除Matlab工作空间中保存的变量who或whos显示Matlab工作空间中的变量信息dir显示当前工作目录的文件和子目录清单cd显示或设置当前工作目录type显示指定m文件的内容Help doc或lookfor取在线帮助quit或exit关闭 退出MATALB 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 3 内部变量 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 4 数据类型及其转换 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 5 矩阵的使用 1 定义 A 1 2 3 4 5 6 7 8 9 A 123456789V 2 1 10 或省略间隔为1的中间参数 V 2 10 V 2345678910 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 5 矩阵的使用 2 生成矩阵的函数 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 5 矩阵的使用 3 提取矩阵元素或子块的方法 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 5 矩阵的使用 4 矩阵的运算 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 6 运算符和表达式 不等于 与 或 非 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 7 常用的逻辑函数和矩阵函数 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 8 Matlab流程控制例1 产生一幅亮度按对角线方向的余弦规律变化的灰度图 比较一维方法和二维方法所需的时间 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 8 Matlab流程控制例2 使用meshgrid函数生成坐标网格 同时绘制高斯函数 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 9 Matlab函数函数的定义 function output name input functionname args 函数的命名为functionname m函数的调用 a name input name args 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 亮度图像 灰度图像RGB图像索引图像二值图像 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 1 图像格式转换函数 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 2 图像数据类型转换函数 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 imreadA imread FILENAME FMT 读取图像文件 BMP GIF PNG JPEG andTIFF imwriteimwrite A FILENAME FMT 保存图像imfinfoimfinfo FILENAME FMT 读取图像文件中的属性信息 例3 读入一幅tif图像文件 并在写入磁盘时将bmp图像转换为jpg图像 1 1Matlab操作简介 1 2Matlab图像类型及其存储方式 1 3Matlab的图像转换 1 4读取和写入图像 1 5图像的显示 imshow显示图像imshow filename imshow I MAP imshow I lowhigh param1 value1 param2 value2 figure弹出显示窗口subplot m n i 子窗口显示zoomon开放图像缩放 例4 显示图像 总结 Matlab命令窗口 帮助 变量的使用 矩阵的使用 数学函数 流程控制Matlab的图像转换读取和写入图像文件图像的显示 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 12 第7章彩色图像处理 1666年 Newton 红 橙 黄 绿 青 蓝 紫red orange yellow green cyan blue violet 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 1 人眼看到的彩色 图9 1可见范围电磁波谱的波长组成 微米 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 2 颜色是外来的光刺激作用于人的视觉器官而产生的主观感觉 它具有色调 饱和度和亮度三个特性 色调 hue 又称为色相 是当人眼看到一种或多种波长的光时所产生的彩色感觉 它反映颜色的种类 饱和度 saturation 是指颜色的纯度 可用来区别颜色的深浅程度 混入的白光越少 饱和度越高 颜色越鲜明 亮度 intensity 是视觉系统对可见物体辐射或者发光多少的感知属性 通常把色调和饱和度称为色度 chromaticity 亮度表示颜色的明亮程度 而色度则表示颜色的类别与深浅程度 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 三原色 光的三基色 red green blue颜料的三基色 magenta 洋红色 cyan 青色 yellowMagenta Red BlueCyan Blue GreenYellow Red Green 加色法 减色法 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 三原色原理 任何颜色都可以用3种不同的基本颜色按照不同比例混合得到 即C aC1 bC2 cC3a b c 0为三种原色的权值或者比例 C1 C2 C3为三原色 又称为三基色 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 形成任何特殊颜色需要的红 绿 蓝的量称做三色值 并分别表示为X Y Z 进而 一种颜色可用它的3个色系数表示 它们分别是 从以上公式可得 x y z 1 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 4 彩色到灰度的转换相同亮度的三原色 人眼看去的感觉是 绿色光的亮度最亮 而红色光其次 蓝色光最弱 如果用Y来表示白色光 即光的亮度 灰度 则有如下关系 Y 0 299R 0 587G 0 114B 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 5 CIE色度图1931年CIE制定了一个色度图 如图所示 图中横轴代表红色色系数 纵轴代表绿色色系数 蓝色系数可由 z 1 x y 求得 例如 标记为绿的点有62 的绿和25 的红成分 从而得到蓝的成分约为13 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 彩色模型 也称彩色空间或彩色系统 的用途是在某些标准下用通常可接受的方式简化彩色规范 本质上 彩色模型是坐标系统和子空间的规范 位于系统中的每种颜色都由单个点来表示 RGB CMY CMYK HSI HSV YUV YIQ 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 1 RGBCCD技术直接感知R G B三个分量是图像成像 显示 打印等设备的基础 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 1 RGB考虑RGB图像 其中每一幅红 绿 蓝图像都是一幅8bit图像 在这种条件下 每一个RGB彩色像素有24bit深度 3个图像平面乘以每平面比特数 即3 8 24bit的彩色图像也称全彩色图像 在24bitRGB图像中颜色总数是224 16777216 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 1 RGB例1 生成一幅128 128的RGB图像 该图像左上角为红色 左下角为蓝色 右上角为绿色 右下角为黑色 在Matlab中 若一幅RGB图像是double类型的 则其取值范围在 0 1 之间 而如果是uint8或者uint16类型的 则取值范围分别是 0 255 和 0 65535 B cat dim A1 A2 A3 其中 dim为维数 cat函数将A1 A2 A3等矩阵连接成维数为dim的矩阵 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 2 CMY CMYKCMY 青 深红 黄 运用在大多数在纸上沉积彩色颜料的设备 如彩色打印机和复印机CMYK 青 深红 黄 黑 打印中的主要颜色是黑色等量的CMY原色产生黑色 但不纯在CMY基础上 加入黑色 形成CMYK彩色空间 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 2 CMY CMYK RGB CMY RGB CMYK 负像 ColorNegatives R 1 RG 1 GB 1 B 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 2 CMY CMYK例2 实现RGB和CMY的相互转换 在Matlab中 imcomplement函数实现RGB和CMY之间的转换 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSIHSI 色调 饱和度 亮度 两个特点 I分量与图像的彩色信息无关H和S分量与人感受颜色的方式是紧密相连的避免颜色受到光照明暗 I 等条件的干扰仅仅分析反映色彩本质的色调和饱和度广泛用于计算机视觉 图像检索和视频检索 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSI色度H Hue 由角度表示 彩色的色度反映了该彩色最接近什么样的光谱波长 即彩虹中的哪种颜色 假定0o的彩色为红色 120o的为绿色 240o的为蓝色 色度从0o 360o覆盖了所有可见光谱的彩色 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSI饱和度S Saturation 用矢量长表示 三角形边上点的S 1 中心S 0 亮度I Intensity 截平面在I轴上的位置 最底端I 0 最上端I 1 柱形彩色空间 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSIRGB转换成HSI模型 从RGB到HSI的变换是一个非线性变换 对任何三个在 0 1 范围内的R G B值 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSIRGB转换成HSI模型 例3 实现RGB转换到HSI的函数rgb2hsi 并调用该函数 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSIHSI转换成RGB模型 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSIHSI转换成RGB模型 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 3 HSIHSI转换成RGB模型 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 4 HSV色调H Hue 饱和度S Saturation 值V Value HSV对应于画家的配色方法 在纯色中加入白色改变色浓 加入黑色改变色深 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 4 HSVRGB到HSV模型的转换 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 4 HSVHSV到RGB模型的转换 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低 通常把RGB空间表示的彩色图像变换到YUV或者YIQ颜色空间 每一种彩色空间都产生一种亮度分量和两种色度分量 而且亮度信号 Y 和色度信号 U V 是相互独立的 彩色电视信号中采用YIQ或者YUV空间一是为了兼容黑白电视 二是为了实现压缩 YCbCr主要用于数字电视 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 5 YUVY指亮度 也可提供黑白电视机的所有影像信息U和V指色调 U和V的比值决定色调 而 U2 V2 1 2代表颜色的饱和度 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 5 YUV RGB转换成YUV YUV转换成RGB 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 6 YIQYIQ模型与YUV模型类似 用于NTSC制式的电视系统 I和Q分量相当于将YUV空间中的UV分量做了一个33度的旋转 RGB转换成YIQ 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 两类处理方法 1 单独处理颜色空间的每一个通道 再复合成结果图像 2 把像素的颜色看作颜色空间中的一个点 也可以看作是一个向量 在向量空间中处理图像 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 1 彩色图像的常规处理 彩色变换 7 1彩色基础 7 2彩色模型 7 3全彩色图像处理基础 2 彩色图像的常规处理 图像分割 例1 消除红眼 redeye 算法 基于HSI颜色空间实现图像分割 1 RGB HSI 2 if pi 40 3makeitgray Saturation 0 3 HSI RGB 7 1彩色基础 7 2彩色模型 7 3全彩色图像处