图像处理概述

高级数字图像处理 陈志华 联系方式 媒体计算与仿真研究室八教403czh迎多交流 多联系 同学自我介绍研究方向 导师 课题等 有图像处理基础 关于纪律不迟到 不早退 不旷课有特殊情况 提前请假遵守课堂纪律课代表推荐协助考勤 讲座报名等 课程目的与要求 掌握数字图像处理的概念 原理和方法为图像相关领域的学习或研究打下良好基础说明属于媒体计算领域和相关课程 视觉计算 多媒体信息建模与检索 互补 课程安排 课程内容分为数字图像处理的理论及实践概念繁多 内容广泛 理论性和实践性很强内容简化 选自多本教材 课时 32学时讨论 小讲座等互动环节课堂提问 练习课外自己动手编程 课程考核 考核平时成绩40 考勤 课堂练习 回答问题课堂小讲座 讨论考试 或论文 成绩60 讲座安排 围绕图像处理领域 做10分钟 20分钟PPT技术点 知识点介绍应用研究现状程序实现与演示论文阅读鼓励介绍自己的学术研究成果 每位同学都要讲 按团队准备和评分课代表收集大家选题 小讲座评分 选题恰当 不宽泛 和课程内容不重复PPT简洁 提纲式 字号至少为28 不超过50字 页 不照抄网上内容内容熟悉 陈述流畅 不要照稿子念 和大家有互动 眼神 手势 提问等有亮点 如编程实现 图文并茂 视频演示 数字图像处理概述及基础 参考书 数字图像处理 第二版 冈萨雷斯等著 电子工业出版社 2013章毓晋 图象工程上册 图象处理 清华大学出版社 2008章毓晋 图象工程中册 图象分析 清华大学出版社 2008章毓晋 图象工程下册 图象理解 清华大学出版社 2008 国内外相关学术会议和期刊 国内期刊JournalofComputerScienceandTechnology JCST SCI 计算机学报软件学报电子学报计算机研究与发展中国图像图形学报 国外学术会议IEEEInternationalConferenceonComputerVision ICCV IEEEInternationalConferenceonComputerVisionandPatternRecognition CVPR ACMMultimediaConference MM IEEEInternationalConferenceonImageProcessing ICIP InternationalConferenceonPatternRecognition ICPR 国外期刊IEEETransactionsonPatternAnalysisandMachineIntelligence PAMI IEEETransactionsonImageProcessing TIP InternationalJournalofComputerVision IJCV PatternRecognition PR IEEETransactionsonCircuitsandSystemsforVideoTechnology CSVT 图像处理的主要内容 基础知识图像几何变换彩色图像处理边缘检测图像增强图像分割形态学处理图像压缩应用实践 基础知识 1概述概念 图像 数字图像 像素数字图像处理的起源数字图像处理的应用领域图像处理系统的基本组成结构2技术基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系 1 1图像基本概念 图像定义为二维函数f x y 其中 x y是空间坐标 f x y 是点 x y 的幅值灰度图像是一个二维灰度 或亮度 函数f x y 彩色图像由三个 如RGB HSV 二维灰度 或亮度 函数f x y 组成 什么是数字图像 像素组成的二维排列 可以用矩阵表示单色 灰度 图像 每个像素的亮度用一个数值来表示 通常在0 255 0表示黑 255表示白 其它值表示黑白之间的灰度彩色图像可以用红 绿 蓝三元组的二维矩阵来表示 通常三元组的每个数值也是在0到255之间 0表示相应的基色在该像素中没有 而255则代表相应的基色在该像素中取得最大值 数字图像的像素表示 什么是像素 数字图像由二维的元素组成 每一个元素具有一个特定的位置 x y 和幅值f x y 这些元素就称为像素 19 补充 图像 图像 Image 是对事物的一种描述形式 它以人类视觉特性为载体在空间位置记录颜色值 一个空间位置记录一个颜色值 那么空间位置及对应颜色值的集合就是图像再具体点 是指在一个二维矩形区域内的每个点记录一个颜色 20 图像获取 通过记录现实世界 获取图像手机照相机摄像机红外摄像机 21 图像 22 图像的简单分类 按照人眼视觉感知范围分可见图像不可见图像按照图像空间坐标和亮度 或色彩 的连续性分类模拟图像 空间坐标和颜色值均连续取值数字图像 空间坐标和颜色值均不连续取值 23 可见光与电磁波谱 X射线 紫外线 射线 红外线 微波 无线电波 蓝 绿 红 400 600 500 700波长 nm 人类可见波长范围 24 可见光与电磁波谱 25 模拟图像 图像的空间坐标和颜色值均连续取值例如 由胶片照相机拍摄的照片理论上 照片上的任意一点都有对应的颜色 因此坐标位置是在 0 宽度 0 高度 的二维范围中取值同样 由胶片相机拍摄的照片 其每个点的感光值也都是连续取值的 并且取值范围 也称为动态范围 非常大 26 数字图像 图像的空间坐标和颜色值均不连续取值例如 数码相机所拍摄的数字图像空间坐标取值不连续一般在网格点位置上才记录颜色颜色取值不连续每个网格点上的颜色取值只有有限种选择 1 2数字图像处理的起源 人类分析的需要图像在传输过程后的更好复原空间应用 图像增强 图像复原医学图像 作用 通过图像增强 图像复原等技术 增强或复原模糊或损毁的图像机器感知的需要自动字符识别OCR人脸识别指纹识别 28 数字图像历史追溯 数字图像处理最早的应用之一是在报纸业1921年 Bartlane电缆图片传输系统 在伦敦和纽约之间 经横跨大西洋的海底电缆发送数字化报纸的图片 该系统传送一幅图片所需时间小于3小时 而之前需要1周以上 首先对图像进行编码 然后在接收端由专用打印设备进行图片重建 29 1921年一幅由电报打印机打印的数字图像 5个灰度级 30 1921年底照像复制技术应用 在电报接受终端用穿孔带还原图像图像信号两次穿越大西洋后的效果 31 1929年引人了编码的图片纸带来调制光束 从而改善底板感光的系统 使灰度级增加到15个等级 1 3数字图像处理的主要研究内容 图像增强图像分割图像复原图像变换图像压缩图像重建图像配准 图像融合 图像水印 数学形态学 1 4图像处理的应用领域 数字图象处理技术已应用到很多领域 1 遥感图像应用农业普查 森林覆盖计算 水利工程等的客观估计计算 森林火灾监护 客观反映火灾情况 面积 水体界线的确定在近红外图像上 水体呈黑色 2 导弹制导图象识别技术应用于导弹的精确制导 使其精确打击目标 如 机场 桥梁等 3 生物特征识别军事 公安中的人脸 指纹 掌纹识别等 4 医学应用CT MR1 PET B超 DSA 血管造影 红外乳腺 显微病理 电子显微镜 远程医疗图像 皮肤图象 X射线 刀与 刀脑外科等等离不开图像 X Ray MRI PET 核医学影像 超声图象 PhotocourtesyPhilipsResearch DSA数字减影血管造影 DigitalSubtractionAngiography 红外图象 5 日常生活数码照片管理 处理等 1 4图像处理系统的基本组成结构 常用图像处理软件及平台 Windows自带软件 画图可以画任意图形 填充颜色等 同时也可编辑图像 ACDSee目前流行的数字图像处理软件 支持超过50种常见多媒体格式 拥有如去除红眼 剪切图像 锐化 浮雕特效 旋转 镜像等功能效果 AdobePhotoshop公认的最好的通用平面美术设计软件 由Adobe公司开发设计 它完成了DTP和图像软件的结合 使设计师可在电脑上直接完成文字的录入 排版 图像处理 形象创造和分色制板的全过程 Fireworks网页制作三剑客之一 最适合与Dreamweaver共同使用 处理网页中的图片 MATLAB是美国MathWorks公司出品的商业数学软件 用于算法开发 数据可视化 数据分析以及数值计算的高级技术计算语言和交互式环境 VisualC net实现许多图像之间的变换 或者自己编写函数来画出设计好的图像 图像存储系统 图像文件格式体系互联网用 GIF JPG印刷用 TIF JPG TAG PCX国际标准 TIF JPG BMP图像存储体系 分级存储内存存储 处理时使用硬盘存储 处理 备份时用 在线 备份存储 光盘 磁带 图像文件的常用格式 BMP位图文件 是一种与硬件设备无关的图像文件格式 是Windows操作系统采用的图像文件存储格式 是Windows操作系统内交换图像数据的一种标准 GIF原义是 图像互换格式 是CompuServe公司制定的一种图像文件存储格式 其最初的目的是希望每个BBS使用者都能够通过GIF图像文件格式轻易存储并交换图像数据 图像文件的常用格式 TIFF图像文件格式由Aldus公司与Microsoft公司共同开发设计的图像文件格式 PCX图像文件格式是PCPaintbrush绘图软件内的文件格式 专门用于存储该软件所产生的图像画面数据 JPEG图像文件格式一种有损压缩格式 是最常用的图像文件格式 由国际标准化组织和国际电话电报咨询委员会制定 2技术基础 图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系邻域处理方法是图像增强过程的核心 2 1图像的采样和量化 大多数传感器的输出是连续电压波形 为了产生一幅数字图像 需要把连续的感知数据转化为数字形式数字化包括两种处理 采样和量化采样 图像空间坐标的数字化量化 图像函数值 灰度值 的数字化 图像采样 空间坐标 x y 的数字化被称为图像采样确定水平和垂直方向上的像素个数N M 图像的量化 函数取值的数字化被称为图像的量化 如量化到256个灰度级 图像的采样与数字图像的质量 图像的采样与数字图像的质量 1024 1024 512 512 256 256 32 32 128 128 64 64 图像的量化与数字图像的质量 图像的采样和量化 非统一的图像采样在灰度级变化尖锐的区域 用细腻的采样 在灰度级比较平滑的区域 用粗糙的采样 非统一的图像量化在边界附近使用较少的灰度级 剩余的灰度级可用于灰度级变化比较平滑的区域避免或减少由于量化的太粗糙 在灰度级变化比较平滑的区域出现假轮廓的现象 2 2数字图像的表示 二维离散亮度函数 f x y x y说明图像像素的空间坐标函数值f代表了在点 x y 处像素的灰度值二维矩阵 A m n m n说明图像的宽和高 矩阵元素a i j 的值 表示图像在第i行 第j列的像素的灰度值 i j表示几何位置 256个层次的图像 16个层次的图像 64个层次的图像 2 3图像的质量 图像质量指标 1 层次 灰度级 对比度 是指一幅图像中灰度反差的大小 对比度 最大亮度 最小亮度 图像质量 2 对比度 图像的质量 3 清晰度 人眼宏观看到的图像的清晰程度与清晰度相关的主要因素亮度对比度尺寸大小细微层次颜色饱和度 降低亮度 影响清晰度因素 1 亮度 原图 降低对比度 原图 影响清晰度因素 2 对比度 缩小尺寸 原图 影响清晰度因素 3 尺寸大小 减少细微层次 原图 影响清晰度因素 4 细微层次 降低颜色饱和度 原图 影响清晰度因素 5 颜色饱和度 2 4像素间的一些基本关系 相邻像素 4邻域8邻域连通性4连通8连通距离 相邻像素 4邻域 4邻域 像素p x y 的4个相邻的像素 x 1 y x 1 y x y 1 x y 1 用N4 p 表示像素p的4邻域 相邻像素 8邻域 8邻域定义 像素p x y 的8邻域是 像素间的连通性 连通性是描述区域和边界的重要概念两个像素连通的两个必要条件是 两个像素的位置是否相邻两个像素的灰度值是否满足特定的相似性准则 或者是否相等 4连通 8连通的定义 像素的连通性 4连通 对于具有值V的像素p和q 如果q在集合N4 p 中 则称这两个像素是4连通的 像素的连通性 8连通 对于具有值V的像素p和q 如果q在集合N8 p 中 则称这两个像素是8连通的 像素的连通性 距离 像素之间距离的定义欧氏距离定义D4距离 城市距离 定义D8距离 棋盘距离 定义 像素之间距离的定义 对于像素p q和z 分别具有坐标 x y s t 和 u v 如果 1 D p q 0 D p q 0 当且仅当p q 2 D p q D q p 3 D p z D p q D q z 则称D是距离函数或度量 欧式距离定义 像素p x y 和q s t 间的欧式距离定义如下 问题 具有与 x y 距离小于等于某个值r的像素是 D4距离 城市距离 像素p x y 和q s t 之间的D4距离定义为 问题 试写出以像素A为中心 3 3邻域内的D4距离值 5 5邻域呢 D4距离举例 具有与 x y 距离小于等于某个值r的那些像素形成一个菱形例如 与点 x y 中心点 D4距离小于等于2的像素 形成右边固定距离的轮廓具有D4 1的像素是 x y 的4邻域 D8距离 棋盘距离 像素p x y 和q s t 之间的D8距离定义为 问题 写出以像素A为中心 3 3邻域内的D8距离值 5 5邻域 D8距离举例 具有与 x y 距离小于等于某个值r的那些像素形成一个正方形例如 与点 x y 中心点 D8距离小于等于2的像素 形成右边固定距离的轮廓具有D8 1的像素是 x y 的8邻域 87 3数字图像处理及其研究内容 图像处理 对图像进行一系列的操作 以达到特定的应用目标模拟图像处理利用光学 照相等方法对模拟图像的处理数字图像处理利用计算机算法对数字图像进行系列操作 以达到特定的应用目标 88 3 1来源 数字图像处理起源于两种主要应用范围 1 改善人类做判断用的图像信息 2 处理自动装置感受的景物数据 89 低层数字图像处理 对输入图像进行变换 得到一幅输出图像如对输入图像进行各种操作以改善图像的视觉效果或者对其进行压缩编码以减少所需要的存储空间和传输时间等 降低对传输通道的要求 狭义的处理 90 数字图像的分析 对图像中感兴趣的区域或目标进行检测和测量 从而建立对图像目标的描述 是一个从输入图像到数值或者符号的过程 91 图像理解与模式识别 在图像分析的基础上 利用人工智能和认知理论 研究图像中各目标的性质和它们之间的相互联系 对图像内容的含义加以理解以及对原来客观场景加以解释 从而指导和规划行动 92 数字图像处理的特点 处理算法不依赖于精度对于一幅图像而言 数字化时不管是用4比特 8比特还是其它比特表示 只需改变计算机中程序的参数 处理方法不变 所以从原理上讲不管对多高精度的数字图像进行处理都是可能的 而在模拟图像处理中 要想使精度提高一个数量级 就必须对装置进行大幅度改进 93 数字图像处理的特点 处理结果能准确再现不管是什么数字图像 均用数组或数组集合表示 在传送和复制图像时 只在计算机内部进行处理 这样数据就不会丢失或遭破坏 保持了完好的再现性 而在模拟图像处理过程中 就会因为各种干扰因素而无法保证图像处理结果的准确再现 94 数字图像处理的特点 通用性 灵活性强对可见图像和不可见光图像 如X光图像 热红外图像和超声波图像等 尽管这些图像生成体系中的设备规模和精度各不相同 但当把这些图像数字化后 都可同样进行处理 这就是数字处理图像的通用性利用处理软件可对图像进行各种各样的处理 如上下滚动 漫游 拼接 合成 变换 放大 缩小和各种逻辑运算等 所以灵活性很高 95 3 2图像处理的研究实例 主要研究内容图像增强图像恢复图像编码图像分析模式识别图像重建 96 图像增强 1 97 图像增强 2 98 图像增强 3 图像增强是改善供人观看图像主观质量主要技术 直方图修正图像平滑图像锐化同态系统伪彩色技术 99 图像恢复 1 100 图像复原 2 图像复原是寻找引起图像质量下降的原因 通过 逆向 操作 尽可能恢复图像本来面目主要技术 复原的代数方法逆滤波最小二乘方滤波约束去卷积空间复原技术 101 图像编码 在保真 无损 或限保真 有损 条件下对图像进行压缩主要技术方法 PCM编码统计编码预测编码变换编码小波编码分形编码 102 图像分析 1 人体染色体形状分析 103 图像分析 2 对输入图像的处理 产生已知图像描述主要技术方法 分割描绘纹理分析形状分析场景分析 104 模式识别 计算机代替人类完成识别景物工作 就必须赋于它有近于人的视觉功能与识别能力 对人的视觉机理至今研究得十分不够 完善的视觉模型尚未建立 因而 目前用图像处理和识别技术来识别景物相对是较简单的 相关匹配 结构匹配等是一些常用识别方法 各种知识基的专家系统应用于识别复杂的景物 并已做出一些实用的系统 105 图像重建 1 利用X射线 超声波等手段取得物休的多幅来自不同角度的二维投影图 它们反映了物体内部情形 通过计算得出物体内部图像 这种技术就是投影重建 利用明暗 运动 体视等图像信息恢复三维物体形状则是三维信息恢复重建技术 106 图像重建 2 数字图像处理的实例补充 108 ImageProcessingExamples RestorationofimagefromHubbleSpaceTelescope 图像复原 Source IVPLNorthWesternUniversity Chicago 109 ImageProcessingExamples Colorphotoenhancement 彩色照片增强 Source PictureProject1 5 2005NiconCorporation Original AutomaticEnhancement 110 ImageProcessingExamples Noisereduction 噪声去除 DegradedImage Noisereductionimage Source JungwonLee StanfordEE368classproject Spring2000 111 ImageProcessingExamples SpecialEffects 特殊效果 Photo Simulatedcolorpencils Simulatedoilpainting Source FengXiao StanfordEE368classproject Spring2000 112 ImageProcessingExamples Pseudocolorenhancementforsecurityscreening 伪彩增强 Source Gonzalez Woodsbook Fig6 24 113 ImageProcessingExamples Extractionofsettlementareafromanaerialimage 居住区提取 Source INRIA Sophia Antipoils France 114 ImageProcessingExamples EarthquakeAnalysisfromSpace 地震分析 Source JPL Pasadena QUAKEFINDERproject ImageshowsthegrounddisplacementduetoLandersearthquakeinCA 1992 115 ImageProcessingExamples FaceDetection 脸部识别 Source H