数字图像处理实战 课件 第1、2章 数字图像处理概述、图像的基本变换

第1章数字图像处理概述1认识数字图像目录认识数字图像处理2认识数字图像处理工具3了解数字图像处理相关Python库41.1认识数字图像处理1922年，图像第一次通过海底电缆从伦敦传往纽约。早期数字图像视觉质量的过程中遇到了很多问题，其首要问题涉及打印方法的选择和亮度等级的分布。1.1.1了解数字图像处理的起源1.数字图像最早应用于报纸业图1‑11921年由电报打印机采用特殊字体在编码纸带上产生的数字图像（灰度级：5）图1‑21929年使用穿孔纸带的照相还原技术得到的数字图像（灰度级：15）从冯·诺依曼开始，一系列重要的进展使得计算机强大到足以用于数字图像处理第一台功能强大到足以执行有意义的数字图像处理任务的大型计算机出现在20世纪60年代初利用计算机技术改善空间探测器发回的图像，始于1964年美国加利福尼亚的喷气推进实验室1.1.1了解数字图像处理的起源2.

计算机的概念可追溯到古代“算盘”的发明图1‑3“徘徊者7号”月球探测器在撞击月球表面前拍摄的图像随着科技水平的日益提高，危、重、繁、杂的体力劳动正在逐渐被智能机器人及机器生产线所取代具有环境理解的机器视觉在工业装配、自动化生产线控制、救火、排障、引爆等方面的应用家庭的辅助劳动、烹饪、清洁、老年人及残障人士的监护方面的应用1.1.2了解数字图像处理的应用领域1.

工业图1‑4工业无损探伤和检验（纺织产品瑕疵检测）远程多媒体网络视频聊天已经被普遍使用，图、文、声、像并茂的网络媒体已经融入人们的日常生活高清晰度的数字电视已经走进千家万户可视电话与可视图书资料等即将成为普通家庭的必备品。1.1.2了解数字图像处理的应用领域2.

通信图1‑5高清数字图像医用超声成像X光造影成像、X光断影成像核磁共振断层成像1.1.2了解数字图像处理的应用领域3.

医学图1‑6医学图像遥感图像提供精确、客观的调查和检测资料各种农作物的生产情况、收获估计林业资源、矿产资源、地质、水文、海洋、气象等观测1.1.2了解数字图像处理的应用领域4.

遥感图1‑7遥感图像图像制导技术在战略、战术武器制导中发挥了极大作用，其特点是高精度与智能化图像匹配与定位技术为基础的光学制导正在进一步发展在测控技术中，光学跟踪测控也是最精密的测控技术之一1.1.2了解数字图像处理的应用领域5.

军事图1‑8红外成像制导头传回的数字图像印刷体汉字识别和手写汉字识别技术已经进入实用化阶段汉字识别输入将逐步取代打字输入语音识别输入，办公的自动化程度正在不断提高1.1.2了解数字图像处理的应用领域6.

办公自动化图1‑8发票文字信息自动识别利用数字图像变形技术产生的特技效果在电影、电视、动画和媒体广告中有很多非常成功的应用计算机图像生成技术在广告制作、动画制作、网络游戏中更是有令人叹为观止的成果在服装设计、发型设计、歌舞动作设计等诸多方面也都有广泛的应用1.1.2了解数字图像处理的应用领域7.

影视娱乐图1‑9人脸转动漫脸特效数字图像处理，是用计算机对图像进行处理和分析，以达到所需结果的技术，又称数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄、扫描得到的二维数组，该数组的元素称为像素，像素的值称为灰度值。数字图像处理技术一般包括图像压缩、增强、复原、分割、描述、匹配和识别等几个部分。图像工程，是各种与数字图像有关的技术的总称。这些技术可根据各自的特点分为3个既有联系又有区别的层次：图像处理、图像分析和图像理解。这三者的有机结合称为图像工程。换句话说，图像工程是既有联系又有区别的图像处理、图像分析及图像理解的有机结合，除此之外图像工程还包括对它们的工程应用。1.1.3了解图像工程与数字图像处理的关系1认识数字图像目录认识数字图像处理2认识数字图像处理工具3了解数字图像处理相关Python库41.2认识数字图像人眼的形状近似为一个球体（成人眼球前后径约为24mm），它由3层膜包裹：外覆的角膜与巩膜、脉络膜、视网膜。角膜相当于相机的镜头，瞳孔相当于光圈，晶状体相当于调焦器，视网膜相当于底片。1.2.1了解人眼的视觉系统1.人眼与相机图1‑11相机和人的眼球的结构对比图1‑10人眼结构物体在人眼中成像的示意如图1‑12所示，反映了光学系统的光路原理在人眼中，晶状体和成像区域的距离是固定的，晶状体中心和沿视轴的视网膜的距离约为17mm1.2.1了解人眼的视觉系统2.人眼成像图1‑12物体在人眼中成像的示意把一幅连续图像在空间上分割成M（行）×N（列）个方格，每个方格可以用一个亮度值来表示，每一个方格又被称为一个像素，这时连续图像就变成了离散图像1.2.2了解数字图像1.采样图1‑13图像采样的过程为了形成数字图像，亮度值也要转化（量化）为离散量量化就是把采样点上对应的亮度连续变化区间转换为单个特定数值的过程，将图像的连续灰度值量化成256个离散灰度级，灰度范围从黑（0）到白（255）1.2.2了解数字图像2.量化图1‑14图像的量化当像素相邻时，两个像素之间有邻接关系，邻接的模式有4邻接、对角邻接、8邻接、m邻接。1.2.3熟悉像素间的基本关系1.邻接性图1‑17像素的8邻接图1‑16像素的对角邻接图1‑15像素的4邻接m邻接，也称混合邻接，需满足以下条件之一①像素q在像素p的4邻域中。②像素p在像素q的对角邻域中，并且像素p的4邻域和像素q的4邻域的交集中的值没有来自V中的值，此时像素p和像素q为m邻接。1.2.3熟悉像素间的基本关系1.邻接性图1‑18m邻接与8邻接对比连通反映两个像素的空间关系对于两个像素p和q，如果q在p的4邻域集合中，则称这两个像素是4连通的对于两个像素p和q，如果q在p的8邻域集合中，则称这两个像素是8连通的1.2.3熟悉像素间的基本关系2.连通性图1‑19像素的连通性区域的定义是建立在连通集的基础上的令R为图像的一个像素子集，

如果R是连通集，则称R为一个区域

如果两个区域和联合形成一个连通集，则区域和称为邻接区域1.2.3熟悉像素间的基本关系3.区域图1‑20两个邻接区域（8邻接）1认识数字图像目录认识数字图像处理2认识数字图像处理工具3了解数字图像处理相关Python库41.3认识数字图像处理工具VisualC++是Windows操作系统下的C++集成设计环境，随着Windows操作系统的普及，在VisualC++下实现数字图像处理成为在普通PC上进行数字图像处理操作的常用途径之一CImage类，其能够胜任大多数类型的数字图像处理任务1.3.1熟悉常用数字图像处理工具1.VisualC++表1-1CImage类的主要函数和功能MATLAB是MathWorks公司开发的一款工程数学计算软件MATLAB图像处理工具箱（ImageProcessingToolbox，IPT）中封装有一系列针对不同数字图像处理需求的标准算法MATLAB有许多与数字图像处理密切相关的数据结构及基本操作，如基本文件操作、变量使用、程序流程控制、打开和关闭图像、图像格式转换和存储等在MATLAB中，有3种方法可以获取软件的在线帮助：1.3.1熟悉常用数字图像处理工具2.MATLABhelp命令，doc命令，lookfor命令2021年IEEESpectrum的编程语言排行榜中，Python排名第一Python有着其他语言不可比拟的优势，正逐步成为数据科学领域的主流语言用Python编程实现数字图像处理算法，需要安装Python2.6以上的版本初学者也可以直接从Python3.x入手，学习并掌握Python的基本语法1.3.1熟悉常用数字图像处理工具3.Python1.3.2数字图像处理工具对比从语言学习难易程度、执行速度、使用场景、第三方支持、流行领域和软件成本等方面对比表1-2

数字图像处理工具对比1认识数字图像目录认识数字图像处理2认识数字图像处理工具3了解数字图像处理相关Python库41.4了解数字图像处理相关Python库Pillow提供通用的数字图像处理功能，如图像缩放、裁剪、旋转、颜色转换等使用Pillow读取一幅图像，如代码所示1.4.1了解Pillow库PIL（PythonImagingLibrary）是Python平台上的数字图像处理标准库NumPy中的数组对象可以实现数字图像处理的许多重要操作，如矩阵乘积、转置、解方程系统、向量归一化等，为图像的变换、缩放、去噪、求导、形态学处理、复原、分割、分类等提供了基础使用NumPy处理图像，首先要将图像转换成NumPy的数组对象，如代码所示。1.4.2了解NumPy库NumPy是非常著名的Python科学计算基础库之一将图像作为NumPy数组进行处理，并提供很多数字图像处理功能，对像素的操作和图像整体的操作更符合科学计算要求使用skimage读取一幅图像，如代码所示1.4.3了解scikit-image库scikit-image的简称是skimage，skimage也是一个基于Python的数字图像处理库OpenCV支持多种编程语言，如C++、Python、Java等，可在Windows、Linux、macOS、Android和iOS等不同平台上使用与计算机视觉技术有关的OpenCV-Python常用函数如表所示1.4.4熟悉OpenCV库OpenCV是一个开源的计算机视觉库，支持大量与计算机视觉相关的算法，并日益扩展数字图像处理的起源、数字图像处理的应用领域以及数字图像工程与数字图像处理的关系图像的基本知识，包括人眼的视觉系统、数字图像的基本构成和像素间的基本关系若干常见的数字图像处理工具，对它们的性能进行横向对比Python库中常用于数字图像处理的相关库数字图像处理是一门科学技术，强调科学的思维方式和方法。理性思考、严谨求实，关注社会、人文和伦理问题，是开展本课程学习的基本要求。小结第2章图像的基本变换1在图像上绘制图形目录读写图像数据2转换图像的颜色空间3图像几何变换42.1读写图像数据一幅图像需要在空间和灰度上都离散化才能被计算机处理在实际应用中，阵列传感器获取的数字图像如图2‑1所示图2‑1阵列传感器获取的数字图像导言用Python读取一幅图像，需要导入OpenCV模块，它包含数字图像处理的不同算法使用OpenCV中的imread()方法读取图像使用OpenCV中的imshow()方法在指定窗口中显示图像2.1.1读取和显示图像常用的图像文件格式有BMP（Bitmap）、TIFF（TagImageFileFormat）、GIF（GraphicInterchangeFormat）、JPEG（JointPhotographicExpertsGroup）、PDF（PortableDocumentFormat）和PNG(PortableNetworkGraphics)等若想保存结果图像，可以使用OpenCV中的imwrite()方法保存图像2.1.2保存图像1在图像上绘制图形目录读写图像数据2转换图像的颜色空间3图像几何变换42.2在图像上绘制图形line()方法用于在图像上绘制直线，其语法格式如下：2.2.1绘制简单的图形1.在图像上绘制直线2.2.1绘制简单的图形使用line()方法在图像上绘制一条直线，如代码所示circle()方法用于在图像上绘制圆，其语法格式如下：2.2.1绘制简单的图形2.在图像上绘制圆2.2.1绘制简单的图形使用circle()方法在图像上绘制圆，如代码所示rectangle()方法用于在图像上绘制矩形，其语法格式如下：2.2.1绘制简单的图形3.在图像上绘制矩形2.2.1绘制简单的图形使用rectangle()方法用于在图像上绘制矩形，如代码所示putText()方法用于在图像上添加文字，其语法格式如下：2.2.1绘制简单的图形4.在图像上添加文字2.2.1绘制简单的图形使用putText()方法在图像上添加文字，如代码所示在图像上标注出和任务相关的、特定于任务的标签主要包括基于文本的标签（类）、绘制在图像上的标签（边框），甚至是像素级的标签在图像上添加人脸区域的标注和标签，如代码所示2.2.2标注图像中的人脸区域图像标注是计算机视觉任务的关键1在图像上绘制图形目录读写图像数据2转换图像的颜色空间3图像几何变换42.3转换图像的颜色空间人的视觉认知依赖亮度、色调和饱和度这3个基本特征量来区分颜色任何一种颜色都可由其亮度、色调和饱和度来表征形成任何一种颜色的红色量、绿色量和蓝色量被称为三色值，并分别表示为X、Y和Z一种色彩就可以由其三色系数来规定，三色系数定义如下2.3.1了解颜色空间非常典型、常用的面向硬件设备的颜色空间是三基色颜色空间电视、摄像机和彩色扫描仪都是根据RGB颜色空间工作的RGB颜色空间是一种与人的视觉系统结构密切相连的颜色空间2.3.1了解颜色空间1.RGB图2‑8CIE色度图

图2‑9RGB颜色空间灰度图像能以较少的数据表征图像的大部分特征在某些算法的预处理阶段需要将彩色图像转换为灰度图像，以提高后续算法的效率常用的RGB图像灰度化方法有3种：最大值灰度化、平均值灰度化、加权平均灰度化2.3.1了解颜色空间2.灰度空间面向彩色处理的常用的颜色空间是HSI颜色空间，其中H表示色调，S表示饱和度，I表示亮度色调与亮度对应，并与物体的反射率成正比，如果无彩色就只有亮度一个维度的变化HSI颜色空间中的色度可借助以R、G、B为3个顶点的三角形来描述2.3.1了解颜色空间3.HSI与HSV从RGB颜色空间到HSI颜色空间的转换2.3.1了解颜色空间3.HSI与HSV从HSI颜色空间到RGB颜色空间的转换①当H在[)区间内时，转换公式如下②

当H在[)区间内时，转换公式如下③当H在[)区间内时，转换公式如下2.3.1了解颜色空间3.HSI与HSV利用三基色光叠加可产生光的三补色：蓝绿（C，即绿加蓝）、品红（M，即红加蓝）、黄（Y，即红加绿）按一定的比例混合三基色光或将一个补色光与相对的基色光混合可以产生白色光颜料的三基色正好是光的三补色，而颜料的三补色正好是光的三基色一种简单的CMY颜色空间到RGB颜色空间的转换方法如下2.3.1了解颜色空间4.

CMY2.3.2颜色空间的相互转换

OpenCV中提供的cvtColor()方法可以进行图像颜色空间转换，其语法格式如下2.3.2颜色空间的相互转换将RGB空间图像转换为灰度空间图像2.3.2颜色空间的相互转换将RGB空间图像转换为HSV空间图像1在图像上绘制图形目录读写图像数据2转换图像的颜色空间3图像几何变换42.4图像几何变换相同内容的两幅图像可能由于成像角度、透视乃至镜头自身原因所造成的几何失真而呈现出截然不同的外观，给数字图像处理和识别任务带来困难通过适当的几何变换可以最大限度地消除这些几何失真所产生的负面影响图像几何变换又称为图像空间变换，它将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置图像的几何变换包括基本的平移、缩放、旋转和复杂的仿射、透视等2.4.1了解图像的几何变换几何变换常常作为其他数字图像处理应用的预处理步骤图像的平移变换就是将图像中所有的像素坐标分别加上指定的水平偏移量和垂直偏移量假设原本像素的位置坐标为，经过平移量后，坐标变为。其变换公式如下：矩阵表示的坐标关系式为2.4.1了解图像的几何变换1.平移变换图像的缩放变换主要用于改变图像的尺寸，缩放后图像的宽度和高度会发生变化为缩放前坐标，为缩放后坐标，其矩阵表示的坐标映射关系如下：2.4.1了解图像的几何变换2.缩放变换图像的旋转变换就是让图像按照某一点旋转指定的角度旋转后图像的坐标和原图像坐标之间的关系已不能通过简单的加、减、乘法运算得到，而需要通过一系列的复杂运算才能得到设旋转中心为，旋转前的坐标为，旋转后的坐标为，则旋转坐标的变换如下：矩阵表示的坐标关系式为：2.4.1了解图像的几何变换3.旋转变换图像的仿射变换是一种基于平面的变换，它能够保持点的共线性（即保持二维图形之间的相对位置关系不变，平行仍平行、相交直线的交角不变等）和直线的平行性（即变换后圆弧还是圆弧、直线还是直线等）仿射变换中假设原图像的某个像素点为，经过仿射变换后为，那么仿射变换的过程矩阵表示的坐标关系式为：2.4.1了解图像的几何变换4.仿射变换透视变换是空间变换，能够将图像投影到一个新的视平面，也称作投影映射透视变换中假设原图像的某个像素点