图像理解及计算机视觉

CONTENTS–课程设置状况-教学目标与要求-课程内容与学时支配-教材–参考资料–相关课程–课程网址–成果评定–试验平台与开发工具-图像理解-图像分析课程简介课程介绍课程编号：1020299课程名称：图像理解与计算机视觉英文名称：ImageUnderstanding&ComputerVision

开课单位：测绘与地理信息学院

开课学期：2016-2017年第一学期课内学时：36学时

教学方式：讲课与自学适用专业：测绘科学与技术

考核方式：课程报告预修课程：数字摄影测量与遥感信息处理、数字图像处理、计算机图形学目标：《图像理解与计算机视觉》是一门涉及多个交叉学科领域的课程。本课程侧重于图像理解和计算机视觉中的基本理论，课程主要侧重对图像处理、目标识别以及计算机视觉方面的理论和应用进行系统介绍。目标是使学生学习了本课程之后，对图像理解和计算机视觉的基本理论，尤其是图像处理的概念、基本原理以及解决问题的基本思想方法有一个较为全面的了解和领悟；学习计算机视觉的基本理论和技术，了解各种智能图像处理与计算机视觉技术的相关应用；具备解决智能化检测与识别等应用问题的初步实力，为以后从事模式识别、计算机视觉、测绘科学、多媒体技术等领域的探讨与工程建设打下扎实的基础一、教学目标与要求要求：1.理解图像分析与图像理解的基本概念与基本内容；2.2.了解人类视觉系统基本构造，娴熟驾驭视网膜的构造和功能以及人类视觉模型；3.了解人类视觉的认知模式（模板匹配、特征分析、结构描述等）；4.娴熟驾驭基于边界和区域的基本图像分割技术以及图像分割的评价方法和测度。5.驾驭纹理分析统计方法和从纹理复原形态。6.娴熟驾驭图像目标的边界、区域特征的表达、测量及描述方法和图像分类识别的不同方法。7.驾驭计算机视觉计算理论，了解计算机视觉信息系统模型；了解具体的智能图像信息分析系统。一、教学目标与要求1．绪论(2学时)介绍课程、图像处理的基本概念和图像理解的基本内容和内涵。2．图像与视觉系统(2学时)人类视觉系统基本构造和模型，亮度视觉与颜色视觉的基本概念、模型及视觉特性。3．图像分析出和图像变换(4学时)图像信号的数学表示，图像的采样和量化，图像像素的基本概念及相关概念，基本图像运算，图像的线性系统理论，二维傅立叶变换及其基本性质，快速傅立叶变换，离散余弦变换，离散沃尔什变换，K-L变换，离散小波变换以及其他的二维正交变换。4．图像增加与复原(4学时)图像的空域增加技术，频域增加技术，图像退化的基本模型及图像复原的基本思想，图像复原的基本技术。5．彩色和多光谱图像处理(2学时)彩色图像处理（增加和复原等），基于颜色特征的图像检索，多光谱图像处理，影像融合，遥感超光谱图像处理二、课程内容与学时支配6．图像分割(4学时)视觉认知模式，基于边缘的图像分割技术，基于区域的图像分割技术，图像分割评价。7．纹理分析(4学时)纹理分析统计方法，有序纹理的结构分析，基于模型的纹理分析，从纹理复原形态。8.图像识别(4学时)图像目标特征的提取与表达，图像目标特征的描述，图像目标的分类和估计。9．图像识别应用(2学时)图像特征分析、分割与识别，雷达图像处理与识别，地学遥感图像分析与识别。10．计算机视觉的高层感知(6学时)计算机视觉计算理论、计算机视觉的基本概念；Marr视觉计算理论；计算机视觉的应用；计算机视觉的探讨内容与面临的困难、与其它学科的关系。二、课程内容与学时支配【1】MilanSonka(美)等著，艾海舟等译.图像处理分析与机器视觉（其次版）.北京：人民邮电出版社.2003.

【2】R.C.Gonzales(美).阮秋琦等译.数字图像处理.北京：电子工业出版社，2004.

【3】R.C.Gonzales(美).阮秋琦等译.数字图像处理（MATLAB版）.北京：电子工业出版社，2004.

【4】章毓晋著.图像工程（下册）.北京：清华高校出版社.2006.举荐教材《图像工程(第3版)》《图像工程(下册):图像理解(第3版)》《图像处理、分析与机器视觉(第3版)》《计算机视觉:一种现代方法(第2版)(英文版)》《学习OpenCV》《数字图像处理与机器视觉:VisualC++与Matlab实现》《特征提取与图像处理(第2版)》《数字图像处理(第3版)》三、教材参考资料–EmanueleTrucco,AlessandroVerri,"IntroductoryTechniquesfor3-DComputer

Vision",PrenticeHall,1998.

–MubarakShah,"FundamentalsofComputerVision",

/courses/cap6411/book.pdf

–OlivierFaugeras,"ThreeDimensionalComputerVision",MITPress,1993

–RichardSzeliski，”ComputerVision:AlgorithmsandApplications”,2009,

://research.microsoft/en-us/um/people/szeliski/Book/

–“PatternClassification(2ndEdition)”,byR.O.Duda,P.E.Hart,andD.G.Stork,

Wiley-Interscience,2000.

–“PatternRecognitionandMachineLearning”,byChristopherM.Bishop,2006

–MichaelI.Jordan,“AnIntroductiontoProbabilisticGraphicalModels”

参考资料–InternationalJournalofComputerVision(IJCV)

–IEEETransactiononPatternAnalysisandMachineIntelligence(TPAMI)

–IEEEInternationalConferenceonComputerVisionandPatternRecognition

(CVPR)

–IEEEComputerSocietyInternationalConferenceonComputerVision(ICCV)

–其他国际期刊和会争论文：

•ComputerVisionandImageUnderstanding(CVIU)

•PatternRecognitionLetters(PRL)

•ECCV

•……

参考资料–Google探讨组

•ImageProcessingandComputerVision

–://groups.google/group/ipcv

–GoogleScholar

•://scholar.google

–GoogleSearchEngine

–IEEEexplorer

–CVPRpapersontheWeb

–ICCVpapersontheWeb

–ECCVpapersontheWeb

参考资料–Videolectureonweb

•“ComputerVision”,byAndrewBlake,MicrosoftResearch

–:///mlas06_li_gmvoo/

•“GenerativeModelsforVisualObjectsandObjectRecognitionviaBayesianInference”byFei-FeiLi,PrincetonUniversity

•“MachineLearninginVision”,byBillTriggs,LaboratoireJeanKuntzmann

–Youtube-Googletechtalk

•“IM2GPS:estimatinggeographicinformationfromasingleimage”,CVPR2008

–://youtube/watch?v=dgif39IKT9A

•“MachineLearning(Stanford)”

–://youtube/watch?v=UzxYlbK2c7E&feature=related

•“LookingatPeople”,byDavidForsyth

–://youtube/watch?v=xMNIxKy3MG0

•“UTokyo'se-HeritageProject:3DModelingofHeritageSites”

–://youtube/watch?v=DPiMJkZ0YKI

•“LearningandRecognizingVisualObjectCategories”,byDanHuttenlocher

–FreeUniversityLectures

•VisionAlgorithms:

–:///education/courses/577/04sp/contents.html#BP

成果评定——平常作业（50%）：

•4~5个编程练习

•每次作业在一周内提交

——期末课程项目（Project）和报告（50%）：

•依据讲课内容完成一个project，提交项目报告、试验程序、试验结果和演示等。

•课程项目和报告在课程结束后一周内提交。

四、其他

–Matlab

–OpenCV

•:///projects/opencvlibrary/

•://中文网站

•OpenCV是Intel发起的开源计算机视觉库，直至OpenCV1.0发布,现在由WillowGarage供应支持

(://opencv.willowgarage/documentation/index.html)。

•它由C/C++实现，支持跨平台（Linux，Windows），供应了图像处理、计算机视觉和模式识别等方面的很多通用算法

•OpenCV拥有包括300多个C函数的跨平台的中、高层API。它不依靠于其它的外部库——尽管也可以运用某些外部库。

•OpenCV对非商业应用和商业应用都是免费（FREE）的。

•最新版本：OpenCV_2.0.0a

•应用例子：

–人脸检测

五、试验平台与开发工具：就是对图像的语义理解。它是以图像为对象，学问为核心，探讨图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。图像理解属于数字图像处理的探讨内容之一，属于高层操作。其重点是在图像分析的基础上进一步探讨图像中各目标的性质及其相互关系，并得出对图像内容含义的理解以及对原来客观场景的说明，进而指导和规划行为。图像理解所操作的对象是从描述中抽象出来的符号，其处理过程和方法与人类的思维推理有很多相像之处。图像理解（imageunderstanding,IU）就是对图像的语义理解。它是以图像为对象，学问为核心，探讨图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。图像理解属于数字图像处理的探讨内容之一，属于高层操作。其重点是在图像分析的基础上进一步探讨图像中各目标的性质及其相互关系，并得出对图像内容含义的理解以及对原来客观场景的说明，进而指导和规划行为。图像理解所操作的对象是从描述中抽象出来的符号，其处理过程和方法与人类的思维推理有很多相像之处。图像理解（imageunderstanding,IU）图像理解是探讨用计算机系统说明图像,实现类似人类视觉系统理解外部世界的一门科学,所探讨的问题是为了完成某一任务须要从图像中获得哪些信息,以及如何利用这些信息获得必要的说明,图像理解的探讨涉及和包含了探讨获得图像的方法、装置和具体的应用实现。对图像理解的探讨始于世纪年头初,探讨初期以计算机视觉巧为载体,计算机视觉机器视觉简洁的说就是探讨用计算机来模拟人类视觉或灵长类动物视觉的一门科学,由图像数据来产生视野环境内有用符号描述的过程,主要探讨内容包括图像的获得、图像处理、图像分析、图像识别,图像包括静态图像和动态图像视频,包括二维图像和立体图像计算机视觉的输入是数据,输出也是数据,是结构化或半结构化数据和符号。识别是传统计算机视觉的目的,即要得到图像中有什么这一结论。图像理解是当前计算机探讨领域的热点和难点,其根本任务就是让计算机正确说明所感知的图像场景以及场景中的内容,图像理解与计算机视觉、与人工智能有着亲密的联系,具有重要的理论探讨意义和广袤的应用前景。图像理解具有显明的层次性,作为图像理解的低层数据的是视觉信息,理论动身点是计算机视觉,作为图像理解的高层数据是学问信息,理论依据动身点是人工智能。图像理解中视觉数据和人类学问两种类型的信息流贯穿图像理解的整个过程,但是目前对这两种类型的数据和信息流的探讨基本上是割裂的,忽视了学问和数据之间的融合,忽视了低层处理和高层分析的联系。图像理解（imageunderstanding,IU）图像理解的潜在应用包括：1.智能视觉监控：2.图像检索3.图像补充信息和特征是图像理解最基本的处理和分析对象，是完成目测识别、场景分类以及语义分析推理等任务的先决条件。图像信息表示的基本形式独立于图像内容本身，主要表示的是图像基本信息和以何种数据类型存储于计算机中。（即通过一些对应关系，使得学问得以指导图像理解）图像特征依靠于图像内容，特征提取旨在获得图像中视觉特征信息，削减视觉特征数据量。提取特征要尽量反应目标的本原特性。图像特征对图像理解的效果有重要影响。图像理解（imageunderstanding,IU）图像理解与人工智能亲密相关,人工智能简洁的说就是探讨用计算机模拟人脑、模拟人类智能的一门科学,传统的人工智能以人类的学问为对象,探讨学问的表示、存储、推理,以及获得新的学问。传统的人工智能是在己有学问系统的基础上对学问结构关系,语义网络,通用匹配,推断决策,产生式系统,问题求解,规划限制反馈和阅历学习的探讨。随着计算机视觉和人工智能学科的发展,相关探讨内容不断拓展、相互覆盖,图像理解既是对计算机视觉探讨的延长和拓展,又是人类智能的探讨新领域,渗透着人工智能的探讨进程,近年来已在工业视觉、人机交互、视觉导航、虚拟现实、特定图像分析说明以及生物视觉探讨等领域得到了广泛应用。总之,图像理解的内容相当丰富,涉及面也很宽,是一门新兴的综合学科。定义：用图像分析一般利用数学模型并结合图像处理的技术来分析底层特征和上层结构，从而提取具有确定智能性的信息。图像分析同图像处理、计算机图形学等探讨内容亲密相关，而且相互交叉重叠。但图像处理主要探讨图像传输、存储、增加和复原；计算机图形学主要探讨点、线、面和体的表示方法以及视觉信息的显示方法；图像分析则着重于构造图像的描述方法，更多地是用符号表示各种图像,而不是对图像本身进行运算,并利用各种有关学问进行推理。图像分析与关于人的视觉的探讨也有亲密关系，对人的视觉机制中的某些可辨别模块的探讨可促进计算机视觉实力的提高。图像分析（Imageanalysis）分析过程如图为一个分级的图像分析过程的图像分析模型。图像分析基本上有四个过程。①传感器输入：把实际物景转换为适合计算机处理的表达形式，对于三维物景也是把它转换成二维平面图像进行处理和分析（见图像表示）。②分割：从物景图像中分解出物体和它的组成部分（见图像分割）。组成部分又由图像基元构成。把物景分解成这样一种分级构造，须要应用关于物景中对象的学问。一般可以把分割看成是一个决策过程，它的算法可分为像点技术和区域技术两类。像点技术是用阈值方法对各个像点进行分类，例如通过像点灰度和阈值的比较求出文字图像中的笔划。区域技术是利用纹理、局部地区灰度对比度等特征检出边界、线条、区域等，并用区域生长、合并、分解等技术求出图像的各个组成成分。此外,为了进一步考察图像整体在分割中的作用,还探讨出松弛技术等方法。③识别：对图像中分割出来的物体给以相应的名称，如自然物景中的道路、桥梁、建筑物或工业自动装配线上的各种机器零件等。一般可以依据形态和灰度信息用决策理论和结构方法进行分类，也可以构造一系列已知物体的图像模型，把要识别的对象与各个图像模型进行匹配和比较。④说明：用启发式方法或人机交互技术结合识别方法建立物景的分级构造，说明物景中有些什么物体，物体之间存在什么关系。在三维物景的状况下，可以利用物景的各种已知信息和物景中各个对象相互间的制约关系的学问。例如，从二维图像中的灰度阴影、纹理变更、表面轮廓线形态等推断出三维物景的表面走向；也可依据测距资料，或从几个不同角度的二维图像进行景深的计算，得出三维物景的描述和说明。图像分析（Imageanalysis）用模式识别和人工智能方法对物景进行分析、描述、分类和说明的技术，又称景物分析或图像理解。20世纪60年头以来，在图像分析方面已有很多探讨成果，从针对具体问题和应用的图像分析技术渐渐向建立一般理论的方向发展。图像分析同图像处理、计算机图形学等探讨内容亲密相关，而且相互交叉重叠。但图像处理主要探讨图像传输、存储、增加和复原；计算机图形学主要探讨点、线、面和体的表示方法以及视觉信息的显示方法；图像分析则着重于构造图像的描述方法，更多地是用符号表示各种图像,而不是对图像本身进行运算,并利用各种有关学问进行推理。图像分析与关于人的视觉的探讨也有亲密关系，对人的视觉机制中的某些可辨别模块的探讨可促进计算机视觉实力的提高（见机器视觉）。

图像分析（imageanalysis）和图像处理（imageprocessing）关系亲密，两者有确定程度的交叉，但是又有所不同。图像处理侧重于信号处理方面的探讨，比如图像对比度的调整、图像编码、去噪以及各种滤波的探讨。但是图像分析更侧重点在于探讨图像的内容，包括但不局限于运用图像处理的各种技术，它更倾向于对图像内容的分析、说明和识别。因而，图像分析和计算机科学领域中的模式识别、计算机视觉关系更亲密一些。

图像分析一般利用数学模型并结合图像处理的技术来分析底层特征和上层结构，从而提取具有确定智能性的信息。

留意：图形不等同于图像，图形只表达了视觉，图像表达了视觉与知觉。目前探讨热点：图像检索、三维重建、复原、高辨别率的计算与压缩。数字图像处理主要探讨的内容有以下几个方面：1）图像变换由于图像阵列很大，干脆在空间域中进行处理，涉及计算量很大。