清华大学《计算机视觉》课程教案课件Ch1概述

computer vision 1计算机视觉清华大学计算机系computer vision 2第一章 概述1.1 什么是计算机视觉 计算机视觉是一门综合性的学科l 其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等 是重大挑战（ grand challenge）l “计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起 ”computer vision 31.1.1 人类视觉 视觉是人类最重要的感觉l 敏感 (sensation)-感觉 ( perception)-认知(cognition)l 感觉是人的大脑与周围世界联系的窗口l 人类认识外界信息的 80%来自视觉l 视觉在各种感觉中占支配地位 视觉是思维的一种最基本的工具l 视觉和听觉中的形状 ,色彩 ,运动 ,声音被结合成各种明确的和高度复杂 ,多样化的空间和时间的组织结构 .为理智活动提供了媒介和环境l 形象思维 ,心理意象 ,记忆computer vision 41.1.1 人类视觉 视觉是复杂的信息处理过程l 视觉中的各种恒常性 : 大小 ,明度和颜色 ,运动恒常性 视觉思维l 视觉器官 -眼睛接受外界的刺激信息 ,而大脑对这些信息通过复杂的机理进行处理和解释使这些刺激信息具有明确的物理意义computer vision 5视觉理解的任务：发现景物中有什么物体，它们的形状和材料是什么，它在什么地方，他在干什么computer vision 6背景与物体 (前景 )的分割，人脸图象的检测，人脸识别，表情的识别，手势的识别computer vision 71.2 视觉的计算理论computer vision 81.2 视觉的计算理论 视觉信息处理中的主要矛盾l 聚类过程与因素分解过程的关系 马尔 (Marr)的视觉计算理论l 基于重构的视觉处理方法l 视觉是信息处理过程l 描述是由不同层次的表象 (representation)组成l 三个层次的表象 格式塔 (Gestalt)视觉理论l 基于对理的视觉处理方法computer vision 9计算机视觉 什么是视觉l 视觉是一个从图象发现外部世界中有什么物体和物体在什么地方的过程 ,也就是产生对观察者有用的描述l 从输入的图象到对外部世界的描述之间存在巨大的间隔l 视觉是一系列的信息处理任务 计算机视觉l 计算机视觉是用各种成象系统代替视觉器官作为输入敏感手段 ,有计算机代替大脑完成处理和解释 ,为计算机和机器人开发具有人类水平的视觉能力 计算机视觉的重要性l 使计算机向人靠拢l 使机器人具有人具有的适应环境和自主决策的能力computer vision 10计算机视觉的研究领域 信号处理l 把输入图象转换成具有所希望特性的另一幅图象 模式识别（图象识别）l 模式识别技术根据从图象抽取的统计特性或结构信息，把图象分成予定的类别 图象理解（景物分析）l 给定一幅图象，图象理解程序不仅描述图象本身，而且描述和解释图象所代表的景物，以便对图象代表的内容作出决定computer vision 111.3 计算机视觉研究方法的发展1.3.1 自底向上的方法1.3.2 图象分割1.3.3 启发式知识1.3.4 高层知识computer vision 121.3.1 自底向上的视觉处理方法 通常认为 Roberts Rob 65l 他研究了根据图象来理解由多面体积木块构成的景物（以后常称为积木世界）的方法l 处理过程 : 予处理去除噪声； 对图象灰度作一阶空间微分；选择灰度微分值高的象素作为边缘点； 连接相邻边缘点，并对短的边缘作平滑处理 然后把边缘点用最小均方差的方法连接成直线 物体可看成是这些基元经过变换以后得到的一个实例。变换包括沿三个轴的旋转、比例和投影等。组合的多面体可看成是由若干个简单的多面体粘合而成。computer vision 13computer vision 14computer vision 151.3.3 利用启发式知识的方法l 根据顶点的类型就可以得到关于物体区域之间关系的局部线索。例如， Psi类型的顶点（指交汇在此顶点的几条线形成 形状）经常出现在二块柱状积木对准摆放时的情况图 1.4 链围绕顶点的排列 AI & A P.230, fig. 8-31computer vision 161.3.4 利用高层知识的方法 顺序的自底向上的视觉处理方法遇到的严重困难是图象分割l 但只有理解了线画图以后才能得到完美的线画图。是先分割，还是先理解？l 解决方法 利用关于特定物体或特定种类物体的专门知识来帮助解释输入数据。这些专门知识也可称为是语义的知识 在不知道图象中是些什么物体的条件下，二维的灰度图象到底能提供什么样的信息 。l 例如，人是通过用双目观察事物来获取深度信息的，那么人是在识别出看到的是什么物体以前就获取了深度信息的呢？还是不论是否知道看到的是什么物体都能获得深度信息呢？computer vision 17图 2.16 随机立体图对computer vision 181.4 人类视觉与计算机视觉的比较 建立与人类视觉系统向比拟的通用视觉系统的困难l 图象对景物的约束不充分l 多种因素在图象这相互混淆 表面材料的性质 光照 观察角度 物体形状l 人类不能自省视觉的过程l 图象信息的数据量大computer vision 19computer vision 201.4 人类视觉与计算机视觉的比较 从进化的观点来说 ,生理系统是人类解决复杂问题的最好的百科全书 人类视觉系统的特点l 深度感觉的首要性l 感知是自动进行的过程l 感知中的启发式知识 刚体假设computer vision 21 “计算机视觉 ”讲义 ,清华大学计算机系 ,参考书 （ 1） D.Marr, Vision, Freman, 1982, 中译本，视觉的计算理论，姚国正，刘磊，汪云久译，科学出版社， 1988。 （ 2） D. H. Ballard, and C. M. Brown, Computer Vision, Prentice-Hall Inc. 1982.(或，巴拉德和布朗，计算机视觉，科学出版社， 1984)。 （ 3） A. Murat Tekalp, Digital Video Processing, Prentice Hall, PTR, 1995.(有中译本 ) （ 4）马颂德，张正友，计算机视觉，科学出版社，1998。computer vision 22 （ 3） M. D. Levine, Vision in Man and Machine, McGraw-Hill Book Company, 1985。 （ 4） D.Lowe, Perce