计算机视觉 课件 第1章 课程概论

1第一章课程概论§1.1基本概念§1.2发展历史§1.3应用举例2§1.1基本概念一、相关概念二、研究意义3什么是人工智能？什么是人工智能(Artificial

Intelligence,

AI)？机器能够达到人的智能水平，能够像人一样，可以感知外界的事物，并通过自主的思维过程做出有目的、有意义的响应人工智能包括了感知、决策和行动三个方面的能力，这三项能力的运用由机器自主完成，不受人类的直接控制4什么是计算机视觉？什么是计算机视觉？计算机视觉是用算法实现人类视觉能力的学科可划分为三大部分：三维重建、视觉感知和视觉生成，分别对应人类空间感知、场景理解和想象创作的能力5什么是机器学习？什么是机器学习(Machine

Learning,

ML)？机器从已知的经验数据中，通过某种特定的方法，自己去寻找提炼、学习出一些规律提炼出的规律就可以用来判断一些未知的事情6什么是深度学习？什么是深度学习(Deep

Learning,

DL)？基于深度神经网络的机器学习方法深度学习的概念源于人工神经网络的研究，但是并不完全等于传统神经网络深度学习可以说是在传统神经网络基础上的升级，约等于神经网络非深度神经网络深度神经网络7它们之间有什么区别？计算机视觉和人工智能、机器学习、深度学习有什么区别和关系？人工智能泛指使机器达到人类智能水平的技术或系统机器学习和深度学习是实现人工智能的一种途径计算机视觉是一类研究问题，目前主流方法是使用人工智能技术进行解决计算机视觉（Computervision）8计算机视觉的研究意义计算机视觉的应用广泛ComputerVision9计算机视觉的研究意义计算机视觉是学术界发展最快的领域之一是计算机领域论文数量占比最大的子领域在学术论文预印本网站arXiv上每天都有100篇以上的相关论文10计算机视觉的研究意义计算机视觉在工业界也受到很大重视2013年，谷歌以接近5000万美元的价格收购Hinton教授的机器学习公司2019年的《斯坦福2019全球AI报告》提到，当年对人工智能的投资超过了700亿美元，相当于每天都有2亿美元的投资机器学习在中国带动相关产业规模超过千亿11§1.2发展历史一、计算机视觉发展历史二、未来发展趋势12人工智能发展的三起两落计算机视觉的发展历史13对人工智能的空想希腊神话中出现了赫淮斯托斯的黄金机器人和皮格马利翁的伽拉忒亚这样的机械人和人造人；据列子辑注的《列子·汤问》记载，中国西周时期也已经出现了偃师造人的故事；犹太人传说中有具有生命形式的泥人；印度传说中，模仿古希腊罗马自动人形机的设计，用守卫佛祖舍利子制造了机器人武士地球上第一个行走的机器人叫塔洛斯，是个铜制的巨人，大约2500多年前在希腊克里特岛降生在匠神赫淮斯托斯的工坊偃师造人塔洛斯巨人计算机视觉的发展历史141970年代：计算机视觉概念的出现计算机视觉感知，宗旨是模仿人类智能，赋予机器人智能行为最早计算机视觉设计的启发基本来自于人类对神经科学的探索，如休伯尔和维泽尔(1962)从电生理学的角度对猫大脑视觉系统的研究，发现视觉初级皮层的神经元对移动边缘的刺激更加敏感，对边缘检测算法提供了启发；同时，他们发现视觉皮层对信息的处理呈现层级结构，在视觉初级皮层提取的是物体简单的形状的信息，在高级皮层得到抽象的信息，提出感受野概念，自此，计算机视觉具备了必要的理论基础，开始踏上科学舞台计算机视觉的发展历史151970年代：与数字图像处理的区别计算机视觉与数字图像处理的区别在于其渴望从图像中还原世界的三维结构，并以此为起点实现对整个场景的深入理解，系统输出不再局限于图像，而是转化为丰富的知识计算机视觉的发展历史161974-1980：人工智能的第一个寒冬70年代初，人工智能研究者们遭遇了无法克服的基础性障碍，即使是最杰出的人工智能程序也只能解决它们尝试解决的问题中最简单的一部分1973年针对英国人工智能研究状况的报告批评了人工智能在实现其“宏伟目标“上的完全失败，并导致了英国人工智能研究的低潮1974年，已经很难再找到对人工智能项目的资助计算机视觉的发展历史171980-1987：人工智能的第二次潮流1978年，第一个投入商用的人工智能专家系统XCON诞生，用于电脑销售过程中为顾客自动配置零部件到了80年代，名为“专家系统”的AI程序开始为全世界的公司所采纳，而“知识处理”成为了主流AI研究的焦点专家系统能够依据一组从专门知识中推演出的逻辑规则在某一特定领域回答或解决问题1981年，日本经济产业省拨款八亿五千万美元支持第五代计算机项目，其目标是造出能够与人对话，翻译语言，解释图像，并且像人一样推理的机器计算机视觉的发展历史181982：信号处理系统的三个层次描述计算理论层：视觉计算(任务)的目标是什么？已知或可能影响问题的约束是什么？表示和算法层：为了完成计算理论，需要如何表示系统的输入、输出和中间信息，以及使用哪些算法来计算期望的结果？随着深度学习的兴起，如何设计高效的算法成为受关注的热点硬件实现层：如何将表示和算法映射到实际的硬件上，例如机器人系统或专用芯片？或者如何使用硬件约束来指导表示和算法的选择？随着图形芯片（GPU）和计算机视觉的多核架构的普及，这个问题变得愈发重要经过了数十年的发展，计算机视觉领域仍然延续着马尔在上世纪七十年代提出的三个层面（计算理论、表达和算法、硬件实现）的研究计算机视觉的发展历史191986：BP神经网络模型自1969年以来，因为以感知器为代表的线性分类器不能解决非线性分类问题，导致了整个统计模式识别领域陷入低潮直到1986年美国认知神经学家Rumelhart等人提出误差反向传播的多层次神经网络模型BP模型后，计算机视觉才迎来了另一个发展的高潮计算机视觉的发展历史201987-1993：人工智能的第二次寒冬1987年，在硬件市场需求的增加下，Apple和IBM生产的台式机性能不断提升，到1987年时其性能已经超过了其他厂家生产的昂贵的专家系统，老产品失去了存在的理由而专家系统维护费居高不下且难以升级，日本“第五代工程”失败，美日等主要国家都削减了人工智能经费计算机视觉的发展历史211995：支持向量机(SVM)由于BP算法能够处理的神经网络不能太复杂，其模型本身又是高度非线性的，因此，在可解释性和工程应用效果方面都受到很大的局限1995年由前苏联统计学家和数学家Vapnik等人提出的支持向量机，作为一种理论基础严密，优化目标明确，扩展能力强大的模式识别算法，取得了极大的成功计算机视觉的发展历史分类间隔221993-2012：人工智能的爬坡期1995年，Vapnik等人提出支持向量机SVM1997年，IBM的深蓝战胜国际象棋世界冠军卡斯帕罗夫2006年，李飞飞意识到了数据的重要性，开始牵头构建大型图像数据集—ImageNet，图像识别大赛由此拉开帷幕2006年，Hinton等人提出深度学习，重新点燃人们对神经网络的兴趣计算机视觉的发展历史232006：深度神经网络虽然与支持向量机同属统计模式识别算法，但神经网络模型由于面临性能提升和计算量巨大的压力，发展十分缓慢直到计算机技术、网络技术的快速发展在算力和数据量上做好了准备，算法理论又在

2006年由Hinton等人取得了突破性进展，结构复杂的大规模神经网络才得以实现，并以深度学习技术为核心引领着当今人工智能发展的新一轮浪潮计算机视觉的发展历史242012-现在：人工智能的爆发期2012年，Hinton课题组通过构建CNN网络AlexNet一举夺得ImageNet竞赛冠军，碾压第二名（SVM方法）的分类性能2016年，DeepMind公司开发的AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜计算机视觉的发展历史252012-现在：人工智能的爆发期（大模型时代）2021年，OpenAI推出文本到图像模型DALL·E，越来越多的大公司开始涉足这一领域，包括谷歌在2022年推出了Imagen和Parti2023年，OpenAI推出GPT-4V(ision)将额外的模式(如图像输入)纳入大型语言模型，被视为人工智能研究和发展的关键前沿计算机视觉的发展历史262012-现在——人工智能的爆发期（大模型时代）2024年1月，斯坦福大学发布家务机器人MobileALOHA，具有前景广阔的应用潜力，让人们看到了机器人真正走进千家万户的可能性2024年2月，OpenAI开发的文本生成视频模型Sora，为理解和模拟现实世界奠定基础，被认为是实现通用人工智能的重要步骤计算机视觉的发展历史27计算机视觉三元素：数据、算法和算力从数据层面，高质量的大规模注释数据集的开发是深度学习发展的基础，如ImageNet，MicrosoftCOCO、LVIS等。视觉-语言的多模态任务也逐渐走入人们的视野，LAION-5B包含58.5亿图像-文本对，是世界最大规模多模态数据集从算法层面，Transformer结构在计算机视觉领域的扩展——DeiT、SwinTransformer等为解决计算机视觉任务提供了新的范式。近期的生成式大模型全部都是基于Transformer结构的工作，如GPT、LLaMA、LLaVA等。算法的发展进一步促进了大模型的产生从算力层面，GPU架构、AI芯片以及英伟达CUDA架构的完善为深度学习大模型的发展提供了算力基础，再加上arXiv上及时发表的观点的快速传播，以及深度学习语言的发展和神经网络模型的开源，所有这些都促进了这一领域的爆炸式增长计算机视觉的发展历史28特征表示是计算机视觉发展的核心推动力最早的自动人脸识别系统1991首个实时人脸检测系统2001长期蝉联目标检测国际竞赛冠军2007首次实现图像分类性能超过人类20151987Eigenface特征用于人脸识别1998Haar特征级联用于人脸检测2005HOG特征用于目标检测2012深度神经网络用于特征表示29更加通用、透明、安全的人工智能现有的每个人工智能模型只能处理少数几个任务弱人工智能->强人工智能：同时应对不同层面的问题，具有自我学习、理解复杂理念等多种能力未来发展趋势大规模数据模型设计与训练下游视觉任务任务1任务2任务330更加通用、透明、安全的人工智能深度学习系统包含大容量的输入变量，很难让人们理解哪一个输入会影响深度学习系统的结果人工智能思考和处理问题的方式与人类风格迥异，人类理解深度神经网络的思考方式十分困难未来发展趋势预测结果：皮鞋为什么模型预测成皮鞋？31更加通用、透明、安全的人工智能深度学习的发展不可避免地促进了人脸替换、图片伪造、视频合成技术的以假乱真，是公共安全的潜在威胁模式识别已成为工业自动化和智能化的关键核心技术，然而基于深度学习的模型很容易受到攻击未来发展趋势32§1.3应用举例一、人脸识别二、目标检测三、目标跟踪四、语义分割五、超分辨率33计算机视觉技术深入到国家发展的方方面面计算机视觉应用广泛国防军事交通运输监控维稳航空航天工业制造智能家居34为什么进行人脸识别社会管理：安防监控，交通管制，金融服务，人脸闸机个人生活：刷脸考勤，便捷支付，身份认证，人脸美颜人脸识别35技术强警2017年，无锡市公安局依托动态人脸识别系统抓获一名在逃人员，这次识别和抓捕仅用了25分钟人脸识别系统，可以满足警方的两个实际需求:用嫌疑人的照片在海量视频中“以图搜图”在超大的人口库中定位嫌疑人人脸闸机刷脸登机，让出行更简单杜绝使用他人身份购票等行为人脸识别36便捷支付刷脸付款，让支付更便捷结合活体检测等技术，有效避免身份冒用节省排队时间，增强消费体验口罩人脸识别在后疫情时代，口罩人脸识别技术，能够在口罩遮挡情况下进行人脸识别，增加了安全性与便捷性辅助进行人脸定位以及测温人脸识别37什么是目标检测？找出图像或视频中人们感兴趣的物体，并同时检测出它们的位置和大小包括分类问题和定位问题，是属于多任务问题目标检测38行人检测应用在自动驾驶、视频监控、刑事侦查等诸多领域难点在于小尺寸行人、行人密集且遮挡、检测算法速度等目标检测39人脸检测应用在数码相机微笑检测，电子商务刷脸，手机应用面部化妆等领域难点在于人脸姿态变化大、脸部遮挡、多尺度检测等目标检测40文本检测包括文本定位与文本识别两个子任务帮助视障人士阅读路牌或货币、数字地图的构建（门牌号和街道标识）难点包括字体与语言差异大、文本旋转与透视变化、文本密集、字体缺失与模糊等目标检测41交通信号检测包括二维检测与三维检测应用于自动驾驶、交通状态监控等领域难点包括照明变化、标志模糊、雨雪天气拍摄质量下降等目标检测交通标志检测2D和3D示例42遥感目标检测应用在军事侦查、灾害救援、城市交通管理等领域难点包括遥感图像分辨率巨大、目标遮挡问题以及不同传感器捕获的遥感图像差异大等目标检测43人机交互通过跟踪技术，识别和理解人的姿态、动作、手势等能力目标跟踪44机器人视觉导航在智能机器人中，用于计算拍摄物体的运动轨迹目标跟踪45虚拟现实虚拟环境中丰富的3D交互和虚拟角色动作模拟目标跟踪46医学诊断应用在超声波和核磁序列图像的自动分析中，获取超声波序列图像中目标在几何上的连续性和时间上的相关性目