智能科学技术导论-周乐昌-第05讲视觉感知

1、第05讲视觉感知导语在人类心智的机器模似研究中,恐怕没有那个方面 像在视觉上那样取得如此巨人的实际应用性成功了。不 仅如此，视觉感知能力是人类获取环境信息的主要渠道, 在人类感知外部世界中起者举足轻重的作用。因此，作 为对人类心智模拟的首要方面，也作为机器感知的典型 代农，我们就从机器视觉方面來还是我们智能科学研究 的讲述。为此，首先还是让我们具体先来看一看人类丰 富的视觉现彖吧！第5.1节视觉机制在漫长的进化历程中，我们发展了粘:妙的视觉系统, 使得我们的视觉能力适应在复杂环境小获取有益于更 好生存的视觉信息。因此，对于视觉而言，捕捉环境变 化中的意义是第一位的，而没冇意义的视觉信息是可以

2、被忽略的，事实上也确实被忽略了。英国心理学家 gregrory在teyesand brains一-书中指出：“感官接受 的是牛动的图案，但是我们很少看图案，我们看的是事 物。相对来说，图案是无意义的标记的组合，而事物除 了具有感官特征以外，还有许多其它特征。”对于人类视觉系统这种关注事物意义何忽略无意 义的视觉信息的功能，几乎发展到了无以复加的地步。 美国心理学家卡洛琳布鲁墨在视觉原理一书的开 头就强调指出：“人的头脑从外来的刺激中“毫无节制” 地产生着含意。这是一个事实，你所无法逃脱的过程， 不管你愿意或不愿意都在发生着的活动。你的头脑不断 赋了外界事物以含意一一以致有时候这些含意木不存 在

3、，完全是你的幻想创造出來的。”读者或许在生活中早有这样的经验：从天上的飘云中看 出各种你所熟悉的造形；在斑驳的墙上看到了人物肖像、 各种动作各异的动物形体；其至还会为h然界形成的奇 石怪峰，牵强附会地来冠以石猴、石龟、二郎探母等名 号，等等。无 11生有的视觉示例 不仅如此，对于一幅视觉图案，含义的理解还存在 着画而意义和画外z音的区分。例如就以右图而言，光 凭图案木身的识别并不能得出其所要发生的一切内容， 只冇根据知识和经验并加以推断，才能获得更全面的意 义领会，其中包括那只卢鸟鹤随时将会捕捉水中小鱼的预 期意义。有时，视觉图案的意义往往存在多重选择性，对其 含义的确切把握不仅依赖于主观心理

4、定势，而也依赖 丁图案本身所提供视觉刺激的微小变化。例如对于图右, 你可以看作是一位标致的年轻女子微微转过脸去的侧 身像，乂可以看作是一位老妇人的侧身像。-条觅食的鬣狗但如果给图案稍稍改变；那么你就不再会有这种二 难选择的困难了，参下面的兔鸭图（b）。此时图（a） 只能被理解为鸭了而图（c）也只能被理解为兔了。说明这种“无中生意”的极好例子是“他在长椅上的男人”幻像。如图所示，除了 一些在黑背景中的口斑块外, 原本什么也没有画，但您却能从这幅图屮看出意义来: -位坐在长椅上的男人形彖。其实这也不是什么新鲜事,当然，对于有多种理解的情形，有吋主观意向或意 念也会起到重要作用。只有当一个意念，在一

5、定的环境 因素触动之下，被动的图案及其环境与其发生关系时, 才会突现出來，成为授终理解的结果含义。遗憾的是，我们对人类的这种视觉理解的发牛机制 的规律还知z不多，但有一点可以肯定的，这其中包含 了非线性突变的因素，即微小的扰动町以引起完全不同 的理解结果。这种现象我们也称之为蝴蝶效应，指的是 对初始条件的敏感依赖性，是不可预测性的。所谓“差之 毫厘，失之千里”指的就是这种效应。西方有一首民谣唱 到：钉了缺，蹄铁卸；蹄铁卸，战马蹶； 战马蹶，骑士绝；骑士绝，战事折； 战事折，国家灭。形象生动地讲的也就是这个道理。图案多重理解的困难还不仅于此，有时对于歧义图 案的多重选择也存在歧义。也就是说不是所

6、有的歧义图 案都具有确定的几种含义对供选择，有时连有几种意义 木身也是含糊不清的。下一页给出了三种不同类型的歧 义图案，其中（a）图属于“含糊不清”型歧义图，你无 法知道应该将此图案理解为几个人脸；（b）图则属于 “多重选择”型歧义图，其具冇二个相互独立的并是排 他性的含义，主观理解了其一种含义就不会产生第二种 含义；（c ）图属于“一图双关”型歧义图，就象一语双 关的句子一样，其同时给出了二个以上含义。于此可见, 歧义图案的理解问题远远要比我们想象的还要复杂，而 这一切又不过只是我们全部视觉思维机制的一部分。la 冇多少张人脸?b人号演奏家还是美女c既是箭头又是小人在视觉图案的理解把握中，除

7、了对意义本身理解困 难外，在视觉思维中还有一个机器所要面临的更大困难, 那就是机辭如何能象人类那样具备观看图案的意图。很 明显，图案隐含着一定的含义这是意义把握问题；而观 察者愿意不愿意以及基于什么样的目的去理解图案则 是观察者的意图问题，这种观察意图直接影响了对图案 的理解结果。7/4/rar有时即使遇到像右图那样具有不可整合的认知图 例，在无法完成冇意义形彖的感知时，我们的视觉系统 也不会一味地死心眼陷于困境而不能口拔，而是会产生 一个新的意图跳出任务，t脆不再去作无谓的观看了。在人类视觉认知活动小，对图案观察的深度和详细 程度往往是依赖于所要完成的任务的，一目任务完成, 观看者就不再会去

8、费思耗神作额外的分析理解去把握 不必耍的意义。对于给定视觉认知任务，你会发现，当 观看者完成任务后（正确报告了要求回答的结果），对 图形本少的形状和布局依然知z其少，这说明一口达到 了目的，观察者是不会再作任何进一步的观看理解的。归纳起來，人类视觉机制涉及整体知觉、主观意念, 多重选择和意图行为等问题。就感知层面何言，即使不 考虑主观意念，多重选择和意图行为等这些髙级思维层 次的认知机制，其中的整体知觉也是不可回避的核心机 制。那么，人类视觉又是如何实现这种整体知觉机制的 呢？机器视觉从中又能获得哪些启示呢？下面，我们就 围绕着视觉整体知觉能力，来展开分析。"猫头膵简笔应的确，就我们

9、的视觉系统而言,对视觉对彖的识认请观看右图，我想人们总是将其看作为一个猫头鹰 而不是有字母、线条、圆点部分构成的拼图，这就是整 体知觉效果的结果。也就是说，人们在把握视觉刺激时, 并不是以自下而上逐个分析來获得生动的形彖的，而是 同时将整幅图案进行整合感知为有意义的形彖。我们具 有整体知觉能力。并不是通过部分分析，|何是通过全局整体性特征的把握 得以完成。对这一认识，苦名的瑞士心理学家皮亚杰看 得更为深刻，他在结构主义一书中指出：“在任何既 定情境里，i种因素的木质就其木身而言是没启意义的, 它的意义事实上由它和既定情境中的其他因素z间的 关系所决定。总z,任何实体或经验的完整意义除非它 被结

10、合到结构屮去，否则便不能被人们感觉到。”其实，早在20世纪初，发韧于徳国而成熟于美国的 格式塔心理学派就对这种整体知觉及其规律有过金面 的论述。格式塔理论认为，形式知觉产生于该形式部分 之间的关系屮，而部分特性就人们所能确定的内容來说, 依赖于它们所处整体的全部关系，部分只有在整体中起 作用，离开了整体的部分是没有意义的。基于这样的认 识，格式塔心理学派将反映这种整体知觉的规律归纳为 一些普遍性规则，称为知觉组织律。首先，格式塔理论认为，在整体知觉中，人们的视 觉所作出的最基本的区分乃是图形与背景之间的区分， 图形在背景中显现出來反映的正是整体性知觉机制。很 明显，图形倾向于轮廓更加鲜明、更好

11、定位、更加紧密 和完整，一句话更貝-有整体统一性；反之，背景就显得 不那么整齐规范，没有什么结构可言。不过，有时图形与背景会相互交替，你可以将图形 当作背景，而将背景当作图形，这就是在町以互为形基 关系图例屮取得的效果。具至有时你很难正确区分出图 形与背景，但这并不影响总是存在图形与背景关系这一总的原则。除了形基规律外，整体知觉的组织规律还其他一些 规律，分别是：a.接近律：也就是说，我们的视觉易于根据部分彼此z间的邻近或接近关系血组合起来并因此血得出整体 形象。b.相似律：指具有某种特征（形状、颜色、朝向、动 向等）相似的项日，只要不被接近因素掩盖，则倾向于 联合在一起。c连续律：如果一套点

12、子中有些点子显得连续或完成 一个有规律的系列、或者扩展成一条简单的曲线，这套 点子往往易于组织起來。a b cd e f p h i i k 1 m n 16接近律o°o c o 2 o o o °o° °连续律简单律_o o o c c o封闭律相似律d. 封闭律:有时，各种视觉组织律会在知觉过程中产 生竞争英至冲突现象，此时最终知觉的结果形象往往取 决于哪种因素更为重要了，其中封闭的图案往往冇较大 的优势。e. 简单律：最后，整体知觉的一般规律还告诉我们， 在其它因素相同时，人们将把视觉对象看成有组织的简 单规则图形，就是说，看作是倾向于对称、整齐、

13、匀称、 惯常的图形，这就是知觉的简单律。实际上，视觉过程中，整体知觉就是把部分整合为 个与以往经验相关联的完整形象，而简单律就意味着 这一过程遵循着经济原则，得出一个最简单可能的形象 去与刺激模式相匹配。从这个意义上讲，整体知觉一方 面体现了部分只冇在整体中才冇意义这一原则；另一方 面也体现了经验形成的完形在知觉中的作用是以经济 原则为基础的。rvarx mrtnh cf pupil «nd irw*«tl hred rye人类的视觉系统现代认知神经科学研究己经告诉我们，我们这种复 杂的整体知觉能力完全是人脑视觉皮层屮许多离散分 布的特异化神经组织功能活动的产物。那么人类的

14、视觉 系统又是如何如此复杂的视觉功能的呢？让我们走进 人类的视觉神经系统之中，一探究竟。在人类视觉系统中，笫一个起到收集视觉刺激信息 的器官是眼晴。如图所示，眼睛是一种粘:巧万分的球状 器官，光线由外射入可以在眼睛的底部内侧形成一个倒 立的像，这一点很象我们生活屮使用的照相机；所不同 的是，照相机的底片是由被动感光材料构成的胶片，而 眼睛的“底片”则是大脑神经外围组织的神经细胞群构 成的视网脫，并具有主动跟踪获取和能动解释信息的能 力。眼睛中的晶状体是一种町调节焦距的透明物质，而 通过头/眼运动系统，则町以完成主动跟踪被视物体; 另外视网膜中神经细胞的口主活动与相互作用乂为能动解释视觉信息提供

15、了可能。视网膜，复盖在眼睛底部 的网状薄膜，是由多层神经细胞相互交错连接而成的， 如图所示。最底层的那层细胞称为感光细胞，其上附着 一定的色素，不匀均地分布在中央凹的周围。整个视网脫上，约有1亿个感光细胞，它们人体可 以分为杆体细胞和锥体细胞二类。杆体细胞主要对光的 明暗性敏感，因此在夜间起着主要作用。锥体细胞启三 种，分别对红、绿和蓝三种波长的光起反应，而三种锥 体细胞的混合反应便町对白天的色彩知觉起作用。变为送入大脑的某种电脉冲编码组合模式，其代表的就 是从外界观察到的景物。然后，乂经过了十分复杂行进 路线，到达视觉皮层。因此，不管外界的刺激是源h二 维的图画还是三维的景物，从视网膜到人脑

16、都冇一个相 同的将二维形状解释为三维形体的过程。dotmiqwwu*ventrei视网膜结构人类视觉通路示意图在人类的观察活动屮，眼睛的作用实际上就是将外 來刺激的光照信号，经过视网膜中神经细胞的加工后,v2(tempomu视觉加工的双通路结构总z,在视觉通路中，各层次神经细胞普遍是以相 互作用的方式进行通信的，以给出什么与哪里的视觉任 务。总z,整个视觉通路中的神经联接和排列方式，决 定了具有引起神经细胞活动方式的视觉刺激或辩认。而 且，进一步，这种联接和排列方式乂是最人限度地体现 了视觉通路屮不同阶段视野区域的拓扑对应性、反映了 对相对强度信息的最佳敏感性以及突出了所冇层次神 经细胞（群）

17、对视觉信息特征把握的特界性。第5.2节视觉计算我们己经对人类视觉工作的基本原理有了初步了 解。那么，目前我们的机器是如何进行视觉计算工作的 呢？相对于人类精妙无比的视觉机制，机器视觉还处于 十分初步的研究阶段。所谓视觉计算，就是人工智能研 究用以解决机辭视觉感知问题的。具体地讲，就是采用 摄象机和机器來部分代替人类视觉系统來进行视觉感 知。冇关视觉计算理论、方法与技术的研究工作，自实际上，情况比这述耍复朵，上述视觉加工过程给 出的只是视觉通路的主要上行部分；而另外一小部分视 束则走向内方，经上丘骨到达上丘和顶盖前区，然后再 投射到丘脑枕，换元麻投射到视皮层。其主要功能虽非 直接与知觉感受有关，

18、但対调节瞳孔、控制眼动等方血 起着重耍作用，为主动视觉的实现提供了不可替代的手 段。另外，所有的视觉通路的投射活动也并非只是单向 上行传递的，在各个不同通路阶段，其实普遍存在着同 时的下行制约投射和并行制约投射。1965年肇始以来，已经有将近50年的时间了。主要任务 就是要对采集到的图像或视频进行分析处理，来实现图 像或视频屮（运动）景物把握或含义理解。显然，这样 的研究有着十分广阔的应用前景，比如医学图像分析、 工业产品检验、卫星遥感图像分析、军事空中侦察等等。 当然，开展视觉计算的研究工作，也会涉及到众多的相 关学科。按照研究对象与目标的不同，视觉计算有可以分为 图像处理、模式识别、图像理

19、解、景物分析、口标检测 与跟踪等不同的方面。如果按照视觉计算的不同阶段來 划分，由浅入深，分别需要经过如下不同的处理步骤：（1）图像获取：通过某种视觉图像采集设备，比如照 相机、摄象机、遥感仪、x光断层扫描仪、雷达、超声 波接受器、红外感应器等等，可以获取二维图像、三维 图像、甚至图像序列。（2）预处理：对于获取的图像，进行各种滤波或矫疋 处理，使得获取的图像质量更好、效果更佳。（3）特征提取：根据研究目标的不同，获取描述图像 的各种基木要素，比如边缘与线条、区域与纹理、深度 与运动信息等，属于低层信息处理阶段。（4）区域分割：对获取的特征集合进行初步的整合处 理，将图像分割为各个有机组成部分

20、，属于中层信息处 理阶段。（5）高级处理：或进行图像分类、或理解图像含义、 或进行景物分析或识别视觉冃标、或跟踪视觉冃标，都 需要有不同的高级计算处理，属于高层信息处理阶段。根据马尔的观点，视觉感知首先是一个信息处理过 程，是要从图像中发现外部世界中有什么以及处在什么 位置。因此，视觉对象的内部表征就成为视觉计算的主 要载体。于是视觉计算任务就成为如何根据给定的图像, 來获取各个层次的内部表征，直至恢复图像的三维景物。马尔的视觉计算理论马尔便是从三个层次来建立视觉计算理论：（1） 计算理论：确定视觉计算的目的；（2）表征与算法： 如何实现视觉计算任务，确定输入输岀的表征，给出不 同表征转换之间

21、的算法；（3）硬件实现：在物理上如 何实现视觉表征及其转换算法。特别是笫二个层次，就 是视觉计算理论的核心内容，为此，马尔提出了具体四 级表征，分别是：（1）图像：表达光强，用像素表征；马尔的视觉计算 理论（2）要素图：表达二维图像中的垂要变化信息及其分 布，比如零交叉、斑点、端点、不连续点、边缘片段、 有效线段、组合群、曲线组织、边界等；（3）2. 5维图：在以观察者为屮心的处标系屮，将可 见朝向、人致深度及其不连续轮廓表达清楚，比如表面 要素的朝向、距离观察者的深度、深度上不连续点、表 面朝向不连续点等。（4）3维模型：在以物体为中心的处标系中，景物用 体积基元和面积基元给出的层次模块化表

22、征。对上述各个层次表征的获取，正好对应视觉计算不 同步骤的计算分析处理阶段，涉及到图形检测、运动检 测、空间检测、分形检测等差界性低层处理技术，边线 合成、区域牛成、纹理识别、表而恢复等相似性中层处 理技术，以及景物匹配、含义推断、知识习得、目标规 划等理解性高层处理技术。当然，还应该有对图像含义 的理解处理，给出具体视觉对彖的含义，比如一棵树、 一位女士、一个竞技场等的语言性描述。随着视觉计算理论、方法及技术的不断发展，研究 人员越來越认识到借鉴人类视觉运作机制的重要性。因 此，近些年来，仿造人类视觉运作机制来构造新的视觉 计算方法代表了视觉计算领域前沿性的研究走向。冃前 主耍涉及的研究包括

23、利用视觉初级皮层区功能柱结构 开展的视觉计算模型研究、有关视觉注意机制的计算模 型研究、以及视觉联想机制的量子计算模型研究等等。总之，视觉计算研究的目标就是要构建一套行之冇 效的视觉计算理论、方法与技术，并应川到实际问题的 解决z中。但由于人类视觉本身的困难，在视觉计算研 究中必然会存在许多意想不到的困难，甚至闲境。因此， 以下我们有必要对视觉计算化研究中可能会遇到的困 难做较为系统的分析，使得将来有志于开展视觉计算研 究工作人们一开始就明口问题关键之所在。第5.3节知觉困境与前而人类视觉相比较，即使在简单的图象分析理 解方面，机器视觉研究的成就无论如何也是难以金及的, 这说明视觉计算领域还冇

24、很长的路需要我们去探索与 研究。此时仔细研究人类视觉如下更为独特的原理，可 能会对推动机器视觉的发展，有着重要的启发意义。早上我们醍来睁开双眼，就会有五光十色的事物映 入你的眼帘：你床头的闹钟也许正在滴滴答答跳动着指 针；窗外的树彩枝条也随风摆个不停；远处的云彩，在 一轮红日的渲染下，更显得绚丽娇艳。此时，你也许根 本不会想到这一切不期然而然的结果，竞都是视觉系统 的功劳。牛活常常就是这样，最习以为常的事情，不管 多么重要，当你正拥有时你就不会珍爱关注，只有当你 失去的时候，才会格外引起你的注意和重视。那么我们这种习以为常的视觉观看就像摄像机一 样，都是现实世界的忠实反映吗？与人类视觉比鮫，基

25、 于摄像机的机器视觉还处于十分初步的水平，无论是形 状知觉还是立体感知，机器都会遇到难以克服的闲难。 那么到底是什么导致了人类与机器之间存在这种不可 逾越的鸿沟呢？如果深谙人类的视觉运作规律，就不难 发祥，这种困难，从深层的机制上讲，一个集中体现的 方面，便是人类所具备的视觉怛常性和容错性，难以为 机械精确、永远无错的算法方式所描述。有科学家强调，大小恒常性的原理是建立在“感知 大小=感知距离x视角”这一公式z上的。比如地平线 上的月亮显得比升空的月亮更远，由于月亮的视角基本 固定不变，我们就感到它较人。这个就是所谓的埃默特 定律。但距离知觉乂是怎么获得的呢？由于距离的知觉 在很大程度上是建立

26、在人小恒常性的视觉经验之上的, 因此将大小恒常性归结为距离知觉未免又会陷入“先冇 鸡述是先有蛋”的二难境地。其实，恒常性主要來白于经验和比较。犹太大学的 唐海勒用老鼠进行了人小恒常性的实验就证实了经验 対大小恒常性还是必要的。物体与所处背景的相対比较 则是恒常性的另一重要来源，而恒常性则对以看作是当 前物体与已有经验比较的结果。正因为这样，有时我们 的视觉会得出错误的结论，产先幻觉或错觉。经验的成 见导致错觉，但人类的视觉不会因有错觉而否定经验作 用，因为经验是人类赖以生存的基础。这就是所谓的视 觉容错性。-些恒常性错觉图案错觉的极致，便是我们町以人为地感知不町能图形。 也就是说，在实际世界中

27、根本不可能存在的形体，在我 们的知觉世界里竟然是合理的。图给出了一个常见的不 可能图形，你在现实屮根本就造不出这样的实体来的。实际上，错觉是我们拥有无比梢湛的视觉能力的必 然代价，如果有一天人类失去了错觉能力，那么也就意 味着我们必然地同时也失去了精湛的视觉能力。的确， 人总是免不了会犯错误，而这止是人类值得骄傲的心智 特性。机器不会出错，它总是精确地执行人类为它编制 好的程序或程序的程序；因此如何使得机辭也能拥有视 觉恒常性并产生错觉，就成为未來视觉计算研究的一个 重要课题。除了恒常性带來的错觉，对客观景物理解还深深依 赖于我们的主观意念，有时这种主观意念，也会导致我 们对客观事物理解上的偏

28、差。rvruxrfitter color rod synthesaed color eye color scyan sgray颜色主观效应似动视觉效应美国科学家欧文洛克在知觉z谜一书中指hh “大脑并不是简单地记录下世界的准确的映象，而是创造 出白己的“照片”來。”无独有偶，英国的格里高里在视 觉心理学中也指出：“知觉不是简单地被刺激模式决定 的，而是对冇效的资料能动地寻找最好的解释。”最近，著名科学家克里克在惊人的假设中更是 强调：“看是一个建构过程。在此过程中，大脑以并行的 方式对景物的很多不同“特征”进行响应，并以以往的经 验为指导，把这些特征组合成一个侑意义的整体。看涉 及大脑中的某些

29、主动过程；它导致景物明晰的、多层次的符号化解释。”很明显，对于一个物体的知觉，必须通过对这一物 体的各组成要素进行感知把握z后才能完成；然而如果 在感知把握时，没有一个幣体的概念作指导，那么对这 个物体的知觉就连一步也不能深入下去。观看并不是对 视觉对彖的机械复制，|何是对其总体结构特征积极主动、 有选择的把握。通俗一点讲就是说，观察者能看见什么， 不仅取决于外界呈现的视觉刺激，还取决于他主观的注 意和意向指导。外界刺激只有在主观意识活动的参少下, 才能形成视觉形彖的显现。 似动视觉效应其实，从某种意义上讲，一切理解都必然是主观性 的、是个性化的。古代冇一则寓言，说的是：“人冇亡鉄 者，意其邻人之子，视其行步，窃鉄也；颜色，窃鉄也； 言语，窃鉄也；动作态度，无为而不窃鉄也。俄而掘其 谷而得其鉄，他fi复见其邻人z子，动作态度，无似窃 鉄者。”（吕氏春秋去尤篇）在主动视觉中，主观 意念一旦产住有时会如此强烈，令你挥z不去，顽固盘 旋在你的脑海，左右着你的感知活动。()画谜：主观意念测试图当然，在这种主观意念起作用的情况中，除了视觉 会主动启选择地去“发现”线