（应用心理学专业论文）复杂场景的主旨提取机制.pdf

浙江大学硕士学位论文复杂场景的主旨提取机制 a b s t r a c t c o m p l e xs c e n e s ，a l s oc a l l e dn a t u r a ls c e n e s ，a r ev i s u a ls t i m u l ic o m p o s e do fm o r e t h a no n eo b j e c t s i n v e s t i g a t i n gi n t ot h eg i s ta b s t r a c t i o nm e c h a n i s m s o fn a t u l a ls c e n e s i sa l le f f e c t i v ew a yt ou n d e r s t a n dh u m a nc o g n i t i v em e c h a n i s m s c u r r e n t l y , t h e r ea l e s e v e r a lt h e o r i e sa b o u tt h eg i s ta b s t r a c t i o no fn a t u r a ls c e n e s ，i n c l u d i n go b j e c t sb a s e d t h e o r y , o b j e c t - r e l a t i o n sb a s e dt h e o r y , s c e n ee n t i t yt h e o r ya n ds oo i l a l lo ft h e ma r e s u p p o r t e db yc e r t a i ne x p e r i m e n t a le v i d e n c e t h er e a s o nf o rt h ed i f f e r e n c e si st h a tt h e s c e n ec o g n i t i v ep r o c e s si sa ni n t e g r a t e da n dd y n a m i cp r o c e s s w ep r e s u m et h a tt h eg i s ta b s t r a c t i o no fn a t u r a ls c e n e si sb a s e do ns e m a n t i c m e a n i n go fc o m p o n e n to b j e c t sa n dt h er e l a t i o n sa m o n gt h e m b a s e do nt h i s h y p o t h e s i s ，w ed e s i g n e da ni n t e r v i e wa n dt w oe x p e r i m e n t s i nt h ei n t e r v i e w , w ea s k e d t w e n t ys u b j e c t st or e p o r tg i s to fal a r g en u m b e ro fp i c t u r e s ，a st ou n d e r s t a n dh o w p e o p l eg e tn a t u r a ls c e n eg i s t i ne x p e r i m e n t1 ，w em a n i p u l a t e dp r e s e n t a t i o nt i m ea n d d e t a i l so f p i c t u r e s ，a st ol e a r nh o wp e o p l eu s es c e n ei n f o r m a t i o ni nd i f f e r e n ts t a g e s i n e x p e r i m e n t2 ，w eo b s e r v e dr e s p o n s et i m ea n da c c u r a c yo fs e a r c h i n gf o rac e r t a i n t a r g e to b j e c la st om a k ec l e a ro fh o wo b j e c ti m p o r t a n c ef u n c t i o n si ng i s ta b s t r a c t i o n a n dh o ws c e n eg i s ti n f l u e n c e so b j e c tr e c o g n i t i o n t h e s ea r et h ec o n c l u s i o n s ： 1 d u r i n gt h ep r o c e s so fg i s ta b s t r a c t i o no fn a t u r a ls c e n e s ，s e m a n t i cm e a n i n go f o b j e c t sa n dr e l a t i o n sa m o n gt h e ma r eb o t l lu s e d t h ee x t e n tt ow h i c he a c h k i n do fi n f o r m a t i o ni su s e dd e p e n d so ns c e n ef e a t u r e sa n ds c e n er e a d e r s e x p e d e n c e 2 a sv i e w i n gt i m ei n c r e a s e s ，g i s ta b s t r a c t i o no fn a t u r a ls c e n e st e n d st ou s em o r e s p e c i f i ci n f o r m a t i o n 3 o b j e c t si nas c e n ec o m p e t ew i n le a c ho t h e r , s ot h a tc e r t a i no b j e c t sg e tm o r e i m p o r t a n c e t h e s eo b j e c t sa r ed o m i n a n ti ng i s tc o n t e n t , a n dc a nb ep r o c e s s e d m o r eq u i c k l yi ng i s ta b s t r a c t i o n 4 p e o p l ei n t e g r a t es c e n ei n f o r m a t i o nt of o r mg i s t , a n dt h eo b t a i n e dg i s tc a n t n 浙江大学硕士学位论文复杂场景的主旨提取机制 i n f l u e n c ep e o p l eu n d e r s t a n ds c e n ei nt h ef o l l o w i n gt i m e t h i sc o g n i t i v e p r o c e s si sd y n a m i ca n df u l lo f 仃a d i n go f f s k e y w o r d s ：g i s t ，n a t u g a ls c e n e s ，s e m a n t i cm e a n i n go fo b j e c t s ，r e l a t i o n sa m o n go b j e c t s i v 浙江大学硕士学位论文复杂场景的主旨提取机制 致谢 完成这篇论文的过程，应该说并不是一帆风顺的。在这个过程中，我时而充 满干劲，时而胆怯不前；时而感到所研究的问题充满迷雾，时而受到一个新思路 新想法的鼓舞。在这其中，我对于如何做人、做事，都有了很多体悟。我认识到， 真诚的与人沟通、勇敢的面对困难、坚定的解决问题，对于完成研究是必不可少 的。 在此，我需要感谢很多人，若不是他们的无私帮助，我可能无法坚持到最后。 首先要感谢我的导师符德江副教授。不管是在每周的读书报告上，还是在西溪校 区食堂吃饭时，还是在一次次的长时间的电话中，他不厌其烦的开导、启发，让 我能够明了研究方向和方法。当我因为畏难而无法前进时，他用自己学生时期做 论文的亲身经历来鼓励我，让我勇敢面对困难。他一遍一遍的审阅我的论文，给 我建议，这种细致认真的精神让我感动。我会铭记符老师的教诲，学 - - j 他做人、 做事的方法。 同时也感谢我的三位学姐和其他一起学 - - j 的同学：于玲娜、孙中芳、顾敏婷、 陈婉玲、王雅琼、朱林辉，感谢他们提供的无私帮助。在我遇到不解问题的时候， 他们会一起讨论来帮助我；当我思想有波动的时候，他们给我鼓励；实验的实施 离不开他们的帮助；论文的精彩之处也有他们的贡献。 更要感谢我的父母，他们的宽容和鼓励让我能够全力投入。也要感谢我的朋 友：丁昊、杨春兰、张苏敏、舒扬阳和曹卫明，他们的鼎力支持让我能够坚持到 最后。 在此，谨以这篇文章，向他们致以诚挚的谢意! 浙江大学硕士学位论文复杂场景的主旨提取机制 1 前言 1 1 复杂场景主旨提取机制的研究意义 场景认知广泛存在。日常生活中，人们几乎每时每刻都需要提取特定场景的 主旨，也就是理解场景的意义、主题。人们通过理解场景来认识外部世界、了解 自我、指导自己的行动。这是人得以生存和交流的基本能力，也是人的基本需要。 针对场景的研究，从如何获得物体轮廓到如何达到物体识别，从物体关系认 知到场景主旨的提取，涉及范围非常丰富( b i e d e r m a ni ，1 9 8 2 ；m a r rd ，1 9 8 2 ；t a r r m j ，b u l t h o f f hh ，1 9 9 5 ；d a v e n p o r tjl ，p o t t e rmc ，2 0 0 4 ) 。对复杂场景主旨提取的 研究便是其中之一。复杂场景，也称为自然场景，是由多个物体组成的视觉对象。 这些组成物体都是有意义的个体。 针对复杂场景主旨提取机制的研究是理解人类认知机制的一个有效途径。在 理论层面，这方面的研究能够拓展人们对视觉系统的认识，也能够对物体识别产 生更深刻的理解。众所周知，物体识别一直是视觉领域的热点问题( b i e d e r m a ni ， 1 9 8 7 ；t a r rmj ，b u l t h o f f hh ，1 9 9 5 ) 。然而，与实验室研究常用的单独呈现的物体 不同，真实世界的物体几乎总是伴随着其他物体在特定场景中出现。任何有生态 效度的物体识别理论都应该能够对场景中物体识别的种种现象作出令人满意的 解释( s e r r et ，r i e s e n h u b e rm ，l o u i eje ta 1 ，2 0 0 2 ) 。因此，复杂场景主旨提取的 研究对于我们更深刻地理解人类视觉和一般认知机制具有重要的意义。 对场景主旨提取机制的研究结果，可以应用于许多领域。譬如为计算机视觉 在场景识别方面遇到的难题提供解决方案、帮助广告等媒体高效传达信息、指导 环境设计等。由此可见，对于场景主旨提取的机制探究不仅具有深刻的理论意义， 而且具有广泛的应用价值。 1 2 复杂场景主旨研究的相关理论 在日常生活中，人们通过场景观察来理解外部世界。这种理解似乎仅在一瞥 之间就能够完成，获取的信息可能是场景的类别( 如厨房) ，场景中的一些物体 浙江大学硕士学位论文复杂场景的主旨提取机制 ( 如铁锅和菜刀) ，或物体间的关系( 如菜刀放在砧板上) 。实验研究也发现了这 一现象( i n t r a u bh ，1 9 8 1 ；b i e d e r m a ni ，m e z z a n o t t erj ，r a b i n o w i t zjc ，1 9 8 2 ) ，人 们通常在1 0 0 毫秒的图片呈现条件下便能够理解一个新场景的意义，或是对场景 中主要物体进行检测和辨别。 有些研究复杂场景的专家认为，人们理解场景是通过理解场景中的物体而完 成的；有些认为，场景主旨的加工无需提取局部物体的意义，是通过认识整体结 构完成的；还有一些认为，对场景中物体关系的认识是场景主旨加工的基础。下 面简要回顾一下相关的理论及其依据。 1 2 1 强调物体意义在场景主旨加工中作用的观点 有研究者提出，场景主旨可能是场景中各个物体语义的综合。也就是说，在 场景认识的时候，先认识各个物体，通过物体清单( o b j e c ti n v e n t o r y ) 的认识而 后达到对整个场景的认知。人们在日常生活中也常常依赖具体物体来识别场景， 如卧室里的床、厨房里的锅等。 这个观点受到计算视觉的影响。视觉计算理论认为视觉加工是一个复杂度逐 渐增加的层级加工( 从边界到表面，再到物体) ，物体识别的完成最终导致场景 主旨的激活( m a r td ，1 9 8 2 ；b i e d e r m a ni ，1 9 8 7 ) 。场景主旨的提取离不开组成场景 的物体。 该观点与部分日常经验相符合，即人在场景加工时一般能识别出其中的主要 物体。但这个观点也受到了许多质疑，质疑主要针对主旨加工时间。在对多个物 体进行目标搜索的研究中发现，物体的搜索要求注意参与( b i e d e r m a ni ，b l i c k l et w ，t e i t e l b a u mrce ta 1 ，1 9 8 8 ) 。这就意味着，若场景主旨的提取是以场景中物体 语义加工为前提，那么物体数量越多的场景提取主旨所需的时间越多。但是很多 日常体验还是行为研究的结果都发现，场景识别的速度和准确性不受场景中物体 数量的影响( b i e d e r m a ni ，m e z z a n o t t erj ，r a b i n o w i t zjc ，19 8 2 ；d a v e n p o r tjl ， p o t t e rmc ，2 0 0 4 ) 。这是物体说所面临的巨大的难题，而其目前并没有提出很好 的解决办法。场景主旨提取机制的理论建构必须能够对场景的快速加工做出解 释。 2 浙江大学硕士学位论文复杂场景的主旨提取机制 1 2 2 强调场景作为一个单独实体进行主旨加工的观点 场景主旨加工的整体观认为，场景最初被作为一个单独的实体进行加工 ( s c h y n spgo l i v a 八19 9 4 ；o l i v aa ，t o r r a l b aa ，2 0 01 ；b i e d e r m a ni ，b l i c k l etw j t e i t e l b a u mr cc ta 1 ，1 9 8 8 ；l o s c h k yl c ，h a n s e nbc ，s e t h i ae ta 1 ，2 0 1 0 ) 。- 9 物体 说不同，场景整体观认为场景主旨的快速提取无需以物体意义为基础。场景主旨 之所以如此快速提取，是因为场景提供的知觉信息如空间频率、颜色、纹理等能 够形成场景的结构表征。 在一系列的研究中，o l i v a 等探讨了真实世界场景中低视知觉水平的信息对场 景主旨提取的影响，这些信息包括空间频率、朝向和比例、颜色和纹理密度。在 他们的场景类别的分辨任务中，要求被试判断先呈现的混合场景与后呈现的正常 场景是否相同。混合场景包含一个图片的低空间频率信息和另一个图片的高空间 频率信患，低频信息给出关于物体的大致轮廓及其空间布局信患，而高频信息传 达细节、表面和物体的准确边界。结果发现，3 0 毫秒的呈现条件下，被试的判断 更多的基于低空间频率信息；1 5 0 毫秒的呈现条件下，被试则更多使用高频空间 信息进行判断。研究者解释：不同的空间频率传达不同的信息，低频的模糊轮廓 更多的传达场景空间布局信息，而边界传达表面和纹理密度信息。研究表明了对 这种混合刺激的加工有从粗糙到精细( c o a r s e b e f o r e f m e ) 的趋势( s c h y n spg o l i v a a ，1 9 9 4 ) 。 他们还评估了颜色在场景主旨识别中的作用( o l i v a a ，s c h y n spg2 0 0 0 ) 。结 果发现，当颜色是场景类别的重要依据时，能够影响场景的快速识别任务的绩效， 当颜色符合常理时，识别绩效比灰度图好，而颜色不符合常理时，识别绩效比灰 度图差。 总的来说，他们认为，场景主旨能够基于低频空间信患( 4 到8 个循环图片) 进行快速建构。在这个空间频率下，尽管物体的局部信息不能获得，但有足够的 结构线索能够被用于场景识别。当需要快速提取陌生场景的主旨时，主要依赖于 低频信息；当不需要快速分辨时，高频信息随后被用来形成场景更精确和稳定的 ；匕 土目。 这些均成为场景主旨整体观的依据。根据以上的实验结果，有研究者提出空 间泡( s p a t i a le n v e l o p e ) 的概念，即不需要使用物体作为中间表征的场景主旨的 3 浙江大学硕士学位论文复杂场景的主旨提取机制 整体表征。例如，森林的空间泡可以被描述为“一个封闭的自然环境，在1 0 0 米 左右范围，垂直结构( 树) ，与一个水平的粗糙的表面连接( 草) ”。 场景主旨表征的整体观虽然能较好的解释场景的快速识别，但是在这样的一 种场景主旨加工的模型中丢失了物体和物体的意义，这显然与我们对场景知觉的 直观感受不同，即物体能够被识别且其意义对于场景意义的理解起到一定作用。 因此，整体观不能解释场景主旨加工的全部。 1 2 3 强调物体关系在主旨加工中作用的观点 另有不少研究者认为场景主旨提取过程中更重要的是物体间的关系，而不是 物体语义本身，即整体大于部分之和。该观点与物体说有重要的区别，它在物体 语义基础上强调物体间关系在场景提取中的作用。它与场景整体说的区别在于， 强调以有意义的局部作为关系整合的基础。 b i e d e r m a n 等人在1 9 8 2 年关于场景知觉的研究中提出，可以用五种关系来描 述场景中物体的组织：遮挡( i n t e r p o s i t i o n ，指前面的物体会挡住后面的物体) ，支 撑( s u p p o r t ，物体倾向于落在表面上，而不是漂浮在空中) ，概率( p r o b a b i l i t y ， 指物体出现在某场景中的概率大小) ，位置( p o s i t i o n ，指物体应该出现在场景 中的特定位置) 和熟悉大小( f a m i l i a rs i z e ，指物体的大小应和其他物体形成一 定比例) 。研究发现场景中物体的这五种关系可以迅速的提取，并影响目标物体 的识别( b i e d e r m a ni ，m e z z a n o t t erj ，r a b i n o w i t zjc ，19 8 2 ) 。b i e d e r m a n 等人将这 五种关系分为物理关系和语义关系，物理关系包括遮挡和支撑，因为这些关系的 判断不需要知道物体的意义。语义关系包括概率、位置和熟悉大小，只有当知道 物体意义后才能对这些关系做出判断。研究发现，物体问语义关系的知觉至少与 物理关系和物体识别本身一同完成。这与以往关于场景知觉提出的自下而上模型 不同，认为关于物体关系的一般知识在很早的阶段便影响人们关于场景的加工。 研究者在研究场景过程中，认识到了物体间关系在场景主旨提取方面的重要 性，发现场景主旨抽取过程中的许多现象与结构信息相关。识别由多个物体相互 关系形成的稳定结构的过程中体现出专家效应。例如，对于完全相同的棋局，国 际象棋专家比新手能看出更丰富的意义，并因此获得更好的搜索引导( b r o c k m o l e j h a m b r i c kdz ，h e n d e r s o njm e ta 1 ，2 0 0 8 ) 。这些研究结果都让研究专家相信 4 浙江大学硕士学位论文复杂场景的主旨提取机制 物体关系所形成的信息在场景主旨加工中具有非常重要的地位。 1 2 4 各种观点的差异比较和原因分析 为了解释大脑如何表征场景的主旨，基于局部物体的理论认为场景意义是视 觉加工模块层级组织的最后一步，按边界、表面、物体、场景的次序依次进行加 工。基于整体的方法直接通过低水平特征来建构场景主旨，认为无需提取物体意 义。强调物体间关系的观点则认为物体间关系在主旨提取时起关键作用。 这些理论各有其实验支持。这些差异存在的原因可能是： 第一，物体的重要作用在场景知觉中确实是显而易见的。场景中有一些关键 物体，例如，“床”对于判别卧室有重要意义，“黑板”对于教室判别很重要。另 外，场景中的某些物体能起到规划空间的作用，例如，街道场景中的道路、房间 的墙壁等。物体在场景主旨提取中的作用无法被忽视。 第二，目前，对场景加工的某些模块，如物体识别过程的认识仍不深入。 b i e d e r m a n 在1 9 8 8 年的物体搜索研究中发现，物体搜索的绩效随着干扰物体的 增加而被削弱，物体搜索似乎是一个需要注意参与的过程。而另外有研究表明， 物体的语义加工是强制进行的，即使实验任务只要求被试报告物体的整体形状 ( b o u c a r tm ，h u m p h r e y sgw ，1 9 9 2o 这种强制性似乎给语义加工的平行加工 提供了可能。物体表征观必需要解释多个物体共同出现时，观察者如何统筹这些 物体的语义以快速得到场景主旨。而整体观则不存在这个问题，因为低水平信息 一般被认为能够快速的提取和加工( s c h y n spg ，0 1i v aa ，1 9 9 4 ) 。 第三，场景研究的手段还很粗糙。不同研究者选取的场景类别并不一致，作 为实验刺激材料选取出来的真实世界图片可能包含与研究目的无关的影响因素， 如场景复杂程度，物体的多少，物体的外形差异，物体大小，物体的细节程度等 均可能影响研究的结果。例如，b i e d e r m a n 等人研究中采用控制物体关系的方式 来构建场景，物体存在冲突关系时，对场景主旨的破坏程度可能并不相同。在此 条件下，用物体搜索的反应来考察主旨的构成可能会存在偏差。因此，在实验设 计上应该更加的精细，以控制好这些可能会产生影响的无关变量。 第四，间接研究场景主旨。以往的研究多采用间接研究场景主旨的方式，即 不是让被试报告场景主旨，而是采用场景匹配、物体搜索等方式来间接反映场景 浙江大学硕士学位论文复杂场景的主旨提取机制 主旨加工的机制。但是从感觉信息登记到最终形成场景的过程仍然不清楚，因此 仅采用反应时无法正确反映主旨加工的机制；而匹配的范式很可能受到猜测策略 的影响，被试可能根本未形成恰当的主旨。若直接考察观察者得出的主旨，可能 会得到更深刻准确的认识。 1 3 对复杂场景主旨提取机制的进一步思考 1 3 1 各种理论的融合 当研究者试图探讨场景主旨提取问题的时候，不能否认的是在场景知觉过程 中必然存在多个层级的信息加工。这些信息包括如整体观所说的低水平的全局信 息，如空间频率、场景颜色分配等；也包括轮廓、表面；还包括其他理论所说的 对物体的数量、物体语义和物体间关系的认识。我们认为，这些不同层级的信息 经过筛选整合形成了最终提取的主旨，而非如各个理论所坚持的仅使用某类信 息。 事实上，上文所分析的三种关于场景主旨的理论存在差异争论的原因，可能 在于场景加是动态的综合的过程。就物体说和物体关系说来看，高水平语义信息 ( 物体的概念、物体间关系) 的获得离不开感觉信息的登记和分析，而这种低水 平知觉信息正是0 1 i r a 等人强调的场景加工的基础。强调利用低水平信息直接形 成场景认识的观点在计算机视觉领域获得了较好的利用( 0 1 i r aa ，t o r r a l b aa ， 2 0 0 1 ) ，但是与人理解场景的体验不符，即人获取的主旨包含场景类型和一些物 体识别。这种高水平语义信息的分析由物体说和物体关系说进行了较好的解释。 虽然不同理论对场景主旨提取的看法不同，但为我们认识场景加工机制提供 了基本的数据和认识。本研究将会关注以物体语义作为基本单位，多个物体组合 所形成的关系在主旨提取中的作用。 1 3 2 直接研究场景主旨的设想 以往的研究多采用间接研究场景主旨的方式，即不是让被试报告场景主旨， 而是采用场景匹配、物体搜索等方式来间接反映场景主旨加工的机制( b i e d e r m a n i ，m e z z a n o t t erj ，r a b i n o w i t zjc ，19 8 2 ；d a v e n p o r tjl ，p o t t e rmc ，2 0 0 4 ；b o y c esj ， 6 浙江大学硕士学位论文复杂场景的主旨提取机制 p o l l a t s e k 八r a y n e rk1 9 8 9 ) 。但是由于场景认知较为复杂，从感觉信息登记到最 终形成场景主旨的过程仍然不清楚，因此仅采用反应时无法正确反映主旨加工的 机制；而匹配的范式很可能受到猜测策略的影响，被试可能根本未形成恰当的主 旨。若采用直接报告主旨的方式，可能会得到较为准确的认识。 本实验将首先对场景进行操控，由被试报告主旨，或选择主旨，来直接探讨 场景主旨提取的机制。在主旨的认识确切的情况下，利用搜索范式来考察主旨提 取与局部要素间的关系。 1 3 3 从时间和内容上展开场景主旨机制的研究 我们假设，这些物体语义和物体间关系的信息经过筛选整合形成了最终提取 的主旨，而非如各个理论所坚持的仅使用某类信息。也就是说，物体间关系和物 体语义提供的信息在场景主旨提取过程中都起作用。具体哪方面信息起主导作 用，与具体物体组合有关。由于以往研究的结果显示，场景能够被快速加工，我 们设想在极短呈现时间条件下，视觉系统对场景整体信息与局部物体信息进行筛 选，通过最易达成场景理解的信息来整合出主旨。而最初无法关注的信息在时间 充裕时可能得到整合。因此，我们将在不同时间跨度下对场景主旨提取展开研究， 主要通过控制物体新异性的方式实现。 另外，整体源于个体。当个体物体信息改变，整体内容受到破坏的程度可能 不同。本研究通过物体重要性对场景的内容进行控制，以进一步考察复杂场景主 旨提取的机制。 7 浙江大学硕士学位论文复杂场景的主旨提取机制 2 访谈- 场景图片主旨报告特性分析 2 1 目的 本访谈研究考察在充裕时间下，被试对场景图片的主旨提取。 以往的研究多采用间接研究场景主旨的方式，不是让被试报告场景主旨，而 是采用场景匹配、物体搜索等方式来间接反映场景主旨加工的机制( b i e d e r m a n i ， m e z z a n o t t er j ，r a b i n o w i t zjc ，19 8 2 ；d a v e n p o r tjl ，p o t t e rmc ，2 0 0 4 ；b o y c esj ， p o l l a t s e k a ，r a y n e rk ，1 9 8 9 ) 。但是由于场景认知较为复杂，从感觉信息登记到最 终形成场景的过程仍然不清楚，因此仅采用反应时无法正确反映主旨加工的机 制；而匹配的范式很可能受到猜测策略的影响，被试可能根本未形成恰当的主旨。 若采用直接分析主旨的方式，可能会得出较为准确的认识。 本研究通过随机选取的大量图片，考察多名被试的主旨提取特点。即不同被 试对同一幅图片的主旨报告是否一致，一致的程度多大，主旨提取的特点是什么。 什么样的图片能够获得较为一致的主旨报告，而主旨报告不一致时差异在哪里。 同时，本实验为接下来的研究提供材料和数据上的支持。例如，挑选主旨稳 定一致的图片进行进一步实验。 2 2 方法 2 2 1 访谈对象 2 0 名大学生，女9 人，男1 1 人，年龄为2 0 - 3 0 周岁，平均年龄2 3 岁。视力 或矫正视力正常。被试实验后获得少量被试费。 2 2 2 访谈设计与材料 在互联网上随机选取的1 8 0 幅彩色图片。图片画面质量高，以保证图片中主 要物体的清晰程度。每幅图片均包含两个以上能够被命名的物体。1 8 0 幅图片中 浙江大学硕士学位论文复杂场景的主旨提取机制 包含室内外、自然、都市等等各类型的场景；场景中所包含的对象数量少至2 个， 多至无法在5 秒钟内计数。图片大小为1 0 2 4 * 7 6 8 像素。 所选图片，有些是熟悉的日常场景，有些是不一定为被试所熟悉的特殊场景 ( 研究者无法给出简明的场景类型判断) 。 总之，在图片选取的过程中，尽量做到场景类型丰富化，以便从被试的答案 中寻找场景主旨加工的一般规律。 2 2 3 实验步骤 每幅图片呈现5 秒钟，随后呈现空白屏幕，此时要求被试写下图片的主题。 若无法概括主题，则写出对图片恰当的描述。1 8 0 幅图片随机呈现，被试可以随 时停下来休息。 呈现图片的显示器分辨率为1 0 2 4 7 6 8 象素，刷新率为7 5 h z 。观察者距离显 示器6 0 厘米左右。图片视角大小为2 5 9 。1 9 4 0 ( 图片按7 5 缩小在显示器 中央呈现) 。在实验室日光灯照明下观察场景图片。 2 3 结果分析 2 0 名被试观察1 8 0 张图片后报告主旨，应得3 6 0 0 个主旨描述，实际得3 5 8 8 个可理解的主旨描述，共缺失了1 2 个主旨描述，分别有7 名被试缺失1 幅或2 幅图片的描述，平均每个被试缺失0 6 幅图片的描述，每幅图片最多缺失1 次描 述。访谈发现，缺失的主要原因是被试没有准备好而误按了下一幅图的激活键。 下面对被试报告的主旨特性以及和图片的联系进行分析。 2 3 1 场景主旨的可报告性 在所选的1 8 0 幅图片中，包含日常常见的场景( 如厨房、卧室、教室等) ， 也包括不太常见的场景( 如雪山、f 1 赛场、外国田园风光等) ，但其中总存在可 识别的熟悉物体。从3 5 8 8 个主旨描述来看，被试面对多种多样的或熟悉或陌生 的场景，都能够给出自己的主旨描述，对其中可识别的物体、物体数量和空间位 置关系的利用尤为重要。 9 浙江大学硕士学位论文 复杂场景的主旨提取机制 缺失的1 2 个描述根据被试访谈得知，是由于程序操作上的原因，而不是无 法理解图片的原因。 虽然不同图片的主旨在一致性程度上存在不同，但是主旨总是存在的事实不 可忽视。 2 3 2 场景主旨特性分析 对主旨描述经过归类筛选，发现了如下特性： a ) 不同场景被试主旨报告的一致性程度不同。有些1 0 0 一致，如厨房、 打架、卧室等。有些则一致性程度很低，报告的内容或层次不同，如对 同一幅图有的报告“狗”，有的报告“花”，有的报告“农家小院”。 b ) 主旨描述包括这几个类型：一类主旨是，对图片中所含的物体进行整体 性抽取，即不关注具体物体，而是将具体物体的共性或者具体物体所组 成的整体报告出来。如“厨房”“很多香烟盒”“乡村风光”等。另一类 是报告具体物体，如“航空母舰”“狗”。还有一类是将多个物体描述出 来，如“山下的村庄”“海上的舰艇”等等，既有整体环境的描述，也有 具体对象的报告。这也说明，人的主旨提取既依赖于物体问关系，也依 赖于物体本身。具体利用哪方面信息可能与当前需求和场景特点有关。 c ) 新异的现象容易整合成稳定的主旨。如，雪总是被报告，黄昏多有报告。 时间、现象的特殊性能够得到较多较一致的关注。 d ) 场景中不同信息的重要性不同。例如，人的活动( 动作、表情、事件) 比其他环境信息更重要。 2 3 3 整体性主旨抽取的频次分析 从粗略的主旨描述分析来看，主旨描述包括这几个类型：一类主旨是，对图 片中所含的物体进行整体性抽取，即不关注具体物体，而是将具体物体的共性或 者具体物体所组成的整体报告出来。如“厨房”“很多香烟盒”“乡村风光”等。 另一类是报告具体物体，如“航空母舰”“狗”。还有一类是将多个物体描述出来， 如“山下的村庄”“海上的舰艇”等等，既有整体环境的描述，也有具体对象的 报告。 1 0 浙江大学硕士学位论文复杂场景的主旨提取机制 对1 8 0 幅图片的报告进行归类频次分析，整体描述出现的次数分为1 - 5 次， 6 - 1 0 次，1 1 - 1 5 次，1 6 - 2 0 次四个区间，即整体描述的频率为0 - 2 5 ，2 5 - 5 0 ， 5 0 - 7 5 ，7 5 - 1 0 0 ；考察1 8 0 幅图片在各个频率区间内的频次分布。频次分布结 果如图1 所示。 ( 注：在此分析中，只要是出现整体性概括的，无论被试同时报告几个主旨， 都算作整体性报告。另外，对数量多个的同类物体进行概括的也算作整体性报告。 同时，“海上的舰艇”“山上抛锚的汽车 等等均算作整体性，因其对整体环境进 行了报告。“大海静“沙滩”一类的对象往往占据场景中较大画面，对它们的报 告也算作整体性抽取。) 1 2 3 0 - 2 52 5 - 5 05 0 - 7 57 5 - 1 0 0 单幅图片主旨整体描述的频率( ) 图11 8 0 幅实验图片主旨整体性报告频率的分布频次 从频次分布结果可以发现，1 2 3 幅图片的主旨整体报告频率在7 5 一10 0 区间 内，占全部图片的6 8 3 ；主旨整体描述频率在0 - 2 5 的图片有1 5 张，占全部图 片的8 3 ；其余两种整体描述频率2 5 - 5 0 及5 0 - 7 5 的区间分别有1 3 张( 7 2 ) 和2 9 张( 1 6 1 ) 。 从以上的数据可以看出，被试观察多个对象组成的场景图片时，倾向于寻找 整体性的主旨，即充分利用场景中多个物体的信息。 2 3 4 场景主旨提取的重点不同 以室内场景的加工为例，说明场景加工时，人在理解场景时，切入点有所不 l l 凹矗量 o o o o o o o o 4 2 o 8 6 4 2 ，_ j 1，上 醛k 豇 浙江大学硕士学位论文 复杂场景的主旨提取机制 同。这意味着场景中信息的重要性不同，人主要利用重要性高的那部分信息，重 要性低的信息作为背景或被忽略。 室内线索是指场景中的墙壁、天花板、地板、窗户、家具等要素。挑选出有 室内线索的图片共3 6 幅图，其中无人和动物出现的共1 1 幅，出现人的2 4 幅， 动物的1 幅：筛除包含过少物体的特殊图片2 张，对比1 0 幅无人室内场景和2 4 幅有人室内场景的主旨描述情况。 通过考察其报告整体室内环境的频率差异，了解场景中对象语义内容对关注 点选择的影响。无人类型的场景2 0 名被试报告整体室内环境的平均频次为1 6 2 次，标准差为2 3 9 ；而有人类型的室内场景2 0 名被试报告整体室内环境的平均 频次为0 6 2 5 次，标准差为1 5 3 。采用平均数差异检验的t 检验，结果发现 t = - 2 2 8 2 ，自由度d f = 3 2 ，显著性水平p o 0 0 1 。表明两种不同的图片整体性报 告频次的平均数差异显著。 曝 露 斗 骤 瞬 墨 删 羽 警 2 0 1 8 无人 图片中包含对象类型 有人 图2 不同类型室内图片整体环境报告频次对比 这个结果表明，在室内图片中，若无人出现，且无凸显对象耐，环境本身成 为理解场景的重点，阅读者会结合家具、室内的其他物件等要素的特征对其进行 功能性的描述：室内、家、客厅、书房、厨房、展厅、会展、仓库；也会对其风 格进行描述：温馨的、美丽的、干净整齐的、现代化的、欧式的；甚至会由某对 1 2 浙江大学硕士学位论文复杂场景的主旨提取机制 象而产生更高层次的对主旨的抽取，由环境本身上升到对抽象内容的理解，如： “精致的生活”、“高品味的生活”。但这需要特殊对象而非一般对象的存在，如 酒杯、书本、花瓶等。 但是一旦出现了人，环境会变为背景，较少被报告，即使提到也作为功能性 的容纳人的背景存在。 2 3 5 被试经验对主旨提取的影响 2 3 5 1 专家水平的影响 从主旨报告中看出，被试经验对主旨提取有一定的影响。突出表现为不同的 被试对报告对象描述层次不同。如“汽车”“宝马车”“宝马z 4 ”；“花”“白色的 花”“梨花”；“炮”“高射炮”等。这种对事物认识层次、熟悉程度不同，在主旨 报告中十分常见。 2 3 5 2 经验差异性影响 对于同一个场景，由于被试经验的不同而给出不同的主旨。如同样有很多沙 发的房间，有人命名为会议室，有人命名为浴室大厅。这种差异性体现出过往经 验的差异。 2 4 讨论 通过访谈数据发现，复杂场景的主旨提取是一个信息筛选过程，物体语义和 物体间关系都可能得到利用，根据场景特点和观察者经验不同而变化。下面详细 讨论需要进一步研究的问题。 2 4 1 新异性对场景主旨提取的影响 在以往研究中，研究者对物体出现在场景中的概率进行操控，来说明上下文 优势效应，即场景主旨激活后，有利于与其语义一致的物体的检测，而新异物体 的检测和识别则受到干扰( b i e d e r m a n , 1 9 8 2 ；d a v e n p o r t ，2 0 0 4 ) 。 而从访谈结果分析来看，新异的物体并不总是被排斥在主旨之外，相反，只 要理解了新异物体，主旨的报告则离不开新异物体了。 浙江大学硕士学位论文 复杂场景的主旨提取机制 我们的假设：短时间内的观察可能原始主旨占优，但有足够时间并能通过推 理理解新异物体的存在，则主旨加工与新异物体有关。 例如，人漂浮在空中：神仙。人变得很小：玩偶。透明的人：鬼。餐具在卧 室里：享受假期。杯子在马桶上：主人很不拘小节。新异性会得到某种解释， 而这种解释需要结合过去的经验进行推理。 新异物体不是与场景完全割裂的，它会参与到主旨加工当中，并改变对主旨 的理解。这种参与可能需要推理，而这比符合既往经验的主旨判断可能需要更精 细的信息，而体现出时间成本。 2 4 2 物体重要性在场景主旨提取中的作用 从室内场景加工的结果分析可以看出，人物出现在场景中时，对主旨提取的 影响非常大。我们设想，这是由于人物在观察者经验体系中语义重要性很高。而 人物的作用只是所有场景加工中的一个例子，不同信息在场景主旨加工中具有重 要性上的差异。这种重要性差异对主旨加工有重要影响，影响整个加工进程，是 过去经验、期望参与场景主旨提取的重要体现。对象重要性对主旨内容整合的影 响需要进一步研究来验证。这也会给物体识别的上下文效应带来更加深刻的认 识。 1 4 浙江大学硕士学位论文复杂场景的主旨提取机制 3 实验一新异物体对场景主旨提取的影响 3 1 目的 本实验旨在考察场景主旨提取在不同时间跨度上的特性。我们假设场景主旨 在不同呈现时间条件下，能够整合不同层次的信息。观察者先着重利用场景提供 的粗略信息进行主旨解读，再进一步精细加工其他信息。 我们用存在新异物体的场景图片进行测试，通过在不同呈现时间条件下，被 试选择原主旨和新主旨( 融合新异物体) 的比例，来说明场景主旨加工层次随时 间变化的情况。 在场景中加入新异物体是探索场景加工机制的有效手段。新异物体的加入， 在一定程度上破坏了原主旨。我们假设，对新内容的整合需要时间，而场景的粗 略信息能够提供整合难度低的符合过去经验的稳定信息。因此，新异物体的加入 能够考察主旨提取过程中信息整合特性。 新异物体的定义：出现在特定场景中可能性低的物体称为该场景的新异物体 ( b i e d e r m a ni ，m e z z a n o t t erj ，r a b i n o w i t zjc ，1 9 8 2 ) ，不同物体对于特定场景的新 异程度不同，新异度与物体出现在该场景中的可能性相反，即可能性高的新异度 低。例如：对于卧室而言，出现床的可能性极高；出现植物的可能性较高；出现 自行车的可能性较低；而出现鸡的可能性极低。 3 2 方法 3 2 1 实验对象 2 0 名大学生，年龄为2 0 一2 5 岁，平均年龄2 2 岁，男女各1 0 人。视力正常 或矫正视力正常。实验后获得少量报酬。 浙江大学硕士学位论文复杂场景的主旨提取机制 3 2 2 实验设计与材料 自变量有2 个，分别为场景图片呈现时间和场景中有无新异物体。呈现时间 分为1 5 0 毫秒，5 0 0 毫秒，1 秒，2 秒4 个水平；场景中有无新异物体分为2 个 水平。本实验为4 2 的被试内设计，每个处理上使用2 0 张场景图片，共1 6 0 幅 图片，每幅图片只呈现一次。呈现时间的4 个水平在被试间采用拉丁方设计，以 平衡顺序效应。每个呈现时间下，4 0 张图片随机呈现，每个图片的4 个备选项 在屏幕上按随机顺序排列，4 0 张图片全部呈现完以后，改变为另一个呈现时间 水平，依此进行直到全部图片呈现完毕。 因变量为选择特定类型主旨选项的频率。预实验的结果表明，对于主旨明确 的场景，即使在1 5 0 毫秒呈现条件下，观察者也能够提取准确的主旨，且与充裕 时间下提取的主旨一致。 刺激材料制作：挑选主旨明确的日常场景图片，在其中加入新异物体，请3 0 名评分者对物体的新异程度进行打分( 1 分为新异程度最低，即与场景语义一致； 1 0 分为新异程度最高，即出现在场景中的概率极低) ，获得新异物体得分高( 6 分以上，平均分8 8 分) 的图片8 0 张。请一名志愿者报告加入新异物体的图片 主旨，得到8 0 幅图融合新异物体的新的场景主旨。接着请10 名志愿者为图片的 新主旨恰当程度打分，8 0 幅图片中最低的恰当程度均分为4 5 分( 非常恰当5 分，非常不恰当1 分) ，最高为4 9 分。另选取主旨明确的日常场景图片8 0 张作 为对照组。 新异物体大小：与场景中其他物体的相对大小符合日常经验。新异物体所占 空间不影响对原本场景的认识。新异物体的平均大小为1 6 0 1 6 0 象素。图片大 小为1 0 2 4 * 7 6 8 象素。 新异物体在场景中位置：图片间进行平衡，使得新异物体看起来随机出现在 图片的任何位置。 主旨备选项：按照假设，对于加入新异物体的场景图片来说，有两种可能正 确描述场景的主旨，一种是不包含新异物体的原主旨，另一种是包含新异物体占 优形成的新主旨。如果在备选项中仅提供这两种