短时记忆的视觉和听觉编码

1、实验编号：201328.32013学年 第2学期记忆的视觉和听觉编码专业年级：应用心理2012级实验组别：实 验 者： 李德輝 其他成员：实验时间：摘 要 短时记忆的编码方式是认知心理学研究中的一个重要问题， 存在视觉编码、听觉编码、 语义编码等多种观点。减数法是反应时研 究的传统方法，应用于当代认知心理学中为探明认知加工过程提供了 一条途径。波斯纳( Posner， 1967，1969)将减数法应用于短时记忆 编码的研究中，以音同形同、音同形异、音异形异的字母对为实验材 料，让被试做出同 /异判断，分析其反应时，得出某些情境中短时记 忆中信息编码的规律：先形成视觉编码，再转化成听觉编码。本实

2、验 将对该经典实验进行重复验证， 并对实验中减数法原理的运用进行初 步讨论。关键词 短时记忆 视觉编码 听觉编码 减数法 延迟时间1 引言短时记忆(Short-term Memory)是指脑中的信息在一分钟之内加 工编码的记忆。它建立在感觉记忆的基础上， 是信息加工系统的核心。 感觉记忆中的信息是无意识的， 也是未经加工的感觉痕迹， 而短时记 忆中的信息是来自于感觉记忆并对其进行操作、 加工，是正在操作的、 活动的记忆， 只有当那些被加工、 处理和编码后的信息才能被转入长 时记忆中储存，否则就会遗忘。短时记忆的刺激编码方式一直是认知心理学的重要问题之一。 一 般认为，关于短时记忆的编码方式有四

3、种观点：一、信息的编码是一 听觉形式表征的， 即听觉编码。 人们在对刺激信息进行编码时是根据 刺激信息的名称进行编码， 如果名称相同和意义相同， 就作出相同判 断，并与长时记忆中的信息建立联系。二、信息编码根据外形轮廓进 行，即视觉编码。如果信息的外形轮廓相同，无论其形状、大小或其 他物理特征是否相同，都会作出相同的判断。三、信息以语义编码的 形式进行加工，即根据刺激的语义特征进行编码。四、短时记忆中同 时存在上述三种或两种编码过程。康拉德(R.Conrad, 1963, 1964)以发音相似的一系列字母为材 料，要求被试进行回忆， 发现被试对发音相似的字母产生的听觉混淆 多于发音不同的字母,

4、 占总错误的 80%。并据此认为短时记忆的编码 具有听觉性质。之后,威克尔格伦( Wichelgren, 1965)用数字和字 母混合进行实验, 也证明了短时记忆中存在听觉编码。 但这些研究未 能排除语义编码在刺激编码中的作用。 考夫曼和威尔逊 ( Kaufuman & Wilson)对短时记忆的视觉编码进行了研究，对猴子进行的图形识别 实验( Kaufuman & Wilson, 1971)证明猴子进行短时记忆时,只能 对刺激进行视觉编码。波斯纳等( Posner, 1967, 1969)的实验表明, 至少在部分时间内, 短时记忆的信息是以视觉编码形式进行的。 短时 记忆的语义编码也获得了部

5、分实验支持，如威肯斯（ Wickens，1970， 1972）对前摄抑制现象的研究，舒尔曼（ Shulman， 1972）对同一匹 配中语义混淆现象的研究等。国内学者对短时记忆的编码也进行了大量的研究， 尤其是汉字的 编码方式。而这些研究越来越显示： 短时记忆中可能存在视觉、 听觉、 语义等多种编码方式，对这些编码方式的运用会受到许多因素的影 响。莫雷（ 1986）认为，短时记忆的编码方式可能随情境而变化，如 在汉字情境中采用视觉编码而在英语情境中采用听觉编码。刘爱伦 （ 1989）、郑涌（ 1991）等的实验结果也表明，不同的感觉通道（视 觉和听觉） 的刺激会改变短时记忆的编码方式。 以英语

6、专业和非英语 专业中国大学生为被试， 以英文实验材料为刺激， 发现非专业组被试 总体上偏好于视觉编码， 专业组被试总体上偏好于听觉编码。 本实验 将要重复的波斯纳的经典实验也表明， 在不同时间间隔下被试对刺激 的编码方式有所不同。反应时（reaction time）,亦称“动作反应时”，“反应潜伏期”。 即从刺激呈现到有机体做出反应之间所需的最短时间。 最初的反应时 研究仅仅用于测定神经的传导速度， 之后渐渐被用于推断复杂的心理 加工过程。唐德斯（的反应时ABC （ABC of reaction time）理论是这种应用的成功代表，其减数法的思想沿用至 今；冯特也积极地将反应时可表征的心理过程

7、大大拓展， 但由于当时 的研究水平所限，其效果并不理想。直到认知心理学出现，反应时又 被广泛应用于探究心理活动的机制，并衍生出减数法、加因素法、开 窗实验等诸多实验范式。 在认知心理学中， 减法反应时既可用于研究 某一个信息加工阶段或特征，也可用于研究一系列连续的加工阶段。 其理论依据是：如果一个加工过程包含另一个加工过程所没有的心理 加工过程，则两个加工过程的反应时差异可表征这个多出的心理加工 过程。但将减数法应用于心理过程的推断应高度谨慎： 实验者应对实 验任务引起的刺激与反应之间的一系列心理过程有比较精确的预测， 并要求两个相减的任务中共有的心理过程要严格匹配。 波斯纳等成功 地应用减数

8、法反应时实验， 证明了某些短时记忆信息可以有视觉编码 和听觉编码两个连续的阶段， 这是认知心理学上的重大发现， 同时具 有很强的方法学意义。2 研究方法2.1 被试 华东师范大学心理学系本科学生 3 名 实验仪器计算机及PsyTech心理实验系统222实验材料英文字母大写A、B和小写a、b的不同组合，其中AA（6次）、 BB（ 6 次）。Aa （6 次）、Bb （6 次）、AB （3 次）、BA （3 次），Ab（ 3 次）、Ba （3次）共36次（参数设置中如选72次则重复呈现2遍； 108次则重复呈现3遍）。2.3实验步骤（1）登录并打开PsyTech心理实验软件主界面，选中实验列表中 的

9、“短时记忆的视觉和听觉编码”。单击呈现实验简介。点击“进入 实验”到“操作向导”窗口。实验者可进行参数设置（或使用默认 参数），然后点击“开始实验”按钮进入指导语界面。可先进行练习 实验，也可以直接点击“正式实验”按钮开始。（2）被试阅读指导语。当被试明白实验步骤后可进行一组练习。 练习结束后点击“正式实验”按钮开始。（3）实验开始后屏幕每次呈现两个字母， 有3种呈现形式：同时 呈现、一个字母比另一个字母延迟 0.5秒后呈现、一个字母比另一个 字母延迟2秒后呈现。3种形式随机呈现。被试判断呈现的两个字母 是否相同并作出反应，记录反应时。（4）实验结束，数据被自动保存。实验者可直接查看结果，也可

10、 换被试继续试验，结果可在主界面“数据”菜单中查看。3结果3.1 不同类型的子母匹配在不同间隔时间下被试正确反应时的平均 数和标准差表1正确反应时的平均数和标准差音同形同0毫秒音同形 异音异形异音同形同500毫秒 音同形 异音异形异音同形同2000毫秒 音同形 异音异形异Mean534.04610.58673.40536.39544.82604.04489.00490.95527.87std88.62128.5772.645188.57125.36179.9493.05105.10137.34时应反oooo ooooo oooo oooo 00765 4321图1不同间隔时间正确反应时的变化+

11、音同形同音同形异音异形异05002000间隔时间（m9从图中可以看出，在刺激间隔为 0ms时，音同形同、音同形异、 音异形异三种不同的匹配其反应时有明显差异；随着间隔时间的增 大，反应时均有所下降，并逐渐趋同，至2000ms时几乎重合为一点,三种不同的刺激匹配下，不同间隔时间所对应的反应时差异在下 图中体现更为明显。图2不同刺激匹配下的正确反应时音同形同音同形异音异形异0ms Zi 500ms _ 2000msooooooooo oooooooo 8 76 54321时应反3.2 one-way ANOVA 差异检验刺激音同形同时，三种延迟时间下反应时没有显著差异F=0.991，p=0.407

12、, Mean=520.26, Std=132.08 ;刺激音同形异时，三种延迟时 间下反应时有极其显著差异 F=5.085，p=0.0090.01，Mean=545.83 Std=127.32，具体分析，0ms与2000ms下的反应时有显著差异 p=0.0020.01 ；刺激音异形异时，三种延迟时间下反应时有极其显著 差异 F=6.262，p=0.0030.01，Mean=600.72, Std=148.46，具体分 析，0ms与2000ms下的反应时有显著差异p0.001。可见实验材料（刺 激）同质性越强，反应时越短，差异越不显著。间隔Oms时，三种不同实验材料反应时有极其显著差异F=11.

13、512,pvO.001 , Mean二604.67, Std=112.72，具体分析，三种不同的实验材 料两两之间均有显著差异，音同形同与音同形异p=0.0140.05，音同形异与音异形异p=0.0440.05，音同形同与音异形异p0.001。间 隔500ms时，三种不同实验材料反应时无显著差异 F=1.121 ,p=0.332， Mean=561.75, Std=167.28。间隔2000ms时，三种不同实验材料反应 时无显著差异 F=0.839, p=0.437，Mean二502.99, Std=113.52。可见， 随着时间间隔的增大,差异减小。3.3 Univariate Analys

14、is of Variance 差异检验 以时间间隔和实验材料（刺激匹配）为两个因素对反应时进行 Univariate Analysis of Variance 差异检验。实验材料主效应显著 F=6.892, p=0.0010.01 ；时间间隔主效应显著 F=10.348, p音同形异音同形同；在间隔时 间为500ms和1000ms时均无显著差异，且p值增大显示差异减小。考察音同形同和音同形异两种材料的反应时变化。这两种反应任 务都是首先判断两个字符是否为同一个字母,然后去按表示“相同” 的反应键。根据减数法的逻辑,在 0间隔的情况下,音同形异任务的 反应时比音同形同任务的反应时长, 说明前者有

15、后者所不具有的心理 加工过程, 且该过程所占用的时长就是反应时的差值。 两种操作的动 作反应是一样的, 区别只能发生在判断过程中。 要确认两字符是同一 个字母,对于音同形同的材料可以由外形（轮廓）相同来确认,也可 以由读音相同来确认；对于音同形异的材料只能由读音相同来确认。 外形确认需要视觉编码,读音确认需要听觉编码。由于“确认”是动 作反应前的最后一个步骤, 所以对音同形异材料进行心理加工的最后 一步是基于听觉编码的读音判断。 由于字符信息是由视觉传入的, 视 觉编码如果存在, 必然发生在听觉编码之前。 结合减数法的实验逻辑, 两种反应时的差值正是多出的那种心理加工过程。 这种过程只能是听

16、觉编码。音同形同材料可以经由外型相同来确认, 不必再经过听觉编 码,节省了一步,故反应时相对减小。随着时间间隔的延长, 两种实验任务的反应时渐渐趋同, 在 500ms 时已没有显著差异。 该过程中音同形异任务的判断步骤与 0 间隔情况 相同；对音同形同的任务而言， 反应时的相对增加意味着心理加工过 程的增加， 从而与音同形异任务的加工过程趋于一致。 这一增加的心 理过程就是刺激的听觉编码。 这验证了该情境下短时记忆首先进行视 觉编码，然后进行听觉编码的程序。4.2对于音异形异的实验材料，其心理加工阶段应与音同形异的材料 相同：首先经过视觉编码，视觉编码不足以确认两字符“相同”还是 “不同”，随

17、后进行听觉编码，根据读音确认两字符不同，然后作出 按“”键的反应。即：视觉编码 - 轮廓确认，听觉编码 -读音确认。 直到读音确认为不同，被试才能做出“不同”的判断。这就可以解释 在 0 间隔时音异形异材料和音同形同材料在反应时上的显著差异， 以 及二者在 500ms 后的无差异。而音异形异材料相对于音同形异材料在 0 间隔情况下的显著差异 无法用上面的理论来解释。 因为两者的编码方式和步骤相同， 所以反 应时差异所代表的心理加工过程也与编码方式无关。 我们猜想： 这是 由实验材料的复杂程度决定的。 本实验中， 音异形异材料的构成最为 复杂，有 AB ，Ab，aB，ab 四种情况，较难随练习迅

18、速提高反应速 度。4.3 本实验与波斯纳经典实验结果的不同之处在于随延迟时间的加长 反应时的缩短。由图 2 可见：三种实验材料的情况下，反应时都随着 间隔时间的延长而缩短。 方差分析也表明： 在音同形异和音异形异的 情况下，延迟2000ms的反应时显著短于0间隔的反应时。波斯纳的 实验中，随着延迟的增加， 音同形同材料的反应时会逐渐上升，从而 与音同形异材料的反应时趋同。 这根据短时记忆的编码理论似乎很容 易解释：随着时间的延迟， 视觉编码的作用逐渐消失，听觉编码的作 用逐渐增大，从而反应时也逐渐增加。但仔细分析不同延迟时间下的操作任务，会发现无延迟（ 0 间隔） 和有延迟情况下的操作任务并不

19、完全相同。 在无延迟的情况下， 被试 要在刺激呈现之后首先进行视觉编码， 然后进行听觉编码， 同时以最 快的速度对“相同”与“不同”进行确认。音同形同的材料在视觉编 码的基础上即可得到确认， 不及进入听觉编码环节， 故反应时短于另 外两种材料。 在有延迟的情况下， 被试在延迟的时间段内完成了第一 个字母的声音编码， 将较为复杂的两字母音形判断任务转化为较简单 的单字母读音判断任务。 反应时由第二个字符呈现开始计数， 这之后 被试的心理加工仅仅是对这一个字母的注意和编码， 而不像 0 间隔任 务中对两个字母注意并编码。 根据减数法反应时理论， 后者的反应时 应当比前者更长。而在延迟时间由500m

20、s上升到2000ms时，虽然被试的操作任务 和刺激的编码方式都完全相同，但反应时仍然出现下降。我们认为： 这是由于判断策略的应用。 本实验中， 作出按键反应的唯一依据是声 音的异同， 在进行了视觉编码的基础上， 如何最快地进行比较和确认 是影响反应时的关键。 在无延迟的情况下， 被试只能同时对两个字符 进行编码和比较； 随着延迟的加长， 被试在延迟时段中可以完成第一 个字符的声音编码， 设想下一个字符的声音编码的可能情形， 并最终 把注意集中到某一种情形， 期待下一个字符的出现。 这种良好的准备 是无延迟状态下所没有的， 并且随着延迟的增加， 准备可以做得更加 充分，表现出反应时的下降。本实验

21、最长延迟为2000ms,至此反应时达到最低。若再增加多个 延迟，可能会发现反应时降低到一定程度就维持恒定。 反应时肯定不 能逾越生理的限制而无限减小, 本实验中仅选取三种延迟, 才会表现 出反应时随间隔时间增大而保持降低,这类似于天花板效应。4.4从上面的讨论可以看出,短时记忆的编码方式体现在信息加工的 过程中,受到实验材料、任务要求、操作策略等因素的影响。首先,短时记忆的编码应当受到感觉传入形式的影响。 本实验中, 刺激材料以视觉信息的形式呈现, 故首先经由视觉编码, 与头脑中字 母的概念发生匹配, 转化成相应的听觉编码, 从而在短时记忆中保持 并作为进一步的加工、 判断的基础。 如果刺激材料非由视觉信息形式 呈现,比如通过朗读向被试呈现材料, 很可能