联结主义理论及心理词典表征问题.ppt

联结主义理论及心理词典表征问题 Email xinghb 主页 邢红兵 联结主义 connectionism 生物学基础语言学习的看法计算机模型心理词典的结构语言材料的属性 行为主义20世纪前半叶 儿童语言学习的研究主要是行为主义 behaviorism 行为主义心理学 BehavioristicPsychology 是美国心理学家J B Watson创立的 行为主义理论认为儿童的语言获得主要是模仿成人 经过操作条件性刺激 operantconditioning 及强化 reinforcement 来获得语言 代表人物是美国的Skinner 他认为语言的习得纯粹是学习一套行为习惯 行为主义的语言习得理论否定人脑的认知结构的现实性 1联结主义理论概述 20世纪60年代 Chomsky语言学理论的建立 对心理语言学的研究带来很大的影响乔姆斯基理论中很重要的一个方面就是对语言习得的解释 即语言天赋论 这种理论认为儿童天生就具有一种语言能力 儿童掌握语言并不是一种 学习 learning 的过程 而是一种 习得 acquisition 过程 Chomsky理论 Chomsky的理论由于过分强调语言习得的内在机制而走向与行为主义相对立的另外一个极端 于是便出现了一种新的观点 认知派理论 认知派以瑞士儿童心理学家J Piaget的认知论为理论依据 认知学派认为人的认知过程中有两种不同的组织功能 organizations 一种是来自遗传的心理功能 叫做 功能的不变形式 functionalinvariants 另一种叫做 认知结构 cognitivestructures 这种功能是前一种功能与环境相互作用的结果 这种认知结构会随着儿童的发展而产生变化 认知学派认为在儿童语言习得的过程中 功能的不变形式是关键 包括同化 assimilation 和适应 accommodation 等 儿童语言的获得是客观的语言环境和儿童的认知结构相互作用的结果 认知派理论 1 1产生的生物学基础 单元 神经元 激活抑制聚类并行运算 Chomsky的理论否定语言材料的作用 认为语料库不能代表人类语言 因为基于规则而生成的语料是无限的 因而没有强调大规模真实语料对学习的影响 认知理论虽然强调环境的作用 但是由于对语言环境本身的计算研究并不完善 因而也没有更好地解释儿童语言环境对儿童语言习得的具体的影响 近年来 联结主义 connectionism 在语言习得理论方面产生了很大的影响 特别是联结主义理论对语言先天论的看法 1 2联结主义理论 先天性的看法 联结主义理论形成之前 模块化理论 modulartheory 占主导地位 模块化理论代表人物是JerryFodor 模块化理论 JerryFodor 1983 认为人脑的认知系统有许多不同的模块构成 这些模块分别负责不同的任务 比如有负责语音加工的模块 有负责词汇加工的模块 有负责语法加工的模块等 这些模块彼此相对独立 模块化理论假设语言理解是一个自下而上 bottom upprocess 的加工过程 各个阶段是序列加工 同时各个层次不存在相互作用 模块化理论的线性加工和严格的层次 在语音 词汇和句法研究中产生了很重要的影响 1 3联结主义理论 人脑的加工方式 联结主义理论在形成的初期就和模块化理论针锋相对 比如Rumelhart和McClelland 1981 提出的 交互作用模型 interactiveactivation 这个模型假设语言的加工过程不仅包含自下而上的加工过程 也包含自上而下 top downprocess 的过程 而且这两种过程可以在同一时间互相作用 其中最著名的就是Rumelhart和McClelland所举的 词优效应 word superiorityeffect 的例子 就是自上而下的加工过程的很好的证明 1 4联结主义理论 语言材料的看法 语言材料的分布属性决定了学习者获得的规律浮现特征学习者获得的不是规则利用语言材料调整权值的过程儿童形声字命名中的过分规则化问题 核心问题 按照Rumelhart McClelland 和PDPGroup 1986 的PDP ParallelDistributedProcessing 理论 联结主义有以下两个基本特征 表征学习 2心理词典问题 表征 分布表征聚类 共性和差异互联 形音义的联结 在知识的表征 representation 方面 它强调 分布表征 distributedrepresentation 分布表征与传统认知理论对知识的表征有很大的不同 上面我们提到 传统认知理论将人脑看作是符号处理系统 因而它采用的是 方位表征 法 localistrepresentation 这种表征的基本特点是一个信息加工的单位 或单元 只表达一个概念 例如语素 字 或词 而一个概念也只由一个单位来表达 这样 表达单位不能进一步分解为更小的单位 因为它与概念间有清楚的一对一的关系 而每个单元本身并不能有效地表达一个信息 2 1表征 分布表征与此不同 它强调一个概念由多个单元互相作用的关系来表达 例如 英文大写字母F和E之间的不同在于后者多了一横 照方位表征法 F和E是分别由两个不同的单元来表达的 照分布表征法 F和E可以由多个同样的单元来表达 所不同的某些单元在表达E时被激活 但在表达F时被抑制 这样一来 我们如果仅看这些个别的单元 它们既不表达F 也不表达E F和E的知识是由多个单元之间激活的关系来表达的 基于语料库知识提取 3联结主义理论学习的本质 生物基础 神经元计算 并行计算表征 分布表征学习的过程 权值的调整特征的浮现 联结主义区别传统认知理论的第二个基本特征在于它对知识学习的看法 心理语言学家一直以来认为学习语言就是一个学习规则的过程 这种观点 由前所述 与乔姆斯基的语言学理论是密不可分的 联结主义则认为 乔氏理论提供了有效的规则系统描述语言本身 但这系统不能描述学习的过程 由于联结主义采用分布表征 它认为知识学习的过程就是学习分布表征的过程 学习是经过调节单元与单元之间的关系来完成的 而调节单元与单元之间的关系又是经过改变单元与单元之间的权值 weight 来完成的 权值是表达单元与单元之间联结的强度 权值数越高 单元之间的联结就越强 一旦联结网络中相应的单元都由适当的权值联系好了 知识的表达和学习的过程也就完成了 如果我们已经学会了F这个字 学习E时只需要将最下部分的单元激活并给予高强度权值 将其与网络中其它单元联结起来 我们便学会了E 语言习得理论从传统的经验主义到乔姆斯基的语言先天论到联结主义理论 其中一个很关键的问题就是对语言材料在语言习得过程中作用的看法 联结主义在语言习得方面并不否定语言的先天性及内在机制 但是更强调语言材料对语言学习的影响 Rumelhart McClelland的模型的一个核心的思想就是语言学规则是 浮现特征 emergentproperties 就是说 联结主义网络通过单元的激活 抑制与联结等特征能够有效地表达语言行为 而这种表达的有效程度仿佛其背后有语言学规则在支配 比如Rumelhart McClelland 1986 的英语过去时态模型产生的 U 形学习效应 所谓U 形学习效应是指儿童在早期的学习过程中基本不犯语法错误 在中期的学习阶段 错误大量出现 儿童在后期的学习阶段才逐步将错误消除 Bowerman 1982 这种效应无法用规则来解释 因为在Rumelhart等人的联结主义网络中并无任何规则的表征 但网络却显现出规则的效应 可见 单一的联结主义机制既能反映儿童对规则过去式的掌握 也能反映其对不规则过去式的掌握 规则本身不需要在系统中明确表征 但却通过网络学习浮现而出 近来 语言学家和心理语言学家对浮现特征从多个角度给予了讨论 MacWhinney1999 Elman等 1996 认为单靠内在机制或外界因素都不能解答人和环境之间的复杂关系 因此我们应该仔细研究人与环境之间相互作用下所产生的 浮现特征 这些 浮现特征 从联结主义的角度来看正是网络与学习材料之间相互作用的结果 Nelson 1999 将这种观点推到一个新的层次 认为人的神经系统本身会随着学习的经验而加以改变或得到发展 也就是说 内在的神经机制本身也不是一成不变的 总之 联结主义理论的一个重要的特征就是认为学习的过程就是从语言材料中抽取特征的过程 语言获得的过程是通过特征获得规则 而不是直接学习规则 过度规则化 现象在我们的汉字命名模型中也模拟出来 二 语言学习过程中的几个关键问题 4语言获得中几个关键因素 聚类 聚合关系 同一成分构成的语言单位的集合 形成的血缘关系有多种 部件组字 例如 部件组字 声旁组字 形旁组字 语素组词等 聚类的结果常常称为 家族 属性 大 小规则 不规则一致 不一致阶段性同现 组合关系 不仅使语法搭配 非语法规律的搭配 二 语言学习过程中的几个关键问题 1 家族的大小 4 1家族的大小 贝 46264 负 1 惯 1 贵 1 绩 1 赛 1 赢 1 员 1 圆 1 责 1 败 2 厕 2 测 2 费 2 愤 2 贡 2 购 2 贯 2 贺 2 货 2 懒 2 贸 2 赔 2 喷 2 损 2 贴 2 赞 2 则 2 质 2 资 2 坝 3 财 3 侧 3 贱 3 溅 3 贫 3 赏 3 锁 3 遗 3 婴 3 赠 3 债 3 赚 3 贝 4 狈 4 贬 4 贷 4 赌 4 贰 4 贩 4 赋 4 贿 4 馈 4 溃 4 赖 4 赂 4 贪 4 贤 4 樱 4 攒 4 贼 4 贞 4 侦 4 啇 022 滴 2 摘 2 心 43 12 31 1 14 12 16 心得 乙 心情 乙 心爱 丙 心理 丙 心事 丙 心思 丙 心意 丙 心里 丁 心灵 丁 心疼 丁 心头 丁 心愿 丁 关心 甲 安心 乙 担心 乙 放心 乙 决心 乙 耐心 乙 热心 乙 伤心 乙 细心 乙 小心 乙 信心 乙 虚心 乙 专心 乙 操心 丙 粗心 丙 灰心 丙 一心 丙 疑心 丙 用心 丙 衷心 丙 称心 丁 成心 丁 当心 丁 甘心 丁 狠心 丁 精心 丁 开心 丁 良心 丁 留心 丁 野心 丁 真心 丁 响 1 1 响亮 丙 语素的构词能力 部件的构字能力等 理论上说 家族越大 学习过程得到强化的机会更大 学习效果越好 但是还要看其他属性 二 语言学习过程中的几个关键问题 2 规则性 4 2规则性问题 纟 06363 给 1 红 1 级 1 绩 1 继 1 纪 1 结 1 经 1 练 1 绿 1 绍 1 细 1 续 1 药 1 织 1 纸 1 组 1 编 2 纺 2 纷 2 纠 2 绢 2 绝 2 绕 2 绳 2 缩 2 统 2 维 2 纤 2 线 2 绪 2 约 2 终 2 综 2 绑 3 纯 3 缝 3 缚 3 纲 3 缓 3 络 3 纱 3 纹 3 绣 3 哟 3 缘 3 纵 3 绷 4 辫 4 缠 4 绸 4 缔 4 缎 4 绘 4 缴 4 绞 4 绵 4 纳 4 纽 4 绒 4 绅 4 蕴 4 缀 4 贝 46264 负 1 惯 1 贵 1 绩 1 赛 1 赢 1 员 1 圆 1 责 1 败 2 厕 2 测 2 费 2 愤 2 贡 2 购 2 贯 2 贺 2 货 2 懒 2 贸 2 赔 2 喷 2 损 2 贴 2 赞 2 则 2 质 2 资 2 坝 3 财 3 侧 3 贱 3 溅 3 贫 3 赏 3 锁 3 遗 3 婴 3 赠 3 债 3 赚 3 贝 4 狈 4 贬 4 贷 4 赌 4 贰 4 贩 4 赋 4 贿 4 馈 4 溃 4 赖 4 赂 4 贪 4 贤 4 樱 4 攒 4 贼 4 贞 4 侦 4 规则性实际上是这个家族是否具有某个属性以及具有该属性的情况 1 有没有体现某种规则 2 这个项目符合不符合规则 青 规则 清 蜻 2 8 半规则 请 精 睛 晴 情不规则 猜巴 规则 芭 笆 吧 疤 4 7 半规则 把 爸 爬规则的好学 不规则的难学 二 语言学习过程中的几个关键问题 3 一致性 4 3一致性问题 青 规则 清 蜻 2 8 半规则 请 精 睛 晴 情不规则 猜巴 规则 芭 笆 吧 疤 4 7 半规则 把 爸 爬胡 规则 湖 糊 瑚 葫 蝴 5 5 然 忽然 甲 突然 甲 果然 乙 既然 乙 显然 乙 自然 乙 固然 丙 竟然 丙 居然 丙 猛然 丙 偶然 丙 公然 丁 茫然 丁 泰然 丁 毅然 丁 面 前 面貌 乙 面前 乙 面孔 丙 面目 丁 面容 丁 面子 丁 后 见面 甲 对面 乙 当面 丙 露面 丙 体面 丙 出面 丁 迎面 丁 规则一致的好学 不规则不一致的难学 二 语言学习过程中的几个关键问题 4 阶段性 4 4阶段性问题 1 学习是有阶段的 家族是慢慢形成的 g1 悄 梢 峭 削 g2 消 哨 销 俏 g3 硝 艄 g4 宵 稍 捎 g5 屑 2 阶段性会使家族成员的作用产生变化 动词 变 在甲级就出现了 在甲级还出现了由 变 构成的词 变成 变化 改变 等语素 灵 作为形容词在 等级词汇 可以独立成词 但是成词的等级是丁级 而语素 灵 构成的词 灵活 在乙级 灵敏 灵巧 机灵 在丁级 这说明 灵活 很可能在 灵 之前学习先学习的知识会对后学习的知识产生一定影响 参考文献 陈鹰 彭聃龄 1994 汉字识别和命名的联结主义模型 载于Hsing WuChang Jong TsunHuang Chih WeiHue OvidJ L Tzeng SelectedWritingfromtheSixthInter