自然语言处理之语言学基础PPT课件.ppt

自然语言处理之语言学基础 周国栋苏州大学自然语言处理实验室2012年12月21日 1 研究背景和意义 QuotebyFredJelinekEverytimeIfirealinguist theperformanceofourspeechrecognitionsystemgoesup Underhissituation itiscorrect Generally itiswrong QuoteaboutFredJelinekHewasnotapioneerofspeechrecognition hewasthepioneerofspeechrecognition SteveYoung 2010 研究背景和意义 语言学之于自然语言处理研究对象 自然语言研究重点 描述 解释 可计算性 数学之于机器学习数学是机器学习的基础机器学习不是数学的一个分支机器学习不是数学的一个扩展 研究背景和意义 自然语言 定义自然语言是人类籍以思维和交际的一个音行义相结合的符号系统 是一个变动的音行义相结合的结构系统 自然语言 三个方面语言本体声音 形式和意义相结合的符号系统 变动的结构 整体 成分 关系 语言功用人类最重要的交际工具和信息载体 人类赖以思维的工具 思维的物质外壳 语言的表现形式口语 语言的最基本形式 书面语 将语言用文字记录下来加以提炼加工 语言的代用品 体态语 手势语 唇语 自然语言处理基础语言学人工智能形式化理论 机器学习数学概率 统计 信息理论认知科学认知语言学 心理 思维 语言学社会学社会语言学 研究背景和意义 5 18世纪末 附属于比较语文学研究古代文献18世纪末 20世纪初 语言学成为独立学科历史比较语言学 研究语言之间的亲属关系20世纪初 20世纪60年代 探索人类语言普遍规律结构主义语言学Sassure 语言是形式而不是实质 是由单位和关系构成的系统 转换生成语法Chomsky 所有人类语言的语法系统在高度抽象的层次上都大致相同 由所谓的普通语法经过一定的变化派生出来的 20世纪60年代至今 深入探索语言的本体与功用形式语言学包括结构主义语言学 Chomsky形式语言学 非Chomsky形式语言学Chomsky 侧重语言本体 强调意义通过形式体现 功能语言学Halliday 侧重语言功用 强调意义通过功能体现 学科基础 语言学 6 18世纪末 附属于比较语文学研究古代文献18世纪末 20世纪初 语言学成为独立学科历史比较语言学20世纪初 20世纪60年代 探索人类语言普遍规律结构主义语言学转换生成语法20世纪60年代至今 深入探索语言的本体与功用形式语言学功能语言学 学科基础 语言学 7 历史比较语言学以历史比较法为基础 研究语言之间的亲属关系 把各种语言放在一起加以共时比较 或者对同一种语言的历史发展的各个不同阶段进行历时比较 以找出它们之间在语音 词汇 语法上的对应关系和异同 为现代语言学的建立奠定了坚实的基础 是语言学走上独立发展道路的标志 代表人物德国语言学家 J Grimn W Grimn F Bopp丹麦语言学家 R Rask 学科基础 历史比较语言学 8 18世纪末 附属于比较语文学研究古代文献18世纪末 20世纪初 语言学成为独立学科历史比较语言学20世纪初 20世纪60年代 探索人类语言普遍规律结构主义语言学转换生成语法20世纪60年代至今 深入探索语言的本体与功用形式语言学功能语言学 学科基础 语言学 9 F deSaussure 现代语言学鼻祖 精通法语 德语 英语 梵语 拉丁语 希腊语 哥特语 立陶宛语 古高地德语等语言 普通语言学教程 1916 开山之作主张区分共时语言学与历时语言学 强调共时语言学 共时语言学 横向 语言 同质的 抽象的语言形式 历时语言学 纵向 言语 异质的 五花八门的话语 理论贡献 语言是一个符号系统语言是一种符号 它的意义产生于符号系统内部的关系中 语言是形式而不是实质 是由单位和关系构成的系统 研究语言就是确定语言单位 确定单位之间的关系以及单位之间的组合规则 vs伽利略 改变了人类对物质世界的认识 老三论 系统论 信息论和控制论新三论 协同论 突变论和耗散结构论 学科基础 结构主义语言学 10 三大学派布拉格学派哥本哈根学派美国描写语言学派 学科基础 结构主义语言学 11 布拉格学派 结构 功能学派主要观点主张从结构和功能两个方面来研究语言 Halliday系统功能语法句子功能前景理论 二功能说 三功能说 六功能说 主位 述位的概念 奠基人V Mathesius 非常重视语言的功能性 语言是一个价值系统 语言是交际的工具 思维的工具 分析语言现象要首先考虑其功能 要以功能为依据 主要贡献主要运用索绪尔的二分法研究语言中的音位问题 创立了音位研究 区别性特征 的理论 首次系统地阐明了音位学的任务 原理和研究方法 使它在结构主义语言学诸领域中居于领先地位 评价美国语言学家鲍林格 欧洲任何其他语言学团体都没有像布拉格语言学会那样产生了如此巨大的影响 学科基础 结构主义语言学 12 哥本哈根学派主要观点侧重语言形式的研究 来源于索绪尔提出的 语言是一种符号系统 符号 是 能指 与 所指 的统一体 这个学派的人比较偏激 认为 符号 是单就 能指 而言的 追求的是一种 纯语言学 最后变成了纯粹研究语言形式的 语符学 奠基人 L Hjelmslev主要贡献以语言结构关系的研究及这种研究的数学性质而著称 代表着人文科学和精密科学相结合的趋势 评价我国语言学家王希杰 哥本哈根学派的学说是一座极有学术独创性的象牙之塔 学科基础 结构主义语言学 13 美国描写语言学派L Bloomfield 美国描写语言学派鼻祖 主张依靠形式特征来描写语言结构 一度几乎一统语言学天下 结构主义语言学的真正代表 语言论 1933 提出了 语素 的概念 开创了结构主义语法学的新篇章 到达语法事实的描写巅峰 学科基础 结构主义语言学 14 美国描写语言学派主要观点心理学观 行为主义 认为人类语言是人受到刺激后作出反应的一种结果 语言就是 刺激 反应 的中介物 S r s RS 刺激 R 反应 s 语言的代替性刺激 r 语言的代替性反应 以语言形式的分析和描写为内容 主张依靠形式的特征来描写语言的结构 从调查 分析 描写共时平面的不熟悉的美洲印第安人语言的实践中发展起来 在此基础上 进一步分析 描写英语和其他印欧语语言 早期 鉴于语义太复杂 专心对语言形式研究 后期 开始注意意义问题R S Wells 1947 关注歧义现象Z Harris 1957 提出变换问题 Chomsky转换思想 学科基础 结构主义语言学 15 美国描写语言学派主要贡献 音位的分析和理论研究提出了音位的概念 并建立了音位学 把研究语音的一套方法应用于形态和句法研究 研究方法 逻辑实证主义资料收集 运用国际音标采取如实记音的办法 尽可能记录大批语音资料 资料分析 通过切分 语言单位同一性的认定 获得这个语言的不同层面上的单位 如音位 语素 单词 短语 小句 句子 单位分类 对每一层面上的单位开出一个清单来 考察它们的分布情况 进行分类 学科基础 结构主义语言学 16 N Chomsky 20世纪最伟大的人文学家 句法结构 1957 主要观点所有人类语言的语法系统在高度抽象的层次上都大致相同 由所谓的普通语法经过一定的变化派生出来的 所有的语言现象都可以用同一组语法规律 相同的原则 加以解释 而语言之间的不同只是参数而已 语言是一种结构 是一些先验的语法规则 通过转移程序构成了人们日常用语 语言是深层结构言语是表层结构 学科基础 转换生成语法 17 语法要点 研究体现在人脑中的认知系统和普遍语法 强调对人的语言能力作出解释 而不仅仅描写语言行为 采用现代数理逻辑的形式化方法 根据有限的公理化的规则系统和原则系统用演绎的方法生成无限的句子 以此来解释人类的语言能力 Chomsky文法系统 正规文法 上下文无关文法 上下文有关文法 无限制文法认为 语言 不是实际存在的东西 这个概念是从语法中派生出来的 只有语法才是实际存在的 因此 转换 生成语法研究的对象是语法而不是语言 学科基础 转换生成语法 18 相同之处高度抽象的音行义结合的语言符号系统的语言形式研究不同之处结构主义语言学 美国描写语言学派 建立在经验主义之上 认为人类知识起源于感觉 并以感觉的领会为基础 关注某个具体语言的结构系统的分析和描写 N Chomsky 语法分析的低级阶段 描述的充足性descriptiveadequacy 转换生成语法建立在理性主义之上 承认人的推理可以作为知识来源 高于并独立于感官感知 探索人类语言所共有的 高度概括而又十分简明的普通法则 并进一步由语言机制探讨大脑的工作机制 了解人类思维活动的本质 N Chomsky 语法分析的高级阶段 解释的充足性explanatoryadequacy 学科基础 结构主义vs转换生成语法 19 18世纪末 附属于比较语文学研究古代文献18世纪末 20世纪初 语言学成为独立学科历史比较语言学20世纪初 20世纪60年代 探索人类语言普遍规律结构主义语言学转换生成语法20世纪60年代至今 深入探索语言的本体与功用形式语言学功能语言学 学科基础 语言学 20 形式vs功能形式是跟 功能 相对而言 不是跟 意义 相对而言 形式vs功能语言学 互补关系形式语言学 语言的本体意义通过形式体现 基于句子功能语言学 语言的功用意义通过功能体现 基于篇章 语境 情景语境 文化语境 举例 元芳 你怎么看 学科基础 形式vs功能语言学 21 形式vs功能语言学 可以追溯到古希腊时代 学科基础 形式vs功能语言学 22 理论基础 以哲学为基本科学 探索某个特定学科的规律 特殊规律 哲学 科学之科学 普通规律 研究主体 语言本体 句法为主 形式语言学理论把句法独立出来 甚至作为核心自治系统 再分成词法 句法 语义 语用等不同的部分 语言是人特有的一种能力 competence 一种机制 facility 一套装置 device 研究语言就是探索人类所具有的这种语言能力 语言机制 语言装置之谜 以探究人类语言所共同遵守的普通原则 universalprinciples 和造成各个语言差异的不同参数 parameters 三大学派结构主义语言学派Chomsky形式学派 非Chomsky形式学派 学科基础 形式语言学 23 Chomsky形式学派哲学基础 笛卡尔的唯理主义 理性主义 探索人类语言机制 人类语言高度概括的普遍语法 语法的天赋性与自足性 人头脑里有一个语言机制 人生来就有一种语言能力 这是天生的 原则与参数理论 人类的语言都要遵守共同的原则 差异只是参数的不同 语法的简约性 人类的语言所要遵守的共同原则 普通语法 应该是高度概括的 极为简洁的 转换生成文法 生成规则管辖与约束理论 管辖与约束规则最简方案 最简方案 学科基础 形式语言学 24 Chomsky形式学派语言的习得机制 LanguageAcquisition 人头脑里的语言机制具有初始状态 只需要在语言环境中激活就行了 儿童通过接触实际的语言 激活头脑中生来具有的语言机制 从而获得先天的那部分带有普遍性的原则 同时 通过反复接触实际的语言 摸索出自己母语中跟普遍原则存在一定参数差异的那部分语言特点 再加上必须学的部分 如语音 词法及其特征等 将这几部分结合起来 就会逐渐使自己的语法得到完善成熟而最终完全掌握自己的母语 学科基础 形式语言学 25 非Chomsky形式学派不是用规则 而是用复杂特征来描写语言 规则隐含在特征之中 对Chomsky形式学派的一种拓展 主要来源于计算语言学界 着眼于语言的可计算性 LFG 1982 LexicalFunctionalGrammarTAG 1975 2000 TreeAdjoiningGrammarLG 1991 LinkGrammarCG 1958 1961 1970 CategorialGrammarDCG 1980 DefiniteClauseGrammarHPSG 1985 Head drivenPhraseStructureGrammarDG 1959 DependencyGrammar广泛用于自然语言处理 学科基础 形式语言学 26 理论基础 以人类学为基本人类交际 基于篇章 情景语境 社会语境研究主体 语言功用 篇章为主 注重语言的社会性和交际功能 联系外部世界来考察研究语言 把人看作社会人 把语言系统看作是社会符号 把语言使用看作是社会行为 高度重视语言系统 system 功能 function 语境 context 语篇 text 语域 register 和语类 genre 的研究 主要研究领域认知语言学社会语言学篇章分析系统功能语法 学科基础 功能语言学 27 认知语言学理论基础 认知科学和体验哲学 代表人物 R W Langacker G LakoffR W Langacker 认知语法 认知语言学属于功能语言学 G Lakoff 隐喻及其与认知的关系 功能语言学属于认知语言学 主要理论R W Langacker 认知语法 CognitiveGrammar G Lakoff Talmy等 认知语义学 CognitiveSemantics S Lamb 神经认知语言学 NeurcognitiveLinguistics A E Goldberg P Kay等 构式语法 ConstructionGrammar 学科基础 功能语言学 28 认知语言学主要观点 把人们的日常经验看成是语言使用的基础 着重阐释语言和一般认知能力之间密不可分的联系 语言是人的认知能力的不可分割的重要组成部分 语言世界和语言外世界不存在明确的分界 人的语言能力并不是一种独立的能力 而跟人的一般认知能力紧密相关 认知能力是人类获取知识的根本 针对生成语言学天赋观 提出语言的创建 学习及运用 都能够透过人类的认知而加以解释 语言的基本功能是象征 让结构赋予认知内容的一种手段 语言结构的类型 象征结构的类型语法规则 抽象的结构图式 学科基础 功能语言学 29 认知语言学关键研究 像似性 语言的形式和内容间的联系存理据 可验证 范畴化 categorization 将事物类化人类运用语言对主客观事物进行分类 隐喻 metaphor 不明说的比喻人类各种语言活动 可以说都是通过隐喻来体现人对客观世界的认识 意象 image 人对客观事物的心理印象这种心理印象因人的识别和理解方式不同而不同 图式 schemata 人在认识客观事物的过程中所形成的一种基本的认知结构模式 事物 背衬 图式 人们在指示 辨识客观事物时 往往通过跟另一个可以作为背衬的事物的对比来加以说明 例如 差不多的互为背衬 大的作为小的背衬 固定的作为移动的背衬 学科基础 功能语言学 30 社会语言学代表人物 美国社会语言学家W Labov语言学与社会学 或人类学 的交叉性学科 研究语言的社会变体和层面 以便通过语言来识别不同社会群体 以语言学为主 联系社会因素的作用研究语言的变异 以社会学为主 研究语言和社会的各种关系 使用语言学的材料来描写和解释社会行为 SocialNetwork 研究方法调查 活生生 真实 的语言 描写 详细 准确 分析统计 定量分析 重视统计 概率性的规则 解释 转化为语言知识和语言理论的至关重要的一步 学科基础 功能语言学 31 篇章分析研究对象研究大于句子的话语研究实际运用的语言篇章特性基本特性 衔接性 cohesion 连贯性 coherence 其他特性 意图性 intentionality 可接受性 acceptability 信息性 informativity 场景性 situationality 交互动性 intertextuality 学科基础 功能语言学 32 连贯性 coherence 篇章结构 a张三才30出头 b 而且 既没有什么学历 c又没有多少新的工作经验 d但是不论干什么 e他都非常认真 f所以 处长总是把一些重要的任务交给他 问 为什么处长总把一些重要的任务交给他 问答系统 学科基础 功能语言学 我昨天上街 看见一个人 长得很魁梧 穿着军大衣 买了两斤肉 注 缺省 衔接性 cohesion 话题结构 答 我 答 一个人 VS 学科基础 功能语言学 篇章分析研究方法言语行为理论互动社会语言学交际文化学语用学会话分析变异分析系统功能语法 more 学科基础 功能语言学 35 系统功能语法 M A K HallidayHalliday功能语法体系句法理论 系统语法 功能语法 系统功能语法 社会符号学剑桥大学J R Firth把语言研究与社会研究结合起来 从社会的角度研究语言 强调对语义的研究 语义分析是语言分析的核心 语义 语境中的功能 强调区分系统与结构 主张研究语篇 语言研究的四个层面 1 语音层面 语言的音位系统以及各音位在该系统中的功能 2 语法语义层面 词的所指意义和搭配意义 3 语法层面 不同范畴之间的组合关系 4 语言环境层面 包括言语行为产生的效果 为什么在某种环境下要使用某种话语 学科基础 功能语言学 36 系统功能语法 M A K Halliday主要观点语言 口语和书面语 是最符合 语言 范畴的类典型 prototype 意义系统 口语和书面语是人们把对世界的经验识解为意义的主要意义系统 其他意义系统 音乐 舞蹈 烹饪 图标 空间组织等 都是依据语言模型建立起来的 并 以层次的 元功能的 语言的形象被识解 是依据语言这个类模型建立起来的 系统功能语法不只是语言意义系统的语法 也是可以描述和解释所有社会意义系统的语法 社会符号学 例如 多模态话语的研究特点 开放 动态努力把语言功能和结构联系起来是其创新之处 系统功能语法是系统的和功能的 对聚合关系 系统 选择 功能 关注多于对组合关系 结构 组合 关注 而 乔姆斯基 形式语义学更多注重组合关系 系统 聚合关系 是第一位的 结构 组合关系 是第二位的 学科基础 功能语言学 37 系统功能语法 M A K Halliday语法思想元 metafunctional 功能系统思想层次思想功能思想语境思想阶和范畴语法 学科基础 功能语言学 38 系统功能语法 M A K Halliday元 metafunctional 功能思想语言性质决定人们对语言的要求 即语言须完成的功能 尽管这种功能千变万化 但是可以归纳为有限的几个抽象功能 这是种种语言用途所固有的 三位一体不存主次概念 ideational 元功能观察者功能 说话人对主客观世界的观察人际 interpersonal 元功能闯入者功能 向参与者灌输自己的思想语篇 textual 元功能相关功能 语篇的完整性 一致性 衔接性 学科基础 功能语言学 39 系统功能语法 M A K Halliday系统思想 语言被看作符号资源 对语言的描写 对选择的描写 不同意索绪尔等把语言单单看作是一套符号的集合语言不是所有合乎语法的句子的集合 因而语言不能用解说这样一个集合的规则解释 而是用意义的有规则的源泉 意义潜势来解释 在把系统看作潜势还是具体化的问题上 倾向于叶姆斯列夫的观点结构是过程的底层关系 是从潜势中衍生的 而潜势可以更好地用整合关系来表达 即 把语言系统解释成一种可进行语义选择的网络 当有关系统的每个步骤一一实现后 便可产生结构 承认语言是 系统的系统 的观点与弗思的语言多系统论的观点一致 系统存在于所有语言层次 诸如语义层 语法层和音系层 都有各自的系统表达本层次的语义潜势 学科基础 功能语言学 40 系统功能语法 M A K Halliday层次思想非语言层面文化语境 抽象 语篇在特定的社会 文化环境中所能表达的所有意义 包括交际目的 步骤 形式和内容等 由语篇体裁 genre 反映 纲要式结构 有阶段 有步骤的结构 例如食谱的纲要式结构 名称 简介 原料配料 烹饪方法 体现样式 特定的语言结构 名称 名词词组 简介 陈述小句 原料配料 名词词组 烹饪方法 不带意态成分的祈使小句 情景语境 直接 与语篇传递实际意义有关的时间 地点 谈话方式 谈话双方的关系等 由语域体现 包括以下变量 语场 field 通过概念功能 意义 表达 语调 tenor 通过人际功能 意义 表达 语式 mode 通过语篇功能 意义 表达 语言层面语义层 中心 词汇语法层音系层 音位及其结构关系 学科基础 功能语言学 41 系统功能语法 M A K Halliday功能思想 属于语义分析的概念 与前面所讲的 纯理 元功能不同 这里所