第七章 信息组织中的自然语言

1、第七章 信息组织中的自然语言,第一节 自然语言在信息组织中的应用概述,一、自然语言的演化与发展,检索语言 广义而言，检索语言包括受控语言和自然语言语言两类语言系统。 狭义而言，检索语言包括规范的受控语言。,检索语言的演化与发展,前信息检索阶段的自然语言 原生态的自然语言是前信息检索阶段的原始的“检索语言” 。 规范的受控语言 如分类表、标题表、单元词表、叙词表、分类主题一体化词表 。 受控语言向自然语言“回归” 自然语言的应用是以计算机为前提的; 在对词汇控制的科学性上、规范化程度上以及方法上等方面的进步，使自然语言成为现代信息检索，尤其是网络信息检索的主流保障语言。,检索系统中检索语言的应用

2、变化,基于印刷型文献的手工检索 以受控语言（分类法、主题法）为主。 基于数据库的计算机检索 受控语言和自然语言结合。 基于网络的信息检索 以自然语言为主。,二、自然语言的优缺点,优点(VS受控语言) 缺点(VS受控语言) 结论,优点,可以降低标引难度及成本，从而提高标引速度 采用用户熟悉的自然语言，符合用户检索习惯，减少了概念转换中产生的失真现象，专指度强 由于自然语言标引检索多采用自动处理方式，省略了编制词表和词汇的智力负担 自然语言标引检索入口词多，有利于提高检全率 操作简单方便，灵活，比较适合没有专业知识的广大网络用户使用等,缺点,由于自然语言对标引用词不加严格控制，必然会形成非关键性词

3、语的大量出现，影响检准率的提高 由于不能反映概念词间的一一对应关系，也不能反映概念关系的隐含性，无法排除同义词、近义词、多义词等词间的模糊现象，势必也会直接影响到检全率的提高,结 论,自然语言和受控语言都有各自独特的优点和缺点，不能简单彼此替代，而应当相互补充、交融 针对上述自然语言及其检索中存在的这些问题 一方面要依靠计算机技术和自然语言处理技术的突破发展； 另一方面受控语言的基本原理对词汇的控制，是永远不会被省略的，变化的只是词汇控制的方式、方法和手段。,三、自然语言与自然语言处理,（一）自然语言处理 （二）自然语言在信息组织和检索中的应用,（一）自然语言处理,自然语言处理是自然语言得以应

4、用所要解决的首要的核心问题 自然语言处理是人工智能领域的一个重要分支，它主要研究计算机对输入的自然语言文本的分析、理解和生成，旨在建立人与计算机之间友好的交流通道，实现更高层次的信息交互 自然语言处理（Natural Language Processing,简称NLP）是实现自然语言理解的核心基础，是语言信息处理的一个重要分支 自然语言处理追求的目标是计算机是如何来理解一个句子和领会一个文档所要表述的意思,continued,由于自然语言十分复杂，人是如何理解语言的，也还是个谜，因此给“理解”下一个定义极其困难 从信息处理的角度看，语言既然是信息的载体，如果计算机实现了机器翻译、自动文摘以及人

5、机会话等语言信息处理功能，则认为计算机具备了理解自然语言的能力。 自然语言处理的核心技术主要是解决自然语言的歧义问题 关键问题：如何建立大规模知识库。,语言学上对语言的层次划分,第一层次 语音和文字，即基本语言信号的构成。 第二层次 词法和句法(合称“语法”)，即语言基本运用单位的构成和组合的形式规律。 第三层次 语义,即语言所要表达的概念结构。 第四层次 语用,即语言与语言使用环境的相互作用。,自然语言处理研究内容的基础部分,语法分析(Syntactic Understanding) 语义分析(Semantic Understanding) 语用分析(Pragmatic Understand

6、ing) 例如：“汤姆给了玛丽一本大书。”,语法层分析,根据语言的语法，单词可以组成不同的词组，词组可以包含不同的角色。,等级表示语法结构,语义层分析,语义结构（句子各个部分之间的联系）,知识装饰下的丰富的语法结构,扩展的语义结构,计算机产生的语义结构,语境层分析,例1：“Could you turn the light on?”,“语境语义”“Press the light switch.”,“句子的语义” “Are you capable of achieving to increase the amount of light?” （句子脱离语言环境，本身的所表示的语义）,例2：“It is dark in here.”,语境语义“Light is weak here.”,句子语义“Press the light switch. ”,语义和语境含义之间的匹配,（二）自然语言在信息组织和检索中的应用,自然语言检索，从技术上讲，就是将自然语言处理技术应用于信息检索系统的信息的组织、标引和输出 具体地，汉语自动分词和自动标引、单汉字标引、自动文摘、全文检索等都是自然语言在信息组织和检索中的具体应用 汉语的机械分词法、单汉字标引(