第一章-自然语言处理概论PPT课件

关毅guanyi,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,第一章自然语言处理概论,1、开场白2、自然语言处理概论3、学习方法,主要内容,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,欢迎大家加入可能是世界上人数最多的自然语言处理团队！,1、开场白,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,哈尔滨工业大学计算机学院的自然语言处理团队,起源80年代初王开铸教授，俄汉机器翻译李生教授，汉英机器翻译,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,哈尔滨工业大学计算机学院的自然语言处理团队（续）,主要研究室语言技术研究中心社会计算与信息检索研究中心智能接口与人机交互研究中心,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,个人简介,关毅1992年开始进入自然语言处理领域主要工程项目微软拼音输入法BOPOMOFO汉字输入系统Weniwen搜索引擎主要科学贡献关于相似的研究-提出系统相似度测度理论现为哈工大计算机学院语言技术研究中心教授，博士生导师,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,课程概貌,研究生专业必修课：自然语言处理学时：32学时+16学时授课方式：课堂讲授+课后上机练习考察方式：闭卷考试实验课,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,几个时间段,二十多年崛起于80年代初的统计自然语言处理技术，已经成为自然语言处理的主流技术本课程重点介绍统计语言处理技术，特别是基于统计的汉语词法分析技术,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,几个时间段（续）,六十多年自然语言处理技术起源于人们对机器翻译技术的研究，从1946年算起至今，已有60多年的历史了“目前一些试用过的用户表示，改进后的翻译服务在质量方面令人惊讶。对于那些从未使用机器翻译的用户来说，他们完全可以通过翻译后的文本理解原文的意思，一些细微的错误并不会引起太大的麻烦。”-FranzJosefOch,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,几个时间段（续）,还需要多少年才能实现计算机与人类无障碍地沟通？1968年的美国影片2001太空奥德赛机器人HAL和Dave进行了如下对话：DaveBownman:Openthepodbaydoors,HAL.(DaveBownman：HAL,请你打开太空舱的分离门。)HAL:ImsorryDave,IamafraidIcantdothat.(HAL：对不起，Dave，我恐怕不能这样做。),研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,几个时间段（续）,自然语言处理是一个“AIcomplete”问题自然语言与（分子）生物学有着深刻的渊源生物学中有着至少500年也解决不完的有趣问题DonaldE.Knuth,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理中的歧义问题,在自然语言处理的各个阶段广泛大量地存在着形形色色的歧义问题，这是自然语言与人工语言的根本差别之一，也是自然语言处理的难点所在,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理中的歧义问题（续）,词法分析歧义分词严守一把手机关了严守/一把手/机关/了严守一/把/手机/关/了词性标注我/pro计划/v考/v研/n我/pro完成/v了/aux计划/n命名实体识别秦兵坑杀赵军40万于长平,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理中的歧义问题（续）,语法分析歧义咬死了猎人的狗那只狼咬死了猎人的狗咬死了猎人的狗失踪了,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理中的歧义问题（续）,语义分析歧义Atlast,acomputerthatunderstandsyoulikeyourmother.1985McDonnell-Douglasad含义1：计算机会象你的母亲那样很好地理解你（的语言）含义2：计算机理解你喜欢你的母亲含义3：计算机会象很好地理解你的母亲那样理解你,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理中的歧义问题（续）,语用分析歧义“你真坏”至少有如下三种理解：当人们对干了坏事的成年人说时，是一种严厉的斥责当妈妈对淘气的儿子说时，实际表达的是对儿子的一种疼爱当恋爱中的女孩对男友说这句话时，则是女孩在男友面前撒娇的一种表现,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理中的歧义问题（续）,自然语言处理应用中的歧义问题音字转换例jiqifanyijiqiyingyongjiqilerenmenjiqinonghoudexingqu,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,几点感性认识,有点繁琐枯燥“从繁体词库到简体词库”要求同学们一丝不苟的认真精神充满乐趣“机器翻译及其应用激起了人们极其浓厚的兴趣”要求同学们有愚公移山，坚持到底的精神,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,几点感性认识（续）,团队合作“128个字节的偏移量”要求同学们善于协作，有团队精神独创精神“一只美丽的小花猫”要求同学们勇于创新,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,本人印象深刻的至理名言,取法其上，仅得其中；取法其中，仅得其下；取法其众，得其上。-中国古代思想家Everyimportantideaissimple-列夫.托尔斯泰,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,本人印象深刻的至理名言,Thegrandaimofallscienceistocoverthegreatestnumberofempiricalfactsbylogicaldeductionfromthesmallestnumberofhypothesesoraxioms-爱因斯坦,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,两件宝贝,MindjetMindManagerEndnote/Mendeley/NoteExpress,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.哈工大-阿里巴巴联合实验室,教材,ChristopherManningandHinrichSchutze:FoundationsofStatisticalLanguageProcessing,MITpress,1999（有中译本，译者苑春法等）自然语言处理综论DanielJurafsky&JamesH.Martin著冯志伟孙乐译王晓龙、关毅计算机自然语言处理清华大学出版社2005年,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.,2、自然语言处理概论,什么是自然语言处理,定义1：自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguisticcompetence）和语言应用（linguisticperformance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。-BillManaris,1999,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.,解题,本学科的主题与背景：“自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。”人人交际中的语言问题例如语言不通的问题，促进了机器翻译这一语言处理中最重要的应用之一的发展人机交际中的语言问题例如语言文字的输入输出问题，促进了智能化人机接口技术的研究,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,为什么要研究自然语言处理,从科学研究的角度：探寻人类通过语言来交互信息的奥秘，更好地理解语言本身的内在规律从实际应用的角度：构建更加有效的人机交互方式,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,解题（续）,两类不同的语言处理模型（Chomsky）能力模型通常是基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型建模步骤语言学知识形式化形式化规则算法化算法实现,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,解题（续）,应用模型根据不同的语言处理应用而建立的特定语言模型，通常是基于统计的模型。又称“经验主义的”语言模型建模步骤大规模真实语料库中获得语言各级语言单位上的统计信息依据较低级语言单位上的统计信息运用相关的统计推理技术计算较高级语言单位上的统计信息,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,解题（续）,建立计算框架来实现这样的语言模型借助计算机，研究自动化的方法提出相应的方法来不断地完善这样的语言模型人工编辑的方法统计机器学习方法的大量运用,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,解题（续）,根据这样的语言模型设计各种实用系统规则与统计相结合评测技术自然语言处理的重要研究专题之一国际公认的自然语言研究竞技场SighanConllTREC,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,什么是自然语言处理,定义2：是人工智能和语言学的交叉学科，研究自然语言的自动生成（naturallanguagegeneration）与理解（naturallanguageunderstanding）。自然语言自动生成研究将存放于计算机数据库的信息转换为自然语音。自然语言理解研究将人类语言转换为计算机能够理解操作的形式化表示方式-”Naturallanguageprocessing”FromWikipedia,thefreeencyclopedia,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,图灵实验,让机器模仿人来回答某些问题，通过实验和观察来判断机器是否具备智能。为人工智能确定了奋斗的目标，并指明了前进的方向人工智能自诞生之日起就和自然语言理解结下了不解之缘,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理是一门交叉性学科,它是人工智能的重要分支它是应用语言学的分支交叉性学科语言学计算机科学数学心理学信息论声学,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,相关术语,中文信息处理中文语言处理计算语言学自然语言理解智能化人机接口,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.,自然语言处理的知识内容,基础应用资源评测,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：基础,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：基础,音位学描述音位的结合规律，说明音位怎样形成语素举例：“deletefilex”-dilet#fail#eks形态学描述语素的结合规律，说明语素怎样形成单词举例：dilet#fail#eks-”delete”“file”“x”,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：基础,词汇学描述词汇系统的规律，说明单词本身固有的语义特性和语法特性举例：”delete”“file”“x”-(“delete”VERB)(“file”NOUN)(“x”ID),研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：基础,句法学描述单词或词组之间的结构规则，说明单词或词组怎样构成句子举例：(“delete”VERB)(“file”NOUN)(“x”ID)-,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.,自然语言处理的知识内容：基础,语义学描述句子中各个成分之间的语义关系，怎样从构成句子的各个成分推导出整个句子的语义举例：-delete-file(x),研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：基础,话语分析描述句子和句子之间的结构规律，说明怎样由句子形成话语或对话语用分析描述与情景有关的情景语义，说明怎样推导出句子具有的与周围话语有关的各种涵义举例：delete-file(x)-rm-ix,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：应用,我们可以按照如下准则将自然语言处理的各种应用系统地组织起来一个应用是重新生成或者恢复还是需要转换或者翻译某种语言现象一个应用是要识别或者分析语言输入还是需要产生或者合成语言输出,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：应用,重新生成,转换,识别,产生,文本检索,文本分类与聚类,问答,信息抽取,文摘,机器翻译,实体识别,语音识别,主题抽取,语音合成,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.,自然语言处理的知识内容：资源,语料库（计算机用）词法、句法、语义词典，文法规则集等等常用中文资源简介北京大学人民日报语料库现代汉语语法信息词典黄曾阳HNC董振东Hownet,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：评测,自然语言处理的重要组成部分，对自然语言处理的各种应用进行系统地评价引导自然语言处理应用发展的重要手段由如下三个方面组成评测方法评测对象（速度？精度？适用范围？）评测量度,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：评测,常用评测量度,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,自然语言处理的知识内容：评测（续）,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,中文语言处理的发展概况,从汉字信息处理到汉语信息处理汉字信息处理已经基本解决汉语信息处理遭遇瓶颈从单机信息处理到网络信息处理单机信息处理系统网络信息处理系统,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,从汉字信息处理到汉语信息处理,字处理汉字机内码国标码GB2312-80GB18030国家信息产业部和质量技术监督局发布信息技术和信息交换用汉字编码字符集、基本集的扩充Unicode汉字输入码汉字字型库汉字排版系统北大方正的激光照排系统,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,从汉字信息处理到汉语信息处理,词处理词是自然语言中最小的有意义的构成单位分词规范信息处理用现代汉语分词规范（中华人民共和国国家标准GB13715）研究内容分词词性标注名实体识别词义消歧等等,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,从汉字信息处理到汉语信息处理,语句处理句法分析语句的语义分析应用音字转换文本校对语音合成机器翻译,研究生专业必修课自然语言处理,2014年秋季Copyrights2014HIT.AllRightsReserved,.,从汉字信息处理到汉语信息处理,篇章处理自动文摘单文档自动文摘多文档自动文摘,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.,从单机信息处理到网络信息处理,当前的热点问题信息抽取问答系统对话系统等等,研究生专业必修课自然语言处理,2014年秋季Copyrights2014.HIT.AllRightsReserved,.哈工大-阿里巴巴联合实验室,本课重点,基于统计与规则相结合的汉语词法分析技术规则与统计相结合词法分析技术相对比较成熟（句法、语义分析等方面还不够成熟）既注重语言无关性，又突出汉语的特点理论与实践相结合一个小型音字转换系统,研究生专业必修课自然语言处理,2010年秋季Copyrights2010.HIT.AllRightsReserved,.哈工大-阿里巴巴联合实验室,中文的几大特点,汉语是大字符集的意音文字汉语词与词之间没有空格汉语的同音词较多汉语没有形态变化,研究生专业必修课自然语言处理,2010年秋季Copyrights2010.HIT.AllRightsReserved,.哈工大-阿里巴巴联合实验室,中文语言处理发展的主要困难,中文语言处理发展的主要困难汉语的语法研究尚未规范化汉语的语言学知识的量化与形式化工作滞后中文语言处理研究力量分散缺乏规范科学的评测机制尚未建立,研究生