自然语言理解NLP

1、自然语言理解1.自然语言理解概述2.自然语言的特点3.自然语言理解过程4.自然语言理解的研究层次5.相关技术与应用6.NLP主要难点歧义问题1.自然语言理解概述v自然语言理解NLP（NLP，Nature Language Processing）：（或者更一般地称为自然语言处理）俗称“人机对话”，是一种使机器能理解人类语言（像中文、英文等人类语言称为自然语言）的技术。v是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。v包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。v例如，如果有一台机器既能理解中文又

2、能理解英文，那么，这台机器就可以为人类充当翻译；如果电视能理解中文，那么，用户就可以不用按钮，而是通过说话来遥控电视v语言究竟是怎样组织起来传输信息的？人又是怎样从一连串的语言符号中获取信息的？2.自然语言的特点自然语言的特点v由词构成，中文构词以两个为主。v 有一定结构，如：主谓宾，特殊句型。v 由“名词块”与“动词块”组成。v 有复杂性：本身复杂、缺省、习惯用语v 允许歧义，上下文排除v 非歧义的句子含义也较多（有多个结果，有些在某领域有用）。3.自然语言理解过程自然语言理解过程1 拆分过程： 词法分析。2 合并过程： 句法及语义分析，每一次语义分析，涉及若干个词，一般是（动词名词）对，符

3、合语义（一个简单句算分析成功），若干词生成一个事件，事件转换为名词，参与新的合并。例句： 2加3等于5。 2加3是简单句；生成2323是新名词， 23等于5又是简单句；生成 23 53 程序结束(理解完)： 所有词，经过句法和语义分析，最终生成一个词，即：生成一个事件。4 理解的意义： 在合并过程中，根据词义搭配，生成相应的内容，数学中主要是运算关系。 例如：延长线段AB至D； 给出关系命令：AB+BD=AD 给出绘图命令：沿AB方向，延长线段AB至点D。4.自然语言理解的研究层次 语用学： 语法学：语义学：形态学：5.相关技术与应用1.信息抽取（Information Extraction，

4、IE）：其目的是将非结构化或半结构化的自然语言描述文本转化结构化的数据。例如：自动根据邮件内容生成Calendar；2.自动问答（Question Answering，QA）：它是一套可以理解复杂问题，并以充分的准确度、可信度和速度给出答案的计算系统，以IBMs Waston为代表；3.情感分析（Sentiment Analysis，SA）：又称倾向性分析和意见挖掘，它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程，如从大量网页文本中分析用户对“数码相机”的“变焦、价格、大小、重量、闪光、易用性”等属性的情感倾向；4.机器翻译（Machine Translation，MT）：将文

5、本从一种语言转成另一种语言，如中英机器翻译。NLP技术有非常广泛的应用。但是针对一定应用，具有相当自然语言处理能力的实用系统已经出现，有些已商品化，甚至开始产业化。例如：各种数据库和专家系统的自然语言接口各种机器翻译系统全文信息检索系统自动文摘系统等Coreference resolutionQuestion answering (QA)Part-of-speech (POS) taggingWord sense disambiguation (WSD)ParaphraseNamed entity recognition (NER)ParsingSummarizationInformation

6、 extraction (IE)Machine translation (MT)DialogSentiment analysis mostly solvedmaking good progressstill really hardSpam detectionLets go to Agra!Buy V1AGRA Colorless green ideas sleep furiously. ADJ ADJ NOUN VERB ADVEinstein met with UN officials in PrincetonPERSON ORG LOCYoure invited to our dinner

7、 party, Friday May 27 at 8:30PartyMay 27addBest roast chicken in San Francisco!The waiter ignored us for 20 minutes.Carter told Mubarak he shouldnt run again.I need new batteries for my mouse.The 13th Shanghai International Film Festival第13届上海国际电影节开幕The Dow Jones is upHousing prices roseEconomy is g

8、oodQ. How effective is ibuprofen in reducing fever in patients with acute febrile illness?I can see Alcatraz from the window!XYZ acquired ABC yesterdayABC has been taken over by XYZWhere is Citizen Kane playing in SF? Castro Theatre at 7:30. Do you want a ticket?The S&P500 jumped5.NLP的发展现状v基本解决：

9、词性标注、命名实体识别、Spam识别v取得长足进展：情感分析Sentiment analysis、共指消解Coreference resolution、词义消歧Word sense disambiguation 、句法分析Parsing、机器翻译Machine translation (MT )、信息抽取Information extraction (IE)v挑战：自动问答、复述、文摘、会话机器人6.NLP主要难点歧义问题1.词法分析歧义：v分词：例如：“严守一把手机关了”可能的分词结果：“严守一/ 把/ 手机/ 关/ 了” “严守/ 一把手/ 机关/ 了”v词性标注：例如“计划”在不同上下文

10、中有不同的词性：“我/ 计划/考/ 研/”“我/ 完成/ 了/ 计划/”2.语法分析歧义：“那只狼咬死了猎人的狗” “咬死了猎人的狗失踪了”3.语义分析歧义：机器翻译句子“At last, a computer that understands you like your mother”可以有多种含义，如下：“计算机会像你的母亲那样很好的理解你（的语言）”“计算机理解你喜欢你的母亲”“计算机会像很好的理解你的母亲那样理解你”4.NLP应用中的歧义音字转换：例如：拼音串“ji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu”（机器翻译及其应用激起了人们极其浓厚的兴趣）中的“ji qi”如何转换成正确的词条为什么自然语言理解如此困难？v用户生成内容中存在大量口语化、成语、方言等非标准的语言描述v分词问题v新词不断产生v基本常识与上下文知识v各式各样的实体词如何解决？掌握较多的语言学知识，构