第4章 非结构化数据的处理

1、1 做中国领先的科研资源提供商做中国领先的科研资源提供商 总课时：总课时：4 4小时（实验：小时（实验：3 3小时）小时） 2 提纲提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理的基本技术 3 什么是非结构化数据什么是非结构化数据 n相对于结构化数据（即行数据，存储在数据库里， 可以用二维表结构来逻辑表达实现的数据）而言， 不方便用数据库二维逻辑表来表现的数据即称为非 结构化数据，包括所有格式的办公文档、文本、图 片、XML、HTML、各类报表、图像和音频/视频 信息等等。 4 绝大部分数据是非结构化数据绝大部分数据是非结构化数据 n世界上85%的数据都是非结构化数据，这些数据

2、每 年都按指数增长60%。 5 非结构化数据处理的技术非结构化数据处理的技术 n非结构化数据处理的主要技术是自然语言处理技术 。用来对非结构化数据进行各种层次的理解。 自然语言 处理技术 我要去清华大学，从西直 门怎么走？ 学院路堵不堵？ 为什么我上个月已退了 GPRS,这个月还扣我钱？ 服务：路线查询 起点：西直门 终点：清华大学 服务：路况查询 地点：学院路 服务：客服投诉 业务：GPRS 诉求：错误扣费 6 提纲提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理的基本技术 7 自然语言的概念自然语言的概念 什么是自然语言自然语言 语言是人类交际的工具，是人类思维的载体语言是人

3、类交际的工具，是人类思维的载体 人造语言：编程语言，包括人造语言：编程语言，包括C+, BASIC等等 世界语世界语 自然语言：自然语言： 形式：口语、书面语、手语形式：口语、书面语、手语 语种：汉语、英语、日语、法语语种：汉语、英语、日语、法语 语言学是研究语言规律的科学 8 网络语言网络语言 “昨晚，我的JJ带着他的青蛙BF到我家 来吃饭。在饭桌上，JJ的BF一个劲儿地 对我妈妈PMP，说她年轻的时候一定是 个漂亮MM，那酱紫真是好BT， 7456” JJ : 姐姐姐姐 酱紫酱紫：这样子 BF : boy friend 青蛙：长相不好的男朋友青蛙：长相不好的男朋友 PMP:拍马屁拍马屁 M

4、M：妹妹：妹妹 BT：变态：变态 7456：气死我了：气死我了 9 语言的构成语言的构成 语言 词汇语法 词 熟语词法 句法 词素构形法 构词法词组构造法 造句法 语言 词汇语法 词 熟语词法 词素 句法 构形法 构词法词组构造法 语言 词汇语法 词 熟语词法 词素 10 自然语言处理的层次自然语言处理的层次 语音分析语音分析：从语音流中区分出一个一个声音单：从语音流中区分出一个一个声音单 元元-音素音素 词法分析词法分析：从句子中切分出单词、找出词汇的：从句子中切分出单词、找出词汇的 各个词素，确定单词的词性、词义等。各个词素，确定单词的词性、词义等。 句法分析句法分析：对句子和短语的结构进

5、行分析，找：对句子和短语的结构进行分析，找 出词、短语等的相互关系及在句子中的作用等。出词、短语等的相互关系及在句子中的作用等。 语义分析语义分析：识别一句话所表达的实际意义。：识别一句话所表达的实际意义。 语用分析语用分析：研究语言所在的外界环境对语言使：研究语言所在的外界环境对语言使 用所产生的影响。用所产生的影响。 11 语义与语义与语用语用 同一词语在不同的同一词语在不同的“语境语境”中具有不同中具有不同 “语义语义” 例如：中国奥运史上十大女杰的精彩例如：中国奥运史上十大女杰的精彩“转身转身” 病毒病毒 计算机领域：计算机病毒计算机领域：计算机病毒 医学领域：生物学病毒医学领域：生物

6、学病毒 12 自然语言处理的概念自然语言处理的概念 自然语言处理自然语言处理（ Natural Language Processing,NLP ） 也称也称自然语言理解自然语言理解或或计算语言学计算语言学； 主要研究如何让机器进行自然语言信息处理，即人主要研究如何让机器进行自然语言信息处理，即人 类语言活动中，信息成分的类语言活动中，信息成分的发现发现、提取提取、存储存储、加加 工工与与传输。传输。 NLP是计算机科学、语言学、人工智能与数学等学是计算机科学、语言学、人工智能与数学等学 科的交叉学科和边缘学科。科的交叉学科和边缘学科。 计算语言学是从计算角度处理语言计算语言学是从计算角度处理语

7、言 将人们对语言的结构规律的认识用精确的、形式化将人们对语言的结构规律的认识用精确的、形式化 的、可计算的方式（计算模型）加以表示。的、可计算的方式（计算模型）加以表示。 13 自然语言理解的困难自然语言理解的困难 自然语言具有多样性自然语言具有多样性（不同语种、不同地域、不同（不同语种、不同地域、不同 人群）人群） 自然语言具有进化性自然语言具有进化性 自然语言的模糊性自然语言的模糊性 自然语言的歧义性自然语言的歧义性 处理歧义问题是处理歧义问题是NLP的的核心问题核心问题。自然语言处。自然语言处 理过程就是各种歧义现象的消解过程。理过程就是各种歧义现象的消解过程。 14 自然语言理解的困难

8、自然语言理解的困难 15 机器能够理解人的语言吗机器能够理解人的语言吗？ 很难！很难！ 什么是理解？什么是理解？ 结构主义：机器的理解机制与人相同（白盒）结构主义：机器的理解机制与人相同（白盒） 问题：人类语言理解机理尚未清楚问题：人类语言理解机理尚未清楚 功能主义：机器的表现与人相同即可（黑盒）功能主义：机器的表现与人相同即可（黑盒） 图灵测试图灵测试 如果通过自然语言的问答，一个人无法识别如果通过自然语言的问答，一个人无法识别 和他对话的是人还是机器，那么就应该承认和他对话的是人还是机器，那么就应该承认 机器具有智能机器具有智能 16 理解自然语言的理解自然语言的准则准则 n给计算机输入一

9、段自然语言文本，如果计算机能给计算机输入一段自然语言文本，如果计算机能 n问答问答(question-answering)(question-answering)机器能正确地回答输入机器能正确地回答输入 文本中的有关问题；文本中的有关问题； n文摘生成文摘生成(summarizing)(summarizing)机器有能力产生输入文本机器有能力产生输入文本 的的 摘要；摘要； n复述复述(paraphrase)(paraphrase)机器用不同的词语和语句复述输入机器用不同的词语和语句复述输入 文本；文本； n翻译翻译(translation)(translation)机器把一种语言机器把一种语

10、言( (源语言源语言) )翻译为翻译为 另一种语言另一种语言( (目标语言目标语言) ) 17 自然语言处理的研究自然语言处理的研究目标目标 n弱人工智能目标弱人工智能目标：建立一个足够精确的语言数学：建立一个足够精确的语言数学 模型使计算机通过编程来完成自然语言的相关任模型使计算机通过编程来完成自然语言的相关任 务。如：听、读、写、说，释义，翻译，回答问务。如：听、读、写、说，释义，翻译，回答问 题等题等； n强人工智能目标强人工智能目标：让用户能通过自然语言与计算：让用户能通过自然语言与计算 机自由对话；机自由对话； 18 自然语言处理的自然语言处理的研究内容研究内容 应用系统 数字图书馆

11、、电子商务、 电子政务、远程教育、语言学习 基础研究 分词、词性标注、短语切分、 句法分析、语义分析、篇章理解等 应用技术研究 自动问答、机器翻译、信息检索、 文本挖掘、自动校对、信息抽取 资源建设 语料库资源建设 语言学知识库建设 语言学家 NLP研究者 软件企业 19 自然语言处理自然语言处理的应用的应用 NLP应用前景应用前景 据统计，日常工作中据统计，日常工作中80%的信息来源于语言，处的信息来源于语言，处 理文本的需求在不断增长理文本的需求在不断增长 文本是人类知识最大的存储源，并且文本的数量文本是人类知识最大的存储源，并且文本的数量 在不停地增长在不停地增长 电子邮件、新闻、网页、

12、科技论文、电子邮件、新闻、网页、科技论文、 用户抱怨信用户抱怨信 NLP典型应用典型应用 智能搜索引擎、自动问答、信息获取、语义网智能搜索引擎、自动问答、信息获取、语义网 语音识别，文字识别、输入法语音识别，文字识别、输入法 机器翻译，自动文摘，跨语言检索机器翻译，自动文摘，跨语言检索 文本分类、文本聚类、文本分析（结构、内容、文本分类、文本聚类、文本分析（结构、内容、 情感）、文本挖掘（主题跟踪：人物跟踪，企业情感）、文本挖掘（主题跟踪：人物跟踪，企业 跟踪跟踪)、文本过滤、文本过滤 20 自然语言处理自然语言处理的应用趋势的应用趋势 智能接口智能接口 功能：功能： 把现实世界中的信息送入电

13、子世界把现实世界中的信息送入电子世界 主要成果主要成果 拼音输入、手写输入、语音合成、语音输入，手机输入拼音输入、手写输入、语音合成、语音输入，手机输入 知识处理知识处理 功能：功能： 对于已进入电子世界中的信息进行加工处理获得知识对于已进入电子世界中的信息进行加工处理获得知识 知识经济的时代已经到来！知识经济的时代已经到来！ 知识就是力量知识就是力量知识就是财富知识就是财富 百度爱问、百度文库、新浪爱问、百度爱问、百度文库、新浪爱问、VC知识库知识库 21 提纲提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理的基本技术 22 自然语言处理自然语言处理的基本技术的基本技术 词法分

14、析词法分析 句法分析句法分析 语义分析语义分析 23 词法分析概述词法分析概述 词法分析目的是从句子中切分出单词，找出词汇词法分析目的是从句子中切分出单词，找出词汇 的各个的各个词素词素，从中获得单词的语言学信息并确定，从中获得单词的语言学信息并确定 单词的单词的词性词性 词性词性 : 名词、动词、形容词、介词等名词、动词、形容词、介词等 词的构成词的构成 : 动宾动宾, 动补动补, 偏正偏正, 主谓主谓 如如: 开学开学, 生病生病, 加深加深, 认清认清, 原油原油, 火热火热, 头痛头痛, 人造人造 自动分词自动分词: 汉语处理的难题之一汉语处理的难题之一 用程序从句子中切分出单词用程序

15、从句子中切分出单词 24 词法分析的分词歧义词法分析的分词歧义 例：南京市长江大桥例：南京市长江大桥 南京南京|市长市长|江大桥江大桥 南京市南京市|长江长江|大桥大桥 例：我们研究所有东西例：我们研究所有东西 我们我们-研究所研究所-有有-东西东西（交叉歧义）（交叉歧义） 我们我们-研究研究-所有所有-东西东西 把手放在桌上把手放在桌上 把把-手手-放在放在-桌上桌上 （组合歧义）（组合歧义） 把手把手-放在放在-桌上桌上 25 句法分析概述句法分析概述 目的：分析目的：分析句子结构句子结构, , 找出词找出词, ,短语在句中的相互短语在句中的相互 关系以及各自的作用关系以及各自的作用, ,

16、 并用层次结构来加以表示并用层次结构来加以表示 S NP VP V NPPP Miss Smith put two books on this dining table. 26 句法分析过程句法分析过程 一一个句子是由各种不同的句子个句子是由各种不同的句子 成分组成的。这些成分可以是成分组成的。这些成分可以是 单词、词组或从句。句子成分单词、词组或从句。句子成分 还可以按其作用分为主语、谓还可以按其作用分为主语、谓 语、宾语、宾语补语、定语、语、宾语、宾语补语、定语、 状语、表语等。这种关系可用状语、表语等。这种关系可用 一棵树来表示，如对句子：一棵树来表示，如对句子： He wrote a

17、book. 可用图示的树形结构来表示。可用图示的树形结构来表示。 句子句子 主语主语 谓语谓语 动词动词宾语宾语 Hewroteabook 27 句法分析过程句法分析过程 一一个句子又是由若干个个句子又是由若干个 词类构成的，如名词、词类构成的，如名词、 动词、代词、形容词等。动词、代词、形容词等。 若从句子的词类来考虑，若从句子的词类来考虑， 一个句子也可用一棵树一个句子也可用一棵树 来表示，这种树称为句来表示，这种树称为句 子的分析树，如图所示：子的分析树，如图所示： 句子句子 代代 词词 动词短语动词短语 动动 词词名词短语名词短语 Hewroteabook 28 语义分析概述语义分析概

18、述 语义分析就是要识别一句话所表达的实际意义。即 弄清楚“干什么了”，“谁干的”，“这个行为的 原因和结果是什么”以及“这个行为发生的时间、 地点及其所用的工具或方法”等。 语义分析仅是在句法范围内根据词性信息来分析自 然语言中句子的文法结构的，由于它没有考虑句子 本身的含义，也就不能排除像 The paper received the professor. 这种在语法结构上正确，但实际意义上错误的句子。 29 语义分析过程语义分析过程 John gave the book to Sally GAVE Agent: John Object: the book Source: John Goal: Sally Agent（施事）：指行为的施动者； Object（受事）：指行为作用的对